JPH08227341A - User interface - Google Patents

User interface

Info

Publication number
JPH08227341A
JPH08227341A JP3323295A JP3323295A JPH08227341A JP H08227341 A JPH08227341 A JP H08227341A JP 3323295 A JP3323295 A JP 3323295A JP 3323295 A JP3323295 A JP 3323295A JP H08227341 A JPH08227341 A JP H08227341A
Authority
JP
Japan
Prior art keywords
operation
image
unit
display
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3323295A
Other languages
Japanese (ja)
Inventor
Masahiro Inoue
Kazuo Kamimura
Noriyuki Komiya
Noriyuki Kushiro
一穂 上村
紀之 久代
雅裕 井上
紀之 小宮
Original Assignee
Mitsubishi Electric Corp
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp, 三菱電機株式会社 filed Critical Mitsubishi Electric Corp
Priority to JP3323295A priority Critical patent/JPH08227341A/en
Publication of JPH08227341A publication Critical patent/JPH08227341A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE: To enable an aged person or a visually handicapped person to simply operate this user interface by executing specific display on a specified operation button or the like of a display unit based upon the judged result of a specific effect discriminating means.
CONSTITUTION: A picture discriminating part 18 discriminates an operation button or key of which the picture is operated based upon detected coordinate information obtained from a touch screen 5. A specific effect discriminating part 19 judges whether a specific display for discriminating the discriminated picture from other display pictures is to be displayed or not, and in the case of displaying the specific display, sends a signal to a ripple picture pattern determining part 12. The determining part 12 successively extracts ripple picture data from a ripple picture data storing part 9 and determines instruction information and a ripple picture generating part 8 generates a ripple picture and writes the ripple picture in a picture memory 7. When an operation button is depressed by a user, a display unit 6 displays an animation picture expanding a ripple around the operation button repeatedly by the specified number of times.
COPYRIGHT: (C)1996,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、空調機器、照明機器、 The present invention relates to air-conditioning equipment, lighting equipment,
家電機器などにおける各種機器の操作器のユーザインターフェースに関するものである。 Appliances relates user interface operating device of various types of equipment such as in.

【0002】 [0002]

【従来の技術】昨今の空調機器、照明機器、家電機器などにおける操作器のユーザインターフェースは、タッチスクリーンによるダイレクトタッチ方式のものが主流となりつつある。 BACKGROUND ART recent air conditioner, lighting equipment, the user interface of the operating device in such home appliances, is becoming the mainstream as the direct touch type by a touch screen. タッチスクリーンを使用した入力方式のユーザインターフェースは、画面に現れる操作ボタンや操作キー等の画像に直接触れることによって操作が行えるため、快適な操作が行える。 User interface input method using a touch screen, since that allows operation by directly touching the image, such as operation buttons and operation keys appear on the screen, allows a comfortable operation.

【0003】このような操作器のユーザインターフェースにおける高齢者や目の不自由な方のための施策としては、タッチスクリーンに表示される表示文字を大きくしたり、操作ボタンや操作キー等を大きいものにすることが考えられる。 [0003] Of such as the measures for handicapped people elderly and eyes in the operation unit of the user interface, or to increase the display characters displayed on the touch screen, large operation buttons and operation keys such as that it can be considered. また、ユーザの操作の補助機能に関しては、主に個々の操作の方法に対応する説明、あるいは操作手順に対応する支援などのヘルプ機能が考えられる。 As for the auxiliary function of the user's operation is mainly considered help facilities and support corresponding to procedures described, or the operation corresponding to the method of individual operations.

【0004】そのため、例えば特開平4−24819号公報に示すように、操作器の操作キーを使用頻度に基づいて拡大表示させるようにしたタッチスクリーン式データ入力装置が開示されている。 [0004] Therefore, for example, as shown in JP-A-4-24819, touch screen data input device is disclosed which is adapted enlarged display based on the operation keys of the operation unit to frequency of use.

【0005】特開平4−24819号公報に開示されたタッチスクリーン式データ入力装置は、複数のキー画像を表示する表示ユニット表面の指示されたポイントの座標値を検出し、ポイントの座標値と各キー画像の表示領域データとから指示されたキー画像を識別してキーデータを入力するタッチスクリーン式データ入力装置において、各キーの使用頻度を演算する使用頻度演算部と、各キーの使用頻度に基づいて各キー各キー画像の大きさを演算する演算部と、演算された大きさのキー画像を発生して表示ユニットに表示するキー画像発生部と、各キー画像の表示領域を演算するキー画像領域演算部とを有するものである。 [0005] JP-A touch screen data input device disclosed in 4-24819 discloses detects the coordinate values ​​of the indicated point of the display unit surface for displaying a plurality of key images, the coordinate values ​​of the point and the in touch screen data input device to identify the key image is instructed from the display region data of the key image inputting key data, and use frequency calculator for calculating the frequency of use of each key, the frequency of use of each key a calculator for calculating the size of each key the key image on the basis of a key image generating unit for displaying on the display unit the key image of the computed magnitude occurs, the key for computing the display area of ​​each key image those having an image area calculating unit.

【0006】そして、タッチスクリーン式データ入力装置における各キーの使用頻度を演算し、各キーの使用頻度に基づいて各キー画像の大きさを求め、大きさでキー画像を発生して表示ユニットに表示するとともに、各キー画像の表示領域を演算し、以後表示ユニットに表示されている所定のキー画像上のポイントが指示された時、 [0006] Then, calculates the frequency of use of each key in the touch screen data input device, the size of each key image on the basis of the frequency of use of each key determined, the display unit generates a key image in size and displays, when each key calculates the display area of ​​the image, a point on a given key image being displayed is designated in the subsequent display unit,
指示されたポイントの座標値を検出し、ポイントの座標値と各キー画像の表示領域データとから指示されたキー画像を識別してキーデータを出力する。 Detecting the coordinate values ​​of the indicated point, and outputs the key data to identify the key image is instructed from the display region data of the coordinate values ​​and the key images of the point.

【0007】 [0007]

【発明が解決しようとする課題】上記のような従来のユーザインターフェースは、グラフィック化されたものであるので、画面上の操作キー等を視覚的に捉えて操作することが前提となっている。 [0007] The above conventional user interfaces, such as, since those that are graphic reduction, be operated captures an operation key or the like on the screen visually based on the premise. また、平滑なタッチスクリーン上で手探りでボタンの位置を突き止めるのは極めて困難である。 In addition, it is extremely difficult to locate the position of the buttons by touch on the smooth touch screen. これらのことが高齢者や目の不自由な方にとっては、かえって操作を難しくしていた。 These things for persons with disabilities of the elderly and eyes had been rather difficult operation. また、特開平4−24819号公報に開示されたタッチスクリーン式データ入力装置においては、キー画像を使用頻度に基づいて拡大させているが、上記のような問題を解決するには至らなかった。 Further, the touch screen data input device disclosed in Japanese Patent Laid-Open No. 4-24819, although it is enlarged based on the key image to the frequency of use, but failed to solve the above problem.

【0008】さらに、従来のユーザインターフェースはタッチスクリーンを使用した入力方式のものなので、タッチスクリーンの画面上に描かれた操作ボタンや操作キーの画像に直接触れるという操作が行われるが、この操作は現実世界の操作ボタンや操作キーの操作とはかけ離れているため、「ボタンを押した」あるいは「キーに触れた」といった操作感覚が得難く、わかり難いものであった。 Furthermore, since those input methods conventional user interface using a touch screen, the image manipulation that direct contact with the operation buttons and operation keys drawn on a touch screen on the screen is performed, this operation because you are far from the operation of the operation buttons and operation keys of the real world, sense of operation such as "press the button" or "touching the key" is difficult to obtain, it was those difficult to understand. また、ユーザの操作補助となるヘルプ機能においても、ユーザが自分の意図することを行うために必要な情報を得ることが難しかったり、逆に必要以上に過剰な情報がユーザに与えられてしまってかえって操作の妨げになることがあった。 Also in the help function of the assist users, or it is difficult to obtain information required to perform the user to his intention, with too much information than necessary on the contrary got given to the user rather there can interfere with operation.

【0009】本発明は、上記のような課題を解決するためになされたもので、高齢者や目の不自由な方などにも簡単に操作を行うことのできる操作性が向上されたユーザインターフェースを提供することを目的としたものである。 [0009] The present invention has been made to solve the above problems, a user interface operability capable of performing even simple operations such as elderly and eyes Handicap is improved it is intended to provide a.

【0010】 [0010]

【課題を解決するための手段】本発明に係るユーザインターフェースは、複数の操作ボタンおよび操作キーを表示する表示ユニットと、表示ユニットの表面に配置され、指示された位置の座標を検出するタッチスクリーンと、タッチスクリーンの出力信号に基づいて操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、 The user interface according to the present invention SUMMARY OF THE INVENTION includes a display unit for displaying a plurality of operation buttons and operation keys disposed on the surface of the display unit, a touch screen for detecting the coordinates of the indicated position When, and a control unit for performing control corresponding to the operation buttons and the operation keys based on the touch screen of the output signal,
制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像を識別する画像識別手段と、 Control unit, among the operation buttons and operation keys displayed on the display unit based on the touch screen of the output signal, and an image identifying means for identifying an image of what was indicated,
画像識別手段によって識別された画像を他の表示画像と識別可能にするための特殊表示をさせるかどうかを判断する特殊効果識別手段と、特殊効果識別手段の判断結果に基づいて表示ユニットの指示された操作ボタンまたは操作キーに対して特殊表示をさせる第1の制御手段とを有するものである。 And special effects discrimination means for determining whether to a special display for the image identified by the image identification means can be identified from other displayed image, is instructed in the display unit based on the determination result of the special effect identification means and it has a first control means for the special display on the operation buttons or operation keys.

【0011】また、特殊表示は指示された操作ボタンまたは操作キーの周囲にダイナミックな動作が付加されたアニメーション画像であるものである。 Further, those special display is animation images dynamic behavior is added around the operation buttons or operation keys indicated.

【0012】さらに、第1の制御手段は、特殊表示のアニメーション画像である波紋画像のデータが格納されている波紋画像データ記憶部と、波紋画像データ記憶部の波紋画像データを順次取り出し波紋画像データの所在、 Furthermore, the first control means includes a ripple image data storage unit where data of the ripple image is stored a special display of the animation image, sequentially taken out ripples image data ripples image data of the ripple image data storage unit whereabouts of,
数および表示順序を決定する波紋画像パターン決定部と、波紋画像パターン決定部からの決定情報、波紋画像座標演算部からの表示座標情報および波紋画像大きさ演算部からの表示大きさ情報に基づいて波紋画像を発生させる波紋画像発生部とを有するものである。 A ripple image pattern determination unit for determining the number and display order determination information from the ripple image pattern determination unit, based on the display size information from the display coordinate information and ripples image size calculating portion from ripples image coordinate calculation unit those having a ripple image generating unit that generates ripples image.

【0013】本発明に係るユーザインターフェースの制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、 The control unit of the user interface according to the present invention, among the operation buttons and operation keys displayed on the display unit based on the touch screen of the output signal,
指示されたものの画像を識別する画像識別手段と、画像識別手段によって識別された画像に対して他の表示画像と識別可能にするための効果音を発生させるかどうかを判断する特殊効果識別手段と、特殊効果識別手段の判断結果に基づいて表示ユニットの指示された操作ボタンまたは操作キーに対応した効果音をスピーカから発生させる第2の制御手段とを有するものである。 Image identifying means for identifying an image of what is indicated, and special effects discrimination means for determining whether to generate a sound effect to enable identification and other display image of the identified image by the image identification means and has a second control means for generating a sound effect corresponding to the indicated operation buttons or operation keys of the display unit based on the determination result of the special effect identification means from the speaker.

【0014】また、第2の制御手段は、タッチスクリーンの押圧力を検出する圧力検出手段を有し、押圧力が所定圧力以上の時には指定された操作ボタンまたは操作キーに対応した効果音を発生させるとともにその処理を行い、押圧力が所定圧力より小さい時には効果音のみを発生させるものである。 Further, the second control means has a pressure detecting means for detecting the pressing force of the touch screen, the pressing force generating a sound effect corresponding to the operation button or the operation key specified when more than a predetermined pressure It does so with is, when the pressing force is smaller than the predetermined pressure is intended to generate a sound effect only.

【0015】さらに、第2の制御手段は、操作ボタンおよび操作キーに対応した効果音データが格納されている効果音データ記憶部と、指定された操作ボタンまたは操作キーに対応した効果音データを効果音データ記憶部から取り出しその効果音データの所在を決定する効果音パターン決定部と、効果音パターン決定部からの決定情報に基づいて効果音をスピーカより発生させる効果音発生部とを有するものである。 Furthermore, the second control means, sound effect data storage unit which sound effect data corresponding to the operation button and the operation key is stored, the sound effect data corresponding to the designated operation button or the operation key having a sound effect pattern determination unit for determining the location of the sound effect data taken from effect sound data storage unit, and a sound effect producing section which generates from the speaker a sound effect based on the determination information from the sound effect pattern determination unit it is.

【0016】本発明に係るユーザインターフェースは、 The user interface according to the present invention,
複数の操作ボタンおよび拡大表示キーを含む操作キーを表示する表示ユニットと、表示ユニットの表面に配置され、指示された位置の座標を検出するタッチスクリーンと、タッチスクリーンの出力信号に基づいて操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、 A display unit for displaying an operation key including a plurality of operation buttons and enlarged display keys, disposed on the surface of the display unit, a touch screen for detecting the coordinates of the designated position, the operation button based on the touch screen of the output signal and a control unit for performing control corresponding to the operation key,
制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像が拡大表示キーの画像であるかどうかを識別する画像識別手段と、画像識別手段において拡大表示キーが識別された時には必要最小限の操作ボタンと操作キーとの組合わせからなるシュリンク画面を表示ユニットに表示させる第3の制御手段とを有するものである。 Control unit, among the operation buttons and operation keys displayed on the display unit based on the touch screen of the output signal, and an image identifying means for identifying image of what is instructed whether the image enlargement display key, image and has a third control means for displaying on the display unit the shrink screen consisting of a combination of the operation keys and the minimum operation buttons needed when the enlargement display key is identified in the identifying means.

【0017】また、第3の制御手段は、シュリンク画面のデータが複数格納されているシュリンク画面データ記憶部と、シュリンク画面データ記憶部に格納されているシュリンク画面データをもとに操作ボタンまたは操作キーの画像の大きさあるいは画像の数量を決定する画像大きさ決定部および画像数量決定部と、画像大きさ決定部および画像数量決定部の決定情報に基づいて画像の大きさ演算および座標演算をそれぞれ行う演算部と、これらの演算結果に基づいてシュリンク画面を発生させる画像発生部とを有するものである。 Further, the third control means comprises a shrink screen data storage unit where data of the shrink screen is more stored, based on the operation buttons or operation shrink screen data stored in the shrink screen data storage unit an image size determination unit and the image quantity determining unit for determining the quantity of size or image of the key image, based on the determination information of the image size determination unit and the image quantity determiner image size calculation and coordinate operation a calculation section for performing respectively, and has an image generating section that generates a shrink screen based on these calculation results.

【0018】本発明に係るユーザインターフェースの制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、 The control unit of the user interface according to the present invention, among the operation buttons and operation keys displayed on the display unit based on the touch screen of the output signal,
指示されたものの画像が拡大表示キーの画像であるかどうかを識別する画像識別手段と、画像識別手段において拡大表示キーが識別され次に画面の任意の箇所が押されて指定されると、指示された箇所の座標を中心に予め定められた半径内の画像を予め定められた倍率で表示ユニットに拡大表示させる第4の制御手段を有するものである。 Image identifying means for identifying whether the image is an image of a magnified display key but is instructed, the enlargement display key is specified is pressed anywhere next screen identified in the image identifying means, indicated and it has a fourth control means for enlarged display on the display unit at a predetermined magnification the images of predetermined within a radius around the coordinates of the location where the.

【0019】また、第4の制御手段は、指示された箇所の座標が拡大される画面の中心基準となることを決定する画面拡大位置決定部と、画面拡大位置決定部によって決定された基準座標を中心に予め定められた半径内の画像が予め定められた倍率になるように演算する画像座標演算部および画像大きさ演算部と、演算結果に基づいて拡大された拡大画面を発生させる画像発生部とを有するものである。 Further, the fourth control means comprises a screen zoom position determining unit that determines to be a center reference of the screen coordinates of the indicated position is magnified, the reference coordinates determined by the screen enlargement position determination unit an image coordinate calculation unit and the image size calculating portion image in a predetermined radius centered is computed so that the predetermined magnification, image generation for generating an enlarged expansion screen according to the result those having a part.

【0020】本発明に係るユーザインターフェースは、 The user interface according to the present invention,
複数の操作ボタンおよび複数のヘルプキー含む操作キーを表示する表示ユニットと、表示ユニットの表面に配置され、指示された位置の座標を検出するタッチスクリーンと、タッチスクリーンの出力信号に基づいて操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像がヘルプキーの画像であるかどうかを識別する画像識別手段と、画像識別手段においていずれかのヘルプキーが識別された時にはそのヘルプキーに対応したヘルプ処理を行わせる第5の制御手段を有するものである。 A display unit for displaying the operation key including a plurality of operation buttons and a plurality of help key, disposed on the surface of the display unit, a touch screen for detecting the coordinates of the designated position, the operation button based on the touch screen of the output signal and a control unit for performing control corresponding to the operation key, the control unit of the operation buttons and the operation keys displayed on the display unit based on the touch screen of the output signal, the image of what is indicated is a help key image identifying means for identifying whether the image, when any of the help key in the image discrimination means is identified are those having a fifth control means for causing the help process corresponding to the help key.

【0021】また、第5の制御手段は、操作される操作ボタンまたは操作キーの履歴が格納される操作履歴記憶部と、操作ボタンおよび操作キーの操作方法データが格納された操作方法データ記憶部と、表示ユニットに表示される各画面の操作手順データが格納されている操作手順データ記憶部と、画像識別手段において操作方法ヘルプキーが識別された時に指定された操作ボタンまたは操作キーの操作方法データを表示ユニットに表示させる操作方法発生部と、画像識別手段において操作手順ヘルプキーが識別された時に表示ユニットに表示されている画面の操作手順データを表示ユニットに表示させる操作手順発生部と、表示ユニットに表示されている画面の操作終了後に画像識別手段において操作サマリヘルプキーが識別された時に操 Further, the fifth control means includes an operation history storage unit the history of the operation buttons or operation keys is operated is stored, the operation buttons and the method of operation method data has been stored operated operation key data storage unit when the operation procedure data stored in that operation procedure data storage unit of each screen displayed on the display unit, the method of operating the operation buttons or operation keys specified when the operating Help key is identified in the image identification means and instructions for generating unit for displaying data on the display unit, the operation procedure generating unit for displaying on the display unit of the operation procedure data of the screen displayed on the display unit when the operation procedure help key identified in the image identifying means, Misao when the operating summary help key the image identification means after end operation screen displayed on the display unit identified 履歴記憶部に格納された操作キーの履歴に基づいて操作サマリを表示ユニットに表示させる操作サマリ提示部とを有するものである。 Those having a based on the history of the operation key stored in the history storage unit displaying an operation summary display unit operation summary presentation unit.

【0022】本発明に係るユーザインターフェースは、 The user interface according to the present invention,
タッチスクリーンの周囲およびその表面に突起を複数設けたものである。 It is obtained by providing a plurality of projections around and the surface of the touch screen.

【0023】 [0023]

【作用】本発明に係るユーザインターフェースは、表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像を画像識別手段によって識別し、特殊効果識別手段によってその画像において特殊表示をさせるかどうかを判断し、特殊表示をさせる場合は第1の制御手段によって指示された操作ボタンまたは操作キーに対して特殊表示を行い、他の表示画像と識別可能にする。 [Action] user interface according to the present invention, among the operation buttons and operation keys displayed on the display unit, but is instructed to identify the image identification unit images, makes a special display in the image by a special effect identification means whether to determine, in case of a special display performs special display on the operation buttons or operation keys indicated by the first control means, to allow identification and other display image.

【0024】また、指示された操作ボタンまたは操作キーの周囲に特殊表示としてダイナミックな動作が付加されたアニメーション画像を表示し、容易に他の表示画像と識別可能にする。 Further, displaying an animation image dynamic behavior is added as a special display around the indicated operation buttons or operation keys, easily can be identified with other display image.

【0025】さらに、第1の制御手段によって指示された操作ボタンまたは操作キーの周囲に波紋を表示させ、 Furthermore, to display the ripples around the operation buttons or operation keys indicated by the first control means,
画面操作の実感の不足を補う。 Compensate for the lack of feeling of screen operation.

【0026】本発明に係るユーザインターフェースは、 The user interface according to the present invention,
画像識別手段によって識別された画像において効果音を発生させるかどうかを特殊効果識別手段によって判断し、効果音を発生させる場合は第2の制御手段によって指示された操作ボタンまたは操作キーに対応した効果音をスピーカから発生させて、他の表示画像と識別可能にする。 Whether to generate a sound effect in the image identified by the image identification means determines the special effect identification means, when generating a sound effect corresponding to the operation buttons or operation keys indicated by the second control means effects by generating a sound from a speaker, to enable identification and other display image.

【0027】また、圧力検出手段によってタッチスクリーンの押圧力を検出し、押圧力が所定圧力以上の時には指定された操作ボタンまたは操作キーに対応した効果音を発生させるとともにその処理を行い、視覚だけでなく聴覚からも画面操作の実感の不足を補う。 Further, to detect the pressing force of the touch screen by the pressure detecting means, the pressing force does so with when more than a predetermined pressure to generate a sound effect corresponding to the designated operation button or the operation key, visual only compensate for the lack of feeling of well screen operation from the hearing not. 一方、押圧力が所定圧力より小さい時には効果音のみを発生させ、その効果音を頼りに手探りで画面上のボタンの位置が分かるようにし、目の不自由な方にも目的とする操作を行うためのボタンの位置が容易に分かるようにする。 On the other hand, to generate a sound effect only when the pressing force is smaller than a predetermined pressure, and to understand the position of the button on the screen blindly rely on the sound effect, performs an operation of interest in visually impaired the position of the button for which the as can be readily seen. ここで、押圧力が所定圧力より小さい時には発生する効果音と、所定圧力以上の時に発生する効果音とでは、必ずしも一致する必要はなく、例えば所定圧力より小さい時に発生する効果音を音声ガイダンスとすることにより、一層効果的に操作ガイドができる。 Here, the effect sound generated when the pressing force is smaller than a predetermined pressure, in the sound effect that occurs when more than a predetermined pressure, it is not necessary to match the voice guidance sound effects that occur when for example lower than a predetermined pressure by it can more effectively operation guide.

【0028】本発明に係るユーザインターフェースは、 The user interface according to the present invention,
画像識別手段によって識別された画像が拡大表示キーの画像である時、第3の制御手段によって操作画面に対応したシュリンク画面を表示させ、必要最小限の操作ボタンと操作キーで画面操作ができるようにする。 When the image identified by the image identifying means is an image of the enlarged display key to display a shrink screen corresponding to the operation screen by the third control means, to allow the screen operated by the operation keys necessary minimum operation buttons to.

【0029】また、画像識別手段によって識別された画像が拡大表示キーの画像である時、操作画面に表示された文字および操作キー等が見易くなり、高齢者等においてもキー操作を簡単かつ確実に行えるように、第4の制御手段によって次に画面の任意に指示された箇所の座標を中心に予め定められた半径内の画像を予め定められた倍率で表示ユニットに拡大表示させる。 Further, when the image identified by the image identifying means is an image of enlargement display key, it becomes easy to see the characters and operation keys or the like displayed on the operation screen, also key operation easily and reliably in the elderly, etc. as can be performed, then is optionally enlarge in predetermined radius centered on the coordinates of the indicated position on the display unit at a predetermined magnification display screen by the fourth control means.

【0030】本発明に係るユーザインターフェースは、 The user interface according to the present invention,
画像識別手段によって識別された画像がヘルプキーの画像である時、画面操作を円滑に行えるように第5の制御手段によってそのヘルプキーに対応したヘルプ処理を行う。 When the image identified by the image identifying means is an image of a help key, it performs a help process corresponding to the help key by a fifth control means to smoothly perform a screen operation.

【0031】また、第5の制御部はヘルプキーのうち、 [0031] In addition, the control unit of the fifth of the Help key,
第1のヘルプキーが指示されると次に指定された操作ボタンまたは操作キーの操作方法データを表示ユニットに表示させ、第2のヘルプキーが指示されると表示ユニットに表示されている画面の操作手順データを表示ユニットに表示させ、第3のヘルプキーが指示されると操作サマリを表示ユニットに表示させ、ユーザが意図する操作を達成できるようにする。 To display an operation method data of the operation buttons or operation keys first help key is specified then is instructed to the display unit, the screen second help key is displayed on the display unit is designated operating procedure is displayed data on the display unit, and is displayed on the third display an operation summary unit Help key is designated, to achieve their user intends.

【0032】本発明に係るユーザインターフェースは、 The user interface according to the present invention,
タッチスクリーンの周囲およびその表面に突起を複数設けることにより、目の不自由な方にもタッチスクリーンのいずれの辺りを触っているかを容易に知ることができる。 By providing a plurality of projections around and the surface of the touch screen, whether the touching any of around touch screen to visually impaired can be easily known.

【0033】 [0033]

【実施例】 【Example】

実施例1. Example 1. 図1は本発明の第1〜第4の実施例の構成を示すブロック図、図2は本発明の第1の実施例に係る表示ユニットに表示された操作画面の要部の拡大図である。 Figure 1 is a first to a block diagram showing the configuration of a fourth embodiment, FIG. 2 is a first enlarged view of an essential part of the operation screen displayed on the display unit according to an embodiment of the present invention of the present invention .

【0034】この実施例1においては、まず、図2に示すように、表示ユニット6に表示されている操作画面の操作ボタン41の画像がユーザによって押圧されると、 [0034] In this first embodiment, first, as shown in FIG. 2, when the image of the operation button 41 of the operation screen displayed on the display unit 6 is pressed by the user,
位置座標検出部を有するタッチスクリーン5によって押圧された操作ボタン41の座標が検出され、画像識別部18およびタッチ圧力検出部20に検出座標情報が出力される。 Position coordinate detection unit coordinates of the operation button 41 being pressed is detected by the touch screen 5 having the detected coordinates information to the image recognition unit 18 and the touch pressure detecting unit 20 is outputted. そして、画像識別部18はタッチスクリーン5 Then, the image recognition unit 18 is a touch screen 5
からの検出座標情報に基づいてどの操作ボタンまたは操作キーの画像が操作されたのかを識別する。 Images which operation buttons or operation keys on the basis of the detected coordinate information from the identifies whether been operated. なお、ここでは図2(a)に示す操作ボタン41の画像が識別される。 Here, the image of the operation button 41 shown in FIG. 2 (a) are identified. ついで、特殊効果識別部19は、画像識別部18によって識別された画像に基づいて識別された画像を他の表示画像と識別可能にするための特殊表示、例えば識別された操作ボタンまたは操作キーの周囲にダイナミックな動作が付加されたアニメーション画像である波紋画像を表示させるかどうかを判断し、特殊表示をさせる場合は、波紋画像パターン決定部12に信号を送る。 Then, special effect identification unit 19, the special display, for example, identified operation buttons or operation keys for the identified image based on an image identified by the image recognition unit 18 can be identified with other display image determining whether to display the ripple image is animated image dynamic behavior is added around, if for the special display signals the ripple image pattern determination unit 12.

【0035】特殊効果識別部19から波紋画像パターン決定部12に信号が送られると、波紋画像パターン決定部12は波紋画像発生部8を介して波紋画像データ記憶部9から波紋画像データを順次取り出すとともに、波紋画像データの所在、数、および表示順序を指示情報を決定し、この指示情報と、波紋画像座標演算部10によって演算された表示座標情報と、波紋画像大きさ演算部1 [0035] When the signal from the special effect identification section 19 to ripple the image pattern determination unit 12 is sent, ripple image pattern determination unit 12 sequentially retrieves ripples image data from the ripple image data storage unit 9 via the ripple image generator 8 together, the location of the ripple image data, to determine the number, and the indication information display order, and this instruction information, the display coordinate information calculated by the ripples image coordinate calculation unit 10, the ripple image size calculating portion 1
1によって演算された表示大きさ情報とに基づいて波紋画像発生部8は波紋画像を発生させ、画像メモリ7に書き込む。 Ripple image generating unit 8 on the basis of the display size information calculated by 1 generates a ripple image, written in the image memory 7. そして、表示ユニット6ではユーザによって押圧された操作ボタン41に対し、図2(b)に示すように、その操作ボタン41の周囲に波紋42が広がるアニメーション画像が波紋画像パターン決定部12が指定した回数だけ繰り返し表示される。 Then, with respect to the operation button 41 pressed by the user in the display unit 6, as shown in FIG. 2 (b), the animation image ripples 42 spreads around the operating button 41 has been designated ripples image pattern determination unit 12 the number is repeatedly displayed only.

【0036】このように、平坦でかつ押圧しても変化のない表示ユニット6(タッチスクリーン)上で操作ボタンまたは操作キーの操作を行うと、押圧された操作ボタンまたは操作キーの周囲に波紋42が広がるアニメーション画像などの特殊表示が付加されるので、画面操作の実感の不足を補うことができる。 The ripples around this way, when the operation of the operation buttons or operation keys on flat and pressed to display unchanged even unit 6 (touch screen), the pressed operation button or the operation keys 42 since the special display, such as animation image is added, which is spread, it is possible to compensate for the lack of feeling of screen operation. また、タッチスクリーン上では操作中において操作ボタン等が操作している指によって隠されて見えなくなってしまうことがあるが、 Also, while on the touch screen may become invisible is hidden by a finger operation buttons and the like is operating during the operation,
波紋画像が表示されることによって押圧されたことを容易に確認することができ、操作性の向上を計ることができる。 That ripples image is pressed by being displayed can be easily checked, it is possible to improve the operability.

【0037】なお、上述の実施例では特殊表示としてアニメーション画像である波紋を表示させる場合を例示して説明したが、例えば指示された操作ボタンまたは操作キー全体やその周囲を変色させるようにしてもよく、また、点滅させるようにしてもよい。 [0037] Also as animation has been illustrated and described a case of displaying the ripple is an image, to discolor the operation buttons or operation keys or the entire periphery thereof for example indicated as a special display in the embodiment described above well, or it may be made to blink.

【0038】実施例2. [0038] Example 2. 図3は本発明の第2の実施例に係る表示ユニットに表示された操作画面の作用説明図である。 Figure 3 is an explanatory diagram of the operation of the operation screen displayed on the display unit according to a second embodiment of the present invention. 以下、この実施例の作用を図4のフローチャートを用いて説明する。 Hereinafter, the operation of this embodiment will be described with reference to the flowchart of FIG.

【0039】まず、表示ユニット6に表示されている操作画面の操作ボタンまたは操作キーの画像がユーザによって押圧されると、実施例1で説明した場合と同様に押圧された操作ボタンまたは操作キーの座標がタッチスクリーン5によって検出され、その座標に基づいてどの操作ボタンまたは操作キーの画像が操作されたのかを画像識別部18によって識別される。 [0039] First, when the image of the operation buttons or operation keys of the operation screen displayed on the display unit 6 is pressed by the user, the operation buttons or operation keys being pressed as in the case described in Example 1 coordinate is detected by the touch screen 5, it is identified with what image of the operation button or the operation key is operated on the basis of the coordinates by the image recognition unit 18. ついで、画像識別部1 Then, the image identification unit 1
8によって識別された画像に基づいて識別された画像に対して他の表示画像と識別可能にするための効果音、例えば識別された操作ボタンまたは操作キーにおける操作内容の説明音を発生させるかどうかを特殊効果識別部1 8 sound effects to enable identification and other display image to an image identified on the basis of the image identified by, for example, whether to generate a description sound operation content in the identified operation button or the operation key a special effect identification section 1
9によって判断し(ステップ45)、効果音を発生させる場合は効果音パターン決定部4に信号を送る。 Judged by 9 (step 45), the case of generating the sound effect signals the sound effect pattern determination unit 4.

【0040】特殊効果識別部19から効果音パターン決定部4に信号が送られると、効果音パターン決定部4は効果音発生部2を介して効果音データ記憶部3に格納されている個々の操作ボタンまたは操作キーの画像に対応した効果音データ(操作方法説明データ)を取り出すとともに、押圧された操作ボタンまたは操作キーの画像に対する効果音データの所在を効果音発生部2に指示する。 [0040] When the signal from the special effect identification section 19 to the sound effect pattern determination unit 4 is sent, sound effect pattern determination unit 4 of the individual via the sound effect producing section 2 is stored in the sound effect data storage unit 3 It takes out the operation button or the image effect sound corresponding to the data of the operation key (operation explanation data), indicating the location of the sound effect data for the pressed operation button or the image of the operation key sound effect producing section 2. そして、図3(a),(b)に示すように、押圧中または押圧後において操作ボタン43または操作キー4 Then, FIG. 3 (a), (b), the operation button 43 or the operation keys 4 after the pressing in or pressing
4に対応した効果音Aまたは効果音Bが効果音発生部2 Sound effect A or sound effects corresponding to 4 B is sound effect producing section 2
によってスピーカ1から発生される(ステップ46)。 It is generated from the speaker 1 by (step 46).

【0041】この時、タッチ圧力検出部20はタッチスクリーン5から送られてくる押圧した操作ボタンまたは操作キーの圧力を検出するとともに、その検出圧力が予め定められたしきい値と比較させており(ステップ4 [0041] At this time, along with a touch pressure detector 20 for detecting the pressure of the operation buttons or operation keys is pressed sent from the touch screen 5, which is compared to a threshold to the detected pressure reaches a predetermined (step 4
7)、しきい値より強く操作ボタン等が押圧された場合は実際に操作ボタン等が押圧されたと判断されて、押圧された操作ボタンまたは操作キーに対応した効果音を発生させるとともに、その操作ボタンまたは操作キーに対応した処理が行われる(ステップ48)。 7), it is determined that the actual operation buttons when the strong operation buttons than the threshold is pressed is pressed, together to generate a sound effect corresponding to the pressed operation button or the operation key, the operation processing corresponding to the button or the operation key is performed (step 48). また、しきい値より弱く押圧された場合は操作内容の確認のために押圧されたと判断されて、押圧された操作ボタンまたは操作キーに対応した操作内容の効果音のみが発生され、処理は行われない。 Further, when it is pressed weaker than the threshold value is determined to have been pressed for confirmation of operation contents, only the sound effect of the operation contents corresponding to the pressed operation button or the operation key is generated, processed row not us.

【0042】このように、表示ユニット6に表示された操作画面の操作ボタンまたは操作キーが予め定められた強さよりも強く押された時は、押圧された操作ボタンまたは操作キーに対応した効果音が発生されるとともに、 [0042] In this way, the operation buttons of the operation screen displayed on the display unit 6, or when the operation key is pressed stronger than the strength of which is determined in advance, the pressed operation button or a sound effect corresponding to the operation key with There are generated,
その操作ボタンまたは操作キーに対応した処理が行われ、予め定められた強さよりも弱く押された時は、その操作ボタンまたは操作キーに対応した操作内容の効果音のみが発生されるので、ユーザはその効果音から操作画面を見ることなく自ら行った操作の内容の確認が行えるとともに、これから行おうとする操作の操作ボタン等の位置を簡単かつ確実に認識することができ便利である。 The operation button or processing corresponding to the operation key is performed, when pressed weaker than the intensity that has been previously determined, since only the sound effect of the operation content corresponding to the operation button or the operation key is generated, the user along with perform a confirmation of its own content of an operation carried out without looking at the operation screen from the sound effect, it is convenient can be recognized easily and reliably the position such as the operation operation buttons to be performed in the future.

【0043】実施例3. [0043] Example 3. 図5は本発明の第3の実施例に係る表示ユニットに表示される操作画面の説明図である。 Figure 5 is a third explanatory view of an operation screen displayed on the display unit according to an embodiment of the present invention. 以下、この実施例の作用を図6のフローチャートを用いて説明する。 Hereinafter, the operation of this embodiment will be described with reference to the flowchart of FIG.

【0044】まず、図5(a)に示すように、表示ユニット6に操作画面61が表示されてユーザが任意の操作ボタンまたは操作キーの画像を押圧すると、実施例1で説明した場合と同様にタッチスクリーン5および画像識別部18等によってどの操作ボタンまたは操作キーの画像が押圧されたかが識別される。 [0044] First, as shown in FIG. 5 (a), when the user is displayed operation screen 61 on the display unit 6 presses the image of an arbitrary operation button or the operation key, similarly to the case described in Example 1 whether the image of which the operation button or the operation key is pressed by the touch screen 5 and the image recognition unit 18 and the like are identified. この時、操作画面61 At this time, the operation screen 61
に表示されている拡大表示キーであるルーペアイコンキー51が押圧されてそのキー51の画像が識別されると(ステップ71)、そのキー51が2回連続して押圧されていない時は、画像識別部18は現在表示ユニット6 When the magnifier icon key 51 is an enlarged display key being displayed is identified image of the key 51 is pressed (step 71), when the key 51 is not pressed twice in succession, the image the identification unit 18 is currently the display unit 6
に表示されている操作画面61が既に拡大画面であるか否かを判断し(ステップ72,73)、拡大画面である場合は操作画面61を拡大前の元の画面に戻す(ステップ77)。 Operation screen 61 that is displayed already determined whether an enlarged screen (step 72, 73), when an enlarged screen returns to the original screen before enlargement of the operation screen 61 (step 77).

【0045】また、拡大画面でない場合は、表示ユニット6に表示される画面を必要最小限の操作ボタンと操作キーとの組合わせからなるシュリンク画面である拡大画面にするという指示信号を、画像識別部18は画像大きさ決定部22と画像数量決定部23に送るとともに、複数のシュリンク画面が格納されているシュリンク画面データ記憶部21から表示ユニット6に表示されていた操作画面61に対応した拡大画面61a(図5(b))のデータを取り出す。 Further, if not enlarged screen, an instruction signal that the expansion screen is a shrink screen consisting of a combination of operation buttons necessary minimum the screen displayed on the display unit 6 and the operation key, the image identification expansion unit (18) to and sends the image size determination unit 22 and the image quantity determination unit 23, corresponding to the operation screen 61 that has been displayed from the shrink screen data storage section 21 in which a plurality of shrink screen is stored in the display unit 6 screen 61a retrieve the data (Figure 5 (b)). ついで、画像大きさ決定部22および画像数量決定部23はこの拡大画面61aのデータをもとに、操作ボタンおよび操作キーの画像の大きさおよび数量を決定する。 Then, the image size determination unit 22 and the image quantity determining unit 23 based on the data of the expansion screen 61a, to determine the size and quantity of the image of the operation buttons and operation keys. つまり、図5(a)の操作画面61 That is, the operation screen 61 in FIGS. 5 (a)
に表示されている操作キー52,53,54,55および操作ボタン56,57,58,59,60の画像のうち、必要最小限の画像例えば操作キー52,53および操作ボタン56,58,60の画像のみを選択して画像の数を決定するとともに、その決定した画像の大きさを通常の場合の例えば2倍の大きさになるように決定する。 Of the displayed action being key 52, 53, 54, 55 and the image of the operation button 56,57,58,59,60, the minimum necessary image example operation keys 52, 53 and the operation buttons 56, 58, 60 and it determines the number images by selecting only the image of, determined so that the magnitude of the determined image, for example, twice the size of the normal case. この時、選択されなかった画像の大きさは画面上に表示されないように通常の場合の0倍の大きさとする。 At this time, the size of the image that is not selected is set to 0 times the size of the normal case so as not to be displayed on the screen.

【0046】そして、決定した大きさおよび数の情報が画像座標演算部15および画像大きさ演算部16に送られると、画像座標演算部15および画像大きさ演算部1 [0046] When the determined size and number information is sent to the image coordinate computing unit 15 and the image size calculating unit 16, an image coordinate calculation unit 15 and the image size calculating portion 1
6は操作ボタンおよび操作キーの座標および大きさを変換して拡大させ、拡大画面61aを作成する。 6 is expanded by converting the coordinates and size of the operation buttons and the operation keys, to create a larger screen 61a. この拡大画面61aは画像発生部13および画像メモリ7を介して表示ユニット6に送られ、図5(b)に示すように、 The zoom window 61a is sent to the display unit 6 via the image generating unit 13 and the image memory 7, as shown in FIG. 5 (b),
表示ユニット6に拡大画面61aが表示される(ステップ74)。 Expansion screen 61a is displayed on the display unit 6 (step 74). この時、拡大された操作キー52a等は操作することができ、操作されるとその操作キー等に対応した処理が実行される。 In this case, enlarged operation keys 52a such as can be operated, when operation processing corresponding to the operation key or the like is performed. また、再度ルーペアイコンキー5 In addition, again magnifying glass icon key 5
1が押圧されると、表示ユニット6には拡大前の元の操作画面61が表示される。 When 1 is pressed, the original operation screen 61 before enlargement is displayed on the display unit 6.

【0047】一方、ルーペアイコンキー51が2回連続して押圧された時は、タッチスクリーン5によって検出されるユーザが次に押圧する操作画面61の任意の箇所(例えば操作キー52付近)の座標が画面拡大位置決定部24に送られ、画面拡大位置決定部24によりこの座標を基準座標に決定する(ステップ75)。 Meanwhile, when the magnifier icon key 51 is pressed twice in succession, the coordinates of any point of the operation screen 61 the user then press detected by the touch screen 5 (for example, near the operation key 52) There is sent to the screen enlargement position determination unit 24, by the screen enlargement position determination unit 24 determines the coordinates to the reference coordinates (step 75). ついで、決定した基準座標情報を画像座標演算部15および画像大きさ演算部16に送って基準座標を中心に予め定められた半径内の画像が予め定められた倍率になるように座標の変換を行い、拡大画面を作成する。 Then, the coordinate conversion so that the determined reference coordinate information to the magnification images predetermined for the image coordinate calculation unit 15 and the image size is sent to the arithmetic unit 16 within a predetermined radius around the reference coordinates carried out, to create an enlarged screen. そして、この拡大画面が画像発生部13および画像メモリ7を介して表示ユニット6に送られ、図5(c)に示すように、表示ユニット6に拡大画面61bが表示される(ステップ7 Then, the enlarged screen is sent to the display unit 6 via the image generating unit 13 and the image memory 7, as shown in FIG. 5 (c), expansion screen 61b is displayed on the display unit 6 (Step 7
6)。 6). この時、操作キーボタン52,53は操作キー5 At this time, the operation key buttons 52 and 53 are operation keys 5
2b,53bと拡大されるとともに、これらに対する操作も行うことができる。 2b, together with the expansion and 53b, it can also be carried out operations on these. また、再度ルーペアイコンキー51が押されると、拡大前の元の操作画面61が表示ユニット6に表示される。 Further, when the magnifier icon key 51 is pressed again, the original operation screen 61 before enlargement is displayed on the display unit 6.

【0048】このように、例えば操作画面の表示文字が小さくて見えない、操作ボタンまたは操作キー小さくて押し難い、操作ボタン等が多すぎて煩わしい時など、ルーペアイコンキー51を1回押すことによって必要最小限の操作キー等の画像のみが表示される拡大画面(シュリンク画面)61aを表示することができるので、操作画面が単純化されて見易くなり、高齢者等においてもキー操作を簡単かつ確実に行うことができる。 [0048] In this way, for example, does not appear a small display character of the operation screen, it is difficult to push the operation button or the operation keys small, such as when troublesome and too many operation buttons and the like, by pressing the magnifying glass icon key 51 once it is possible to display an enlarged screen (shrink screen) 61a that only the image, such as the minimum necessary operation keys are displayed, the operation screen is easy to see is simplified, easy and reliable key operation even in the elderly, etc. it can be carried out in. また、操作したい操作キー等の表面に表示されている文字が小さくて見え難い時や操作しにくい時など、ルーペアイコンキー51を2回連続して押し、さらに任意の箇所を押して指示することによって、指示した任意の箇所およびその周囲が所定の範囲で拡大された拡大画面61bが表示されるので、操作キーの表面に表示されている文字が拡大されて見えやすくなり、高齢者等においてもキー操作を確実に行うことができ、操作性を高めることができる。 Further, such as when a hard to and operation when obscured by small characters displayed on the surface such as an operation key to be operated, pressing the magnifier icon key 51 twice consecutively, by instructing further press any point since any point and its surroundings were instructed zoom window 61b which is enlarged in a predetermined range is displayed, the enlarged characters displayed on the surface of the operation key becomes more visible, the key even in the elderly, etc. operation can be surely performed, thereby enhancing the operability.

【0049】実施例4. [0049] Example 4. この実施例は、表示ユニット6 This embodiment, the display unit 6
に表示される操作キーにユーザの操作を補助する操作ボタンおよび操作キーの操作方法、表示ユニット6に表示される各画面の操作手順および操作のサマリなどの各ヘルプ機能に対応したヘルプキーを複数設け、いずれかのヘルプキーが押圧された場合においてそのヘルプキーに対応したヘルプ処理が行われるようにしたものである。 Multiple methods of operating the operation buttons and operation keys for assisting the user's operation to the operation key displayed, the help key corresponding to each help functions such as operation procedures and operation of summary of each screen displayed on the display unit 6 provided, in which any of the help key is to help process corresponding to the help key when pressed is performed.
以下、この実施例の作用を図7のフローチャートを用いて説明する。 Hereinafter, the operation of this embodiment will be described with reference to the flowchart of FIG.

【0050】例えば空調機器において室内の温度設定を行う場合、まず、表示ユニット6には温度設定用操作画面が表示され、その画面の操作ボタンまたは操作キーの画像がユーザによって押圧されると(ステップ81,8 [0050] For example, when setting the temperature of the room in the air-conditioning equipment, first, the operation screen for the temperature setting is displayed on the display unit 6, the image of the operation buttons or operation keys of the screen is pressed by the user (Step 81,8
2)、実施例1で説明した場合と同様に押圧された操作ボタンまたは操作キーの座標がタッチスクリーン5によって検出され、その座標に基づいてどの操作ボタンまたは操作キーの画像が操作されたのかを画像識別部18によって識別される。 2), the coordinates of the operation buttons or operation keys being pressed as in the case described in Example 1 is detected by the touch screen 5, a what image of the operation button or the operation key is operated on the basis of the coordinates It identified by the image recognition unit 18.

【0051】この時、識別された画像が操作画面に表示されているヘルプキー画像のうち、操作方法ヘルプキーの画像であった場合(ステップ83)、次に押圧された操作ボタンまたは操作キーに対応する操作方法データが操作方法データ記憶部28から取り出され、その操作方法データが操作方法ヘルプ発生部31および画像メモリ7を介して表示ユニット6に表示される(ステップ8 [0051] At this time, among the help key image identified image is displayed on the operation screen, indicating an image of the operation Help key (step 83), then to the pressed operation button or the operation key corresponding operation method data is retrieved from the operation process data storage unit 28 and displayed on the display unit 6 the operation method data via the operation Help generator 31 and the image memory 7 (step 8
4)。 4). また、操作手順ヘルプキーの画像が識別された場合は(ステップ85)、表示ユニット6に表示されている操作画面に対応する操作手順データが操作手順データ記憶部27から取り出され、その操作手順データが操作手順ヘルプ発生部30および画像メモリ7を介して表示ユニット6に表示される(ステップ86)。 Further, if the image of the operation procedure help key is identified retrieved from (step 85), the operation procedure data corresponding to the operation screen displayed on the display unit 6 operation procedure data storage unit 27, the operation procedure data There is displayed on the display unit 6 through the operation procedure help generator 30 and the image memory 7 (step 86). いずれの場合もヘルプデータが表示ユニット6に表示された後は元の操作画面に戻る。 After the help data is displayed on the display unit 6 in any case return to the original operation screen. また、ユーザの押圧した操作ボタンまたは操作キーの画像がいずれのヘルプキーの画像でなかった場合は、押圧された操作キー等に対応した処理が行われ(ステップ87)、さらに次の操作が存在すれば次の操作画面が表示ユニットに表示される(ステップ8 Further, there is a case where the image of the operation buttons or operation keys are pressed the user is not the image of any help key, processing corresponding to the pressed operation key or the like is performed (step 87), the following additional operations next operation screen is displayed on the display unit if (step 8
8,89)。 8,89).

【0052】一方、次の操作が存在せず目的の操作が終了した後に、操作サマリヘルプキーの画像が押圧されこれが識別されると(ステップ90)、今行われた操作によってどのようなことが行われたかという操作のサマリが操作サマリ提示部29および画像メモリ7を介して表示ユニット6に表示される(ステップ91)。 Meanwhile, after the desired action is absent following operation is completed and the image of the operation summary help key is this is pressed is identified (step 90), is what it by now performed operation summary of operation of either has been performed is displayed on the display unit 6 via the operation summary presentation unit 29 and the image memory 7 (step 91). ユーザはこの表示を見ることによってユーザの意図した操作が行われたか否かを確認する。 The user checks whether the intended user operation is performed by viewing the display. そして、意図した操作が行われ操作ボタンのうちのOKボタンが押された場合は(ステップ92)、室内の温度設定操作は完了してその処理が行われる。 Then, if the intended operation is pressed the OK button of the operation buttons is performed (step 92), the room temperature setting operation that processing is performed to complete. また、意図した操作が行われず操作ボタンのうちのNGボタンが押された場合は、再び温度設定操作が行えるように温度設定用の初期の操作場面が表示ユニット6に表示される(ステップ93,81…)。 Also, if the intended operation is pressed NG button among the operation buttons not performed, the initial operation scene for temperature setting is displayed on the display unit 6 to allow again temperature setting operation (step 93, 81 ...).

【0053】このように、操作キー等の操作方法、操作画面の操作手順および操作のサマリなど、ユーザの操作補助となる各ヘルプ機能に対応したヘルプキーを設け、 [0053] Thus, operation methods such as an operation key, such as operation procedures and operation of summary of the operation screen, a help key that corresponds to the assist of become the help function user provided,
画面操作中、あるいは操作終了後にいずれかのヘルプキーを操作することによってユーザが要所々所で操作方法、操作手順または操作のサマリを知るまたは確認することができるので、ユーザは自らが意図する操作を容易かつ確実に達成することができ、操作性を向上させることができる。 During the screen operation, or method of operation the user is required here and there plant by manipulating any of the Help key after the end of the operation, since it is possible to know or confirm the operation procedure or operation summary of the user operation that itself is intended the can be accomplished easily and reliably, thereby improving the operability.

【0054】なお、上述した実施例1〜実施例4においてそれぞれ別の実施例として説明したが、図1に示すように、実施例1〜実施例4のすべてが実施できるユーザインターフェースとしてもよく、また、各実施例を適宜組合わせたユーザインターフェースとしてもよい。 [0054] Although described as separate embodiments in Examples 1 to 4 described above, as shown in FIG. 1, may be a user interface that can be implemented all the Examples 1 to 4, it is also as a user interface that combines the embodiments as appropriate.

【0055】実施例5. [0055] Example 5. 図8は本発明の第5の実施例の要部の拡大図で、この実施例は、タッチスクリーン5の内壁5aおよびその表面5bに、タッチスクリーン5および操作ボタンまたは操作キーの位置が手探りでも判別できるように突起62を複数個設けたものである。 Figure 8 is an enlarged view of a main part of a fifth embodiment of the present invention, this embodiment, the inner wall 5a and the surface 5b of the touch screen 5, the position of the touch screen 5 and the operation buttons or operation keys blindly the protrusions 62 as can be determined are those provided plural. また、この実施例においては、操作ボタンまたは操作キーの画像を押圧すると、その操作ボタンまたは操作キーに対応した効果音、例えば操作内容が発生されるようになっている。 Further, in this embodiment, when pressing the image of the operation buttons or operation keys, so that the sound effect corresponding to the operation button or the operation keys, for example, the operation content is generated.

【0056】このように構成したことにより、タッチスクリーン5の突起62によって目の不自由な方でもタッチスクリーン5のだいたいどの辺りを触っているかを知ることができる。 [0056] By having such a configuration, it is possible to know also visually impaired by the projection 62 of the touch screen 5 is touching the approximate which part of the touch screen 5. また、手探りによって検知した操作ボタン等を押圧するとその操作ボタン等に対応した効果音が発生されるので、どのようなことを行うものであるかを容易に把握することができ、確実に操作ボタン等の操作を行うことができる。 Also, since when pressing the operation button or the like detected by fumbling sound effect corresponding to the operation button or the like is generated, what it can easily grasp whether and performs reliably operating button it is possible to carry out the operation and the like.

【0057】なお、上述の実施例では操作ボタンおよび操作キーの画像が表示されるタッチスクリーン5上およびその周辺に突起62を設け、この突起62の付近の操作ボタンまたは操作キーの画像を押圧した時に、実施例2において説明した発明とほぼ同様の発明が実施された場合を説明したが、この発明にさらに実施例1、実施例3および実施例4の発明を実施してもよい。 [0057] In the above-described embodiment is provided a touch screen 5 and on the projection 62 on its peripheral image of the operation buttons and operation keys are displayed, and presses the image of the operation buttons or operation keys vicinity of the projection 62 sometimes, the case where substantially the same invention as the invention described in example 2 were conducted have been described, further embodiments 1 to the present invention, may be implemented invention of examples 3 and 4.

【0058】 [0058]

【発明の効果】以上のように本発明に係るユーザインターフェースは、複数の操作ボタンおよび操作キーを表示する表示ユニットと、表示ユニットの表面に配置され、 The user interface according to the present invention as described above, according to the present invention includes a display unit for displaying a plurality of operation buttons and operation keys disposed on the surface of the display unit,
指示された位置の座標を検出するタッチスクリーンと、 A touch screen for detecting the coordinates of the indicated position,
タッチスクリーンの出力信号に基づいて操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像を識別する画像識別手段と、画像識別手段によって識別された画像を他の表示画像と識別可能にするための特殊表示をさせるかどうかを判断する特殊効果識別手段と、特殊効果識別手段の判断結果に基づいて表示ユニットの指示された操作ボタンまたは操作キーに対して特殊表示をさせる第1の制御手段とを有するので、いずれの操作ボタンまたは操作キーが指示されたのかを容易に識別でき、操作性の向上を計ることができる。 And a control unit for performing control corresponding to the operation buttons and the operation keys based on the touch screen of the output signal, the control unit of the operation buttons and the operation keys displayed on the display unit based on the touch screen of the output signal the image identifying means for identifying an image of what is indicated, and special effects discrimination means for determining whether to a special display for enabling identification with the identified other display images an image by the image identifying means, special since having a first control means for the special display for the indicated operation button or the operation keys of the display unit based on the determination result of the effect identification means, whether one of the operation buttons or operation keys is designated easily identified, it is possible to improve the operability.

【0059】また、特殊表示は指示された操作ボタンまたは操作キーの周囲にダイナミックな動作が付加されたアニメーション画像であるので、いずれの操作ボタンまたは操作キーが指示されたことを視覚的に早く捉えて確認することができ、操作性の向上を一層計ることができる。 [0059] Also, special display is because it is animated images dynamic behavior is added around the operation buttons or operation keys indicated visually grasp quickly that one of the operation buttons or operation keys is designated can see Te, it is possible to further improve the operability.

【0060】さらに、第1の制御手段は、特殊表示のアニメーション画像である波紋画像のデータが格納されている波紋画像データ記憶部と、波紋画像データ記憶部の波紋画像データを順次取り出し波紋画像データの所在、 [0060] Further, the first control means includes a ripple image data storage unit where data of the ripple image is stored a special display of the animation image, sequentially taken out ripples image data ripples image data of the ripple image data storage unit whereabouts of,
数および表示順序を決定する波紋画像パターン決定部と、波紋画像パターン決定部からの決定情報、波紋画像座標演算部からの表示座標情報および波紋画像大きさ演算部からの表示大きさ情報に基づいて波紋画像を発生させる波紋画像発生部とを有するので、操作中などにおいて操作ボタン等が操作している指によって隠されて見えなくなってしまっても指示されたことが容易に確認することができ、画面操作の実感の不足を補うことができる。 A ripple image pattern determination unit for determining the number and display order determination information from the ripple image pattern determination unit, based on the display size information from the display coordinate information and ripples image size calculating portion from ripples image coordinate calculation unit because it has a ripple image generating unit that generates ripples image, can be operation buttons in such as during operation is instructed even lost sight hidden by a finger which is operating to easily confirm, it is possible to compensate for the lack of feeling of screen operation.

【0061】本発明に係るユーザインターフェースの制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、 [0061] The control unit of the user interface according to the present invention, among the operation buttons and operation keys displayed on the display unit based on the touch screen of the output signal,
指示されたものの画像を識別する画像識別手段と、画像識別手段によって識別された画像に対して他の表示画像と識別可能にするための効果音を発生させるかどうかを判断する特殊効果識別手段と、特殊効果識別手段の判断結果に基づいて表示ユニットの指示された操作ボタンまたは操作キーに対応した効果音をスピーカから発生させる第2の制御手段とを有するので、視覚だけでなく聴覚からもいずれの操作ボタンまたは操作キーが指示されたのかを識別することができ、画面操作の実感の不足を補うことができる。 Image identifying means for identifying an image of what is indicated, and special effects discrimination means for determining whether to generate a sound effect to enable identification and other display image of the identified image by the image identification means since a second control means for generating the indicated operation buttons or operation sound effect corresponding to the key of the display unit based on the determination result of the special effect identification means from the speaker, both from hearing well visually it is that the operation button or the operation key is to identify what has been instructed, it is possible to compensate for the lack of feeling of screen operation.

【0062】また、第2の制御手段は、操作ボタンおよび操作キーに対応した効果音データが格納されている効果音データ記憶部と、指定された操作ボタンまたは操作キーに対応した効果音データを効果音データ記憶部から取り出しその効果音データの所在を決定する効果音パターン決定部と、効果音パターン決定部からの決定情報に基づいて効果音をスピーカより発生させる効果音発生部とを有し、また、タッチスクリーンの押圧力を検出する圧力検出手段を有し、押圧力が所定圧力以上の時には指定された操作ボタンまたは操作キーに対応した効果音を発生させるとともにその処理を行い、押圧力が所定圧力より小さい時には効果音のみを発生させるので、表示ユニットに表示された操作ボタンおよび操作キーのうち、 [0062] The second control means, sound effect data storage unit which sound effect data corresponding to the operation button and the operation key is stored, the sound effect data corresponding to the designated operation button or the operation key a sound effect pattern determination unit for determining the location of the sound effect data taken from effect sound data storage unit, and a sound effect producing section which generates from the speaker a sound effect based on the determination information from the sound effect pattern determination unit also has a pressure detecting means for detecting the pressing force of the touch screen, the pressing force does so with when more than a predetermined pressure to generate a sound effect corresponding to the designated operation button or the operation keys, the pressing force since but when less than the predetermined pressure is generated only sound effects, among the operation buttons and operation keys displayed on the display unit,
指示された操作ボタンまたは操作キーの識別が一層容易になり、操作性を向上させることができる。 Identifying indicated operation buttons or operation keys becomes easier, thereby improving the operability.

【0063】本発明に係るユーザインターフェースは、 [0063] The user interface according to the present invention,
複数の操作ボタンおよび拡大表示キーを含む操作キーを表示する表示ユニットと、タッチスクリーンと、制御部とを備え、制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像が拡大表示キーの画像であるかどうかを識別する画像識別手段と、画像識別手段において拡大表示キーが識別された時には必要最小限の操作ボタンと操作キーとの組合わせからなるシュリンク画面を表示ユニットに表示させる第3の制御手段とを有し、第3の制御手段は、シュリンク画面のデータが複数格納されているシュリンク画面データ記憶部と、シュリンク画面データ記憶部に格納されているシュリンク画面データをもとに操作ボタンまたは操作キーの画像の大きさあるいは画 A display unit for displaying an operation key including a plurality of operation buttons and enlarge the key comprises a touch screen, and a control unit, the control unit, operation buttons and displayed on the display unit based on the touch screen of the output signal among the operation keys, an image identifying means for identifying image of what is instructed whether the image enlargement display key, the operation button and the operation key necessary minimum when the enlarged display key in an image identification unit is identified and a third control means for displaying a shrink screen consisting of a combination display unit, the third control means comprises a shrink screen data storage unit where data of the shrink screen is more stored, shrink screen data the size or fraction of the operation buttons or operation keys of the image shrink screen data stored in the storage unit based on の数量を決定する画像大きさ決定部および画像数量決定部と、画像大きさ決定部および画像数量決定部の決定情報に基づいて画像の大きさ演算および座標演算をそれぞれ行う演算部と、これらの演算結果に基づいてシュリンク画面を発生させる画像発生部とを有するので、操作ボタン等が多すぎて煩わしい時などにおいて必要最小限の操作ボタン等のみが表示される見易く操作しやすい単純化された操作画面を表示することができ、高齢者等においてもボタン操作を簡単かつ確実に行うことができて便利である。 The image size determination unit and the image quantity determining unit for determining the quantity, and the image size determination unit and based on the determination information of the image number determination unit image size calculation and coordinate calculation is carried out each operation unit, of because and an image generating unit that generates a shrink screen based on the calculation result, only operation buttons necessary minimum in such case cumbersome and too many operation buttons are simplified easy to operate easily viewable display operation screen can be displayed, it is convenient to be able to perform a button operation easily and reliably in the elderly and the like.

【0064】本発明に係るユーザインターフェースの制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、 [0064] The control unit of the user interface according to the present invention, among the operation buttons and operation keys displayed on the display unit based on the touch screen of the output signal,
指示されたものの画像が拡大表示キーの画像であるかどうかを識別する画像識別手段と、画像識別手段において拡大表示キーが識別され次に画面の任意の箇所が押されて指定されると、指示された箇所の座標を中心に予め定められた半径内の画像を予め定められた倍率で表示ユニットに拡大表示させる第4の制御手段を有し、第4の制御手段は、指示された箇所の座標が拡大される画面の中心基準となることを決定する画面拡大位置決定部と、画面拡大位置決定部によって決定された基準座標を中心に予め定められた半径内の画像が予め定められた倍率になるように演算する画像座標演算部および画像大きさ演算部と、演算結果に基づいて拡大された拡大画面を発生させる画像発生部とを有するので、操作キー等の表面に表示されている文字 Image identifying means for identifying whether the image is an image of a magnified display key but is instructed, the enlargement display key is specified is pressed anywhere next screen identified in the image identifying means, indicated a fourth control means for enlarging the display unit at a predetermined magnification the images of predetermined within a radius around the coordinates of the location where the fourth control means, the indicated location magnification and screen enlargement position determination unit that determines to be a center reference of the screen coordinates is enlarged, the image in the predetermined radius around the reference coordinates determined by the screen enlargement position determining unit is a predetermined an image coordinate calculating unit for calculating to be and the image size calculating portion, because it has an image generating unit that generates an enlarged magnified screen based on the calculation result, characters displayed on the surface such as an operation key 小さくて見え難い時や操作しにくい時などにおいて任意の箇所およびその周囲を容易に拡大させることができ、高齢者等においてもキー操作を簡単かつ確実に行え、操作性を高めることができる。 Small can be easily expanded to any location and surrounding the like when hardly or when operations obscured, even perform key operations easily and reliably in the elderly and the like, it is possible to improve the operability.

【0065】本発明に係るユーザインターフェースは、 [0065] The user interface according to the present invention,
複数の操作ボタンおよび複数のヘルプキー含む操作キーを表示する表示ユニットと、タッチスクリーンと、制御部とを備え、制御部は、タッチスクリーンの出力信号に基づいて表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像がヘルプキーの画像であるかどうかを識別する画像識別手段と、画像識別手段においていずれかのヘルプキーが識別された時にはそのヘルプキーに対応したヘルプ処理を行わせる第5の制御手段を有し、第5の制御手段は、操作される操作ボタンまたは操作キーの履歴が格納される操作履歴記憶部と、操作ボタンおよび操作キーの操作方法データが格納された操作方法データ記憶部と、表示ユニットに表示される各画面の操作手順データが格納されている操作手順データ記憶部と、 A display unit for displaying the operation key including a plurality of operation buttons and a plurality of help key, comprising: a touch screen, and a control unit, the control unit, operation buttons and displayed on the display unit based on the touch screen of the output signal among the operation keys, an image identifying means for identifying image of what is instructed whether the image of the help key, when any of the help key in the image identification unit is identified help process corresponding to the help key a fifth control means for causing, fifth control means includes an operation history storage unit the history of the operation buttons or operation keys is operated is stored, the operation mode data of the operation buttons and operation keys are stored how a data storage unit, and the operation procedure data stored in that operation procedure data storage unit of each screen displayed on the display units, 像識別手段において操作方法ヘルプキーが識別された時に指定された操作ボタンまたは操作キーの操作方法データを表示ユニットに表示させる操作方法発生部と、画像識別手段において操作手順ヘルプキーが識別された時に表示ユニットに表示されている画面の操作手順データを表示ユニットに表示させる操作手順発生部と、表示ユニットに表示されている画面の操作終了後に画像識別手段において操作サマリヘルプキーが識別された時に操作履歴記憶部に格納された操作キーの履歴に基づいて操作サマリを表示ユニットに表示させる操作サマリ提示部とを有するので、ユーザはその操作の確認を取りながら操作キー等の操作を進めることができ、 And Operation instructions generating unit for displaying data on the display unit of the designated operation button or the operation key when the operation Help key is identified in the image identifying means, when the operating procedures help key identified in the image identification means and operation procedure generating unit displaying an operation procedure data of a screen displayed on the display unit on the display unit, the operation when the operation summary help key the image identification means after the operation ends of the screen displayed on the display unit identified because it has a history storage unit operation summary presentation unit to display an operation summary display unit based on a history of stored operation keys, the user can proceed with the operation of the operation keys and the like while maintaining a confirmation of the operation ,
確実に意図する操作を達成することができる。 It can be achieved an operation intended reliably.

【0066】本発明に係るユーザインターフェースは、 [0066] The user interface according to the present invention,
タッチスクリーンの周囲およびその表面に突起を複数設けたので、目の不自由な方にもタッチスクリーンや操作ボタンおよび操作キーの画像が表示される位置を容易に検知することができ、操作性を向上させることができる。 Since a plurality of projections around and the surface of the touch screen, the position where the image of the touch screen, operation buttons and operation keys to disabled people may appear in the eye can be easily detected, the operability it is possible to improve.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】 本発明の第1〜第4の実施例の構成を示すブロック図である。 1 is a block diagram showing the configuration of the first to fourth embodiments of the present invention.

【図2】 本発明の第1の実施例に係る表示ユニットに表示された操作画面の要部の拡大図である。 2 is an enlarged view of a main part of the first operation screen displayed on the display unit according to an embodiment of the present invention.

【図3】 本発明の第2の実施例に係る表示ユニットに表示された操作画面の作用説明図である。 3 is an explanatory diagram of the operation of the operation screen displayed on the display unit according to a second embodiment of the present invention.

【図4】 本発明の第2の実施例の作用を示すフローチャートである。 Is a flowchart showing an operation of the second embodiment of the present invention; FIG.

【図5】 本発明の第3の実施例に係る表示ユニットに表示される操作画面の説明図である。 5 is a third explanatory view of an operation screen displayed on the display unit according to an embodiment of the present invention.

【図6】 本発明の第3の実施例の作用を示すフローチャートである。 6 is a flowchart showing the operation of the third embodiment of the present invention.

【図7】 本発明の第4の実施例の作用を示すフローチャートである。 7 is a flowchart showing the operation of the fourth embodiment of the present invention.

【図8】 本発明の第5の実施例の要部の拡大図である。 8 is an enlarged view of a main part of a fifth embodiment of the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 スピーカ、2 効果音発生部、3 効果音データ記憶部、4 効果音パターン決定部、5 タッチスクリーン、6 表示ユニット、8 波紋画像発生部、9 波紋画像データ記憶部、10 波紋画像座標演算部、11 1 speaker 2 sound effect producing unit, 3 sound effect data storage unit, 4 sound effect pattern determining unit, 5 touchscreen, 6 display unit 8 ripple image generating unit, 9 ripples image data storage unit, 10 ripple image coordinate calculation unit , 11
波紋画像大きさ演算部、12 波紋画像パターン決定部、13 画像発生部、15 画像座標演算部、16 Ripples image size calculating portion 12 ripple image pattern determination unit, 13 image generating unit, 15 image coordinate calculation unit, 16
画像大きさ演算部、18 画像識別部、19 特殊効果識別部、20 タッチ圧力検出部、21 シュリンク画面データ記憶部、22 画像大きさ決定部、23 画像数量決定部、24 画面拡大位置決定部、25 操作履歴記憶部、27 操作手順データ記憶部、28 操作方法データ記憶部、29 操作サマリ提示部、30 操作手順発生部、31 操作方法発生部、41,43,5 Image size calculating unit, 18 image discriminator, 19 special effect identification section, 20 a touch pressure detecting unit, 21 shrink screen data storage unit, 22 image size determination unit, 23 image quantity determining unit, 24 screen zoom position determining unit, 25 operation history storage unit, 27 operation procedure data storage unit, 28 operation data storage unit, 29 operation summary presentation unit, 30 operation procedure generating unit, 31 operation methods generating unit, 41,43,5
6,57,58,59,60 操作ボタン、42 波紋、44,52,53,54,55 操作キー、51 6,57,58,59,60 operation button, 42 ripples, 44,52,53,54,55 operation key, 51
ルーペアイコンキー、62 突起。 Magnifying glass icon key, 62 projections.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上村 一穂 鎌倉市大船二丁目14番40号 三菱電機株式 会社住環境研究開発センター内 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Kazuho Uemura Kamakura Ofuna chome 14th No. 40 Mitsubishi Electric Co., Ltd. Living Environment research and development Center in

Claims (13)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 複数の操作ボタンおよび操作キーを表示する表示ユニットと、該表示ユニットの表面に配置され、指示された位置の座標を検出するタッチスクリーンと、該タッチスクリーンの出力信号に基づいて前記操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、 前記制御部は、前記タッチスクリーンの出力信号に基づいて前記表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像を識別する画像識別手段と、該画像識別手段によって識別された画像を他の表示画像と識別可能にするための特殊表示をさせるかどうかを判断する特殊効果識別手段と、該特殊効果識別手段の判断結果に基づいて前記表示ユニットの指示された操作ボタンまたは操作キーに対して特殊表示をさせる第1の制御手 1. A display unit for displaying a plurality of operation buttons and operation keys disposed on a surface of the display unit, a touch screen for detecting the coordinates of the indicated position based on the output signal of the touch screen and a control unit for performing control corresponding to the operation buttons and the operation keys, the control unit, among the operation buttons and operation keys displayed on the display unit based on an output signal of the touch screen, indicated image identifying means for identifying the image of things, the special effect identification means for determining whether to a special display for enabling identification with the identified other display images an image by the image identification unit, the special effect identification first control hand to the special display for the indicated operation button or the operation keys of the display unit based on the determination result of the means とを有することを特徴とするユーザインターフェース。 User interface and having and.
  2. 【請求項2】 特殊表示は指示された操作ボタンまたは操作キーの周囲にダイナミックな動作が付加されたアニメーション画像であることを特徴とする請求項1記載のユーザインターフェース。 2. A user interface according to claim 1, wherein the special display is animation images dynamic behavior is added around the operation buttons or operation keys indicated.
  3. 【請求項3】 第1の制御手段は、特殊表示のアニメーション画像である波紋画像のデータが格納されている波紋画像データ記憶部と、該波紋画像データ記憶部の波紋画像データを順次取り出し波紋画像データの所在、数および表示順序を決定する波紋画像パターン決定部と、該波紋画像パターン決定部からの決定情報、波紋画像座標演算部からの表示座標情報および波紋画像大きさ演算部からの表示大きさ情報に基づいて波紋画像を発生させる波紋画像発生部とを有することを特徴とする請求項2記載のユーザインターフェース。 Wherein the first control means includes a ripple image data storage unit where data of the ripple image is stored a special display of the animation image, sequentially taken out ripples image ripples image data of the wave crest image data storage unit location data, and ripple image pattern determination unit for determining the number and display order determination information from the wave crest image pattern determination unit, a display size from the display coordinate information and ripples image size calculating portion from ripples image coordinate calculation unit the user interface of claim 2, wherein a and a ripple image generating unit that generates ripples image based on the information.
  4. 【請求項4】 複数の操作ボタンおよび操作キーを表示する表示ユニットと、該表示ユニットの表面に配置され、指示された位置の座標を検出するタッチスクリーンと、該タッチスクリーンの出力信号に基づいて前記操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、 前記制御部は、前記タッチスクリーンの出力信号に基づいて前記表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像を識別する画像識別手段と、該画像識別手段によって識別された画像に対して他の表示画像と識別可能にするための効果音を発生させるかどうかを判断する特殊効果識別手段と、該特殊効果識別手段の判断結果に基づいて前記表示ユニットの指示された操作ボタンまたは操作キーに対応した効果音をスピーカか 4. A display unit for displaying a plurality of operation buttons and operation keys disposed on a surface of the display unit, a touch screen for detecting the coordinates of the indicated position based on the output signal of the touch screen and a control unit for performing control corresponding to the operation buttons and the operation keys, the control unit, among the operation buttons and operation keys displayed on the display unit based on an output signal of the touch screen, indicated image identifying means for identifying the image of things, the special effect identification means for determining whether to generate a sound effect to enable identification and other display image of the identified image by said image identifying means, wherein or speaker sound effects corresponding to the indicated operation buttons or operation keys of the display unit based on the determination result of the special effect identification means 発生させる第2の制御手段とを有することを特徴とするユーザインターフェース。 User interface and having a second control means for generating.
  5. 【請求項5】 第2の制御手段は、前記タッチスクリーンの押圧力を検出する圧力検出手段を有し、押圧力が所定圧力以上の時には指定された操作ボタンまたは操作キーに対応した効果音を発生させるとともにその処理を行い、押圧力が所定圧力より小さい時には効果音のみを発生させることを特徴とする請求項4記載のユーザインターフェース。 Wherein the second control means has a pressure detecting means for detecting the pressure of the touch screen, the pressing force is a sound effect corresponding to the operation button or the operation key specified when more than a predetermined pressure the user interface of claim 4, wherein the causes generating does its processing, the pressing force is characterized by generating a sound effect only when less than the predetermined pressure.
  6. 【請求項6】 第2の制御手段は、操作ボタンおよび操作キーに対応した効果音データが格納されている効果音データ記憶部と、指定された操作ボタンまたは操作キーに対応した効果音データを前記効果音データ記憶部から取り出しその効果音データの所在を決定する効果音パターン決定部と、該効果音パターン決定部からの決定情報に基づいて効果音をスピーカより発生させる効果音発生部とを有することを特徴とする請求項4または5記載のユーザインターフェース。 6. A second control means, and the sound effect data storage unit which sound effect data corresponding to the operation button and the operation key is stored, the sound effect data corresponding to the designated operation button or the operation key and sound effect pattern determination unit for determining the location of the sound effect data taken out of the sound effect data storage unit, and a sound effect producing section which generates from the speaker a sound effect based on the determination information from the sound effect pattern determination unit claim 4 or 5 user interface, wherein the having.
  7. 【請求項7】 複数の操作ボタンおよび拡大表示キーを含む操作キーを表示する表示ユニットと、該表示ユニットの表面に配置され、指示された位置の座標を検出するタッチスクリーンと、該タッチスクリーンの出力信号に基づいて前記操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、 前記制御部は、前記タッチスクリーンの出力信号に基づいて前記表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像が前記拡大表示キーの画像であるかどうかを識別する画像識別手段と、該画像識別手段において拡大表示キーが識別された時には必要最小限の操作ボタンと操作キーとの組合わせからなるシュリンク画面を前記表示ユニットに表示させる第3 7. A display unit for displaying an operation key including a plurality of operation buttons and enlarged display keys, disposed on a surface of the display unit, a touch screen for detecting the coordinates of the indicated position, of the touch screen and a control unit for performing control corresponding to the operation buttons and the operation keys based on the output signal, the control unit of the operation buttons and the operation keys displayed on the display unit based on an output signal of the touch screen among them, an image identifying means for identifying image of what is instructed whether the image of the magnified and displayed keys, the operation buttons and operation keys necessary minimum when the enlargement display key is identified in the image identification means the displays the shrink screen consisting of a combination on the display unit 3
    の制御手段とを有することを特徴とするユーザインターフェース。 User interface characterized by a control means.
  8. 【請求項8】 第3の制御手段は、前記シュリンク画面のデータが複数格納されているシュリンク画面データ記憶部と、該シュリンク画面データ記憶部に格納されているシュリンク画面データをもとに操作ボタンまたは操作キーの画像の大きさあるいは画像の数量を決定する画像大きさ決定部および画像数量決定部と、前記画像大きさ決定部および画像数量決定部の決定情報に基づいて画像の大きさ演算および座標演算をそれぞれ行う画像大きさ演算部および画像座標演算部と、これらの演算結果に基づいてシュリンク画面を発生させる画像発生部とを有することを特徴とする請求項7記載のユーザインターフェース。 8. A third control means, operation buttons based on the shrink screen data storage unit where data of the shrink screen is more stored, the shrink screen data stored in the shrink screen data storage unit the size of the image computation and on the basis of or with the image size determination unit and the image quantity determining unit which determines the quantity of image size or image of the operation key, the determination information of the image size determination unit and the image quantity determiner and an image size calculating unit and an image coordinate calculation unit for performing coordinate calculation respectively, the user interface according to claim 7, characterized in that it comprises an image generating unit that generates a shrink screen based on these calculation results.
  9. 【請求項9】 複数の操作ボタンおよび拡大表示キーを含む操作キーを表示する表示ユニットと、該表示ユニットの表面に配置され、指示された位置の座標を検出するタッチスクリーンと、該タッチスクリーンの出力信号に基づいて前記操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、 前記制御部は、前記タッチスクリーンの出力信号に基づいて前記表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像が前記拡大表示キーの画像であるかどうかを識別する画像識別手段と、該画像識別手段において拡大表示キーが識別され次に画面の任意の箇所が押されて指定されると、指示された箇所の座標を中心に予め定められた半径内の画像を予め定められた倍率で前記表示ユニットに拡大表示させる 9. A display unit for displaying an operation key including a plurality of operation buttons and enlarged display keys, disposed on a surface of the display unit, a touch screen for detecting the coordinates of the indicated position, of the touch screen and a control unit for performing control corresponding to the operation buttons and the operation keys based on the output signal, the control unit of the operation buttons and the operation keys displayed on the display unit based on an output signal of the touch screen among them, an image identifying means for identifying image of what is instructed whether the image of the magnified and displayed keys, any point then the screen is enlarged key identified in said image identifying means is specified pushed that the enlarged to be displayed on the display unit an image of a predetermined inside radius in a predetermined ratio to the center coordinates of the indicated position 4の制御手段を有することを特徴とするユーザインターフェース。 User interface and having a fourth control means.
  10. 【請求項10】 第4の制御手段は、前記指示された箇所の座標が拡大される画面の中心基準となることを決定する画面拡大位置決定部と、該画面拡大位置決定部によって決定された基準座標を中心に予め定められた半径内の画像が予め定められた倍率になるように演算する演算部と、演算結果に基づいて拡大された拡大画面を発生させる画像発生部とを有することを特徴とする請求項9記載のユーザインターフェース。 10. A fourth control means comprises a screen zoom position determining unit that determines to be a center reference of the screen coordinates of the indicated position is magnified, as determined by said screen enlargement locator a calculation unit which images in a predetermined radius around the reference coordinates are computed so that the predetermined magnification, that has an image generating unit for generating a magnified screen that is enlarged according to the result the user interface of claim 9, wherein.
  11. 【請求項11】 複数の操作ボタンおよび複数のヘルプキー含む操作キーを表示する表示ユニットと、該表示ユニットの表面に配置され、指示された位置の座標を検出するタッチスクリーンと、該タッチスクリーンの出力信号に基づいて前記操作ボタンおよび操作キーに対応した制御を行う制御部とを備え、 前記制御部は、前記タッチスクリーンの出力信号に基づいて前記表示ユニットに表示された操作ボタンおよび操作キーのうち、指示されたものの画像が前記ヘルプキーの画像であるかどうかを識別する画像識別手段と、該画像識別手段においていずれかのヘルプキーが識別された時にはそのヘルプキーに対応したヘルプ処理を行わせる第5の制御手段を有することを特徴とするユーザインターフェース。 And a display unit 11. A display operation keys including a plurality of operation buttons and a plurality of help key, disposed on a surface of the display unit, a touch screen for detecting the coordinates of the indicated position, of the touch screen and a control unit for performing control corresponding to the operation buttons and the operation keys based on the output signal, the control unit of the operation buttons and the operation keys displayed on the display unit based on an output signal of the touch screen among them, carried out the image of what is instructed image identifying means for identifying whether the image of the help key, the help process corresponding to the help key when the one of the help key identified in said image identifying means user interface and having a fifth control means for.
  12. 【請求項12】 第5の制御手段は、操作される操作ボタンまたは操作キーの履歴が格納される操作履歴記憶部と、操作ボタンおよび操作キーの操作方法データが格納された操作方法データ記憶部と、前記表示ユニットに表示される各画面の操作手順データが格納されている操作手順データ記憶部と、前記画像識別手段において操作方法ヘルプキーが識別された時に指定された操作ボタンまたは操作キーの操作方法データを前記表示ユニットに表示させる操作方法発生部と、前記画像識別手段において操作手順ヘルプキーが識別された時に表示ユニットに表示されている画面の操作手順データを前記表示ユニットに表示させる操作手順発生部と、前記表示ユニットに表示されている画面の操作終了後に前記画像識別手段において操作サマリヘル 12. The fifth control means includes an operation history storage unit the history of the operation buttons or operation keys is operated is stored, the operation buttons and the method of operation method data has been stored operated operation key data storage unit when the the procedure procedure data is stored procedure data storage unit of each screen displayed on the display unit, the operation button or the operation key is specified when operating Help key in said image identifying means is identified and how data the display instructions generating unit to be displayed on the units, to display the operating procedure data of the screen displayed on the display unit when the operation procedure help key identified in the image identification unit on the display unit operation and instructions generating unit, an operation in the image recognition means after the operation ends of the screen displayed on the display unit Samariheru プキーが識別された時に前記操作履歴記憶部に格納された操作キーの履歴に基づいて操作サマリを前記表示ユニットに表示させる操作サマリ提示部とを有することを特徴とする請求項11記載のユーザインターフェース。 The user interface of claim 11, wherein Puki is characterized by having a said operation history based on a history of stored operation key in the storage unit to display the operation summary on the display unit operation summary presentation unit when it is identified .
  13. 【請求項13】 タッチスクリーンの周囲およびその表面に突起を複数設けたことを特徴とする請求項1,2, 13. The method of claim 1, characterized in that a plurality of projections around and the surface of the touch screen,
    3,4,5,6,7,8,9,10,11または12記載のユーザインターフェース。 3,4,5,6,7,8,9,10,11 or 12 user interface description.
JP3323295A 1995-02-22 1995-02-22 User interface Pending JPH08227341A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3323295A JPH08227341A (en) 1995-02-22 1995-02-22 User interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3323295A JPH08227341A (en) 1995-02-22 1995-02-22 User interface

Publications (1)

Publication Number Publication Date
JPH08227341A true JPH08227341A (en) 1996-09-03

Family

ID=12380718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3323295A Pending JPH08227341A (en) 1995-02-22 1995-02-22 User interface

Country Status (1)

Country Link
JP (1) JPH08227341A (en)

Cited By (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101172A1 (en) * 2004-03-31 2005-10-27 Sharp Kabushiki Kaisha Electronic device
JP2007060033A (en) * 2005-08-22 2007-03-08 Ricoh Co Ltd Multifunction image forming apparatus, screen display mode setting method, program and recording medium
JP2007334747A (en) * 2006-06-16 2007-12-27 Miyake Design Jimusho:Kk Information processor, portable telephone set, contact input picture forming apparatus, information processing program, and recording medium recording information processing program
JP2008211383A (en) * 2007-02-23 2008-09-11 Matsushita Electric Works Ltd Remote monitoring system
JP2011118595A (en) * 2009-12-02 2011-06-16 Square Enix Co Ltd Apparatus, method and program for processing user interface
US8032843B2 (en) 1999-12-20 2011-10-04 Apple Inc. User interface for providing consolidation and access
US8255830B2 (en) 2009-03-16 2012-08-28 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US8427445B2 (en) 2004-07-30 2013-04-23 Apple Inc. Visual expander
JP2014096074A (en) * 2012-11-12 2014-05-22 Sony Corp Information processing device, communication system, and information processing method
US8744852B1 (en) 2004-10-01 2014-06-03 Apple Inc. Spoken interfaces
US8799813B2 (en) 2000-01-05 2014-08-05 Apple Inc. Method and system for providing an embedded application tool bar
US8892446B2 (en) 2010-01-18 2014-11-18 Apple Inc. Service orchestration for intelligent automated assistant
US8977584B2 (en) 2010-01-25 2015-03-10 Newvaluexchange Global Ai Llp Apparatuses, methods and systems for a digital conversation management platform
US9207855B2 (en) 2006-10-26 2015-12-08 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
EP2960767A1 (en) * 2014-06-24 2015-12-30 Google, Inc. Computerized systems and methods for rendering an animation of an object in response to user input
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9300784B2 (en) 2013-06-13 2016-03-29 Apple Inc. System and method for emergency calls initiated by voice command
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
JP2016167298A (en) * 2016-04-28 2016-09-15 ソニー株式会社 Information processing device, information processing method and program
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9529524B2 (en) 2008-03-04 2016-12-27 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US9535906B2 (en) 2008-07-31 2017-01-03 Apple Inc. Mobile device having human language translation capability with positional feedback
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
JP2017511947A (en) * 2015-01-23 2017-04-27 小米科技有限責任公司Xiaomi Inc. Button interaction method, apparatus, program, and recording medium
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
JP2017516163A (en) * 2015-03-08 2017-06-15 アップル インコーポレイテッド Device, method and graphical user interface for manipulating user interface objects using visual and / or tactile feedback
US9697822B1 (en) 2013-03-15 2017-07-04 Apple Inc. System and method for updating an adaptive speech recognition model
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US9706127B2 (en) 2015-06-07 2017-07-11 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9753639B2 (en) 2012-05-09 2017-09-05 Apple Inc. Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9778771B2 (en) 2012-12-29 2017-10-03 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9823839B2 (en) 2012-05-09 2017-11-21 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9886184B2 (en) 2012-05-09 2018-02-06 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US9959025B2 (en) 2012-12-29 2018-05-01 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990121B2 (en) 2012-05-09 2018-06-05 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US9996231B2 (en) 2012-05-09 2018-06-12 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US10037138B2 (en) 2012-12-29 2018-07-31 Apple Inc. Device, method, and graphical user interface for switching between user interfaces
US10042542B2 (en) 2012-05-09 2018-08-07 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10073615B2 (en) 2012-05-09 2018-09-11 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10078442B2 (en) 2012-12-29 2018-09-18 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select content based on an intensity theshold
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10095391B2 (en) 2012-05-09 2018-10-09 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10126930B2 (en) 2012-05-09 2018-11-13 Apple Inc. Device, method, and graphical user interface for scrolling nested regions
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10162452B2 (en) 2015-08-10 2018-12-25 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10175864B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects in accordance with contact intensity
US10175757B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for touch-based operations performed and reversed in a user interface
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10222980B2 (en) 2015-03-19 2019-03-05 Apple Inc. Touch input cursor manipulation
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10275087B1 (en) 2011-08-05 2019-04-30 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10387029B2 (en) 2015-03-08 2019-08-20 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects

Cited By (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8032843B2 (en) 1999-12-20 2011-10-04 Apple Inc. User interface for providing consolidation and access
US9684436B2 (en) 1999-12-20 2017-06-20 Apple Inc. User interface for providing consolidation and access
US8799813B2 (en) 2000-01-05 2014-08-05 Apple Inc. Method and system for providing an embedded application tool bar
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
WO2005101172A1 (en) * 2004-03-31 2005-10-27 Sharp Kabushiki Kaisha Electronic device
US8427445B2 (en) 2004-07-30 2013-04-23 Apple Inc. Visual expander
US8744852B1 (en) 2004-10-01 2014-06-03 Apple Inc. Spoken interfaces
JP2007060033A (en) * 2005-08-22 2007-03-08 Ricoh Co Ltd Multifunction image forming apparatus, screen display mode setting method, program and recording medium
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
JP2007334747A (en) * 2006-06-16 2007-12-27 Miyake Design Jimusho:Kk Information processor, portable telephone set, contact input picture forming apparatus, information processing program, and recording medium recording information processing program
US8942986B2 (en) 2006-09-08 2015-01-27 Apple Inc. Determining user intent based on ontologies of domains
US9117447B2 (en) 2006-09-08 2015-08-25 Apple Inc. Using event alert text as input to an automated assistant
US8930191B2 (en) 2006-09-08 2015-01-06 Apple Inc. Paraphrasing of user requests and results by automated digital assistant
US9207855B2 (en) 2006-10-26 2015-12-08 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US9632695B2 (en) 2006-10-26 2017-04-25 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
JP2008211383A (en) * 2007-02-23 2008-09-11 Matsushita Electric Works Ltd Remote monitoring system
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US9529524B2 (en) 2008-03-04 2016-12-27 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US9535906B2 (en) 2008-07-31 2017-01-03 Apple Inc. Mobile device having human language translation capability with positional feedback
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8370736B2 (en) 2009-03-16 2013-02-05 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US8255830B2 (en) 2009-03-16 2012-08-28 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US9846533B2 (en) 2009-03-16 2017-12-19 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US9875013B2 (en) 2009-03-16 2018-01-23 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
JP2011118595A (en) * 2009-12-02 2011-06-16 Square Enix Co Ltd Apparatus, method and program for processing user interface
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9548050B2 (en) 2010-01-18 2017-01-17 Apple Inc. Intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8903716B2 (en) 2010-01-18 2014-12-02 Apple Inc. Personalized vocabulary for digital assistant
US8892446B2 (en) 2010-01-18 2014-11-18 Apple Inc. Service orchestration for intelligent automated assistant
US9424861B2 (en) 2010-01-25 2016-08-23 Newvaluexchange Ltd Apparatuses, methods and systems for a digital conversation management platform
US9431028B2 (en) 2010-01-25 2016-08-30 Newvaluexchange Ltd Apparatuses, methods and systems for a digital conversation management platform
US8977584B2 (en) 2010-01-25 2015-03-10 Newvaluexchange Global Ai Llp Apparatuses, methods and systems for a digital conversation management platform
US9424862B2 (en) 2010-01-25 2016-08-23 Newvaluexchange Ltd Apparatuses, methods and systems for a digital conversation management platform
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10365758B1 (en) 2011-08-05 2019-07-30 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10345961B1 (en) 2011-08-05 2019-07-09 P4tents1, LLC Devices and methods for navigating between user interfaces
US10338736B1 (en) 2011-08-05 2019-07-02 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10386960B1 (en) 2011-08-05 2019-08-20 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10275087B1 (en) 2011-08-05 2019-04-30 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US10073615B2 (en) 2012-05-09 2018-09-11 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10191627B2 (en) 2012-05-09 2019-01-29 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US10175757B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for touch-based operations performed and reversed in a user interface
US10175864B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects in accordance with contact intensity
US9996231B2 (en) 2012-05-09 2018-06-12 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US9753639B2 (en) 2012-05-09 2017-09-05 Apple Inc. Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US9886184B2 (en) 2012-05-09 2018-02-06 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US10042542B2 (en) 2012-05-09 2018-08-07 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10114546B2 (en) 2012-05-09 2018-10-30 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9990121B2 (en) 2012-05-09 2018-06-05 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US9971499B2 (en) 2012-05-09 2018-05-15 Apple Inc. Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US10126930B2 (en) 2012-05-09 2018-11-13 Apple Inc. Device, method, and graphical user interface for scrolling nested regions
US9823839B2 (en) 2012-05-09 2017-11-21 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US10095391B2 (en) 2012-05-09 2018-10-09 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
JP2014096074A (en) * 2012-11-12 2014-05-22 Sony Corp Information processing device, communication system, and information processing method
US10276132B2 (en) 2012-11-12 2019-04-30 Sony Corporation Information processing for recognition of acceptance of user operation
US10175879B2 (en) 2012-12-29 2019-01-08 Apple Inc. Device, method, and graphical user interface for zooming a user interface while performing a drag operation
US10078442B2 (en) 2012-12-29 2018-09-18 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select content based on an intensity theshold
US9857897B2 (en) 2012-12-29 2018-01-02 Apple Inc. Device and method for assigning respective portions of an aggregate intensity to a plurality of contacts
US9959025B2 (en) 2012-12-29 2018-05-01 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
US9778771B2 (en) 2012-12-29 2017-10-03 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9965074B2 (en) 2012-12-29 2018-05-08 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US10037138B2 (en) 2012-12-29 2018-07-31 Apple Inc. Device, method, and graphical user interface for switching between user interfaces
US9996233B2 (en) 2012-12-29 2018-06-12 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
US10185491B2 (en) 2012-12-29 2019-01-22 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or enlarge content
US10101887B2 (en) 2012-12-29 2018-10-16 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
US9697822B1 (en) 2013-03-15 2017-07-04 Apple Inc. System and method for updating an adaptive speech recognition model
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US9300784B2 (en) 2013-06-13 2016-03-29 Apple Inc. System and method for emergency calls initiated by voice command
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
EP2960767A1 (en) * 2014-06-24 2015-12-30 Google, Inc. Computerized systems and methods for rendering an animation of an object in response to user input
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
JP2017511947A (en) * 2015-01-23 2017-04-27 小米科技有限責任公司Xiaomi Inc. Button interaction method, apparatus, program, and recording medium
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10180772B2 (en) 2015-03-08 2019-01-15 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10268342B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
JP2018181355A (en) * 2015-03-08 2018-11-15 アップル インコーポレイテッドApple Inc. Devices, methods and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10387029B2 (en) 2015-03-08 2019-08-20 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
JP2017516163A (en) * 2015-03-08 2017-06-15 アップル インコーポレイテッド Device, method and graphical user interface for manipulating user interface objects using visual and / or tactile feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10067645B2 (en) 2015-03-08 2018-09-04 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10402073B2 (en) 2015-03-08 2019-09-03 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10268341B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10338772B2 (en) 2015-03-08 2019-07-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US10222980B2 (en) 2015-03-19 2019-03-05 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9706127B2 (en) 2015-06-07 2017-07-11 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9916080B2 (en) 2015-06-07 2018-03-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10303354B2 (en) 2015-06-07 2019-05-28 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10209884B2 (en) 2015-08-10 2019-02-19 Apple Inc. Devices, Methods, and Graphical User Interfaces for Manipulating User Interface Objects with Visual and/or Haptic Feedback
US10203868B2 (en) 2015-08-10 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10162452B2 (en) 2015-08-10 2018-12-25 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP2016167298A (en) * 2016-04-28 2016-09-15 ソニー株式会社 Information processing device, information processing method and program
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control

Similar Documents

Publication Publication Date Title
Brewster Using non-speech sound to overcome information overload
Robertson et al. Immersion in desktop virtual reality
US6184847B1 (en) Intuitive control of portable data displays
US5999895A (en) Sound operated menu method and apparatus
US6118427A (en) Graphical user interface with optimal transparency thresholds for maximizing user performance and system efficiency
US6611253B1 (en) Virtual input environment
JP4771183B2 (en) Operating device
JP3770896B2 (en) Image processing method and apparatus
US6882337B2 (en) Virtual keyboard for touch-typing using audio feedback
CN1132117C (en) A multi-user interactive virtual environment system
US6232957B1 (en) Technique for implementing an on-demand tool glass for use in a desktop user interface
US6445364B2 (en) Portable game display and method for controlling same
US6333753B1 (en) Technique for implementing an on-demand display widget through controlled fading initiated by user contact with a touch sensitive input device
Bowman et al. 3D User interfaces: theory and practice, CourseSmart eTextbook
US6064354A (en) Stereoscopic user interface method and apparatus
US6975991B2 (en) Wearable display system with indicators of speakers
US20170108938A1 (en) Apparatus for Selecting from a Touch Screen
EP2544073B1 (en) Image processing device, image processing method, recording medium, computer program, and semiconductor device
JP5547968B2 (en) Feedback device for instructing and supervising physical movement and method of operating
US10268339B2 (en) Enhanced camera-based input
US6005549A (en) User interface method and apparatus
JP4689670B2 (en) Interactive manuals, systems and methods for vehicles and other complex devices
JP5042490B2 (en) Personalization of user accessibility options
US20070109296A1 (en) Virtual space rendering/display apparatus and virtual space rendering/display method
US20020041327A1 (en) Video-based image control system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040727