JP5685068B2 - 端末機のタッチ面積変化率による運用方法及び装置 - Google Patents

端末機のタッチ面積変化率による運用方法及び装置 Download PDF

Info

Publication number
JP5685068B2
JP5685068B2 JP2010273806A JP2010273806A JP5685068B2 JP 5685068 B2 JP5685068 B2 JP 5685068B2 JP 2010273806 A JP2010273806 A JP 2010273806A JP 2010273806 A JP2010273806 A JP 2010273806A JP 5685068 B2 JP5685068 B2 JP 5685068B2
Authority
JP
Japan
Prior art keywords
touch area
touch
change
change rate
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010273806A
Other languages
English (en)
Other versions
JP2011123888A (ja
Inventor
炳 鉉 林
炳 鉉 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011123888A publication Critical patent/JP2011123888A/ja
Application granted granted Critical
Publication of JP5685068B2 publication Critical patent/JP5685068B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G06F3/041661—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving using detection at multiple resolutions, e.g. coarse and fine scanning; using detection within a limited area, e.g. object tracking window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、端末機に関し、特にタッチパネルを含む端末機においてタッチ面積変化率によって特定機能の属性を変化させることができるようにサポートする端末機のタッチ面積変化率による運用方法及び装置に関する。
端末機、特に携帯端末機は、移動性を基盤に様々なユーザ機能をサポートする端末機であり、利用の便利性と携帯の容易性などによって非常に幅広い分野において用いられている。このような携帯端末機は、ユーザ機能のために様々な入力方式を提供している。例えば、従来、携帯端末機は、携帯端末機の一側に配置されたキーパッドなどを介して所定の文字や数字を入力することができるようにサポートする。また、携帯端末機は、携帯性を持たせるために大きさが制限されることがあるが、このような小型の携帯端末機において適切な表示部の大きさを確保するために、キーパッドを除去し、表示部にタッチパネルを配置するタッチスクリーンをサポートするものがある。
一方、タッチスクリーンを採用した携帯端末機は、ユーザが指を含む様々なタッチツールを利用してタッチパネルをタッチした場合、それに対応するタッチイベントを生成することによって、入力部としての機能をサポートしている。ところが、従来、携帯端末機は、表示部に特定のキーマップを出力し、このキーマップをタッチした場合、単純にそれに対応する入力信号を生成することのみをサポートしているだけであって、タッチスクリーンを基盤にした様々な入力信号の生成が難しいという短所があった。
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、タッチ面積の変化率によって様々な機能を適用することができるようにサポートする端末機のタッチ面積変化率による運用方法及び装置を提供することにある。
上記目的を達成するためになされた本発明の一特徴による端末機のタッチ面積変化率による運用方法は、タッチイベントの発生時に該タッチイベントの発生位置を検出する過程と、前記検出された位置で前記タッチイベントによるタッチ面積の変化率を検出する変化率検出過程と、前記検出された位置にリンクされた機能を実行する際に、前記タッチ面積の変化率によって該機能の属性を変化させて実行する機能実行過程と、を有する。
上記目的を達成するためになされた本発明の一特徴による端末機のタッチ面積変化率による運用装置は、タッチによるタッチイベントを発生させるタッチスクリーンと、前記タッチイベントの発生時に該タッチイベントの位置情報及び該タッチイベント発生によるタッチ面積の変化率を検出し、前記位置情報にリンクされた機能を実行する際に、前記タッチ面積の変化率によって該機能の属性を変化させて実行するように制御する制御部と、を備える。
本発明によれば、ユーザは、タッチスクリーンを通じて様々なタッチイベントを生成することができ、端末機は、これを基盤に更に様々なアプリケーションプログラムの運用をサポートすることができる。
本発明の一実施例による携帯端末機の構成を概略的に示す図である。 本発明の一実施例による制御部の構成をより詳しく示すブロック図である。 本発明の一実施例によるユーザインターフェースを示す図である。 本発明の一実施例によるタッチ面積の変化率の様々な例を説明するための図である。 本発明の一実施例によるタッチ面積の変化率の様々な例を説明するための図である。 本発明の一実施例によるタッチ面積の変化率の様々な例を説明するための図である。 本発明の一実施例によるタッチ面積の変化率の様々な例を説明するための図である。 本発明の一実施例によるタッチ面積の変化率の様々な例を説明するための図である。 本発明の一実施例によるタッチ面積の変化率による運用方法を説明するための図である。 図９の段階５１１を更に詳しく説明するための図である。
以下、本発明による端末機のタッチ面積変化率による運用方法及び装置を実施するための形態の具体例を、図面を参照しながら詳しく説明する。下記の説明では、本発明の実施例による動作を理解するために必要な部分のみを説明し、その他の部分の説明は、本発明の要旨を不明瞭にしないように省略していることに注意しなければならない。
以下で説明する本明細書及び特許請求の範囲に使用する用語や単語は、通常的や辞書的な意味に限定して解釈してはならないし、発明者は、本発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に即して本発明の技術的思想に符合する意味や概念として解釈しなければならない。従って、本明細書に記載した実施例と図面に示した構成は、本発明の最も好ましい実施例に過ぎず、本発明の技術的思想を全て代弁するものではないことから、これらを代替することができる様々な均等物と変形例があり得ることを理解しなければならない。
説明に先立って、以下の説明では、端末機のうち、携帯が可能な携帯端末機を主要例として説明するが、本発明は携帯端末機に限定されるものではない。即ち、本発明は、タッチパネルを含む様々な端末機の構造に適用することができる。
図１は、本発明の一実施例による携帯端末機の構成を概略的に示すブロック図である。
図１を参照すると、本実施例による携帯端末機１００は、無線周波数部１１０、入力部１２０、オーディオ処理部１３０、タッチスクリーン１４０、保存部１５０、振動部１７０、及び制御部１６０の構成を含む。
このような構成を有する本実施例による携帯端末機１００は、タッチスクリーン１４０に含まれるタッチパネル１４３上で発生したタッチイベントに対してタッチ面積の変化率を検出し、タッチ面積の変化率によって当該タッチイベントによって実行する機能の属性を変更するように制御する。以下、携帯端末機１００の各構成についてより詳しく説明する。
無線周波数部１１０は、音声通話のための通信チャネルの形成、及び映像や画像を伝送するか又はデータを伝送するための通信チャネル形成などを制御部１６０の制御の下に行う。即ち、無線周波数部１１０は、音声通話チャネル、データ通信チャネル、及び画像通話チャネルなどを移動通信システムの間に形成する。このために、無線周波数部１１０は、送信する信号の周波数を上昇変換（アップコンバート）及び増幅する無線周波数送信部と、受信した信号の周波数を低雑音増幅及び下降変換（ダウンコンバート）する無線周波数受信部などを含む。無線周波数部１１０の運用のために、携帯端末機１００は、様々な情報、例えばフォンブック（ｐｈｏｎｅ ｂｏｏｋ）情報などを表示部１４１に出力するように制御する。このような無線周波数部１１０の構成は、携帯端末機１００が移動通信機能をサポートする場合に含まれる構成であって、携帯端末機１００が移動通信機能をサポートしない場合には省略してもよい。一方、ユーザは、無線周波数部１１０の運用のためにフォンブックに保存された他の携帯端末機のユーザ情報を選択するか、或いは他の携帯端末機のユーザ情報に対応する数字入力を行うことができる。特に、別途のキーボタンやキーパッドがない携帯端末機１００は、無線周波数部１１０の運用のためにタッチスクリーン１４０上に数字を含むキーマップを出力する。ここで、キーマップは、３×４キーマップ、４×３キーマップ、クワーティキーマップなどを使用することができる。
入力部１２０は、数字又は文字情報を入力し、各種機能を設定するための多数の入力キー及び機能キーを含む。機能キーは、特定機能を行うように設定された方向キー、サイドキー、及びショートカットキーなどを含む。入力部１２０は、携帯端末機１００がフルタッチスクリーンを採用する場合、別途のキーボタンやキーパッドを採用することなく、タッチスクリーン１４０とケースの一側に形成されるサイドキーを含むことができる。このような入力部１２０は、携帯端末機１００がタッチスクリーン１４０を採用する場合、多数個のキーを含むキーマップと、キーマップによるタッチパネル１４３のセッティングによって具現される。キーマップは、クワーティキーマップ、３×４キーマップ、４×３キーマップ、メニューマップ、ソフトキーマップなどを含むことができる。
オーディオ処理部１３０は、通話時に送受信されるオーディオデータ、受信したメッセージに含まれるオーディオデータ、及び保存部１５０に保存されたオーディオファイル再生によるオーディオデータなどを出力するためのスピーカーＳＰＫと、通話時にユーザの音声又はその他のオーディオ信号を収集するためのマイクＭＩＣを含む。このようなオーディオ処理部１３０は、本実施例による楽器演奏に必要な様々なオーディオ信号を、スピーカーＳＰＫを通じて出力する。例えば、オーディオ処理部１３０は、携帯端末機１００がサポートする形態の楽器の種類によって太鼓の音、笛音、ピアノ音、ギター音などの様々な楽器音をタッチイベントに対応して出力する。この時、オーディオ処理部１３０は、タッチイベント発生によるタッチ面積の変化率によってその強弱や音色などの音の性質を変化させる。
タッチスクリーン１４０は、表示部１４１とタッチパネル１４３を含む。このようなタッチスクリーン１４０は、表示部１４１の前面にタッチパネル１４３が配置された構造を有する。タッチスクリーン１４０の大きさは、タッチパネル１４３の大きさにより決定される。例えば、タッチスクリーン１４０は、表示部１４１の前面を覆うように形成されたフルスクリーン形態で提供される。
表示部１４１は、携帯端末機１００の各種メニューを含めてユーザが入力した情報又はユーザに提供する情報などを表示する。即ち表示部１４１は、携帯端末機１００の利用による様々な画面、例えば、待機画面、メニュー画面、メッセージ作成画面、通話画面などを提供する。このような表示部１４１は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）などで形成することができる。また、表示部１４１は、上述したように、上部に配置されたタッチパネル１４３と一緒にタッチスクリーン１４０の形態で製作された場合、入力部１２０としての機能を実行する。特に、本実施例の表示部１４１は、制御部１６０の制御によって様々な楽器に対応するイメージを含むユーザインターフェースを出力する。ユーザインターフェースについては図３を参照して更に詳しく説明する。
タッチパネル１４３は、表示部１４１の上層に配置され、表示部１４１に出力される特定イメージや特定項目をユーザが指示するために特定の領域をタッチした場合、それに対応するタッチイベントを生成するようにサポートする構成である。例えば、タッチパネル１４３は、表示部１４１に出力された特定の楽器イメージの有効タッチ領域をセッティングし、当該有効タッチ領域でタッチイベントが発生した場合、これを制御部１６０に伝達する。楽器イメージに対するタッチパネル１４３のタッチ領域のセッティングは、所定の範囲単位で行うことができる。これについては後述する図面を参照して更に詳しく説明する。
振動部１７０は、制御部１６０の制御によって様々な振動を行い、このために振動部１７０は、少なくとも１つの振動モーターを含む。振動部１７０は、ユーザ設定によって無音振動モード状態で通話呼を受信するか、又はアラーム時刻が到来した場合、活性化される。特に本実施例の振動部１７０は、楽器演奏機能において特定の楽器を基盤にユーザが演奏を行うためのタッチイベントを生成した場合、タッチイベントによって所定の振動パターンに対応する振動を具現する。この時、振動部１７０は、タッチイベントによって発生しながら変化するタッチ面積の変化率によって様々な振動パターンに対応する振動を具現する。
保存部１５０は、本実施例による機能動作に必要なアプリケーションプログラムを含めて、携帯端末機１００がタッチスクリーン１４０で形成された場合、タッチスクリーン１４０の運用のためのキーマップを含む。キーマップは、キーマップ、メニューマップ、ソフトキーマップなどを含む。ここで、キーマップ及びメニューマップは、各々様々な形態を使用することができる。即ち、キーマップは、キーボードマップ、３×４キーマップ、クワーティキーマップなどであってもよく、現在活性化されているアプリケーションプログラムの運用制御のための制御キーマップであってもよい。また、メニューマップは、現在活性化されているアプリケーションプログラムの運用制御のためのメニューマップであってもよく、携帯端末機１００が提供する様々なメニューをリストとして有するメニューマップであってもよい。このような保存部１５０は、大きくプログラム領域とデータ領域を含む。
プログラム領域は、携帯端末機１００の起動及び上述した各構成の運用のための運営体制（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、様々なファイルを再生するためのアプリケーションプログラム、例えば、携帯端末機１００の機能サポートの有無により、通話機能サポートのためのアプリケーションプログラム、インターネットサーバーに接続するためのウェブブラウザー、その他の音源を再生するためのＭＰ３アプリケーションプログラム、写真などを再生するためのイメージ出力アプリケーションプログラム、動画再生アプリケーションプログラムなどを保存する。特に、本実施例のプログラム領域は、楽器演奏サポートアプリケーションプログラムを含む。
楽器演奏サポートアプリケーションプログラムは、メニューや既設定のキー入力信号又はキーマップ選択信号などによって特定の楽器が選択された場合、選択された楽器に対応するイメージを表示部１４１に出力するルーチン、表示部１４１に出力された楽器イメージのうちのユーザのタッチによってタッチイベントを生成する有効タッチ領域を決定するタッチパネル１４３のセッティングルーチン、タッチパネル１４３上に特定のタッチイベントが生成された場合、当該タッチイベントの位置情報と当該タッチイベントのタッチ面積の変化率を検出するルーチン、位置情報に対応する機能として所定の音や振動などの属性をタッチ面積の変化率によって変化させて出力するルーチンを含む。
また、楽器演奏サポートアプリケーションプログラムは、タッチ面積の変化率によって適用される属性をユーザが設定することができるように設定画面を提供する。これにより、ユーザは、設定画面を通じて特定の楽器イメージとタッチイベントの面積の変化率によるオーディオ出力属性又は特定の振動パターンの属性の定義を行うことができる。例えば、設定画面で楽器イメージとして“太鼓”が出力され、“太鼓”イメージのうちの皮が配置された部分が有効タッチ領域として設定された場合、ユーザは、ボリュームアップ／ダウンを調整し、所定の属性の太鼓の音を設定するか、又は所定の属性の太鼓振動パターンを設定する。この時、携帯端末機１００は、タッチイベント生成を所定の回数だけ繰り返して収集することによって、所定の属性の太鼓の音及び太鼓振動パターンのうちの少なくとも１つに対して平均的なタッチイベントマッピングを行う。ここで、ユーザは、タッチイベントの繰り返し生成時に、誤差率を低減するために繰り返されるタッチイベントに対して可能な限りの類似の力の大きさと速度によりタッチするようにすることが好ましい。このような方法で、ユーザは、様々なタッチイベント形態、例えば、一定の大きさ又は一定の大きさを超過する強い力又は速度がタッチツールに提供されて発生するタッチイベント形態、一定の大きさ又は一定の大きさ以下の力と一定の大きさを超過する速度がタッチツールに提供されて発生するタッチイベント形態、一定の大きさを超過する力が提供されるが、一定の大きさ以下の速度で発生するタッチイベント形態、一定の大きさ以下の力及び速度がタッチツールに提供されて発生するタッチイベント形態などを、様々な太鼓の音にマッピングするように制御することができる。実質的に様々なタッチイベント形態は、タッチ面積の変化率に対応するものであり、これについての詳細な説明は図面を参照して後述する。
データ領域は、携帯端末機１００の使用によって発生するデータが保存される領域であり、フォンブック情報、ウィゼット機能による少なくとも１つのアイコン及び様々なコンテンツを保存する。また、データ領域は、表示部１４１がタッチスクリーン１４０に含まれるように製作された場合、タッチスクリーン１４０を通じて入力されたユーザ入力を保存する。特に、本実施例のデータ領域は、特定の楽器に対応する様々なオーディオ信号及び様々な振動パターンのうちの少なくとも１つにマッピングされた特定のタッチイベント形態の情報又は特定のタッチ面積の変化率の情報などを保存する。即ちデータ領域は、タッチ面積の変化率によって行われる特定機能の属性変化を定義したデータを保存し、特定機能をサポートするアプリケーションプログラムの活性化時にデータを制御部１６０に提供する。ここで、データ領域は、特定のタッチイベントの発生時に当該タッチイベントによるタッチ面積の変化率を速くサンプリングし、これを認識するために、タッチ面積の変化率に対するモデリング情報を含む。
制御部１６０は、携帯端末機１００の各構成に対する電源供給を制御し、初期化過程を行うようにサポートし、初期化過程が完了すると、各構成に対して本実施例による楽器演奏サポートのためのユーザインターフェースの提供及び選択された楽器と生成されたタッチイベントによる特定のオーディオ信号及び振動出力のうちの少なくとも１つを制御する。制御部１６０については図２を参照して更に詳しく説明する。
図２は、本発明の一実施例による制御部１６０の構成について更に詳しく示したブロック図である。
図２を参照すると、本実施例の制御部１６０は、タッチ面積検出部１６１及び機能実行部１６３を含む。
タッチ面積検出部１６１は、タッチスクリーン１４０のタッチパネル１４３で発生したタッチイベントを収集する。この時、タッチ面積検出部１６１は、タッチイベントが発生した位置情報とタッチイベントが発生した面積の変化に対する情報を一緒に収集する。また、タッチ面積検出部１６１は、タッチ面積の変化率を追跡し、追跡したタッチ面積の変化率が既設定の特定のタッチ面積の変化率、例えば特定のタッチ面積の変化率モデリングと類似しているか否かを確認する。その後、タッチ面積検出部１６１は、追跡されたタッチ面積の変化率がモデリングされた特定のタッチ面積の変化率と類似の場合、当該モデリング情報を機能実行部１６３に伝達する。
機能実行部１６３は、タッチ面積検出部１６１が伝達するモデリング情報に対応する機能の実行を制御する。例えば、機能実行部１６３は、ユーザが楽器演奏のためのメニューを活性化し、特定の楽器を選択した場合、それに対応する楽器イメージを表示部１４１に出力するように制御する。また、機能実行部１６３は、タッチパネル１４３をセッティングし、楽器イメージの有効タッチ領域を決定する。その後、機能実行部１６３は、当該有効タッチ領域上で発生するタッチイベント方式によって特定のモデリング情報が伝達されると、当該モデリング情報に対応するオーディオ信号及び振動パターンのうちの少なくとも１つを出力するように制御する。この時、機能実行部１６３は、オーディオ信号及び振動パターンの属性をタッチ面積の変化率によって変化させて出力するように制御する。機能実行部１６３の機能の実行については以下で説明する図面を参照して例示的に説明する。
図３は、本発明の一実施例による楽器演奏のためのユーザインターフェースを示す図である。
図１〜図３を参照すると、本実施例の携帯端末機１００は、３０１画面のように、楽器演奏を選択することができるメニューを出力する。このために、ユーザは、メニュー画面出力のための入力信号を生成する。例えば、携帯端末機１００が楽器演奏項目を含むメニューに対応するメニューマップを出力すると、ユーザは、当該メニューを選択するタッチイベントを、タッチスクリーン１４０を基盤に生成する。一方、携帯端末機１００は、楽器演奏項目を直接的に選択することができるように当該項目を入力部１２０の特定キー又は特定のキーマップでタッチスクリーン１４０に出力する。これにより、ユーザは、特定キーを活性化するか、又は特定のキーマップを活性化することによって、楽器演奏項目を直接的に選択する。
次に、ユーザが楽器演奏項目を選択すると、例えば、３０１画面で３番に配置された楽器演奏項目を選択するためのタッチイベントなどの入力信号を生成し、携帯端末機１００は、３０３画面のように、楽器演奏項目に含まれるサブ項目を出力する。例えば、楽器演奏項目は、サブ項目として“太鼓”、“ピアノ”、“笛”などのようなサブ項目を含む。ここで、本実施例の楽器演奏項目は、上述した３個のサブ項目に限定されるものではなく、携帯端末機１００の機能サポートの有無によって更に様々な楽器を指示する項目を含むことができる。上述した様々なサブ項目が出力された状態で、ユーザは、特定項目、例えば１番項目である“太鼓”を選択するための入力信号を生成する。
これにより、携帯端末機１００は、３０５画面のように、“太鼓”項目に対応するイメージをタッチスクリーン１４０上に出力するように制御する。この時、携帯端末機１００は“太鼓”の全体イメージを表示部１４１に出力し、“太鼓”の全体イメージのうちの特定の部分、例えば“太鼓”の皮に該当する部分をタッチイベント発生のための有効タッチ領域１４として設定する。即ち携帯端末機１００は、タッチパネル１４３の領域のうちの有効タッチ領域１４のみをタッチイベント発生のための領域にセッティングする。これにより、ユーザが有効タッチ領域１４をタッチするタッチイベントを発生させた場合、携帯端末機１００は、“太鼓”を叩くことに対応するオーディオ信号を、オーディオ処理部１３０を通じて出力するように制御する。また、携帯端末機１００は、振動部１７０を制御し、“太鼓”を叩くことに対応する振動パターンを具現するように制御する。この時、携帯端末機１００は、オーディオ信号と振動パターンに対してユーザが発生させるタッチイベントのタッチ面積の変化率によってそれぞれ異なる信号及びパターンが適用されるように制御する。例えば、携帯端末機１００は、ユーザがタッチ領域１４に対して速くて且つ強いタッチイベントを生成した場合、速くて且つ強いタッチイベントに対応するオーディオ信号及び振動パターンのうちの少なくとも１つを出力するように制御する。携帯端末機１００が出力するオーディオ信号及び振動パターンに対しては図４〜図８で更に詳しく説明する。
一方、３０３画面でユーザが２番項目である“ピアノ”項目を選択した場合、携帯端末機１００は、３０７画面のように、“ピアノ”項目に対応するイメージを表示部１４１に出力するように制御すると共に、“ピアノ”の有効タッチ領域を、タッチパネル１４３を基盤にセッティングするように制御する。この時、“ピアノ”の場合、“ピアノ”イメージ全体が有効タッチ領域にセッティングされる。これにより、携帯端末機１００は、ユーザがピアノの鍵盤に対応する特定領域をタッチした場合、当該タッチ領域の位置情報を基盤にどんな鍵盤が押されたかを判断し、それに対応するオーディオ信号が出力されるように制御する。また、携帯端末機１００は、特定の鍵盤が押された場合、それに対応して特定の振動パターンが振動部１７０を通じて具現されるように制御する。この時、携帯端末機１００は、３０５画面の説明のように、鍵盤で発生するタッチイベントのタッチ面積の変化率によって出力されるオーディオ信号及び振動パターンの属性が異なるように設定する。即ちユーザがピアノイメージ上で特定の鍵盤が割り当てられたタッチパネル１４３領域を遅くて且つ軽くタッチするタッチイベントを生成した場合、携帯端末機１００は、遅くて且つ軽くタッチするタッチイベントによって当該鍵盤によるオーディオ信号の属性又は振動パターンの属性を変更して出力するように制御する。これについては図４〜図８を参照して更に詳しく説明する。
図４〜図８は、本発明の一実施例による様々なタッチ面積変化を説明するための図である。以下、図３と図４〜図８を参照して携帯端末機１００の運用を説明する。
図４は、携帯端末機１００のタッチスクリーン１４０上にユーザがタッチイベント発生のための指を利用する事例を例示的に示す図である。ここで、タッチスクリーン１４０のタッチのために指を利用する事例を例にして説明するが、本発明はこれに限定されるものではない。即ち指は、様々なツール、例えばシリコンで生成されるタッチツール、織物で生成されたタッチツールなどに代替させることができる。一方、ユーザがタッチスクリーン１４０の領域のうちの有効タッチ領域にセッティングされた特定の地点を指などのタッチツールを利用してタッチした場合、タッチ面積は、時間によって変化する。特にタッチ面積は、ユーザが指などのタッチツールに加える力と速度に対応してその変化が変わる。
例えば、ユーザが指を利用してタッチスクリーン１４０の有効タッチ領域をタッチしようとする時、既設定の力の大きさ以上でタッチしようとする場合、例えば、指を利用して有効タッチ領域を強く打とうとすると、携帯端末機１００は、図５のようなタッチ面積の増加変化を検出する。最初に指がタッチスクリーン１４０の表面に当接する直前状態を面積と時間の変化初期点として仮定して説明すると、携帯端末機１００は、所定の時間内に急速に増加するタッチ面積変化を検出する。また、ユーザがタッチ状態を維持する間、携帯端末機１００は、タッチ面積の変化がない状態を検出する。また、ユーザがタッチ状態を解除した場合、携帯端末機１００は、急激なタッチ面積の減少変化を検出する。言い換えると、ユーザが指などのタッチツールを利用して有効タッチ領域をタッチしながら、タッチツールが大きい力を受けるか、又は一定の大きさ以上の速い速度を有すると、短い時間の間にタッチ面積の増加変化とタッチ面積の減少変化が急激に発生する。これにより、携帯端末機１００は、タッチツールとタッチスクリーン１４０のタッチ面積の増加又は減少変化が短い時間の間に大きく発生した場合、それに対応するタッチ面積の変化を検出する。すると、携帯端末機１００は、当該タッチ面積の変化率に対応するオーディオ信号出力及び振動パターンを具現する。例えば、ユーザがタッチツールを利用して３０５画面での”太鼓”の有効タッチ領域を図５のようなタッチ面積の変化でタッチした場合、携帯端末機１００は、“太鼓”音のうちの“強く叩く時”に出力するオーディオ信号を出力するか、“強く叩く時”に対応する振動パターンを具現するように制御する。このため、携帯端末機１００は、“太鼓”音に対応するオーディオ信号と、タッチ面積変化率によるオーディオ信号の属性、即ち大きさの変化に対する情報を予め保存しておく。
図６は、ユーザがタッチツールを利用してタッチスクリーン１４０をタッチしながら“弱く叩く時”に対応するタッチ面積の変化を示す図である。ここで、“弱く叩く時”の意味は、ユーザが既設定の大きさ又は大きさ以下の力をタッチツールに加えるか、又はタッチツールが既設定の大きさ又は大きさ以下の速度をタッチツールが有するように制御する場合に対応する。図６を更に詳しく説明すると、タッチツールが球状の伸縮性を有する物質で構成され、タッチツールが既設定の大きさ又は大きさ以下の力又は速度でタッチスクリーン１４０をタッチした場合、タッチツールは、球状の一側がタッチスクリーン１４０と接触した後、加えられた力と方向又は速度と方向によって球状のタッチツールがタッチスクリーン１４０と接触する面積が漸進的に広くなる。この時、携帯端末機１００は、タッチツールが既設定の大きさ又は大きさ以下の速度や力を持ってタッチされることによって、当該タッチ面積の大きさの変化が図示したように緩慢な曲線を成す形態で検出される。一方、ユーザがタッチツールをタッチスクリーン１４０の表面から持ち上げた場合、即ちタッチ状態を解除した場合、一定の大きさ又は一定の速度を持ってタッチツールのタッチ状態を解除することによって、携帯端末機１００は、図示したように、短い時間の間に急激なタッチ面積の減少変化に対応する曲線を検出する。結果的にユーザが“弱く叩く時”に対応する動作をタッチスクリーン１４０上で行った場合、携帯端末機１００は、所定の時間の間に緩慢なタッチ面積の増加変化曲線を獲得し、タッチ解除時に、所定の時間の間に急激なタッチ面積の減少変化曲線を獲得する。ここで、ユーザが３０５画面でのような“太鼓”に対応する楽器演奏を行い、上述した“弱く叩く時”の動作を行うと、携帯端末機１００は、“太鼓”のオーディオ信号を出力するにあたって、“弱く叩く時”に対応する属性が適用されたオーディオ信号が出力されるように制御する。
図７は、“音を抑えて叩く時”に対応する動作をユーザがタッチスクリーン１４０上で行った時、携帯端末機１００が検出するタッチ面積の変化曲線を示す図である。図示したように、携帯端末機１００は、所定の時間の間に急激なタッチ面積の増加変化曲線と、図５に比べてタッチ面積の変化のない状態が長い曲線及び所定の時間の間に急激なタッチ面積の減少変化曲線を獲得する。これにより、携帯端末機１００は、当該タッチイベントが発生した位置に割り当てられたオーディオ信号を出力する時、“音を抑えて叩く時”に対応するオーディオ信号の属性で出力されるように制御する。
また、図８は、“短く音を切って叩く時”に対応する動作をユーザがタッチスクリーン１４０上で行った時、携帯端末機１００が検出するタッチ面積の変化曲線を示す図である。即ちユーザが既設定の大きさの力又は速度で指を含むタッチツールを利用してタッチスクリーン１４０をタッチした場合、携帯端末機１００は、図示したように、所定の時間の間にタッチ面積の増加が急激に発生した後、すぐに引き続いてタッチ面積の減少が急激に発生する曲線に対応するタッチ面積の変化を検出する。携帯端末機１００は、上述した“短く音を切って叩く時”に対応するタッチ面積の変化を検出した場合、当該タッチイベントが発生した位置に対応して出力されるオーディオ信号又は振動パターンに対して“短く音を切って叩く時”の効果を適用して出力するように制御する。例えば、３０５画面のように、“太鼓”のイメージが出力されてユーザが”太鼓”のイメージの有効タッチ領域１４上で“短く音を切って叩く時”に対応するタッチイベントを生成した場合、携帯端末機１００は、“太鼓”の音に対応するオーディオ信号を出力し、その際タッチ面積変化率に対応して短く音を切って叩くような効果を適用して出力するように制御する。
一方、上述した説明では、３０５画面の”太鼓”の楽器演奏を基準にして各タッチ面積の変化率によってオーディオ信号及び振動パターンのうちの少なくとも１つを出力することを説明したが、本発明はこれに限定されるものではない。即ち携帯端末機１００は、３０７画面で説明するピアノ楽器演奏に対してもタッチ面積の変化率によるオーディオ信号及び振動パターンの出力制御を行うことができる。例えば、携帯端末機１００は、ユーザが楽器演奏においてピアノを選択した場合、３０７画面のようなイメージ出力とタッチパネル１４３のセッティングを完了する。また、携帯端末機１００は、ピアノ鍵盤上で発生したタッチイベントに対して位置情報を確認し、どんな鍵盤が押されたかを確認すると共に、ユーザが鍵盤を押す形態によるタッチ面積の変化を確認し、タッチ面積の変化率によって当該鍵盤に対応するオーディオ信号の変化を適用するように制御する。例えば、ユーザがピアノ鍵盤のうち“ソ”に対応する鍵盤上でタッチイベントを発生させ、この時、“短く音を切って叩く”に対応するタッチ面積の変化のための動作を行うと、携帯端末機１００は、“ソ”に対応するオーディオ信号を出力しながら当該音が短く音を切って叩くような効果を持って出力されるように制御する。このように本実施例の携帯端末機１００は、オーディオ信号及び振動パターンのうちの少なくとも１つをタッチ面積の変化率によって属性を変化させて出力するように制御する。言い換えると、携帯端末機１００は、タッチ面積の変化率によってオーディオ信号の大きさを変化させて出力するか、オーディオ信号の出力時間を変化させて出力するか、又はオーディオ信号の音色を変化させて出力するように制御する。また、携帯端末機１００は、タッチ面積の変化率によって振動パターンの大きさを変化させて出力するか、振動パターンの具現時間を変化させて出力するか、又はタッチ面積の変化率によって振動パターンのパターンを変化させて出力するように制御する。ここで、携帯端末機１００は、オーディオ信号と振動パターンを同時に変化させて出力するように制御することもできる。
また、本実施例の携帯端末機１００は、楽器演奏機能において“ギター（ｇｕｉｔａｒ）”に対応するイメージを表示部１４１に出力し、その他の各弦に対応するイメージを有効タッチ領域に設定した後、当該有効タッチ領域で発生したタッチイベントによって出力される音及び振動パターンを具現することができる。この時、携帯端末機１００は、タッチイベントが発生した弦に対応する音や振動パターンの出力時に、タッチ面積の変化率によって上述したような該当音や振動パターンの属性を変化させて出力する機能をサポートする。
一方、上述した説明では、タッチ面積の変化率の検出時に、タッチ面積の増加変化状態、タッチ面積の減少変化状態、及びタッチ面積の維持状態の全体を検出するものとして説明したが、本発明はこれらに限定されるものではない。即ち本実施例の携帯端末機１００は、タッチ面積の増加変化状態の検出、タッチ面積の減少変化状態の検出、タッチ面積の維持状態の検出のうちの少なくとも１つの状態変化を検出し、それによって特定機能の実行において機能の属性を変化させるように制御することもできる。
例えば、携帯端末機１００は、タッチ面積の増加変化状態の検出時に、タッチ面積の増加が既設定の値に比べて相対的に急激に発生した場合、オーディオ信号の大きさを設定された値より大きく出力し、その際オーディオ信号の出力時間を短くするオーディオ属性を適用する。また、携帯端末機１００は、タッチ面積の増加変化状態の検出時に、タッチ面積の増加が既設定の値に比べて相対的に緩慢に発生した場合、オーディオ信号の大きさを設定された値より小さく出力し、その際オーディオ信号の出力時間を長くするオーディオ属性を適用する。また、携帯端末機１００は、タッチイベント発生後に面積変化がない場合、既設定のオーディオ信号の大きさを持続的に出力するようにオーディオ属性を適用する。このようなオーディオ属性の適用は、振動パターンに同様に適用することができる。即ち携帯端末機１００は、既設定の値よりタッチ面積の急激な変化が発生すると、振動パターンの大きさを既設定の値より強く出力し、その際出力時間を短く出力するように制御し、既設定の値よりタッチ面積の変化が緩慢な場合、振動パターンの大きさを既設定の値より弱く出力し、その際出力時間を長く出力するように制御する。また、携帯端末機１００は、タッチイベント発生後にタッチ面積の変化がない場合、既設定の大きさの振動パターンを持続的に出力するように制御する。
上述したように、本発明の一実施例による端末機のタッチ面積の変化率による運用装置は、タッチイベントの発生時にタッチイベントの位置情報に対応する機能を実行し、その際当該タッチイベントの発生によるタッチ面積の変化別に当該機能の属性を変化させて行うように制御する。これにより、携帯端末機１００は、単純に特定領域をタッチすることによる機能の実行をサポートするものではなく、当該タッチ領域上で発生するタッチ面積の変化率による機能の変化を適用することによって、更に様々な機能の実行、例えば様々なオーディオ信号及び振動パターンの実行をサポートする。
以上では、本発明の一実施例によるタッチ面積変化率による携帯端末機１００の運用の各構成と構成の役目について説明した。以下では、本発明の一実施例によるタッチ面積変化率による携帯端末機１００の運用方法について図面を参照して更に詳しく説明する。
図９は、本発明の一実施例による端末機のタッチ面積変化率による運用方法を説明するための流れ図である。
図１〜図９を参照すると、本発明の一実施例による端末機の運用方法は、先ず、電源が供給されると、供給された電源を利用して携帯端末機１００の制御部１６０は起動を完了し、段階５０１で、既設定のスケジュール情報によって待機画面を出力するように制御する。
その後、制御部１６０は、段階５０３で、入力部１２０又はタッチスクリーン１４０から発生する入力信号又はタッチイベントが楽器機能の活性化のための信号であるか否かを確認する。段階５０３で、楽器機能の活性化のための信号でない場合、制御部１６０は、段階５０５に分枝し、当該信号に対応する機能、例えば通話機能、ファイル検索機能、ファイル再生機能、ウェブ接続機能などの様々な機能を行うようにサポートする。
一方、段階５０３で、携帯端末機１００の制御部１６０は、生成された信号が楽器機能の活性化のための信号である場合、段階５０７に分枝し、特定の楽器に対応するタッチスクリーンのセッティングを行うように制御する。即ち、制御部１６０は、上述したように、ユーザが選択した楽器に対応するイメージを表示部１４１に出力し、イメージのうちの有効タッチ領域に設定する部分に対してタッチパネル１４３のセッティングを行うように制御する。
その後、制御部１６０は、段階５０９で、有効タッチ領域上で発生するタッチイベントの位置情報及び当該位置でのタッチ面積の変化率を検出するように制御する。また、制御部１６０は、段階５１１で、当該位置及びタッチ面積の変化率による振動又はオーディオ信号に対応する音を出力するように制御する。段階５１１については図１０を参照して更に詳しく説明する。一方、制御部１６０は、当該楽器機能が終了したか否かを５１３段階で確認し、終了のための入力信号発生がない場合、段階５０３以前に分枝し、以降の過程を繰り返して行うように制御する。
図１０は、図９の段階５１１を更に詳しく説明するための流れ図である。
図１〜図１０を参照すると、携帯端末機１００は、段階６０１で、保存部１５０に保存されたタッチ面積の変化率に対するモデリング情報を制御部１６０にアップロードする。タッチ面積の変化率に対するモデリング情報は、上述したように、様々なタッチイベント形態によるタッチ面積の変化率をモデリングした情報である。例えば、モデリング情報は、一定の大きさの力又は速度を有し、タッチツールがタッチスクリーン１４０を“強く叩く時”、“弱く叩く時”、“音を抑えて叩く時”、“音を切って叩く時”のようにタッチする場合に対応するタッチ面積の変化率を含む。ここで、タッチツールがタッチスクリーン１４０をタッチする形態に該当するモデリング情報は、設定画面を通じてユーザが事前に定義し登録することができる。
次に、携帯端末機１００の制御部１６０は、段階６０３で、現在タッチスクリーン１４０上で発生するタッチ面積の変化率に対応するモデリング情報を確認する。即ち制御部１６０は、モデリング情報中に現在発生するタッチ面積の変化率に対応するタッチイベント形態を判断する。
また、制御部１６０は、段階６０５で、確認されたモデリング情報による属性値を抽出するように制御する。ここで、モデリング情報による属性値は、事前に定義される。即ち携帯端末機１００は、モデリング情報が定義される時、各モデリング情報に対応するタッチイベント収集時に、どんな属性を付与すべきかを決定し、この過程で、ユーザが入力する情報によって当該属性を決定するか、別途の入力情報がない場合、ランダム又は既設定の情報によって属性を決定する。属性情報は、例えば、オーディオ信号の大きさの変化、オーディオ信号の出力時間の変化、オーディオ信号の音色の変化などを含む。また、属性情報は、例えば、振動部１７０の振動パターンの大きさの変化、振動パターンの出力時間の変化、振動パターンのパターン変化などを含む。
段階６０５で、モデリング情報に対応する属性値抽出が完了すると、制御部１６０は、段階６０７に移行し、抽出された属性によって振動及び音のうちの少なくとも１つに属性を適用して出力するように制御する。例えば、図５のようなタッチ面積の変化率が検出され、それに対応するモデリング情報が確認されると、制御部１６０は、属性値として振動又は音の大きさを既設定の値より一定の大きさだけ大きくして出力するように制御する。また、制御部１６０は、図６のようなタッチ面積変化率が検出された場合、属性適用の例として振動又は音の大きさを既設定の値より一定の大きさだけ小さくして出力するように制御する。即ち本実施例の携帯端末機１００は、タッチイベントが発生した位置に該当する機能実行時に、タッチ面積の変化率によって機能の属性を変化させ、変化した属性による機能の実行をサポートする。
上述したように、本発明の一実施例による携帯端末機１００のタッチ面積変化率による運用方法は、タッチイベントの発生時に、位置情報だけでなく、当該位置で発生するタッチ面積の変化率によってそれぞれ異なる機能を実行するようにサポートする。これにより、上述した説明では、楽器演奏の機能を基盤にタッチイベントの発生位置及びタッチ面積の変化率によるオーディオ信号又は振動パターンの出力を制御するものとして説明したが、本発明はこれに限定されるものではない。即ち本発明は、タッチスクリーン上で特定のタッチイベントの発生時に、発生したタッチイベントの位置にリンクされた機能を実行し、当該機能実行時に、タッチ面積の変化率によって機能の属性を変化させるようにサポートすることができる。例えば、ゲーム機能において“ビリヤード”のようなゲームがあると仮定し、キューを利用して特定の球を突く場合、携帯端末機１００は、ユーザのタッチイベントの発生によってキューを利用して特定の球を突くように行い、その際タッチ面積の変化率によって球を突く速度、方向、打法などが異なるように適用する。即ちユーザが図７のようなタッチ面積の変化率に対応するタッチイベントを生成した場合、携帯端末機１００は、“押し球”に対応する打法によって球を突くように制御し、図８は、“引き球”に対応する打法によって球を突くように制御する。その他、携帯端末機１００は、ユーザが発生させたタッチ面積の変化率によって、機能実行時に当該機能の属性をそれぞれ異なるように適用して制御する。このため、携帯端末機１００は、各ゲーム機能又はその他のユーザ機能に対してタッチ面積の変化率によって行うべき属性として予め定義した情報を保存部１５０に保存し、当該機能活性化時に、これをロードして当該機能実行をサポートする。
また、携帯端末機１００は、タッチ面積の変化率による機能の属性変化に対してモード選択によって適用することができるようにサポートする。即ちユーザがタッチ面積の変化率による機能属性の変化モードを活性化した場合、携帯端末機１００は、タッチイベントの発生時に、タッチ面積の変化を追跡し、当該タッチ面積の変化率による属性の変化をサポートする。また、携帯端末機１００は、モード設定がない場合、タッチイベントの種類のみを確認し、それに対応する機能の実行をサポートする。このため、携帯端末機１００は、モード設定のためのメニューを提供するか、又は当該モードの活性化及び不活性化のためのホットキー設定をサポートする。
一方、上述した携帯端末機１００は、その提供形態によって近距離通信のための近距離通信モジュール、被写体の静止画／動画を撮影するためのカメラモジュール、携帯端末機１００の有線通信方式又は無線通信方式によるデータ送受信のためのインターフェース、インターネットネットワークと通信してインターネット機能を実行するインターネット通信モジュール及びデジタル放送受信と再生機能を実行するデジタル放送モジュールなどのように言及していない構成を含むこともできる。このような構成要素は、デジタル機器のコンバージョンス（ｃｏｎｖｅｒｇｅｎｃｅ）傾向によって変形が非常に多様で、全て列挙することはできないが、言及した構成要素と同等な水準の構成要素をデバイスに追加的に更に含んで構成することができる。また、本実施例の携帯端末機１００は、その提供形態によって上述した構成から特定構成が除外されるか、他の構成に代替することもできることは勿論である。これは、本技術分野における通常の知識を有する者には容易に理解される。
また、本発明の一実施例による携帯端末機１００は、タッチ面積の変化率を追跡し、それによる機能の属性変化をサポートする全ての形態のデバイスを含むことができる。例えば、携帯端末機１００は、様々な通信システムに対応する通信プロトコル（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ）に基づいて作動する全ての移動通信端末機（ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｅｒｍｉｎａｌｓ）を含め、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、デジタル放送プレーヤー、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、音楽再生機（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末、スマートフォン、ノートパソコン、及びハンドヘルドパソコンなど全ての情報通信機器とマルチメディア機器及びその応用機器を含む。
以上、図面を参照しながら本発明を説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
１００ 携帯端末機
１１０ 無線周波数部
１２０ 入力部
１３０ オーディオ処理部
１４０ タッチスクリーン
１４１ 表示部
１４３ タッチパネル
１５０ 保存部
１６０ 制御部
１６１ タッチ面積検出部
１６３ 機能実行部
１７０ 振動部

Claims (15)

  1. タッチスクリーンの有効タッチ領域にユーザが選択した機能に対応するキーマップイメージを出力する過程と、
    前記有効タッチ領域へのタッチイベント発生時に該タッチイベントの発生位置を検出する過程と、
    前記検出された位置で前記タッチイベントによるタッチ面積の変化率を検出する変化率検出過程と、
    前記検出された位置にリンクされた機能を実行する際に、前記タッチ面積の変化率によって該機能の属性を変化させて実行する機能実行過程と、を有し、
    前記タッチ面積の変化率によって実行される特定機能の属性変化をユーザが定義する過程と、
    前記ユーザが定義した特定機能の属性変化のデータを保存する過程と、
    前記特定機能をサポートするアプリケーションプログラムの活性化時に前記属性変化のデータをロードする過程と、を更に含むことを特徴とする端末機のタッチ面積変化率による運用方法。
  2. 前記変化率検出過程は、
    タッチによるタッチ面積の増加変化状態を検出する過程と、
    タッチによるタッチ面積の減少変化状態を検出する過程と、
    タッチ面積の維持状態を検出する過程と、のうちの少なくとも１つの過程を含むことを特徴とする請求項１に記載の端末機のタッチ面積変化率による運用方法。
  3. 前記機能実行過程は、
    楽器演奏機能によって特定の楽器イメージを表示部に出力する過程と、
    前記楽器イメージのうちの特定領域をタッチイベント発生のための有効タッチ領域に設定する過程と、
    前記有効タッチ領域上でタッチイベントの発生時、タッチイベントが発生した位置に対応するオーディオ信号及び振動パターンのうちの少なくとも１つを出力する際に、前記タッチ面積の変化によって該オーディオ信号及び振動パターンのうちの少なくとも１つの属性を変化させて出力する出力過程と、を含むことを特徴とする請求項１に記載の端末機のタッチ面積変化率による運用方法。
  4. 前記出力過程は、
    前記タッチ面積の変化率によって前記オーディオ信号の大きさを変化させて出力する過程と、
    前記タッチ面積の変化率によって前記オーディオ信号の出力時間を変化させて出力する過程と、
    前記タッチ面積の変化率によって前記オーディオ信号の音色を変化させて出力する過程と、のうちの少なくとも１つの過程を含むことを特徴とする請求項３に記載の端末機のタッチ面積変化率による運用方法。
  5. 前記出力過程は、
    前記タッチ面積の増加が既設定の値に比べて相対的に急激に発生した場合、前記オーディオ信号の大きさを設定された値より大きく出力すると共に、該オーディオ信号の出力時間を短くするオーディオ属性を適用する過程と、
    前記タッチ面積の増加が既設定の値に比べて相対的に緩慢に発生した場合、前記オーディオ信号の大きさを設定された値より小さく出力すると共に、該オーディオ信号の出力時間を長くするオーディオ属性を適用する過程と、
    前記タッチイベント発生後にタッチ面積の変化がない場合、既設定のオーディオ信号の大きさを持続的に出力するオーディオ属性を適用する過程と、を含むことを特徴とする請求項４に記載の端末機のタッチ面積変化率による運用方法。
  6. 前記出力過程は、
    前記タッチ面積の変化率によって前記振動パターンの大きさを変化させて出力する過程と、
    前記タッチ面積の変化率によって前記振動パターンの具現時間を変化させて出力する過程と、
    前記タッチ面積の変化率によって前記振動パターンのパターンを変化させて出力する過程と、のうちの少なくとも１つの過程を含むことを特徴とする請求項３に記載の端末機のタッチ面積変化率による運用方法。
  7. 前記出力過程は、
    前記タッチ面積の変化が既設定の値より急激に発生した場合、前記振動パターンの大きさを既設定の値より強く出力すると共に、該振動パターンの出力時間を短く出力するように制御する過程と、
    前記タッチ面積の変化が既設定の値より緩慢に発生した場合、前記振動パターンの大きさを既設定の値より弱く出力すると共に、該振動パターンの出力時間を長く出力するように制御する過程と、
    前記タッチイベント発生後にタッチ面積の変化がない場合、既設定の振動パターンの大きさを持続的に出力するように制御する過程と、を含むことを特徴とする請求項６に記載の端末機のタッチ面積変化率による運用方法。
  8. タッチによるタッチイベントを発生させるタッチスクリーンと、
    前記タッチスクリーンの有効タッチ領域にユーザが選択した機能に対応するキーマップイメージを出力して前記有効タッチ領域への前記タッチイベント発生時に該タッチイベントの位置情報及び該タッチイベント発生によるタッチ面積の変化率を検出し、前記位置情報にリンクされた機能を実行する際に、前記タッチ面積の変化率によって該機能の属性を変化させて実行するように制御する制御部と、
    前記タッチ面積の変化率によって実行されるユーザが定義した特定機能の属性変化のデータを保存する保存部と、を備え、
    前記制御部は、
    前記特定機能のサポートのためのアプリケーションプログラムが活性化されると、前記ユーザが定義した特定機能の属性変化のデータをロードすることを特徴とする端末機のタッチ面積変化率による運用装置。
  9. 前記制御部は、
    前記タッチ面積の増加変化状態、前記タッチ面積の減少変化状態、及び前記タッチ面積の維持状態のうちの少なくとも１つの状態を検出することを特徴とする請求項８に記載の端末機のタッチ面積変化率による運用装置。
  10. 前記タッチスクリーンは、
    楽器演奏機能によって特定の楽器イメージを出力する表示部と、
    前記楽器イメージのうちの特定領域をタッチイベント生成のための有効タッチ領域に設定するタッチパネルと、を含むことを特徴とする請求項８に記載の端末機のタッチ面積変化率による運用装置。
  11. 前記有効タッチ領域上でタッチイベントの発生時に、タッチイベントが発生した位置に対応するオーディオ信号を出力するオーディオ処理部と、
    前記有効タッチ領域上でタッチイベントの発生時に、タッチイベントが発生した位置に対応する振動パターンを出力する振動部と、のうちの少なくとも１つを更に含むことを特徴とする請求項１０に記載の端末機のタッチ面積変化率による運用装置。
  12. 前記制御部は、
    前記オーディオ信号出力時に、前記タッチ面積の変化によって前記オーディオ信号の大きさ、出力時間、音色のうちの少なくとも１つの属性を変化させて出力するように制御することを特徴とする請求項１１に記載の端末機のタッチ面積変化率による運用装置。
  13. 前記制御部は、
    前記タッチ面積の増加が既設定の値に比べて相対的に急激に発生した場合、前記オーディオ信号の大きさを設定された値より大きく出力すると共に、該オーディオ信号の出力時間を短くするオーディオ属性を適用するように制御し、
    前記タッチ面積の増加が既設定の値に比べて相対的に緩慢に発生した場合、前記オーディオ信号の大きさを設定された値より小さく出力すると共に、該オーディオ信号の出力時間を長くするオーディオ属性を適用するように制御し、
    前記タッチイベント発生後にタッチ面積の変化がない場合、既設定のオーディオ信号の大きさを持続的に出力するオーディオ属性を適用するように制御することを特徴とする請求項１２に記載の端末機のタッチ面積変化率による運用装置。
  14. 前記制御部は、
    前記振動パターン出力時に、前記タッチ面積の変化率によって前記振動パターンの大きさ、具現時間、及びパターンのうちの少なくとも１つの属性を変化させて出力するように制御することを特徴とする請求項１１に記載の端末機のタッチ面積変化率による運用装置。
  15. 前記制御部は、
    前記タッチ面積の変化が既設定の値より急激に発生した場合、前記振動パターンの大きさを既設定の値より強く出力すると共に、該振動パターンの出力時間を短く出力するように制御し、
    前記タッチ面積の変化が既設定の値より緩慢に発生した場合、前記振動パターンの大きさを既設定の値より弱く出力すると共に、該振動パターンの出力時間を長く出力するように制御し、
    前記タッチイベント発生後にタッチ面積の変化がない場合、既設定の振動パターンの大きさを持続的に出力するように制御することを特徴とする請求項１４に記載の端末機のタッチ面積変化率による運用装置。

JP2010273806A 2009-12-08 2010-12-08 端末機のタッチ面積変化率による運用方法及び装置 Expired - Fee Related JP5685068B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090121189A KR101657963B1 (ko) 2009-12-08 2009-12-08 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치
KR10-2009-0121189 2009-12-08

Publications (2)

Publication Number Publication Date
JP2011123888A JP2011123888A (ja) 2011-06-23
JP5685068B2 true JP5685068B2 (ja) 2015-03-18

Family

ID=44081552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010273806A Expired - Fee Related JP5685068B2 (ja) 2009-12-08 2010-12-08 端末機のタッチ面積変化率による運用方法及び装置

Country Status (4)

Country Link
US (1) US9619025B2 (ja)
JP (1) JP5685068B2 (ja)
KR (1) KR101657963B1 (ja)
CN (1) CN102087559A (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5889519B2 (ja) * 2010-06-30 2016-03-22 京セラ株式会社 触感呈示装置および触感呈示装置の制御方法
KR101679239B1 (ko) * 2010-07-06 2016-11-24 삼성전자주식회사 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
KR101836381B1 (ko) * 2011-01-28 2018-03-08 삼성전자주식회사 터치스크린 단말기에서 화면 디스플레이 제어 방법 및 장치
US20130321322A1 (en) * 2011-02-25 2013-12-05 Lg Electronics Inc. Mobile terminal and method of controlling the same
US8809665B2 (en) * 2011-03-01 2014-08-19 Apple Inc. Electronic percussion gestures for touchscreens
JPWO2012137946A1 (ja) * 2011-04-06 2014-07-28 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
KR101962445B1 (ko) 2011-08-30 2019-03-26 삼성전자 주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 사용자 인터페이스 제공 방법
TW201316240A (zh) * 2011-10-06 2013-04-16 Rich Ip Technology Inc 利用圖形用戶介面影像之觸碰處理方法及系統
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US9761209B2 (en) 2011-10-31 2017-09-12 Smule, Inc. Synthetic musical instrument with touch dynamics and/or expressiveness control
JP6021335B2 (ja) 2011-12-28 2016-11-09 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN103186750B (zh) * 2011-12-28 2017-04-12 富泰华工业（深圳）有限公司 可防盗的触摸型便携式装置及防盗方法
GB2514270B (en) 2012-03-06 2019-11-06 Apple Inc Determining the characteristic of a played note on a virtual instrument
US10437392B2 (en) 2012-07-05 2019-10-08 Samsung Electronics Co., Ltd. Apparatus and method for detecting hard and soft touch by using acoustic sensors
WO2014034550A1 (ja) * 2012-08-31 2014-03-06 日本電気株式会社 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
CN103019497B (zh) * 2012-12-28 2015-11-25 华为终端有限公司 触摸定位方法、装置及触摸终端
JP2014131133A (ja) * 2012-12-28 2014-07-10 Kyocera Document Solutions Inc 操作入力装置、情報処理装置
DE102013002430B4 (de) * 2013-02-10 2015-04-02 tado GmbH Verfahren zum Ein-und Ausschalten eines Nachtmodus einer Heizungs-und/oder Klimaanlage
KR102272107B1 (ko) * 2013-03-18 2021-07-05 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 방법
KR101467852B1 (ko) * 2013-05-13 2014-12-02 (주) 아인전자 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜
CN104375625B (zh) * 2013-08-12 2018-04-27 联想(北京)有限公司 一种识别方法及电子设备
KR102186393B1 (ko) 2014-01-02 2020-12-03 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
KR20160017461A (ko) * 2014-08-06 2016-02-16 삼성전자주식회사 악기 연주 제어 장치 및 그 방법
KR102395515B1 (ko) 2015-08-12 2022-05-10 삼성전자주식회사 가상 악기의 연주 방법 및 이를 지원 하는 장치
WO2017053949A1 (en) * 2015-09-24 2017-03-30 Smule, Inc. Synthetic musical instrument with touch dynamics and/or expressiveness control
US9740352B2 (en) * 2015-09-30 2017-08-22 Elo Touch Solutions, Inc. Supporting multiple users on a large scale projected capacitive touchscreen
KR101784420B1 (ko) * 2015-10-20 2017-10-11 연세대학교 산학협력단 감압 센서를 구비한 터치 스크린을 이용한 사운드 모듈레이션 장치 및 그 방법
CN106952532B (zh) * 2016-01-06 2019-08-23 施政 节奏感培养器
JP6734094B2 (ja) * 2016-03-29 2020-08-05 株式会社河合楽器製作所 電子鍵盤楽器
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system
US10866642B2 (en) 2016-03-31 2020-12-15 Sensel Inc. System and method for detecting and responding to touch inputs with haptic feedback
WO2017173386A1 (en) 2016-03-31 2017-10-05 Sensel Inc. Human-computer interface system
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
US10564839B2 (en) 2016-03-31 2020-02-18 Sensel Inc. Method for detecting and characterizing inputs on a touch sensor surface
EP3343324B1 (en) * 2016-12-27 2021-06-09 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
US10170088B2 (en) * 2017-02-17 2019-01-01 International Business Machines Corporation Computing device with touchscreen interface for note entry
CN106909225A (zh) * 2017-03-02 2017-06-30 北京小米移动软件有限公司 振动方法及装置
JP6795459B2 (ja) * 2017-06-05 2020-12-02 株式会社クボタ 作業車両の停止システム及びそれを具備する作業車両
PL3477453T3 (pl) * 2017-10-31 2020-06-01 Sanko Tekstil Isletmeleri San. Ve Tic. A.S. Sposób identyfikacji rodzajów zdarzeń gestów na tekstylnym czujniku płytki dotykowej
JP6973036B2 (ja) * 2017-12-25 2021-11-24 カシオ計算機株式会社 操作状態検出装置、操作状態検出用シート及び電子楽器
US11032406B2 (en) * 2019-10-25 2021-06-08 Mymee Inc. Smartphone case with separate computer hardware for recording private health-related data
DE102020107752A1 (de) 2020-03-20 2021-09-23 Daimler Ag Verfahren und Vorrichtung zur Auswahl von auf einem Bildschirm angezeigten Eingabefeldern und/oder zur Aktivierung von auf dem Bildschirm in einem ausgewählten Eingabefeld angezeigten Eingabeinhalten durch manuelle Eingaben

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5099738A (en) * 1989-01-03 1992-03-31 Hotz Instruments Technology, Inc. MIDI musical translator
EP1855267B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
EP1326228B1 (en) * 2002-01-04 2016-03-23 MediaLab Solutions LLC Systems and methods for creating, modifying, interacting with and playing musical compositions
US7129405B2 (en) * 2002-06-26 2006-10-31 Fingersteps, Inc. Method and apparatus for composing and performing music
US8242344B2 (en) * 2002-06-26 2012-08-14 Fingersteps, Inc. Method and apparatus for composing and performing music
US7786366B2 (en) * 2004-07-06 2010-08-31 Daniel William Moffatt Method and apparatus for universal adaptive music system
US7723603B2 (en) * 2002-06-26 2010-05-25 Fingersteps, Inc. Method and apparatus for composing and performing music
US20040137984A1 (en) * 2003-01-09 2004-07-15 Salter Hal C. Interactive gamepad device and game providing means of learning musical pieces and songs
WO2005076117A1 (ja) 2004-02-10 2005-08-18 Takuya Ogihara タッチスクリーン式入力装置
EP1812892B1 (en) * 2004-08-02 2010-09-29 Koninklijke Philips Electronics N.V. Touch screen with pressure-dependent visual feedback
JP2006085687A (ja) 2004-08-19 2006-03-30 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
US20060050062A1 (en) 2004-08-19 2006-03-09 Masanori Ozawa Input device
JP2006127486A (ja) * 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
US20060066589A1 (en) 2004-09-29 2006-03-30 Masanori Ozawa Input device
JP2006127488A (ja) 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
US20060066590A1 (en) 2004-09-29 2006-03-30 Masanori Ozawa Input device
JP4636845B2 (ja) * 2004-10-07 2011-02-23 任天堂株式会社 ゲーム装置およびゲームプログラム
JP2008529093A (ja) 2005-02-02 2008-07-31 オーディオブラクス インダストリア エ コメルシオ デ プロデュトス エレトロニコス ソシエダ アノニマ 楽器機能付携帯通信装置
US7692637B2 (en) * 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
US8018440B2 (en) * 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
DE102006008260B3 (de) * 2006-02-22 2007-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Analyse eines Audiodatums
DE102006008298B4 (de) * 2006-02-22 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Notensignals
TWI328185B (en) * 2006-04-19 2010-08-01 Lg Electronics Inc Touch screen device for potable terminal and method of displaying and selecting menus thereon
EP2045796A4 (en) 2006-07-03 2012-10-24 Plato Corp PORTABLE DEVICE FOR GENERATING AGREEMENTS, COMPUTER PROGRAM, AND RECORDING MEDIUM
US8120584B2 (en) * 2006-12-21 2012-02-21 Cypress Semiconductor Corporation Feedback mechanism for user detection of reference location on a sensing device
US7973778B2 (en) * 2007-04-16 2011-07-05 Microsoft Corporation Visual simulation of touch pressure
JP2009048245A (ja) * 2007-08-14 2009-03-05 Konami Digital Entertainment:Kk 入力受付装置、領域制御方法、および、プログラム
KR101424259B1 (ko) * 2007-08-22 2014-07-31 삼성전자주식회사 휴대단말에서 입력 피드백 제공 방법 및 장치
JP5056338B2 (ja) * 2007-10-18 2012-10-24 ヤマハ株式会社 鍵盤装置
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
US9170649B2 (en) * 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US20090237374A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Transparent pressure sensor and method for using
KR20090111943A (ko) * 2008-04-23 2009-10-28 주식회사 케이티테크 터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법
US8659555B2 (en) * 2008-06-24 2014-02-25 Nokia Corporation Method and apparatus for executing a feature using a tactile cue
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
JP5100556B2 (ja) * 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
JP4600548B2 (ja) * 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
KR101488257B1 (ko) * 2008-09-01 2015-01-30 삼성전자주식회사 휴대단말기의 터치스크린을 이용한 작곡 방법 및 장치
JP5191321B2 (ja) * 2008-09-02 2013-05-08 株式会社ジャパンディスプレイウェスト 情報入力装置、情報入力方法、情報入出力装置および情報入力プログラム
KR101527014B1 (ko) * 2008-12-02 2015-06-09 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
CN101465121B (zh) 2009-01-14 2012-03-21 苏州瀚瑞微电子有限公司 触摸式虚拟电子琴的实现方法
KR101554221B1 (ko) * 2009-05-11 2015-09-21 삼성전자주식회사 휴대단말기를 이용한 악기 연주 방법 및 장치
US8593415B2 (en) * 2009-06-19 2013-11-26 Lg Electronics Inc. Method for processing touch signal in mobile terminal and mobile terminal using the same
KR101755051B1 (ko) * 2009-07-22 2017-07-06 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
US8363020B2 (en) * 2009-08-27 2013-01-29 Symbol Technologies, Inc. Methods and apparatus for pressure-based manipulation of content on a touch screen
US8988191B2 (en) * 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
US8390583B2 (en) * 2009-08-31 2013-03-05 Qualcomm Incorporated Pressure sensitive user interface for mobile devices
KR20110028834A (ko) * 2009-09-14 2011-03-22 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 터치 압력을 이용한 사용자 인터페이스 제공 방법 및 장치
US8626324B2 (en) * 2010-09-17 2014-01-07 Apple Inc. Altering sound output on a virtual music keyboard
US8516386B2 (en) * 2010-09-29 2013-08-20 Apple Inc. Scrolling virtual music keyboard
KR20120110928A (ko) * 2011-03-30 2012-10-10 삼성전자주식회사 음원처리 장치 및 방법

Also Published As

Publication number Publication date
CN102087559A (zh) 2011-06-08
KR101657963B1 (ko) 2016-10-04
US9619025B2 (en) 2017-04-11
JP2011123888A (ja) 2011-06-23
US20110134061A1 (en) 2011-06-09
KR20110064530A (ko) 2011-06-15

Similar Documents

Publication Publication Date Title
JP5685068B2 (ja) 端末機のタッチ面積変化率による運用方法及び装置
JP7542095B2 (ja) 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
JP6000268B2 (ja) タッチ制御方法及びこれを支援する携帯端末機
JP6504809B2 (ja) 触覚的に動作可能とされる映写されたユーザインターフェースのためのシステム及び方法
KR101566379B1 (ko) 입력 신호 종류 별 사용자 기능 활성화 방법 및 이를 지원하는 휴대 단말기
KR101468250B1 (ko) 최종 사용자 장치 상의 햅틱 효과 커스터마이징
RU2604990C2 (ru) Способ действия терминала на основе множественных вводов и поддерживающий его портативный терминал
KR101650339B1 (ko) 휴대 단말기의 문자 입력 방법 및 이를 지원하는 휴대 단말기
US20090179867A1 (en) Method for providing user interface (ui) to display operating guide and multimedia apparatus using the same
US20080238886A1 (en) Method for providing tactile feedback for touch-based input device
KR20110047409A (ko) 터치 락 상태를 가지는 휴대 단말기 및 이의 운용 방법
US20150046808A1 (en) Apparatus and method for multilayered music playback
CN101943997A (zh) 一种实现触摸屏终端发出操作提示音的方法及终端
KR20110064629A (ko) 휴대 단말기의 보조키맵 운용 방법 및 장치
WO2017218409A1 (en) Devices, methods, and graphical user interfaces for providing haptic feedback
CN109669612A (zh) 移动终端控制方法、装置、移动终端及存储介质
KR100650890B1 (ko) 음악 연주 장치를 가지는 이동통신 단말기 및 그단말기에서의 음악 연주 방법
TW201838392A (zh) 功能型手機及其操作方法
CN109219790A (zh) 用于删除用户界面中的对象的装置、方法和图形用户界面
KR20140102066A (ko) 전자 기기에서의 자판 입력 효과 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JPWO2008139550A1 (ja) 入力インタフェース装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150116

R150 Certificate of patent or registration of utility model

Ref document number: 5685068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees