JP7043166B2 - 表示制御装置、表示制御システム及び表示制御方法 - Google Patents

表示制御装置、表示制御システム及び表示制御方法 Download PDF

Info

Publication number
JP7043166B2
JP7043166B2 JP2016184006A JP2016184006A JP7043166B2 JP 7043166 B2 JP7043166 B2 JP 7043166B2 JP 2016184006 A JP2016184006 A JP 2016184006A JP 2016184006 A JP2016184006 A JP 2016184006A JP 7043166 B2 JP7043166 B2 JP 7043166B2
Authority
JP
Japan
Prior art keywords
display
vibration
predetermined range
predetermined
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016184006A
Other languages
English (en)
Other versions
JP2018049432A5 (ja
JP2018049432A (ja
Inventor
広修 諸藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2016184006A priority Critical patent/JP7043166B2/ja
Priority to DE102017121342.2A priority patent/DE102017121342A1/de
Priority to US15/705,522 priority patent/US20180081443A1/en
Priority to CN201710856261.7A priority patent/CN107861653A/zh
Publication of JP2018049432A publication Critical patent/JP2018049432A/ja
Publication of JP2018049432A5 publication Critical patent/JP2018049432A5/ja
Application granted granted Critical
Publication of JP7043166B2 publication Critical patent/JP7043166B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Navigation (AREA)

Description

本発明は、表示制御装置、表示制御システム及び表示制御方法に関する。
従来、タッチパネルをLCD(Liquid Crystal Display)等の表示デバイスに重畳させて備え、ユーザが表示デバイス上に表示されたアイコンやメニュー等のオブジェクトに対して表示面(操作面)に触れて操作を行った際、この接触位置の座標をタッチパネルで検出し、前記オブジェクトに対する操作情報として受け付ける装置が知られている。また、表示デバイスとは別体にタッチパッドを備え、ユーザがタッチパッドに触れて入力操作を行った際、この接触位置の座標をタッチパッドで検出し、この入力操作に応じて表示デバイス上のカーソルを移動させ、このカーソルによって操作対象のオブジェクトを選択する装置が知られている。
特開2010-9321号公報
ユーザが、車両を運転中に車載装置への入力操作を行う場合、視覚だけでなく、操作ボタンを触覚によって探り、操作を行うことがある。しかし、上記のようにタッチパネルやタッチパッドで入力を行う装置では、入力面が起伏のない平面となっている場合が多く、ユーザは、触感によってボタン等のオブジェクト(操作対象)を認識することができない。
このため、ユーザ入力を受け付けるタッチ検出手段の検出面上に複数の操作ボタン領域を割り当て、ユーザが操作ボタン領域に触れられたことに応じて装置を振動させることにより、ユーザが、その振動によって操作ボタン領域の存在を把握できるようにした入力装置が提案されている(特許文献1)。
このようにユーザが操作ボタン領域に触れているか否かによって装置を振動させる場合、ユーザは振動の有無によって操作ボタン領域に達したか否かを判断することになるため、従来の物理的なボタンを触覚によって探る場合と大きく異なり、直感的に判断することができないという問題点があった。
また、装置を振動させる場合、スマートフォンのように携帯型の装置であれば、ユーザが振動を把握し易いが、据え付け型の装置に適用した場合、ユーザが装置の振動を把握するのが難しくなってしまう。更に、車載装置のように、走行による振動が発生する環境においては、操作ボタン領域に触れた際の振動と走行による振動の区別が困難になることが考えられる。
そこで本発明は、操作位置が所定の位置へ達したことをユーザが明確に把握できるように触感を呈示する技術の提供を課題とする。
本発明の表示制御装置は、上述した課題を解決するため、
表示部の表示面に操作対象のオブジェクトを表示させ、前記表示面と対応付けた操作面
に対するユーザの操作を受け付ける表示制御装置であって、
前記表示部に前記オブジェクトを表示させる表示制御部と、
前記操作面に対する接触を検出する検出部の検出結果に基づいて、前記表示面上の前記オブジェクトに対する操作を受け付ける操作受付部と、
前記操作受付部で受け付けた操作が、前記表示面上に定められた所定範囲の外側から当該所定範囲の内側へのスライド操作の場合に、前記操作面を振動させる振動部を制御し、前記スライド操作が前記所定範囲の内側に達した時に前記操作面を所定の振動状態で振動させる振動制御部と、を備える。
本発明によれば、操作位置が所定の位置へ達したことをユーザが明確に把握できるように触感を呈示する技術を提供することができる。
図1は、本実施形態に係る表示制御システムの構成の一例を示す図である。 図2は、本実施形態に係る表示制御システムの機能ブロック図である。 図3は、タッチパッドの概略図である。 図4は、操作面の振動による触感の変化の説明図である。 図5は、表示部に操作対象のオブジェクトを表示した例を示す図である。 図6は、スライド操作に応じて操作面を振動させる際の振動量の変化を説明する説明図である。 図7は、スライド操作に応じて操作面を振動させる際の振動量の変化を説明する説明図である。 図8は、カーソルが所定範囲の内側から外側へ操作された例を示す図である。 図9は、表示制御装置のハードウェア構成の一例を示す図である。 図10は、表示制御装置が実行する表示制御方法の処理手順の一例を示す図である。 図11は、表示部に操作対象のオブジェクトを表示した例を示す図である。
以下、図面を参照して本発明の実施形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
〈実施形態1〉
〈システム構成〉
図1は、本実施形態に係る表示制御システムの構成の一例を示す図、図2は、本実施形態に係る表示制御システムの機能ブロック図、図3は、タッチパッド2の概略図である。図1、2に例示の表示制御システム1は、車両に搭載したオーディオ・ビジュアル・ナビゲーション一体型の電子機器(以下、AVN機とも称す)100と、フロントガラス110の車内側に表示内容が映し出されるHUD(Head-Up Display)120と、HUD12
0に表示させたオブジェクトに対する操作を入力するタッチパッド2とを備える。また、AVN機100は、本実施形態に係る表示制御装置10を備える。
HUD120には、AVN機100や車両のECU(不図示)から提供される情報を表示する。例えば、アイコンやメニュー等の選択肢や、これらを選択するためのカーソルといったタッチパッド2の操作対象となるオブジェクトが表示される。
タッチパッド2は、HUD120やAVN機100とは別体に設けられ、例えば、セン
ターコンソールに配置される。なお、タッチパッド2は、センターコンソールに限らず、シフトノブやステアリング等、ユーザが操作可能な位置であれば他の位置に設けられてもよい。
タッチパッド2は、筐体2dの上部に設けられた操作面2aに接触されたユーザの指等の接触位置やその変化を操作情報として検出する入力デバイス(検出部)である。タッチパッド2は、操作面2aに接触させたユーザの指等の接触位置が、例えば、タッチパッド2の左上角部を原点として、左右方向をX軸、上下方向をY軸とした二次元座標(X,Y)として入力される。タッチパッド2で検出された接触位置の座標は、例えば、10msといった一定の周期間隔で表示制御装置10に入力される。これによりユーザが操作面上をなぞるようにスライド操作を行い、接触位置を変化させた場合、タッチパッド2が、この接触位置の座標を順次表示制御装置10に入力するので、表示制御装置10は、この接触位置の座標変化により、スライド操作の方向やスライド量(移動量)を操作情報として受け付ける。例えば、表示制御装置10は、HUD120の表示面とタッチパッド2の操作面2aを対応付け、操作面2aに対するスライド操作が行われた場合、HUD120に表示するカーソルの位置を移動させる。これによりタッチパッド2は、HUD120に表示するオブジェクトに対する操作の位置を指定するポインティングデバイスとして機能す
る。また、タッチパッド2は、操作面2aに対する押圧やタップ等操作を検出し、例えばカーソルによって指定した位置のオブジェクトを選択する操作(以下、選択操作とも称す)として表示制御装置10に入力してもよい。なお、選択操作は、操作面2aに対する操作に限らず、操作面2aの近傍に物理的な操作ボタンを設け、この操作ボタンが押されたことを示す情報を選択操作として表示制御装置10に入力する構成としてもよい。
また、タッチパッド2は、操作面を振動させて、接触したユーザの指等に対してザラツキ感やツルツル感といった触感を与えるデバイスである。タッチパッド2は、操作面の一部、例えば四隅にピエゾ素子2b等の圧電素子を備え、ピエゾ素子2bに対して所定の電圧値を印加するためのピエゾ駆動回路2cを筐体2d内に備えている。操作面2aとピエゾ素子2bは、本実施形態の振動部の一形態である。例えば、ピエゾ駆動回路2cは、ピエゾ素子2bを人の可聴域を超えた周波数であって、操作面2aを共振させる周波数Foで振動させるように変調した駆動電流をピエゾ素子2bへ供給する。
例えば、操作面2aを低い周波数で振動させた場合、操作面2aに触れたユーザは、操作面2aが振動していることを知覚できるが、振動の周波数を所定の周波数よりも高くすると、操作面2aに触れても振動を知覚しにくくなってくる。このように高い周波数で操作面2aを振動させた状態で操作面2aに触れスライド操作を行うと、スライドした際の抵抗感を少なくすることができる。即ち、スライド操作したユーザにツルツルとした触感を呈示できる。本実施形態では、ピエゾ駆動回路2cによってピエゾ素子2bを駆動することにより、操作面2aを上記のように高い周波数Foで共振させ、操作面2a上をスライド操作したユーザにツルツルとした触感を呈示できるように設定している。
また、ピエゾ駆動回路2cによってピエゾ素子2bを駆動する際の電圧を変調することにより、振動の振幅を変化させ、ユーザに呈示する触感を変化させてもよい。例えば、図4(a)に示すように、周波数Foであって一定の振幅で振動させた場合、上記のように操作面2a上をスライド操作するユーザにツルツルとした摩擦抵抗の少ない触感を呈示することができる。これに対し、周波数Foであって振幅を断続的に変化させた場合、図4(b)に示されるように、操作面2a上をスライド操作するユーザの指先に対して摩擦抵抗の少ない部分と摩擦抵抗の高い部分とが断続的に現れ、ザラザラとした触感を呈示することができる。
〈表示及び触感の制御〉
図5は、表示部(HUD120)に操作対象のオブジェクトを表示した例を示す図である。本実施形態の表示制御装置10は、例えば図5に示すように、HUD120の表示面に操作対象のオブジェクトとして、複数のアイコン51,52及びカーソル53を表示する。ここで、アイコン51,52を含む位置には、所定範囲511,521が定められている。この所定範囲511,521は、アイコン51,52の中心から所定距離までの範囲であり、カーソル53が、この所定範囲511,521内に達した場合に、アイコン51,52を選択対象としたと見なし、カーソル53をアイコン51,52引き込むような制御を実行する範囲である。
タッチパッド2の操作面2aに対するスライド操作が行われると、表示制御装置10は、このスライド操作の方向とスライド量に応じて、カーソル53を移動させる。このとき例えば、図5(a)に示すように、カーソル53がアイコン51に向けて移動され、カーソル53が所定範囲511内に達した場合、表示制御装置10は、タッチパッド2の操作面2aを所定の振動状態で振動させ、所定時間後(例えば0.1秒後)に振動を停止させる。これにより、タッチパッド2の操作面上をスライド操作する指の抵抗感を一瞬だけ少なくして、指を滑らせ、抵抗感を元に戻して指を止める。このときHUD120に表示するカーソル53を図5(c)に示すようにアイコン51上に移動させる、即ちカーソル53の中心がアイコン51の中心と一致する位置にカーソル53の表示位置を変更する。このようにカーソル53がアイコン51に引き込まれるように移動させ、この移動の瞬間に指先を一瞬スリップさせるような触感を呈示することで、指がアイコン51上に引き込まれたようにユーザに錯覚させる。
図6は、スライド操作に応じて操作面2aを振動させる際の振動量の変化を説明する説明図である。図6において、縦軸は振動量(振幅)の大きさを表し、横軸は時間を表す。
スライド操作によりカーソル53が所定範囲511に達するまで、例えば図5(a)におけるスライド操作の開始点P1から所定範囲511内に達した時点P2までは、操作面2aを振動させていない状態とし、所定範囲511内に達した時点P2から所定時間ta後までは所定の振動状態で振動させる。例えば、操作面2aの共振周波数Foを20kHz~40kHzとし、駆動電圧を20~40Vppとする。また、所定時間taは0.05~0.5秒とする。
そして、所定時間ta経過後は、P2以前の状態に戻す、例えば操作面2aを振動させていない状態とする。
なお、図6の例では、スライド操作が所定範囲511に達した際、ユーザにツルツルした触感を呈示したが、これに限らず、他の触感を呈示するものであってもよい。例えば、図7に示すように、スライド操作によりカーソル53が所定範囲511に達した時点P2から所定時間ta後までは、操作面2aを断続的に振動させて、ザラザラした触感を呈示しても良い。例えば、アイコン51,52毎に異なる振動状態を定めておき、スライド操作がアイコン51,52の所定範囲511,521に達したときに、それぞれ異なる所定の振動状態で操作面2aを振動させ、ユーザに呈示する触感をアイコン51,52毎に異ならせてもよい。これにより、ユーザは、触感の違いにより、カーソルを重ねたアイコン51,52の種別を直感的に把握できる。
また、図8は、カーソル53が所定範囲511の内側から外側へ操作された例を示す図である。タッチパッド2の操作面2aに対するスライド操作が行われ、図8に示されるように、所定範囲511内に位置するカーソル53が所定範囲511の外側に向けて移動され、カーソル53が所定範囲511の外側に達した場合、表示制御装置10は、タッチパッド2の操作面2aを所定の振動状態で振動させ、所定時間ta後に振動を停止させる。
これにより、タッチパッド2の操作面上をスライド操作する指の抵抗感を一瞬だけ少なくして、指を滑らせ、抵抗感を元に戻して指を止める。これにより指がアイコン51上から抜け出た触感をユーザに呈示する。
〈表示制御装置構成〉
図9は、表示制御装置10のハードウェア構成の一例を示す図である。表示制御装置10は、図9に例示のように、接続バス16によって相互に接続されたCPU(Central Processing Unit)11、主記憶部12、補助記憶部13、通信IF(Interface)14、入出力IF15を有する。CPU11は、表示制御装置10全体の制御を行う中央処理演算装置である。CPU11はプロセッサとも呼ばれる。ただし、CPU11は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のCPU11がマルチコア構成であってもよい。CPU11は、補助記憶部13に記憶されたプログラムを主記憶部12の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行うことで所定の目的に合致した機能を提供する。
主記憶部12は、CPU11がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶部12は、例えば、フラッシュメモリ、RAM(Random Access Memory)やROM(Read Only Memory)を含む。補助記憶部13は、CPU11により実行されるプログラムや、動作の設定情報などを記憶する記憶媒体である。補助記憶部13は、例えば、HDD(Hard-disk Drive)やSSD(Solid State Drive)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、USBメモリ、SD(Secure Digital)メモリカード等である。通信IF14は、表示制御装置10に接続する
ネットワーク等とのインターフェースである。入出力IF15は、表示制御装置10に接続するセンサや機器との間でデータの入出力を行うインターフェースである。表示制御システム1においては、入出力IF15を介し、タッチパッド2に対するデータの入出力制御が行われる。なお、上記の構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。また、上記の構成要素は、AVN機の構成要素に含まれるとしてもよい。
表示制御装置10では、CPU11のプログラムの実行により、図に示す操作受付部101、振動制御部102、表示制御部103の各処理部が提供される。但し、上記各処理部の少なくとも一部の処理がDSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)等によって提供されてもよい。また、上記各処理
部の少なくとも一部が、FPGA(Field-Programmable Gate Array)等の専用LSI(large scale integration)、その他のデジタル回路であってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。表示制御装置10は、上記各処理部が参照し、或いは、管理するデータの格納先として補助記憶部13に部品管理DB201を備える。
の操作受付部101は、タッチパッド2を介して検出された指の接触位置の座標を受け付ける。操作受付部101は、例えば、10msといった一定の周期間隔で接触位置の座標を受け付ける。操作受付部101は、接触位置の座標を主記憶部12の所定の領域に一時的に記憶する。一定の周期間隔で受け付けられた接触位置の座標変化は、タッチパッド2上を移動する移動操作に伴う時系列上の軌跡となる。操作受付部101は、取得した接触位置の座標位置を、振動制御部102、表示制御部103に引き渡す。
振動制御部102は、操作受付部101から引き渡された接触位置の座標、および、座標の時間変化に基づく操作が、HUD120の表示面上に定められた所定範囲の外側から当該所定範囲の内側へのスライド操作の場合に、ピエゾ駆動回路2cを制御し、前記スラ
イド操作が前記所定範囲の内側に達した時に操作面2aを所定の振動状態で所定時間振動させる。また、振動制御部102は、操作受付部101から引き渡された操作が、HUD120の表示面上に定められた所定範囲の内側から外側へのスライド操作の場合に、ピエゾ駆動回路2cを制御し、前記スライド操作が前記所定範囲の外側に達した時に操作面2aを所定の振動状態で所定時間振動させる。
表示制御部103は、操作受付部101から引き渡された接触位置の座標、および、座標の時間変化に基づいて、例えば図5、図8を用いて説明した、カーソル53やアイコン51,52についての表示状態の制御を行う。なお、コンテンツ画像やオブジェクト(GUI部品)の表示状態の変化は、例えば、部品管理DB201を参照して行われる。補助記憶部13に備える部品管理DB201には、選択操作の対象となる選択メニューやアイコン等のオブジェクトの画像情報、当該オブジェクト上にカーソル53が位置したとみなす所定範囲を示す座標情報、選択操作の対象となるオブジェクト毎に設定された振動状態を示す情報等が関連付けられて格納されている。
表示制御部103は、操作受付部101から引き渡された接触位置の座標、および、座標の時間変化に基づいて、カーソル53を移動させて表示させる。
〈処理フロー〉
以下、図10を参照し、本実施形態に係る表示及び触感の制御処理を説明する。図10は、表示制御装置10が実行する表示制御方法の処理手順の一例を示す図である。本実施形態の表示制御装置10は、例えば、CPU11等が補助記憶部13に記憶された各種プログラムや各種データを読み出して実行することで、図10に示す制御処理を提供する。
表示制御装置10は、図10の処理を周期的に或はタッチパッド2で接触を検出した場合に開始する。表示制御装置10は、タッチパッド2を介して検出された接触位置の座標(X1、Y1)を操作情報として10msといった一定の周期間隔で受け付ける(S10)。表示制御装置10は、現時点から所定時間前までの操作情報の変化を主記憶部12の所定の領域に一時的に記憶する。
表示制御装置10、ステップS10で受け付けた操作が、スライド操作か否か、即ち、操作面上をなぞるように座標が連続して変化しているか否かを判定する(ステップS20)。この受け付けた操作が、スライド操作でない場合(ステップS20、No)、図10の処理を終了し、スライド操作の場合(ステップS20、Yes)、スライド操作によって移動されたカーソル53の移動開始点が所定範囲(例えば図5の511,521)の外側か否かを判定する(ステップS30)。
また、この移動開始点が所定範囲の外側の場合(ステップS30、Yes)、表示制御装置10は、現時点のカーソル53の位置が所定範囲の内側に達したか否かを判定する(ステップS40)。カーソル53の位置が所定範囲の内側に達した場合(ステップS40、Yes)、表示制御装置10は、ピエゾ駆動回路2cを制御して、操作面2aを所定の振動状態で振動させる。このとき表示制御装置10は、部品管理DB201を参照して当該所定範囲が割り当てられたオブジェクト(アイコン)を特定し、当該オブジェクトに設定された振動状態に基づいて操作面2aを振動させる(ステップS50)。これにより操作面上をスライド操作する指の摩擦を小さくさせる。
表示制御装置10は、ステップS50による振動の開始から所定時間が経過したか否かを判定し(ステップS60)、所定時間が経過した場合(ステップS60,Yes)、ステップS50における振動の開始以前の状態に戻す(ステップS70)。例えばステップS50以前に操作面2aを振動させていなければ、操作面2aの振動を停止させる。これ
により操作面上をスライド操作する指の摩擦を大きくさせる。
そして、表示制御装置10は、HUD120に表示させるカーソル53の表示位置を所定位置に移動させる(ステップS80)。例えば図5(c)に示すようにアイコン51上に移動させる。これにより、即ちカーソル53の中心がアイコン51の中心と一致する位置にカーソル53の表示位置を変更することで、指がアイコン51上に引き込まれたようにユーザに錯覚させる。
また、表示制御装置10は、前記アイコン51に対する選択操作が行われたか否かを判定する(ステップS90)。この選択操作が行われた場合には(ステップS90、Yes)、当該アイコン(選択対象のオブジェクト)に割り当てられた機能を実行させる(ステップS100)。
一方、ステップS30で、スライド操作の開始点が所定範囲の内側である場合(ステップS30、No)、表示制御装置10は、現時点のカーソル53の位置が所定範囲の外側に達したか否かを判定する(ステップS110)。カーソル53の位置が所定範囲の外側に達した場合(ステップS110、Yes)、表示制御装置10は、ピエゾ駆動回路2cを制御して、操作面2aを所定の振動状態で振動させる(ステップS120)。このとき表示制御装置10は、部品管理DB201を参照して当該所定範囲が割り当てられたオブジェクト(アイコン)を特定し、当該オブジェクトに設定された振動状態に基づいて操作面2aを振動させる。
また、表示制御装置10は、ステップS120による振動の開始から所定時間が経過したか否かを判定し(ステップS130)、所定時間が経過した場合(ステップS130,Yes)、ステップS120における振動の開始以前の状態に戻す(ステップS140)。例えばステップS120以前に操作面2aを振動させていなければ、操作面2aの振動を停止させる。なお、ステップS120で振動を開始させて指を滑りやすくすると、指が大きく動くことで、カーソル53が過剰に移動することが考えられる。このため、ステップS140で振動状態を戻すまでの間に操作面2aに対して行われた操作を無効とし、カーソルの移動に反映させないように制御してもよい。
上記のようにカーソル53を所定範囲の内側から外側に移動させる操作が行われた場合、表示制御装置10は、一瞬指先をスリップさせるような触感を呈示することで、所定範囲から抜け出したことをユーザに明確に示すことができる。
〈実施形態の作用・効果〉
以上のように、本実施形態の表示制御装置は、表示面上に定められた所定範囲の外側から当該所定範囲の内側へのスライド操作が行われた場合に、ピエゾ駆動回路2cを制御し、操作面2aを所定の振動状態で振動させる。
この構成により、操作位置が所定範囲内に達したことをユーザが明確に把握できるように触感の変化によってユーザに呈示できる。このように、ユーザは、タッチパッド2の操作面2aに触れ、操作方向や操作量を指先で確認しながらスライド操作を行う際に、この指先の触感の変化によって操作位置が所定範囲内に達したことを把握することができる。
本実施形態の表示制御装置は、前記所定範囲を複数有し、前記所定範囲毎に異なる振動状態が設定され、前記スライド操作が前記所定範囲の内側に達した時に、前記所定範囲毎に設定された所定の振動状態で前記操作面を振動させる。
この構成により、ユーザが選択操作の対象としているオブジェクトの違い、例えばカーソルを重ねて選択の対象としているアイコンの違いを触感の違いにより直感的に把握する
ことができる。
本実施形態の表示制御装置は、前記スライド操作が、前記オブジェクトとしてのカーソルを移動させる操作の場合、前記スライド操作が前記所定範囲の内側に達した時に前記カーソルを所定位置に表示させる。
この構成により、カーソルが選択対象とするアイコン等の位置に引き込まれるような感覚をユーザに与えることができる。
本実施形態の表示制御装置は、表示面上に定められた所定範囲の内側から当該所定範囲の外側へのスライド操作の場合に、ピエゾ駆動回路2cを制御し、操作面2aを所定の振動状態で振動させる。
この構成により、操作位置が所定範囲内から抜け出したことをユーザが明確に把握できるように触感の変化によってユーザに呈示できる。
本実施形態の表示制御装置は、前記所定範囲を複数有し、前記所定範囲毎に異なる振動状態が設定され、前記スライド操作が前記所定範囲の外側に達した時に、前記所定範囲毎に設定された所定の振動状態で前記操作面を振動させる。
この構成により、ユーザが選択操作の対象としていたオブジェクトの違い、例えばカーソルを重ねて選択の対象としていたアイコンの違いを触感の違いにより直感的に把握することができる。
本実施形態の表示制御装置は、前記スライド操作が、前記オブジェクトとしてのカーソルを移動させる操作の場合、前記振動を開始させた後、所定時間内に前記操作面に対して行われた操作を無効にする。
この構成により、操作面2aを振動させたことによって指が滑りやすくなり、指が大きく動いた場合でも、カーソル53が過剰に移動することが防止される。
本実施形態の表示制御装置は、前記振動制御部が、前記スライド操作によって前記所定の振動状態で前記操作面の振動を開始させた後、所定時間後に前記操作面の振動状態を前記所定の振動状態とする前の状態に戻す。
この構成により、操作面2aをスライド操作する指が一瞬滑った後、止まるという動作になるので、ユーザが明確に操作の状況を把握できる。
〈実施形態2〉
前述の実施形態1では、検出部(タッチパッド2)を表示部(HUD120)と別体に設けたが、検出部は表示部に重畳して設けられてもよい。本実施形態2では、AVN機100から提供される表示情報を表示するディスプレイ202を表示部とし、ディスプレイ202と重畳して配置されたタッチパネル20(図1)を検出部とした例を示す。タッチパネル20には、図1,3のタッチパッドと同様に、ピエゾ素子2b及びピエゾ駆動回路2cが設けられている。この他の構成は、前述の実施形態1と同じであるため、同一の要素には同符号を付す等して再度の説明を省略する。
図11は、ディスプレイ(表示部)202に操作対象のオブジェクトを表示した例を示す図である。本実施形態2の表示制御装置10は、例えば図5に示すように、HUD120の表示面に操作対象のオブジェクトとして、複数のアイコン61,62を表示する。ここで、アイコン61,62を含む位置には、所定範囲611,621が定められている。この所定範囲611,621は、アイコン61,62の中心から所定距離までの範囲であ
り、操作位置が、この所定範囲611,621内に達した場合に、アイコン61,62をポイントした(選択対象とした)と見なす範囲である。
ユーザが、ディスプレイ202の操作面(表示面)に触れ、アイコン61,62に対する操作を行うと、タッチパネル20が、この接触位置を検出する。本実施形態2では、タッチパネル20がディスプレイ202に重畳された構成のため、タッチパネル20で検出した接触位置の座標が、ディスプレイ202上の表示位置(操作位置)と直接対応している。
図11(a)に示すように、ユーザが、交差点等の任意の位置P21からアイコン61に向かってスライド操作を行った場合、この接触位置(操作位置)が所定範囲611内に達した時に、表示制御装置10は、ピエゾ駆動回路2cを制御してタッチパネル20に備えたピエゾ素子2bを駆動させて、タッチパネル20の操作面を所定の振動状態で振動させ、所定時間後(例えば0.1秒後)に振動を停止させる。これにより、タッチパネル20の操作面上をスライド操作する指の抵抗感を一瞬だけ少なくして、指を滑らせ、抵抗感を元に戻して指を止める。
この構成により、指がアイコン61に引き込まれるような感覚をユーザに与えることができる。
また、図11(b)に示すように、ユーザが、所定範囲611の内側から外側に向かってスライド操作を行った場合、この接触位置(操作位置)が所定範囲611の外側に達した時に、表示制御装置10は、ピエゾ駆動回路2cを制御してタッチパネル20の操作面を所定の振動状態で振動させ、所定時間後(例えば0.1秒後)に振動を停止させる。これにより、タッチパッド2の操作面上をスライド操作する指の抵抗感を一瞬だけ少なくして、指を滑らせ、抵抗感を元に戻して指を止める。
この構成により、指がアイコン61上から抜け出た触感をユーザに呈示し、接触位置(操作位置)がアイコン61上から外れたことをユーザが明確に把握できる。
以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。
1 表示制御システム
2 タッチパッド
2a 操作面
2b ピエゾ素子
2c ピエゾ駆動回路
2d 筐体
10 表示制御装置
101 操作受付部
102 振動制御部
103 表示制御部
202 ディスプレイ

Claims (10)

  1. 表示部の表示面に操作対象のオブジェクトを表示させ、タッチパッドの操作面に対するユーザの操作を受け付けて前記オブジェクトの表示を制御する表示制御装置であって、
    前記表示部に前記オブジェクトを表示させる表示制御部と、
    前記操作面に対する前記ユーザのタッチ部位による接触を検出する前記タッチパッドの検出結果に基づいて、前記表示面上の前記オブジェクトに対する操作を受け付ける操作受付部と、
    前記操作受付部で受け付けた操作が、前記表示面上に定められた所定範囲の外側から当該所定範囲の内側へのスライド操作の場合に、前記操作面を振動させる振動部を制御し、前記スライド操作が前記所定範囲の内側に達した時に前記操作面を所定の振動状態で振動させる振動制御部と、
    を備え、
    前記所定範囲を複数有し、前記所定範囲毎に異なる振動状態が設定され、
    前記スライド操作が、前記オブジェクトとしてのカーソルを移動させる操作の場合、前記スライド操作によって前記カーソルが前記表示面上のアイコンの周囲に定められた前記所定範囲の内側に達した時に、前記振動制御部が前記操作面を前記所定範囲毎に設定された前記所定の振動状態で振動させて前記操作面と前記ユーザの操作部位との摩擦を小さくすると共に、前記表示制御部が前記カーソルを前記アイコン上に移動させる
    表示制御装置。
  2. 前記カーソルが前記所定範囲の内側に達した時に、前記振動制御部が前記操作面を前記所定の振動状態で振動させ、所定時間後に当該振動を停止させることで、前記操作面と前記ユーザの操作部位との摩擦を前記所定時間のあいだ小さくする請求項1に記載の表示制御装置。
  3. 表示部の表示面に操作対象のオブジェクトを表示させ、前記表示面と対応付けた操作面に対するユーザの操作を受け付ける表示制御装置であって、
    前記表示部に前記オブジェクトを表示させる表示制御部と、
    前記操作面に対する前記ユーザのタッチ部位による接触を検出する検出部の検出結果に
    基づいて、前記表示面上の前記オブジェクトに対する操作を受け付ける操作受付部と、
    前記操作受付部で受け付けた操作が、前記表示面上に定められた所定範囲の内側から当該所定範囲の外側へのスライド操作の場合に、前記操作面を振動させる振動部を制御し、前記スライド操作が前記所定範囲の外側に達した時に前記操作面を所定の振動状態で振動させる振動制御部と、
    を備え、
    前記スライド操作が、前記オブジェクトとしてのカーソルを移動させる操作の場合、前記振動制御部が前記操作面を前記所定の振動状態で振動させて前記操作面と前記ユーザの操作部位との摩擦を小さくすると共に、表示制御部が前記振動の開始後、所定時間内に前記操作面に対して行われた操作によるカーソルの移動を無効にする
    表示制御装置。
  4. 前記所定範囲を複数有し、前記所定範囲毎に異なる振動状態が設定され、前記スライド操作が前記所定範囲の外側に達した時に、前記所定範囲毎に設定された所定の振動状態で前記操作面を振動させる請求項に記載の表示制御装置。
  5. 前記振動制御部が、前記スライド操作によって前記所定の振動状態で前記操作面の振動を開始させた後、所定時間後に前記操作面の振動状態を前記所定の振動状態とする前の状態に戻す請求項1~の何れか1項に記載の表示制御装置。
  6. 前記検出部が、前記表示部と別体に設けられたタッチパッドである請求項又はに記載の表示制御装置。
  7. 操作対象のオブジェクトを表示する表示部と、
    前記表示部に前記オブジェクトを表示させる表示制御部と、
    操作面に対するユーザのタッチ部位による接触を検出するタッチパッドと、
    前記タッチパッドの検出結果に基づいて、前記表示面上の前記オブジェクトに対する操作を受け付ける操作受付部と、
    前記操作面を振動させる振動部と、
    前記操作受付部で受け付けた操作が、前記表示面上に定められた所定範囲の外側から当該所定範囲の内側へのスライド操作の場合、前記振動部を制御して、前記スライド操作が前記所定範囲の内側に達した時に前記操作面を所定の振動状態で振動させる振動制御部と、
    を備え、
    前記所定範囲を複数有し、前記所定範囲毎に異なる振動状態が設定され、
    前記スライド操作が、前記オブジェクトとしてのカーソルを移動させる操作の場合、前記スライド操作によって前記カーソルが前記表示面上のアイコンの周囲に定められた前記所定範囲の内側に達した時に、前記振動制御部が前記操作面を前記所定範囲毎に設定された前記所定の振動状態で振動させて前記操作面と前記ユーザの操作部位との摩擦を小さくすると共に、前記表示制御部が前記カーソルを前記アイコン上に移動させる
    表示制御システム。
  8. 操作対象のオブジェクトを表示する表示部と、
    前記表示部に前記オブジェクトを表示させる表示制御部と、
    前記操作面に対するユーザのタッチ部位による接触を検出する検出部と、
    前記検出部の検出結果に基づいて、前記表示面上の前記オブジェクトに対する操作を受け付ける操作受付部と、
    前記操作面を振動させる振動部と、
    前記操作受付部で受け付けた操作が、前記表示面上に定められた所定範囲の内側から当該所定範囲の外側へのスライド操作の場合、前記振動部を制御して、前記スライド操作が
    前記所定範囲の外側に達した時に前記操作面を所定の振動状態で振動させる振動制御部と、
    を備え、
    前記スライド操作が、前記オブジェクトとしてのカーソルを移動させる操作の場合、前記振動制御部が前記操作面を前記所定の振動状態で振動させて前記操作面と前記ユーザの操作部位との摩擦を小さくすると共に、表示制御部が前記振動の開始後、所定時間内に前記操作面に対して行われた操作によるカーソルの移動を無効にする
    表示制御システム。
  9. 表示部の表示面に操作対象のオブジェクトを表示させ、タッチパッドの操作面に対するユーザの操作を受け付けて前記オブジェクトの表示を制御するコンピュータが、
    前記表示部に前記オブジェクトを表示させる表示制御ステップと、
    前記操作面に対する前記ユーザのタッチ部位による接触を検出する前記タッチパッドの検出結果に基づいて、前記表示面上の前記オブジェクトに対する操作を受け付ける操作受付ステップと、
    前記操作受付ステップで受け付けた操作が、前記表示面上に定められた複数の所定範囲の外側から当該所定範囲の内側へのスライド操作の場合に、前記操作面を振動させる振動部を制御し、前記カーソルが前記所定範囲の内側に達した時に前記操作面を前記所定範囲毎に異ならせて設定された所定の振動状態で振動させて前記操作面と前記ユーザの操作部位との摩擦を小さくすると共に、前記オブジェクトとしてのカーソルを前記所定範囲内のアイコン上に移動させる制御ステップと、を実行する表示制御方法。
  10. 表示部の表示面に操作対象のオブジェクトを表示させ、前記表示面と対応付けた操作面に対するユーザの操作を受け付ける機器を制御するコンピュータが、
    前記表示部に前記オブジェクトを表示させる表示制御ステップと、
    前記操作面に対する前記ユーザのタッチ部位による接触を検出する検出部の検出結果に基づいて、前記表示面上の前記オブジェクトに対する操作を受け付ける操作受付ステップと、
    前記操作受付ステップで受け付けた操作が、前記表示面上に定められた所定範囲の内側から当該所定範囲の外側へのスライド操作の場合に、前記操作面を振動させる振動部を制御し、前記スライド操作が前記所定範囲の外側に達した時に前記操作面を所定の振動状態で振動させて前記操作面と前記ユーザのタッチ部位との摩擦を小さくすると共に、前記振動を開始させた後、所定時間内に前記操作面に対して行われた操作によるカーソルの移動を無効にする制御ステップと、
    を実行する表示制御方法。
JP2016184006A 2016-09-21 2016-09-21 表示制御装置、表示制御システム及び表示制御方法 Active JP7043166B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016184006A JP7043166B2 (ja) 2016-09-21 2016-09-21 表示制御装置、表示制御システム及び表示制御方法
DE102017121342.2A DE102017121342A1 (de) 2016-09-21 2017-09-14 Anzeigesteuerungsvorrichtung, anzeigesteuerungssystem und anzeigesteuerungsverfahren
US15/705,522 US20180081443A1 (en) 2016-09-21 2017-09-15 Display control apparatus, display control system, and display control method
CN201710856261.7A CN107861653A (zh) 2016-09-21 2017-09-19 显示控制设备、显示控制系统和显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016184006A JP7043166B2 (ja) 2016-09-21 2016-09-21 表示制御装置、表示制御システム及び表示制御方法

Publications (3)

Publication Number Publication Date
JP2018049432A JP2018049432A (ja) 2018-03-29
JP2018049432A5 JP2018049432A5 (ja) 2019-09-19
JP7043166B2 true JP7043166B2 (ja) 2022-03-29

Family

ID=61302417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016184006A Active JP7043166B2 (ja) 2016-09-21 2016-09-21 表示制御装置、表示制御システム及び表示制御方法

Country Status (4)

Country Link
US (1) US20180081443A1 (ja)
JP (1) JP7043166B2 (ja)
CN (1) CN107861653A (ja)
DE (1) DE102017121342A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109131907B (zh) * 2018-09-03 2020-11-17 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种应用于飞机驾驶舱的显示触控交互系统
JP7207017B2 (ja) * 2019-03-01 2023-01-18 株式会社デンソー 入力装置
JP7179711B2 (ja) * 2019-11-19 2022-11-29 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、その制御方法、及びプログラム
JP7441408B2 (ja) 2020-08-27 2024-03-01 日本精機株式会社 車両用表示装置
CN114168022A (zh) * 2021-11-04 2022-03-11 厦门知本家科技有限公司 一种用于户型结构模型编辑的震动反馈系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149991A1 (ja) 2007-06-08 2008-12-11 Sony Corporation 情報処理装置、入力装置、情報処理システム、情報処理方法及びプログラム
JP2012252398A (ja) 2011-05-31 2012-12-20 Sony Corp ポインティングシステム、ポインティングデバイス及びポインティング制御方法
JP2014203128A (ja) 2013-04-01 2014-10-27 株式会社デンソー 車両用装置の操作性制御方法および操作性制御装置
JP2015130187A (ja) 2009-03-12 2015-07-16 イマージョン コーポレーションImmersion Corporation 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
WO2015151380A1 (ja) 2014-03-31 2015-10-08 ソニー株式会社 触覚提示装置、信号発生装置、触覚提示システム、および触覚提示方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219710A (ja) * 1994-01-28 1995-08-18 Toshiba Corp ポインティング装置
JP4464331B2 (ja) * 2005-08-01 2010-05-19 株式会社東海理化電機製作所 ポインティングデバイス
JP4896932B2 (ja) * 2008-06-26 2012-03-14 京セラ株式会社 入力装置
JP2010211509A (ja) * 2009-03-10 2010-09-24 Ricoh Co Ltd 入力装置及び画像形成装置
US9055904B2 (en) * 2009-08-03 2015-06-16 Nike, Inc. Multi-touch display and input for vision testing and training
US9383820B2 (en) * 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
JP2013134547A (ja) * 2011-12-26 2013-07-08 Tokai Rika Co Ltd 触覚フィードバック入力装置
US9671874B2 (en) * 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
JP5780368B1 (ja) * 2013-09-26 2015-09-16 富士通株式会社 駆動制御装置、電子機器、及び駆動制御方法
JP6183476B2 (ja) * 2014-02-14 2017-08-23 富士通株式会社 電子機器及び駆動制御方法
KR20150116037A (ko) * 2014-04-03 2015-10-15 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6494251B2 (ja) * 2014-11-13 2019-04-03 サカタインクス株式会社 電子情報機器およびその操作方法
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
US9785305B2 (en) * 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) * 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
EP3401760B1 (en) * 2016-01-08 2020-11-25 Fujitsu Limited Electronic device and drive control method for electronic device
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149991A1 (ja) 2007-06-08 2008-12-11 Sony Corporation 情報処理装置、入力装置、情報処理システム、情報処理方法及びプログラム
JP2015130187A (ja) 2009-03-12 2015-07-16 イマージョン コーポレーションImmersion Corporation 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP2012252398A (ja) 2011-05-31 2012-12-20 Sony Corp ポインティングシステム、ポインティングデバイス及びポインティング制御方法
JP2014203128A (ja) 2013-04-01 2014-10-27 株式会社デンソー 車両用装置の操作性制御方法および操作性制御装置
WO2015151380A1 (ja) 2014-03-31 2015-10-08 ソニー株式会社 触覚提示装置、信号発生装置、触覚提示システム、および触覚提示方法

Also Published As

Publication number Publication date
US20180081443A1 (en) 2018-03-22
DE102017121342A1 (de) 2018-03-22
CN107861653A (zh) 2018-03-30
JP2018049432A (ja) 2018-03-29

Similar Documents

Publication Publication Date Title
JP7043166B2 (ja) 表示制御装置、表示制御システム及び表示制御方法
US10642381B2 (en) Vehicular control unit and control method thereof
JP4338513B2 (ja) 入力制御装置及び入力受付方法
EP2733591B1 (en) User interface device capable of execution of input by finger contact in plurality of modes, input operation assessment method, and program
JP5640486B2 (ja) 情報表示装置
JP6086350B2 (ja) タッチパネル式入力装置、およびタッチパネル式入力方法
EP2230582A2 (en) Operation input device, control method, and program
EP2230591A2 (en) Operation input device
JP2014102660A (ja) 操作支援システム、操作支援方法及びコンピュータプログラム
US9335822B2 (en) Method and system for providing haptic effects based on haptic context information
JP2017111462A (ja) 触感呈示装置及び触感呈示方法
JP2018049432A5 (ja)
JP2018018205A (ja) 表示手段の画面上の位置を決定する入力システム、検知装置、制御装置、プログラム及び方法
US9367169B2 (en) Method, circuit, and system for hover and gesture detection with a touch screen
US11221735B2 (en) Vehicular control unit
JP6580904B2 (ja) 入力装置、表示装置、及びプログラム
JP6393604B2 (ja) 操作装置
JP6074403B2 (ja) タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
KR101573287B1 (ko) 전자기기에서 터치 위치 디스플레이 방법 및 장치
JP2017045472A (ja) タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
JP6001463B2 (ja) タッチ式入力装置
EP3798802B1 (en) Electronic apparatus
JP6541475B2 (ja) 表示装置、表示方法および表示プログラム
JP2022150236A (ja) 入力装置
CN104793853B (zh) 使用者界面的操作方法与电子装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210226

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210803

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211019

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220201

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220308

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220316

R150 Certificate of patent or registration of utility model

Ref document number: 7043166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150