JP6685695B2 - 端末及び撮像装置 - Google Patents

端末及び撮像装置 Download PDF

Info

Publication number
JP6685695B2
JP6685695B2 JP2015214419A JP2015214419A JP6685695B2 JP 6685695 B2 JP6685695 B2 JP 6685695B2 JP 2015214419 A JP2015214419 A JP 2015214419A JP 2015214419 A JP2015214419 A JP 2015214419A JP 6685695 B2 JP6685695 B2 JP 6685695B2
Authority
JP
Japan
Prior art keywords
shape
terminal
display
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015214419A
Other languages
English (en)
Other versions
JP2017084253A (ja
JP2017084253A5 (ja
Inventor
岳志 米澤
岳志 米澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015214419A priority Critical patent/JP6685695B2/ja
Priority to US15/298,613 priority patent/US10444839B2/en
Publication of JP2017084253A publication Critical patent/JP2017084253A/ja
Publication of JP2017084253A5 publication Critical patent/JP2017084253A5/ja
Priority to US16/562,905 priority patent/US20190391657A1/en
Application granted granted Critical
Publication of JP6685695B2 publication Critical patent/JP6685695B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Description

本発明は、操作装置に関し、特にタッチ検出を備えた操作装置及びそれを有する撮像装置及び携帯情報端末関するものである。
従来、液晶パネル等のディスプレイ上に、いわゆるタッチパネルが配置された情報表示・入力装置では、ディスプレイ画面上に例えば仮想ボタンの画像等が表示されている。その状態で、仮想キーの表示位置に対応したタッチパネルエリア上を、ユーザが指先やスタイラスペンのペン先などで触れることにより、その仮想ボタンに割り当てられている情報を入力もしくは選択するようなことが可能となされている。このようなタッチパネルの表面形状は、ほぼ平坦であり、ユーザ入力については視覚的誘導に依拠しているため、近接するボタンを手触りで区別できず、正確にデータを入力することが本質的に難しい。そこで、触覚的誘導を提供可能なユーザインターフェースが提案されている。
例えば、特許文献１では表面層の下の空洞部を拡張させることにより表面の特定領域を変形させ、触覚的誘導をユーザに与えることを可能としているユーザインターフェースが開示されている。
また、特許文献２では信号により可逆的に伸張制御される複数の凹凸出力用の素子を、柔軟性をもつシート間に配列し前記の凹凸出力用の素子それぞれを外部より制御する端子を持つ凹凸表示装置が開示されている。
特表２０１１−５０８９３５号公報 特開平６−３３２６０１号公報
特許文献１，２に開示された従来技術では、ユーザが指先やスタイラスペンのペン先などで操作を行った際、意図通りの動作が行われたかを認識するためにはディスプレイを目視する必要があった。
本発明は、例えば、ユーザへの通知の点で有利な端末を提供することを目的とする。
本発明の端末は、前記端末の表面への操作を検出する検出部と、前記表面に配置され、形状が可変に構成された形状可変部と、前記表面に表示を行うディスプレイと、前記ディスプレイによって前記表面内の場所に表示されたアイコンの機能が、前記ディスプレイによって表示されたオブジェクトであって、前記アイコンへドラッグされたオブジェクトまたはドラッグされるオブジェクトに対しては許可されていない場合、前記表面内の前記場所が変形するように、前記検出部によって検出された操作に基づいて、前記形状可変部の制御を行う制御部と、を有することを特徴とする。
本発明によれば、例えば、ユーザへの通知の点で有利な端末を提供することができる。
実施例１における操作装置の構成図。 実施例１における操作装置の外部構成を示す図。 実施例１における各ボタンの触覚ＵＩの断面構成図。 実施例１におけるユーザ入力と検出閾値との関係を示す図。 実施例１における入力検出処理の流れを示すフローチャート。 実施例１におけるユーザ操作と触覚ＵＩの動作を示すフローチャート。 実施例１におけるユーザ操作と触覚ＵＩの動作を示す図。 実施例１におけるユーザ操作と触覚ＵＩの動作を示す図。 実施例２における操作装置の構成図。 実施例２における操作装置の外部構成を示す図。 実施例２におけるユーザ操作と触覚ＵＩの動作を示すフローチャート。 実施例２におけるユーザ操作と触覚ＵＩの動作を示す図。 実施例２におけるユーザ操作と触覚ＵＩの動作を示す図。 実施例３における操作装置の構成図。 実施例３における操作装置の外部構成を示す図。 実施例３における各ボタンの触覚ＵＩの断面構成図。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
以下、図１〜８を参照して、本発明の第１の実施例による、操作装置（ユーザインターフェース装置）について説明する。本実施例では、ユーザインターフェース装置の一例として、撮像装置であるデジタルカメラ１の画像管理機能のユーザインターフェースを例にとって説明する。
図１は、本発明の第１の実施例であるユーザインターフェース装置の構成を示している。
タッチセンサ（検出手段）１０１は、例えば表示装置の表示面に搭載される静電容量型の従来のタッチセンサであり、指先やスタイラスペンのペン先が近接することによる静電容量の変化に基づいて、ユーザ入力を検出する。すなわち、必ずしもディスプレイ１０４への接触を検出の必須とするものではない。ユーザ入力の検出方法の詳細に関しては後述する。操作判断部１０２は、タッチセンサ１０１によるユーザ入力のパターンにより、タッチ操作、スライド操作など、どのような操作かを判断する。操作判断の詳細に関しては後述する。
なお、本明細書中でスライド操作とは、指やタッチペンなどでのタッチ操作によってタッチセンサ１０１での接触の検出が途切れることなく、かつ、接触を検出している位置が連続的に変化している場合に、スライド操作がなされているものとする。より具体的には、例えば、指やタッチペンなどでディスプレイ１０４の表面に触れて表面を摺動して移動する状態をスライド操作とする。厳密には、以下の実施例で例示するように、表面に触れなくてもディスプレイ１０４の表面近傍に指やタッチペンがあることで検出可能である場合もある。従って上述の通り、触覚の検知手段が検出した状態で、その検出が途切れることなく、その検出位置が連続的に変化している場合をスライド操作があったものとする。
画像制御部１０３は、操作判断部１０２により判断したユーザ操作に応じて、ディスプレイ１０４に表示させる画像を制御する。ディスプレイ１０４は視覚的な方法でユーザとのインターフェースになるように機能し、例えば従来の液晶ディスプレイなどである。
形状制御部１０５は操作判断部１０２により判断したユーザ操作、及び画像制御部１０３により制御される画像位置に応じて、形状可変部１０７のアクチュエータ１０６を制御する。アクチュエータ１０６は形状可変部１０７の形状を変化させる動力部であり、形状可変部１０７はタッチディスプレイとともに構成され、タッチディスプレイ上に凸部を形成するための部材である。詳細については後述する。
次に、図２を用いて、デジタルカメラ１の外部構成について説明を行う。
図２（ａ）は、デジタルカメラ１の画像表示機能におけるユーザインターフェースを示している。
デジタルカメラ１は、ディスプレイ画面１０を有しており、該ディスプレイ画面１０には、複数の画像表示領域２０１と、削除ボタン２０２と、保護ボタン２０３と、メニューボタン２０４が構成される。ディスプレイ画面１０は、通常平坦な面（第１の形状）をしているが、ユーザに触覚的誘導を与えるために、平坦面の特定領域を凸形状（第２の形状）に変形することが可能なディスプレイ（以下、触覚ＵＩとも記載する）である。本実施例の画像管理機能時は、各ボタンに対して、触覚ＵＩにより表面を凸形状に変形させる。
画像表示領域２０１は、画像管理機能において画像を表示する領域であり、複数の画像表示領域２０１によりサムネイル表示を行っている。また、画像表示領域２０１は、画像を選択するタッチ操作、表示する画像群を変更するスライド操作１（スワイプ操作とも呼ばれる）、及び画像を移動させるスライド操作２（ドラッグ操作とも呼ばれる）の入力を受け付けることができる。各操作の詳細については後述する。
削除ボタン２０２は、例えばごみ箱のアイコンが表示されており、選択されている画像を削除する操作を受けつける入力部である。保護ボタン２０３は、たとえば錠のアイコンが表示されており、選択されている画像を保護する操作を受けつける入力部である。メニューボタン２０４は、たとえばＭｅｎｕと表示されており、画像を管理するための機能を選択するメニュー表示を行う操作を受け付ける入力部である。さらに、デジタルカメラ１は、各ボタンに接続されるアクチュエータであるポンプ部２０６が１つ構成され、触覚ＵＩにより表面を凸形状に変形させることができる。
これらのボタンはサムネイル画像を選択したのちに押し込み操作を行う方法に加え、スライド操作２によりサムネイル画像をボタンの上まで移動させる方法でも入力を受け付けることが可能である。
また、デジタルカメラ１は、画像管理機能に加え、画像撮影機能や設定変更機能など、様々な機能を有しており、ディスプレイ画面１０は、その機能に従って、様々な表示または入力検出、及び触覚ＵＩによる凸形状への変形操作を行う。たとえば図２（ｂ）に示す画像撮影機能におけるユーザインターフェースでは、ディスプレイ画面１０全体をライブビュー表示領域として使用し、触覚ＵＩによる凸形状への変形は行わず平面状態に操作する。これにより、ディスプレイ画面１０を最大限活用し構図及びカメラの状態を確認することができ、また凸形状による視認性の悪化を防ぐとこができる。
続いて、図３を用いてアクチュエータ１０６及び形状可変部１０７の詳細について説明する。
図３は、各ボタンの触覚ＵＩの断面構成を示した図であり、図３（ａ）は触覚ＵＩが平坦な状態、図３（ｂ）はユーザに触覚的誘導を与えるため、触覚ＵＩを凸形状に変形させた状態を示した図である。なお、図１で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。
触覚ＵＩは、透明シート３０１、透明基板３０２、空洞部３０３、タッチセンサ１０１、ディスプレイ１０４、アクチュエータであるポンプ部２０６により構成される。
透明シート（形状可変部）３０１、空洞部３０３、ポンプ部２０６は、以下で説明する形状可変手段を構成する。透明シート３０１は、伸縮性を有する透明エラストマー材等により形成され、ディスプレイ画面の表面に設けられるとともにディスプレイ画面の略々全面を覆うように配置される。さらに透明シート３０１は、流動体の導入（加圧）によって空洞部３０３が拡張すると変形し、流動体の抽出（減圧）によって空洞部３０３が収縮すると通常の平面状態に戻るように機能する。透明基板３０２は、透明シート３０１を支持して空洞部３０３を少なくとも部分的に規定するように機能する。透明基板３０２は、好適には硬質である。空洞部３０３は、流動体を保持し、収縮した体積状態（図３（ａ）に示す）（第１の状態）と、拡張した体積状態（図３（ｂ）に示す）（第２の状態）を有するように機能する。流動体は、好適には液体であるが、気体またはその他の物質であっても良い。また、空洞部３０３は流路を介してポンプ部２０６との連結されている。ポンプ部２０６は、空洞部３０３内の流動体の体積を変更するように機能する。すなわち、収縮した体積状態から拡張した体積状態に空洞部３０３を拡張し、最終的に透明シート３０１の特定領域（空洞部の上部）を変形させる。空洞部３０３の体積状態の変更は、ポンプ部２０６から流動体を追加（流入）、除去（流出）することにより変更する。すなわち、形状制御部１０５は、ポンプ部２０６を制御し、変形可能な透明シート３０１の形状を変えることにより、触覚ＵＩの表面の一部の形状を、各ボタンの領域（表面の一部の領域）の表面形状を該一部の領域以外の領域に対して変化させることができる。
以上により、触覚ＵＩは、ディスプレイ画面１０上に凸形状を形成することができ、ディスプレイ１０４により表示する入力グラフィックと併用して用いることで、ユーザにより押下でき、タッチセンサ１０１上の入力位置を知らせるボタンとして機能する。
次に、図４により、タッチセンサ１０１によるユーザ入力の検出方法について説明する。
図４は、タッチパネル及び触覚ＵＩにおけるユーザ入力とタッチセンサ１０１の検出閾値との関係を示した図であり、触覚ＵＩの断面構成を示している。図４（ａ）は凸形状に変形していない場所における、ユーザ入力が検出されない状態を示し、図４（ｂ）は凸形状に変形していない場所における、ユーザ入力が検出される状態を示している。同様に、図４（ｃ）は凸形状に変形した場所における、ユーザ入力が検出されない状態を示し、図４（ｄ）は凸形状に変形した場所における、ユーザ入力が検出される状態を示している。図１及び図３で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。
指先４０１は、ユーザが触覚ＵＩを操作する際の指先であり、触覚ＵＩへの入力操作を示している。
検出閾値４０２は、タッチセンサ１０１において検出された静電容量の変化量から求めた指先の高さに対して、ユーザ入力を検出するか否かを判定する閾値を示している。
検出閾値４０２は、触覚ＵＩの全域において、凸形状の高さよりも低く、かつ平坦面よりも高く設定される。指先４０１の高さが、検出閾値４０２よりも低い（タッチセンサ１０１に近い）と、触覚ＵＩが操作されたと認識し、ユーザ入力を検出する。
図４（ａ）は、触覚ＵＩを指先で触れていない状態を示している。この状態では、指先４０１は検出閾値４０２よりも高いため、ユーザ入力は検出されない。図４（ｂ）は、触覚ＵＩの平坦面を指先で触れている状態を示している。この状態では、指先４０１は検出閾値４０２よりも低くなるため、触覚ＵＩはユーザ入力を検出する。
図４（ｃ）は、凸形状を指先で触れた状態を示している。この状態では、指先４０１は透明シート３０１に触れているものの、検出閾値４０２よりも高いため、ユーザ入力は検出されない。図４（ｄ）は、凸形状を指先４０１で押し込んだ状態を示している。この状態では、指先４０１は検出閾値４０２よりも低くなるため、触覚ＵＩはユーザ入力を検出する。すなわち、凸形状を形成した領域においては、凸形状を押しこむ操作を行うことで初めてユーザ入力を検出するため、ユーザは従来のボタンと同様の操作感を得ることができる。
続いて、図５のフローチャートを用いて、操作判断部１０２によるユーザ入力による操作判断処理について説明を行う。
Ｓ５０１では指先４０１の高さが検出閾値４０２より低いか判断し、低い場合（ユーザ入力があることを検出中である場合）はＳ５０２へ、高い場合（ユーザ入力がない場合）はＳ５１１へと進む。
Ｓ５０２では操作が継続している間のユーザ入力位置が一定であるか判断し、一定である場合はＳ５０３へ、一定でない（移動している、スライドしている）場合はＳ５０８へと進む。
Ｓ５０３ではユーザ入力位置が凸形状位置であるかどうか判断し、凸形状位置である場合はＳ５０４へ、凸形状位置でない場合はＳ５０５へと進む。
Ｓ５０４ではユーザ入力は押し込み操作だと判断し、処理を終了する。
Ｓ５０５では、ユーザ入力がある閾値時間以上経過したか判断し、経過していない場合はＳ５０６へ、経過した場合はＳ５０７へと進む。
Ｓ５０６ではユーザ入力はタッチ操作だと判断し、処理を終了する。
Ｓ５０７ではユーザ入力は長押し操作だと判断し、処理を終了する。
Ｓ５０８では、直前のユーザ入力が長押し操作かスライド操作２であったか判断し、長押し操作かスライド操作２であった場合はＳ５１０へ、長押し操作かスライド操作２でなかった場合はＳ５０９へと進む。
Ｓ５０９ではユーザ入力はスライド操作１だと判断し、処理を終了する。
Ｓ５１０ではユーザ入力はスライド操作２だと判断し、処理を終了する。
Ｓ５１１は指の高さが検出閾値内にない場合であり、ユーザ入力が無いと判断できるので、処理を終了する。
以上の処理フローにより、ユーザ入力による操作の判断を最適に行うことが可能となる。
ここで、図６〜図８を用いて、画像管理機能の一機能であるスライド操作２による画像の削除について説明を行う。
図６はスライド操作２による画像の削除についての触覚ＵＩの動作を示すフローチャートである。
Ｓ６０１ではユーザ操作がスライド操作２であるか判断し、スライド操作２である場合はＳ６０２へ、スライド操作２でない場合はＳ６０６へ進む。
Ｓ６０２ではユーザの入力位置が削除ボタンの上かどうか判断し、削除ボタンの上である場合はＳ６０３へ、削除ボタンでない場合はＳ６０５へ進む。
Ｓ６０３ではスライド操作２で選択している画像が保護状態であるか判断し、保護状態である場合はＳ６０４へ、保護状態でない場合はＳ６０５へ進む。
Ｓ６０４では、削除ボタン部の形状を凸状態に制御し、処理を終了する。これにより、ユーザは削除ボタン部へのスライド操作２が無効であることを触覚で直感的に認知することが可能となる。
Ｓ６０５では、削除ボタン部の形状を平坦状態に制御し、処理を終了する。これにより、ユーザは形状可変部を触覚的に認知することがなく、違和感なく削除ボタン部へのスライド操作２が可能となる。
Ｓ６０６では、タッチ操作で選択している画像が保護状態であるか判断し、保護状態である場合はＳ６０７へ、保護状態でない場合はＳ６０８へ進む。
Ｓ６０７では、削除ボタン部の形状を平坦状態に制御し、処理を終了する。これにより、ユーザは削除ボタンへの押し込み操作が無効であることを認知することができる。
Ｓ６０８では、削除ボタンの形状を凸状態に制御し、処理を終了する。これにより、ユーザは削除ボタンを押し込みボタンとして使用可能であることを触覚で直感的に認知することが可能となる。また触覚ＵＩは、押し込み操作時にボタンが凹むことで入力を受け付けるため、ユーザは従来のボタンと同様の操作感を得ることができる。
続いて、図７はスライド操作２による画像の削除について、スライド操作２により削除操作を行う画像が保護されていない場合についての触覚ＵＩの動作を示す図である。なお、図２（ａ）と同様の構成については同符号を付し、説明を省略する。
指先７０１は、サムネイル画像８の位置であり、スライド操作２の開始位置である。
指先７０２は、削除ボタン２０２の位置であり、スライド操作２の終了位置である。
図７（ａ）はスライド操作２を行う前の状態であり、画像１〜９がサムネイル表示されている。選択されている画像８は保護されていないため、削除ボタン２０２を含む各ボタンは、凸状態となっている（Ｓ６０８）。
図７（ｂ）はサムネイル画像８に対してスライド操作２を開始した状態を示す図である。すなわち、サムネイル画像８上でのタッチ操作が閾値時間以上続くと（Ｓ５０５）、長押し操作と判断し（Ｓ５０７）、選択されたサムネイル画像８の枠を強調表示する。その後検出位置が変化すると（Ｓ５０２）、スライド操作２の開始と判断し（Ｓ５１０）、削除ボタン２０２を含む各ボタンは、平坦な状態に変化する（Ｓ６０５）。
図７（ｃ）はスライド操作２中を示す図である。すなわち、スライド操作２開始時に選択されたサムネイル画像８が指先７０１から指先７０２への移動に追従して表示される。その際、削除ボタン２０２を含む各ボタンは、サムネイル画像８が保護されていないため、平坦な状態のままである（Ｓ６０５）。
図７（ｄ）はスライド操作２終了時の図であり、図７（ｃ）の状態で指を離した際の動作を示す。画像８が削除され、サムネイル表示上に画像８は表示しない。また、選択画像は削除した画像８の次に構成されている画像９となり、画像９が保護されていない場合は、削除ボタン２０２を含む各ボタンは、凸状態に変化する（Ｓ６０８）。なお、削除を実行する前に、削除を実行して良いかを確認するようにしてもよい。
以上のように、保護されていない画像についてはスライド操作２により快適に削除操作を行うことができる。
続いて、図８はスライド操作２による画像の削除について、スライド操作２により削除操作を行う画像が保護されている場合についての触覚ＵＩの動作を示す図である。なお、構成は図７と同様であるため、同符号を付し、説明を省略する。
図８（ａ）はスライド操作２を行う前の状態であり、画像１〜９がサムネイル表示されている。選択されている画像８は保護されているため、削除ボタン２０２を含む各ボタンは、平坦な状態となっている（Ｓ６０７）。
図８（ｂ）はサムネイル画像８に対してスライド操作２を開始した状態を示す図であり、図７（ｂ）と同等のため説明を省略する。
図８（ｃ）はスライド操作２中を示す図である。すなわち、スライド操作２開始時に選択されたサムネイル画像８が指先７０１から指先７０２への移動に追従して表示される。その際、削除ボタン２０２を含む各ボタンは、サムネイル画像８が保護されているため、指先７０２の位置になると凸状態へと変化する（Ｓ６０４）。
図８（ｄ）はスライド操作２終了時の図であり、図８（ｃ）の状態で指を離した際の動作を示す。画像８は保護されているため削除されず、即ちスライド操作２前の図８（ａ）と同じ状態となる。また、削除ボタン２０２を含む各ボタンは、平面状態に変化する（Ｓ６０８）。
以上のように、保護されている画像に対してスライド操作２により削除操作を要求された際に、図８（ｃ）に示すように削除ボタンを凸状態へと変化させることで、ユーザは触覚で直感的に削除操作が無効であることを認知することが可能となる。
なお、Ｓ６０４において凸状態へと変化させたが、これに限るものではなく、たとえば凸状態と平坦な状態とを定期的に（交互に）繰り返すようにしてもよい。
また、図８（ｂ）において、サムネイル画像８に対してスライド操作２を開始した時点で、操作されている対象のサムネイル画像８は保護されているので、この操作対象に対し無効となる操作（処理）である削除ボタンを凸状態へと変化させるようにしてもよい。すなわち、制御手段は、検出手段によって操作（保護されているサムネイル画像のドラッグ操作）が検出された時点で、その操作による処理が無効となる対象である削除ボタン（無効な処理に対応する位置の形状可変部）の形状を変更してユーザへ通知を行うようにしてもよい。また、ドラッグ操作されている対象を判断して、その対象に対する処理（操作）が無効となるような処理（操作）を示す位置の触覚ＵＩ（削除ボタン等）の形状を凸状態へと変化させるようにしてもよい。
以上説明したとおり、スライド操作２による削除操作が無効である場合に、触覚的誘導を用いて直感的にユーザへ通知をすることが可能となる。
なお、本実施例では形状可変部に相当する３つのボタンに対してポンプが１つのみである構成において説明を行ったが、それぞれのボタンに対してポンプを有し、それぞれの形状を独立して変化させることが可能な構成でも同様の効果を奏することができる。その際、Ｓ６０２に示した判断を行わず、スライド操作２により選択された画像が保護状態である場合に、削除ボタンのみを凸状態としてもよい。
また、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。
また、触覚ＵＩの形状を変化させる構成として、空洞部に流動体を流入する例を用いて説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。
また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、長押し操作、スライド操作１、スライド操作２、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、空洞部に圧電センサを構成し、ユーザが凸形状を押し込むことによる空洞部内の圧力の変化を検出し、ユーザの押込み操作を検出するようにしても良い。
続いて、以下、図９〜図１３を参照して、本発明の第２の実施例による、操作装置（ユーザインターフェース装置）について説明する。本実施例では、ユーザインターフェース装置の一例として、撮像装置であるデジタルカメラ２の画像表示機能のユーザインターフェースを例にとって説明する。
図９は、本発明の第２の実施例であるユーザインターフェース装置の構成を示している。なお、図１と同様の構成については同符号を付し、説明を省略する。
形状制御部９０５は実施例１とは異なる判断にて動作するため別符号を付す。
アクチュエータ９０６及び形状可変部９０７は、実施例１におけるアクチュエータ１０６及び形状可変部１０７と異なるため別符号を付す。これらの詳細については後述する。
次に、図１０を用いて、デジタルカメラ２の外部構成及び画像表示機能時の動作について説明を行う。
図１０（ａ）に示すように、デジタルカメラ２のディスプレイ画面２０にタッチセンサ１０１とディスプレイ１０４は重なって構成され、略々全面に形状可変部９０７が構成されている。具体的には縦に５か所、横に７か所の、計３５か所に形状可変部９０７を有し、左上から右に９０７ａ１、９０７ｂ１、・・・、９０７ｇ１、また下に９０７ａ１、９０７ａ２、・・・、９０７ａ５とする。すなわち、右下の形状可変部は９０７ｇ５となる。また、デジタルカメラ２は形状可変部９０７ごとにアクチュエータ９０６であるポンプを有し、形状制御部９０５はそれぞれのアクチュエータ（ポンプ）９０６を用いて、それぞれの形状変形部の形状を、独立して制御することが可能である。
即ち、実施例１との差異としては、ディスプレイ画面２０の略々全面に形状可変部９０７が構成されていることと、形状制御部９０５はそれぞれの形状変形部の形状を、独立して制御することが可能であることが挙げられる。
以上のように、ディスプレイ画面２０は、通常平坦な面をしているが、ユーザに触覚的誘導を与えるために、平坦面の特定領域を凸形状に変形することが可能なディスプレイ（以下、触覚ＵＩとも記載する）である。本実施例の画像表示機能時は、各ボタン（複数の領域から構成される一部の領域）に対して、触覚ＵＩにより表面を凸形状に変形させる。
デジタルカメラ２における画像表示機能は、図１０（ａ）に示すように、ディスプレイ画面２０全体に画像が表示される。そして、たとえば左右方向へのスライド操作１で表示画像を次の画像、前の画像へと切り替える動作を行う。
また、図１０（ｂ）はデジタルカメラ２で撮影した画像が保存されている構成を示す。デジタルカメラ２は撮影した画像をグループごとにまとめて保存しており、撮影時にどのグループに保存するか、画像撮影機能時のメニューにて切り替えが可能である。画像表示機能時には、Ｐｈｏｔｏ０１０１の次がＰｈｏｔｏ０１０２、さらに次がＰｈｏｔｏ０２０１、のように、スライド操作１により次の画像が要求された際には、グループを超えて順次表示を行う。
なお、画像表示機能時には、形状可変部９０７は通常、平坦な状態となっている。これは、形状が変化していると画像の視認性が悪くなるためである。一方、デジタルカメラ２は、画像表示機能以外の機能である場合に、凸形状をボタンとして使用する。例えば、実施例１で示した画像管理機能時には各ボタンに合わせて凸形状を形成する。
アクチュエータ９０６及び形状可変部９０７の構造の詳細については実施例１の図３と同等であるため説明を省略する。
また、タッチセンサ１０１によるユーザ入力の検出方法についても実施例１の図４と同等であるため説明を省略する。
また、操作判断部１０２によるユーザ入力による操作判断処理についても実施例１の図５と同等であるため説明を省略する。
続いて、図１１、図１２を用いて画像表示機能時の画像変更について説明を行う。
図１１はスライド操作１による画像の切り替えについての触覚ＵＩの動作を示すフローチャートである。
Ｓ１１０１ではユーザ操作がスライド操作１であるか判断し、スライド操作１である場合はＳ１１０２へ、スライド操作１でない場合はＳ１１０４へ進む。
Ｓ１１０２では切り替える前後の画像のグループが同一か判断し、同一でない場合はＳ１１０３へ、同一である場合はＳ１１０４へ進む。
Ｓ１１０３では、全ての形状可変部を凸状態にし、処理を終了する。
Ｓ１１０４では、全ての形状可変部を平坦な状態にし、処理を終了する。
以上のフローチャートにより、スライド操作１による画像切り替え時にグループをまたいで画像が切り替わった際に、ディスプレイ画面２０の略全面に配置されている形状可変部９０７が凸形状へと変化する（Ｓ１１０３）。また、スライド操作１が終了すると、全ての形状可変部を平坦にし（Ｓ１１０４）、画像の視認性低下を防ぐことができる。
図１２はユーザによる画像変更を要求するスライド操作１を示す。なお、図１０（ｂ）と同様の構成については同符号を付し、説明を省略する。
図１２（ａ）はスライド操作１を上面から示した図である。
指先１２０１は、スライド操作１の開始位置であり、指先１２０２は、スライド操作１の終了位置である。また軌跡１２０３は、スライド操作１時の指先の軌跡である。指先１２０２は指先１２０１よりも左側に位置しており、操作判断部はスライド操作１の方向が左方向であることから、次の画像へと切り替える操作であると判断する。
図１０（ｂ）で示した保存画像の構成において、現在Ｐｈｏｔｏ０１０１が表示されているときに、図１２（ａ）で示す左スライド操作１が実行された場合、Ｐｈｏｔｏ０１０２が表示される。その際、Ｐｈｏｔｏ０１０１とＰｈｏｔｏ０１０２のグループが同一であるため（Ｓ１１０２）、図１２（ｂ）で示す断面図のように、形状可変部は平坦な状態のままとなる（Ｓ１１０４）。
続いて、さらに図１２で示す左スライド操作１が実行された場合、Ｐｈｏｔｏ０２０１が表示される。その際、Ｐｈｏｔｏ０１０２とＰｈｏｔｏ０２０１のグループが異なるため（Ｓ１１０２）、図１２（ｃ）で示す断面図のように、形状可変部はスライド操作１の間、凸形状となる（Ｓ１１０３）。
すなわち、軌跡１２０３上に位置している形状可変部９０７ａ３〜９０７ｅ３も凸形状となり、これにより、スライド操作１中にユーザが凹凸を感じることができ、触覚的誘導により直感的にグループが変化したことを知ることができる。
なお、本実施例では形状変化部すべてを凸形状とすることで通知を行ったが、これに限ることはなく、スライド操作１の速度及び方向から、今後指先が通過する軌跡を推定し、その軌跡に応じた形状可変部のみを凸形状としてもよい。即ち、指先１２０１から左方向にスライド操作１があることを検出した際に、図１３（ａ）に示すように、今後指先が通過する形状可変部９０７ａ３〜９０７ｅ３のみを凸形状とし、その周囲については平坦な形状としてもよい。また、軌跡を厳密に推定することは難しいため、図１３（ｂ）に示すように、指先１２０１の位置から、スライド操作１の方向の上下一定角度以内にある形状可変部のみを凸形状とし、その周囲については平坦な形状としてもよい。またさらには、図１３（ｃ）に示すように、スライド操作１の方向に加え、スライド操作１の速度に応じて、現在の指先の位置からある時間Ｔ内に到達する距離にある形状可変部のみを凸形状とし、その周囲については平坦な形状としてもよい。この時間Ｔとは、形状可変部の形状を平坦な状態から凸状態へと変化させるために必要な時間から算出される。さらには、スライド操作１中常に凹凸により通知を行う必要はなく、図１３（ｄ）に示すように、１か所のみ凸形状とすることでもユーザへ通知を行うことが可能である。
また、保存するフォルダが変化した際に形状を変化させてユーザに通知を行ったが、これに限ることはなく、たとえば次のようなタイミングで通知を行ってもよい。すなわち、写真に記録されている撮影日やＧＰＳ位置情報、使用したレンズ情報等が変化したとき、画像の最後でさらに次の画像へと切り替える操作が発生したとき、画像のサイズや形式が変化したとき、等である。
また、次の画像が動画である場合には毎回通知を行ってもよい。動画の場合ユーザは再生を実行する必要があるが、静止画と動画が混在して保存されている場合、表示している画像が動画か否か判断する必要がある。そこで、動画である場合は触覚的誘導によりユーザに通知を行うことで、ユーザは瞬時に、次に表示される画像が動画であることを認知することができる。さらには、動画である場合、凸形状を生成してユーザに通知を行った後に形状可変部を平坦状態へと戻さずに、凸形状を動画の再生を促す押し込みボタンとして利用することもできる。
さらには、複数の要因で通知を行いたい場合、凹凸のパターンを変化させてもよい。例えばグループが変わるときには図１３（ｄ）に示すような１か所のみの凸形状による通知を行い、最後の画像で次の画像がない時には全面を凸形状にして通知を行うこともできる。
また、複数位置のスライド操作による写真の拡大、縮小が可能な場合、例えば最大サイズで表示している際にさらに拡大を要求する操作がなされた際にも、形状を変化させてユーザに通知を行ってもよい。
なお、本実施例ではデジタルカメラの画像表示機能を例に挙げて説明を行ったが、これに限ることはなく、さまざまな製品の、さまざまな機能において同様の効果を奏することができる。
例えば携帯情報端末の文書データ表示機能時にも同様の効果を奏することができる。その場合は、例えば次のようなタイミングで通知を行うことが考えられる。すなわち、文章の最初や最後になった際、次の文章へ切り替わった際、文章内の章が切り替わった際、文章内に動画やアニメーションが埋め込まれている際、などが挙げられる。
また、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。
また、触覚ＵＩの形状を変化させる構成として、空洞部に流動体を流入する例を用いて説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。
このように、形状制御部（制御手段）は、タッチセンサへの操作による装置への指令（スライド操作での次の画像への移動など）に対する指令先からの応答（画像情報の変化など）に応じて、形状可変部の形状を変更してユーザへ通知する。
また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、スライド操作、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、空洞部に圧電センサを構成し、ユーザが凸形状を押し込むことによる空洞部内の圧力の変化を検出し、ユーザの押込み操作を検出するようにしても良い。
続いて、以下、図１４〜図１６を参照して、本発明の第３の実施例による、操作装置（ユーザインターフェース装置）について説明する。本実施例では、ユーザインターフェース装置の一例として、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）３のデジタルカメラ遠隔操作機能のユーザインターフェースを例にとって説明する。
図１４は、本発明の第３の実施例であるユーザインターフェース装置の構成を示している。なお、図１と同様の構成については同符号を付し、説明を省略する。
アクチュエータ１４０６及び形状可変部１４０７は、他の実施例におけるアクチュエータ及び形状可変部と異なる構造のため別符号を付す。これらの詳細については後述する。
なお、不図示のデジタルカメラとの接続は、無線でもよいし、有線でもよい。
次に、図１５を用いて、携帯情報端末３の外部構成及びデジタルカメラ遠隔操作機能の例を示す。
図１５（ａ）に示すように、携帯情報端末３のディスプレイ画面３０にタッチセンサ１０１とディスプレイ１０４は重なって構成され、全面に形状可変部１４０７が構成されている。そして、形状可変部１４０７により、ディスプレイ画面３０の任意の位置の形状を可変し、凸部を生成することが可能である。詳細については後述する。
携帯情報端末３におけるデジタルカメラ遠隔操作機能の例を、図１５（ｂ）に示す。
カメラ画像表示エリア１５０１は、接続しているデジタルカメラが撮影している映像を表示するエリアである。また、カメラ画像表示エリア１５０１内の任意の場所をタッチすることで、フォーカスエリアを設定し、またその場所にフォーカスを合わせるオートフォーカス操作を実行することができる。
カメラ情報表示エリア１５０２はカメラに設定されている情報を表示するエリアであり、撮影モードやデジタルカメラの電池の残量、撮影可能枚数等を表示する。
メニューボタン１５０３はデジタルカメラや携帯情報端末３のデジタルカメラ遠隔操作機能に関する様々な設定変更を行うためのメニューを表示させるボタンである。
ズーム操作エリア１５０４はデジタルカメラのズーム操作を携帯情報端末３から遠隔で操作するためのエリアである。ユーザは、スライダー１５０４ａをタッチ操作により選択したのち、そのままスライドバー１５０４ｂに沿って上下にスライド操作を行うことで、ズームの操作が可能である。操作ガイド部１５０４ｃは、通常平面状態であり、スライダー１５０４ａを選択した際に凸状態へと変化することで、スライダー１５０４ａをスライドバー１５０４ｂに沿って操作しやすくするためのガイド部である。また、表示バー１５０４ｄは全域の相対的なズーム位置を表示する表示部である。ズーム操作についての詳細は後述する。
フォーカス操作エリア１５０５はデジタルカメラのフォーカス操作を携帯情報端末３から遠隔で操作するためのエリアであり、＋ボタン１５０５ａ、−ボタン１５０５ｂ、及びスライダー１５０５ｃを用いての操作が可能となっている。＋ボタン１５０５ａ、−ボタン１５０５ｂはタッチ操作に加え、長押し操作により連続的に操作が可能となっている。また、スライダー１５０５ｃ及びスライドバー１５０５ｄは、フォーカス全域の相対的なフォーカス位置として、右側が無限側、左側が至近側を示す。さらに、スライダー１５０５ｃをタッチ操作により選択したのち、そのままスライドバー１５０５ｄに沿って左右にスライド操作を行うことで、フォーカス操作を行うこともできる。また、操作ガイド部１５０５ｅは、ズームの操作ガイド部１５０４ｃと同様であるため説明を省略する。フォーカス操作の詳細については後述する。
自動露出設定エリア１５０６はデジタルカメラの自動露出設定を携帯情報端末３から遠隔で設定するためのエリアであり、＋ボタン１５０６ａ、−ボタン１５０６ｂ、を用いての設定が可能となっている。
画像評価値表示エリア１５０７は、画像の評価値を表示するエリアであり、例えばコントラスト評価値や、ベクトルスコープ評価値等である。また、設定されたフォーカスエリアの拡大画像であってもよい。
レリーズボタン１５０８は遠隔で操作しているデジタルカメラのレリーズを行うボタンである。レリーズボタン１５０８は凸形状を成し、押し込み操作によりレリーズを行う。
デジタルカメラ遠隔操作機能において、通常時はレリーズボタン１５０８が凸形状を成し、その他のボタンやエリアは平面状態となっている。
続いて、図１６を用いてアクチュエータ１４０６及び形状可変部１４０７の詳細について説明する。
図１６は、各ボタンの触覚ＵＩの断面構成を示した図であり、図１６（ａ）は触覚ＵＩが平坦な状態、図１６（ｂ）はユーザに触覚的誘導を与えるため、触覚ＵＩを凸形状に変形させた状態を示した図である。なお、図３で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。
触覚ＵＩは、透明シート３０１、伸縮素材１６０２、電極１６０３、タッチセンサ１０１、ディスプレイ１０４により構成される。１６０２は電気信号により伸縮する透明な伸縮素材であり、アクチュエータ９０６と形状可変部９０７を兼ねる。１６０３は伸縮素材１６０２に電気信号を伝達する電極であり、透明であることが望ましい。
図１６（ａ）は電極１６０３により、伸縮素材１６０２が収縮する信号を出力している状態であり、ディスプレイ画面上が平坦となっている。一方、図１６（ｂ）は電極１６０３により、伸縮素材１６０２のうちの１６０２ａ、１６０２ｂ、１６０２ｃに対して、膨張する信号を出力している状態であり、ディスプレイ上に凸部が生成されている。
さらに、携帯情報端末３は、伸縮素材１６０２がディスプレイ画面上に二次元に配置されており、形状制御部１０５は電極１６０３を用いて伸縮素材１６０２ごとに伸縮を制御可能である。
以上により、触覚ＵＩは、ディスプレイ画面３０上の任意の位置、任意の形状、任意の大きさで凸形状を形成することが可能である。さらには、伸縮素材１６０２はそれぞれのサイズが小さい方が望ましく、ディスプレイの画素サイズ以下であれば、画面上の画像と一致して凸部を生成することが可能となる。そして、ディスプレイ画面３０により表示する入力グラフィックと併用して用いることで、ユーザにより押下でき、タッチセンサ１０１上の入力位置を知らせるボタンとして機能する。
なお、タッチセンサ１０１によるユーザ入力の検出方法、及び操作判断部１０２によるユーザ入力による操作判断処理については、それぞれ実施例１の図４、図５と同等であり、説明を省略する。
次に、フォーカスの＋ボタン１５０５ａ操作における携帯情報端末３のデジタルカメラ遠隔操作機能のユーザインターフェース動作についての説明を行う。
フォーカスの＋ボタン１５０５ａは通常平坦状態となっている。そして、ユーザは＋ボタン１５０５ａを長押し操作している時間に応じて、フォーカスの位置指令を無限側へと更新し、遠隔操作しているデジタルカメラのフォーカスを無限側へ操作することができる。また、駆動したフォーカスの全域に対する相対的な位置はスライダー１５０５ｃによって表示される。
ここで、フォーカスが無限端へと駆動してもなお＋ボタン１５０５ａを長押し操作している場合、＋ボタン１５０５ａの形状を凸状態へと変形させる。これにより、フォーカスがユーザの操作に応じて動作することができないことを、操作を行っている指先に対して触覚的誘導により通知を行うことができる。
なお、フォーカスの−ボタン１５０５ｂや自動露出設定エリア１５０６でも同等である。
続いて、ズームのスライダー操作における携帯情報端末３のデジタルカメラ遠隔操作機能のユーザインターフェース動作についての説明を行う。
ズーム操作エリアのスライダー１５０４ａがスライドバー１５０４ｂの中心にあると停止していることを示し、スライダー１５０４ａを上方向へと操作すると、ズームが望遠方向に、下方向へと操作すると、ズームが広角方向に駆動する。即ち、スライドバー１５０４ｂ上の任意の位置へスライド操作を行うことで、スライダー１５０４ａが操作位置に移動し、操作位置に応じてズーム駆動のための速度指令を、操作時間だけ出力する。これにより、操作位置に応じて駆動速度が変化し、スライダー１５０４ａが中心に近いほど低速で、中心から離れた位置まで操作すると高速でズームが駆動する。さらに、スライド操作によりズームを操作中に指を離すと、スライダー１５０４ａがスライドバー１５０４ｂの中心に戻り、ズームの駆動が停止する。
ここで、ズームのスライダー１５０４ａ、スライドバー１５０４ｂ、及び操作ガイド部１５０４ｃは通常平坦状態となっている。そして、ユーザがスライダー１５０４ａをタッチ操作により選択すると、操作ガイド部１５０４ｃが凸状態へと変化させる。これにより、スライドバー１５０４ｂを囲うように凸形状が生成され、スライド操作にてズーム操作可能な範囲を、操作を行っている指先に対して触覚的誘導により通知を行うことができる。また、操作が無効となる方向に凸形状を生成することで、ユーザが操作しづらくなるので、より快適にズームを操作することができる。
またさらには、スライドバー１５０４ｂの中心も凸形状を成すことで、逆方向への操作へと切り替わる位置を触覚的誘導により通知してもよい。
また、スライダー１５０４ａを上方へと操作し望遠側へズームを操作していて、ズームが望遠端に達した場合、フォーカスの＋ボタン操作で説明したのと同様に、スライダー１５０４ａを凸形状に変形させてもよい。すなわち、スライダー１５０４ａは指先に追従して移動するため、指先の位置が凸形状に変化することとなる。これにより、ズームがユーザの操作に応じて動作することができないことを、操作を行っている指先に対して触覚的誘導により通知を行うことができる。なお、広角側への操作の場合も同様である。
また、フォーカス操作エリアのスライダー操作における操作ガイド部１５０５ｅについても、ズーム操作エリアの操作ガイド部１５０４ｃと同様であるため説明を省略する。
このように、形状制御部（制御手段）は、タッチセンサへの操作による装置への指令（スライド操作でのズーム・フォーカスの位置操作など）に対する指令先（デジタルカメラ）からの応答（可動端であることなど）に応じて、形状可変部の形状を変更してユーザへ通知する。
以上説明したとおり、形状可変部を凸形状にすることで、ユーザへの触覚的誘導による通知として機能させることができる。形状可変部による凸形状をボタンとして機能させるだけではなく、ユーザへの触覚的誘導による通知として機能させることで、さらに表現豊かな触覚ＵＩを提供することが可能となる。
また、本実施例では携帯情報端末のデジタルカメラ遠隔操作機能について説明を行ったが、これに限ることはなく、さまざまな機器のさまざまな機能において、同様の効果を奏することができる。例えば監視カメラの遠隔操作機におけるパン、チルトの操作においてもズームやフォーカスの操作と同様の動作を行うことで、同様の効果を奏することができる。
なお、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。
また、触覚ＵＩの形状を変化させる構成として、電気信号により伸縮可能な素材を用いる例について説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。
また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、スライド操作１、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、押し込み操作により電極に流れる逆起電流を検知しても良い。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
１０１ タッチセンサ（検出手段）
１０５ 形状制御部（制御手段）
３０１ 透明シート（形状可変部、形状可変手段）
３０３ 空洞部（形状可変手段）
１０６ ポンプ（形状可変手段）

Claims (11)

  1. 端末であって、
    前記端末の表面への操作を検出する検出部と、
    前記表面に配置され、形状が可変に構成された形状可変部と、
    前記表面に表示を行うディスプレイと、
    前記ディスプレイによって前記表面内の場所に表示されたアイコンの機能が、前記ディスプレイによって表示されたオブジェクトであって、前記アイコンへドラッグされたオブジェクトまたはドラッグされるオブジェクトに対しては許可されていない場合、前記表面内の前記場所が変形するように、前記検出部によって検出された操作に基づいて、前記形状可変部の制御を行う制御部と、
    を有することを特徴とする端末。
  2. 前記制御部は、凸形状および凸形状とは異なる形状のうちの少なくとも一方に前記表面が変形するように、前記制御を行うことを特徴とする請求項１に記載の端末。
  3. 前記制御部は、前記場合は、表示された前記オブジェクトの状態が、前記ドラッグの終了の後、前記ドラッグの前の状態となるように、前記ディスプレイの制御を行うことを特徴とする請求項１または請求項２に記載の端末。
  4. 前記端末は、撮像装置であり、
    前記撮像装置は、撮像光学系と、前記撮像光学系から受光する撮像素子と、を有する、
    ことを特徴とする請求項１ないし請求項３のうちいずれか１項に記載の端末。
  5. 端末であって、
    前記端末の表面へのスライド操作を検出する検出部と、
    前記表面に配置され、形状が可変に構成された形状可変部と、
    前記形状可変部の制御を行う制御部と、
    を有し、
    前記制御部は、第１形状と前記第１形状とは異なる第２形状とに空間的に交互に前記形状可変部が形成されるようにして、前記検出部により検出された操作に対応する処理の無効性に関して、ユーザに情報を与える、
    ことを特徴とする端末。
  6. 前記制御部は、前記検出部により検出された、ある場所への操作に基づいて、該場所での前記形状可変部が前記第１形状と前記第２形状とに空間的に交互に形成されるようにすることを特徴とする請求項５に記載の端末。
  7. 前記表面に表示を行うディスプレイを有し、
    前記制御部は、前記ディスプレイにより前記場所に表示されたアイコンに基づいて、該場所での前記形状可変部が前記第１形状と前記第２形状とに空間的に交互に形成されるようにする、
    ことを特徴とする請求項６に記載の端末。
  8. 端末であって、
    前記端末の表面への操作を検出する検出部と、
    前記表面に配置され、形状が可変に構成された形状可変部と、
    前記形状可変部の制御を行う制御部と、
    前記表面に表示を行うディスプレイと、
    を有し、
    前記制御部は、前記検出部により検出された、ある場所への操作と、前記ディスプレイにより前記場所に表示されたアイコンとに基づいて、前記ディスプレイにより表示されたオブジェクトがドラッグされた前記アイコンの機能が前記オブジェクトに対して許可されていない場合、前記場所での前記形状可変部が第１形状と前記第１形状とは異なる第２形状とに交互に形成されるようにして、前記検出部により検出された操作に対応する処理の無効性に関して、ユーザに情報を与える、
    ことを特徴とする端末。
  9. 前記制御部は、前記検出部により検出された操作に応じて、前記形状可変部が前記第１形状と前記第２形状とに空間的に交互に形成されるようにすることを特徴とする請求項５に記載の端末。
  10. 前記制御部は、前記ディスプレイにより表示された前記アイコンおよび前記オブジェクトに基づいて、前記場所での前記形状可変部が前記第１形状と前記第２形状とに交互に形成されるようにすることを特徴とする請求項８に記載の端末。
  11. 撮像装置であって、
    受光を行う撮像素子と、
    前記撮像装置のユーザインターフェースとして機能する請求項１ないし請求項１０のうちいずれか１項に記載の端末と、
    を有することを特徴とする撮像装置。
JP2015214419A 2015-10-30 2015-10-30 端末及び撮像装置 Expired - Fee Related JP6685695B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015214419A JP6685695B2 (ja) 2015-10-30 2015-10-30 端末及び撮像装置
US15/298,613 US10444839B2 (en) 2015-10-30 2016-10-20 Terminal, and image pickup apparatus including the same
US16/562,905 US20190391657A1 (en) 2015-10-30 2019-09-06 Terminal, and image pickup apparatus including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015214419A JP6685695B2 (ja) 2015-10-30 2015-10-30 端末及び撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019107800A Division JP6799637B2 (ja) 2019-06-10 2019-06-10 端末および撮像装置

Publications (3)

Publication Number Publication Date
JP2017084253A JP2017084253A (ja) 2017-05-18
JP2017084253A5 JP2017084253A5 (ja) 2018-12-13
JP6685695B2 true JP6685695B2 (ja) 2020-04-22

Family

ID=58634608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015214419A Expired - Fee Related JP6685695B2 (ja) 2015-10-30 2015-10-30 端末及び撮像装置

Country Status (2)

Country Link
US (2) US10444839B2 (ja)
JP (1) JP6685695B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169877A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting user interface objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP3185116B1 (en) 2012-05-09 2019-09-11 Apple Inc. Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
CN108052264B (zh) 2012-05-09 2021-04-27 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10572147B2 (en) * 2016-03-28 2020-02-25 Verizon Patent And Licensing Inc. Enabling perimeter-based user interactions with a user device
CN110162233B (zh) * 2018-02-13 2020-06-05 北京仁光科技有限公司 屏幕图标调整方法、装置、设备及计算机可读存储介质
US20190302986A1 (en) * 2018-03-30 2019-10-03 Canon Kabushiki Kaisha Operation apparatus and method for controlling the same
JP7098752B2 (ja) 2018-05-07 2022-07-11 アップル インコーポレイテッド ライブビデオフィード及び録画ビデオを閲覧するためのユーザインタフェース
CN111427587B (zh) * 2019-05-30 2023-08-29 杭州海康威视数字技术股份有限公司 一种目标删除方法及装置
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
KR20210042621A (ko) * 2019-10-10 2021-04-20 삼성전자주식회사 전자 장치 및 이를 이용한 카메라 배율 조정 방법
JP7383552B2 (ja) * 2020-03-31 2023-11-20 キヤノン株式会社 電子機器およびその制御方法
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
CN116195261A (zh) 2020-09-05 2023-05-30 苹果公司 用于管理媒体项目的音频的用户界面

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332601A (ja) 1993-05-21 1994-12-02 Matsushita Electric Ind Co Ltd 凹凸表示装置およびその制御装置ならびにそれを用いた立体入出力インターフェース装置
WO2003050754A1 (en) * 2001-12-12 2003-06-19 Koninklijke Philips Electronics N.V. Display system with tactile guidance
DE10340188A1 (de) 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
KR100987773B1 (ko) * 2003-12-30 2010-10-13 삼성전자주식회사 디지털 카메라의 파일관리방법 및 이를 수행하는 디지털카메라
KR101397152B1 (ko) * 2007-06-12 2014-05-20 삼성전자주식회사 디지털 멀티미디어 재생 장치 및 그 제어방법
US8970403B2 (en) * 2008-01-04 2015-03-03 Tactus Technology, Inc. Method for actuating a tactile interface layer
US9298261B2 (en) * 2008-01-04 2016-03-29 Tactus Technology, Inc. Method for actuating a tactile interface layer
US8547339B2 (en) * 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
JP5264298B2 (ja) * 2008-06-04 2013-08-14 キヤノン株式会社 画像処理装置および画像処理方法
JP5251463B2 (ja) * 2008-12-03 2013-07-31 ソニー株式会社 撮像装置
US9600070B2 (en) * 2008-12-22 2017-03-21 Apple Inc. User interface having changeable topography
JP5471124B2 (ja) * 2009-07-29 2014-04-16 ソニー株式会社 画像検索装置、画像検索方法及び画像検索プログラム
JP2011097441A (ja) * 2009-10-30 2011-05-12 Sony Corp 情報処理装置、画像表示方法及びコンピュータプログラム
JP5437786B2 (ja) * 2009-12-21 2014-03-12 京セラ株式会社 触感呈示装置
KR101616875B1 (ko) * 2010-01-07 2016-05-02 삼성전자주식회사 터치 패널 및 이를 구비한 전자기기
JP5705243B2 (ja) * 2011-02-10 2015-04-22 京セラ株式会社 電子機器及び電子機器の制御方法
JP5265819B2 (ja) * 2011-06-07 2013-08-14 パナソニック株式会社 電子機器
JPWO2013111557A1 (ja) * 2012-01-24 2015-05-11 パナソニックＩｐマネジメント株式会社 電子機器
JP2013203155A (ja) 2012-03-27 2013-10-07 Aisin Aw Co Ltd 操作入力システム
JP5620947B2 (ja) * 2012-06-27 2014-11-05 キヤノン株式会社 電子機器およびその制御方法、プログラム並びに記憶媒体
JP6004855B2 (ja) * 2012-09-14 2016-10-12 キヤノン株式会社 表示制御装置及びその制御方法
JP2014071700A (ja) * 2012-09-28 2014-04-21 Panasonic Mobile Communications Co Ltd 表示制御装置、表示制御方法及びプログラム
US9690378B2 (en) * 2013-01-30 2017-06-27 Olympus Corporation Operation apparatus
JP6304932B2 (ja) 2013-03-12 2018-04-04 オリンパス株式会社 情報機器及び情報伝達方法
US9307112B2 (en) * 2013-05-31 2016-04-05 Apple Inc. Identifying dominant and non-dominant images in a burst mode capture
US9557813B2 (en) * 2013-06-28 2017-01-31 Tactus Technology, Inc. Method for reducing perceived optical distortion
KR102319684B1 (ko) * 2015-06-22 2021-11-02 엘지전자 주식회사 변형 가능한 디스플레이 장치 및 그의 동작 방법
KR20170008041A (ko) * 2015-07-13 2017-01-23 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101729564B1 (ko) * 2015-09-07 2017-05-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Also Published As

Publication number Publication date
US20190391657A1 (en) 2019-12-26
JP2017084253A (ja) 2017-05-18
US10444839B2 (en) 2019-10-15
US20170123497A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
JP6685695B2 (ja) 端末及び撮像装置
US10070044B2 (en) Electronic apparatus, image sensing apparatus, control method and storage medium for multiple types of user interfaces
US9389722B2 (en) User interface device that zooms image in response to operation that presses screen, image zoom method, and program
JP6757140B2 (ja) 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
JP2009505294A (ja) タッチ制御ディスプレイ装置
JP2017084253A5 (ja) 端末及び撮像装置
JP2007264808A (ja) 表示入力装置及び撮像装置
US20150264253A1 (en) Display control apparatus and display control method
JP2013070303A (ja) 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
JP5787238B2 (ja) 制御装置及び操作制御方法並びに操作制御プログラム
JP2009140368A (ja) 入力装置、表示装置、入力方法、表示方法及びプログラム
JP2006195768A (ja) 入力装置付き表示装置
KR20160019369A (ko) 정보 처리 장치, 표시 제어 방법 및 저장 매체
US9298305B2 (en) Display control apparatus and method
CN106961545B (zh) 显示控制设备及其控制方法
EP2483767A1 (en) Method relating to digital images
JP2013047968A (ja) 電子機器、制御方法、プログラム
JP6799637B2 (ja) 端末および撮像装置
JP5976166B2 (ja) 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
JP2006140700A (ja) デジタルカメラ
JP5560796B2 (ja) 画像表示装置、画像操作方法及びプログラム
JP4670971B2 (ja) 入力装置
JP5789017B2 (ja) 電子機器、制御方法、プログラム
JP5789018B2 (ja) 電子機器、制御方法、プログラム
JP2014167774A (ja) 触覚呈示装置および電子機器

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200401

R151 Written notification of patent or utility model registration

Ref document number: 6685695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees