JP6504745B2 - 表示制御装置、表示制御装置の制御方法、プログラム - Google Patents

表示制御装置、表示制御装置の制御方法、プログラム Download PDF

Info

Publication number
JP6504745B2
JP6504745B2 JP2014045493A JP2014045493A JP6504745B2 JP 6504745 B2 JP6504745 B2 JP 6504745B2 JP 2014045493 A JP2014045493 A JP 2014045493A JP 2014045493 A JP2014045493 A JP 2014045493A JP 6504745 B2 JP6504745 B2 JP 6504745B2
Authority
JP
Japan
Prior art keywords
unit
touch panel
display
tactile sensation
operation reception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014045493A
Other languages
English (en)
Other versions
JP2015170209A5 (ja
JP2015170209A (ja
Inventor
正剛 岩▲崎▼
正剛 岩▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014045493A priority Critical patent/JP6504745B2/ja
Publication of JP2015170209A publication Critical patent/JP2015170209A/ja
Publication of JP2015170209A5 publication Critical patent/JP2015170209A5/ja
Application granted granted Critical
Publication of JP6504745B2 publication Critical patent/JP6504745B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、表示制御装置表示制御装置の制御方法、プログラムに関する。特には、表示パネルとタッチパネルとを備えた表示装置を制御する表示制御装置と、この表示制御装置の制御方法と、この表示制御装置に実行させるためのプログラムに関する。
デジタルカメラやビデオカメラ等の撮像装置には、液晶表示装置等の表示装置が設けられるものがある。このような表示装置には、小型化や操作性の向上と、表示画像の視認性の向上のため、画像表示パネルの表面に透明なタッチパネル等の接触検出センサーが重ねて設けられるものがある。そして、このような表示装置において、タッチパネルの操作箇所を視認することなく正確に操作するための構成が提供されている。特許文献1には、タッチパネルが設けられた表示装置に表示されたボタンの操作状況を使用者が容易かつ明確に認識できるようにするため、タッチパネルの表面形状を部分的に変化させる構成が開示されている。
特開2006−285785号公報
しかしながら、特許文献1に記載の構成では、タッチパネルの操作箇所を使用者が視認可能か否かの判定を行っていない。そのため、特許文献1の記載の構成では、使用者がタッチパネルを視認可能な状態でも、タッチパネルの表面形状を変化させてしまう場合がある。その結果、画面表示が見にくくなってしまう。さらに不必要な場合でも表面形状の変化を維持する場合があり、電力消費が増大してしまう。本発明の目的は、タッチパネルの操作箇所を視認不可能な状況下であっても正確な操作を行うことができ、表示装置が視認可能な状態では表示が見にくくなることがなく、省電力を図ることができる表示制御装置を提供することである。
上記目的を達成するために、本発明は、画像表示パネルとタッチパネルとを含む表示装置を備える表示制御装置であって、使用者が前記タッチパネルの操作受付部を視認可能な状態か否かを判定する判定部と、前記タッチパネルの前記操作受付部の位置を感知可能な刺激を発生させる触感発生部と、前記判定部による判定の結果に基づいて、前記触感発生部を作動または停止させる制御部と、を有し、前記操作受付部は、焦点の位置を設定するための表示であり、前記判定部により前記操作受付部を視認不可能な状態と判定された場合に、前記制御部は、前記画像表示パネルの表示を停止状態とし、前記操作受付部が表示されていた位置で前記触感発生部を作動させることを特徴とする。
本発明によれば、タッチパネルの操作箇所を視認不可能な状況下であっても正確な操作を行うことを可能とし、かつ表示装置が視認可能な状態では表示が見にくくなることがなく、省電力な撮像装置を提供することができる。
第1実施形態の撮像装置の構成例を示す外観斜視図である。 第1実施形態の可動式表示装置を開いた状態を示した背面図である。 第1実施形態の撮像装置の構成例を示すブロック図である。 第1実施形態のタッチパネルに出現する凸形状とファインダー内のAF測距点を示した図である。 第1実施形態のタッチパネルに出現する凸形状を示す図である。 第1実施形態のタッチパネルに出現する図5とは異なる凸形状の断面を示した図である。 第1実施形態の処理の例を示したフローチャートである。 第1実施形態のタッチパネルに出現する凸形状の位置を示した図である。 第2実施形態の処理の例を示したフローチャートである。
以下に、本発明の各実施形態を、添付の図面に基づいて詳細に説明する。なお、以下に示す各実施形態では、表示制御装置の適用例として撮像装置を示す。ただし、本発明は撮像装置への適用に限定されるものではなく、画像表示パネルとタッチパネルとを含む表示装置を制御する表示制御装置であれば適用できる。
(第1実施形態)
図1(a)(b)は、第1実施形態に係る表示制御装置の適用例である撮像装置100の外観図を示す。図1(a)は撮像装置100の前面斜視図であり、図1(b)は撮像装置100の背面斜視図である。図2は、撮像装置100の可動式表示装置40を開状態にした背面図である。
撮像装置100の背面側には、可動式表示装置40と、背面カバー19と、ファインダー16と、接眼検出部18とが設けられる。
可動式表示装置40は、画像や各種情報を表示可能である。可動式表示装置40は、画像表示パネルの例であるLCDパネル41と、LCDパネル41と一体に構成されたタッチパネル42と、LCDパネル41の光源であるバックライト49(図3参照)を含んで構成される。タッチパネル42は、その表面が操作面である入力デバイスである。タッチパネル42は、使用者により操作面がタッチされると、タッチされた位置に対応する座標情報を出力する。そして、タッチパネル42は、LCDパネル41に重ね合わせて平面的に構成される。タッチパネル42は、その内部に公知の技術である触感発生部45(図3参照)を備えている。触感発生部45は、タッチパネル42を操作する使用者に触感を知覚させる。触感発生部45は、例えばLCDパネル41の表示領域に対応して区分けされた複数のセルと、これらの複数のセルを磁力によって前面に駆動する駆動装置などを有する。そして、触感発生部45は、タッチパネル42の表面(操作面)の形状を部分的に変化させ、使用者に触感(感知可能な刺激)を知覚させることができる。なお、画像表示パネルはLCDパネル41に限定されるものではなく、公知の各種画像表示パネルが適用できる。
また、可動式表示装置40は、撮像装置100の本体に、ヒンジ部43によって、左右開閉方向および上下反転方向の2軸に回転可能に支持されている。
背面カバー19には、収納面44が設けられる。具体的には、背面カバー19には凹形状が形成されており、この凹形状の底部が収納面44となる。収納面44は、可動式表示装置40が収納された状態において、LCDパネル41の表示面と対向する。さらに、背面カバー19には係止爪47が設けられ、収納面44には弾性部材48が設けられている。係止爪47は、可動式表示装置40が背面カバー19に収納されるときに係止することが可能である。可動式表示装置40が背面カバー19に収納され、係止爪47により係止される状態となると、弾性部材48は可動式表示装置40が接触して圧縮状態となる。そしてこの状態では、弾性部材48は、可動式表示装置40を係止爪47の側に向けて付勢する。
収納面44の一側(本実施形態では上側)には、ファインダー16が設けられる。使用者は、ファインダー16を覗くことによって、ペンタプリズム14(図3参照)を介してフォーカシングスクリーン13を観察して、レンズユニット150を通して得た被写体像の焦点や構図の確認を行うことができる。
ファインダー16の近傍(本実施形態ではファインダー16の上側)には、接眼検出部18が設けられる。接眼検出部18は、使用者がファインダー16を覗いている(接眼している)ことを検出するセンサーである。
また、撮像装置100には、使用者からの操作を受け付ける操作部70として、所定の操作部材が設けられる。操作部70には、少なくともシャッターボタン61と、モード切り替えダイヤル60と、メイン電子ダイヤル71と、電源スイッチ72と、十字キー74と、SETボタン75と、LVボタン76と、拡大ボタン77と、再生ボタン78とが含まれる。
このほか、撮像装置100は、クイックリターンミラー(以下、ミラー12と記す)や、カメラ側通信端子10や、グリップ部90や、蓋202などを有する。ミラー12は、システム制御部50(図3参照)からの指示により、アクチュエータを動作させることでアップダウンされる。カメラ側通信端子10は、撮像装置100の本体に設けられる通信端子である。撮像装置100の本体は、カメラ側通信端子10を介して、撮像装置100の本体に着脱可能なレンズユニット150(図3参照)と通信を行う。グリップ部90は、使用者が撮像装置100を構えた際に右手で握りやすい形状とした保持部である。蓋202は、記録媒体200を格納するスロットの蓋である。
次に、第1実施形態に係る撮像装置100の機能構成について、図3を参照して説明する。図3は、第1実施形態による撮像装置100の構成例を示すブロック図である。なお、図3においては、操作部70の含まれる操作部材の一部を省略してある。
システム制御部50は、撮像装置100の全体を制御する。具体的には、システム制御部50は、不揮発性メモリ56に記録されたプログラムを読出し、システムメモリ52に展開して実行することで撮像装置100の全体を制御し、後述する各処理を実現する。また、システム制御部50は、後述するメモリ32、D/A変換器24、LCDパネル41等を制御することにより、表示制御も行う。なお、システム制御部50は、接眼検出部18からの通知に応じて、LCDパネル41が視認可能な状態にあるか視認不可能な状態にあるかを判定する(後述)。さらに、本実施形態においては、システム制御部50は、触感発生部45を制御する制御部としての機能を含む。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。
システムメモリ52には、例えばRAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。
接眼検出部18は、使用者がファインダー16を覗いていることを検出するためのセンサーである。接眼検出部18は、ファインダー16の近傍に設けられた赤外発光装置と、その反射光を検出する受光装置とを含んで構成されている。
パネル状態検出部51は、可動式表示装置40の開閉状態および位置を検出する。なお、可動式表示装置40が撮像装置100の本体から開閉方向に所定の角度以上開いた状態を開状態であるとし、それ以外の状態を閉状態であるとする。また、可動式表示装置40が上下回転方向に所定の角度以上回転した状態を反転状態であるとし、それ以外の状態を正位置状態とする。なお、これらの所定の角度の具体的な値は特に限定されるものではなく、適宜設定される。
そして、可動式表示装置40は、開状態、または、LCDパネル41の表示面が背面側を向く姿勢で背面カバー19には凹形状に収納されている状態であると、操作可能な状態となる。一方、可動式表示装置40は、前記状態以外の状態であると、操作不可能な状態となる。例えば、操作不可能な状態としては、LCDパネル41の表示面が撮像装置100の背面カバー19の収納面44と対向する態様で収納されている状態が挙げられる。
そして、パネル状態検出部51は、可動式表示装置40の開閉状態と位置の検出結果を、システム制御部50に出力する。システム制御部50は、パネル状態検出部51による検出結果に基づいて、可動式表示装置40のタッチパネル42が操作可能な状態であるか操作不可能な状態であるかを判定する(判定部)。
交換可能なレンズユニット150には、撮影レンズ103が搭載されている。撮影レンズ103は、一般的には複数枚のレンズから構成されるが、図3では簡略して一枚のレンズのみで示している。レンズ側通信端子6は、レンズユニット150に設けられる通信端子であり、レンズユニット150が撮像装置100と通信を行うために用いられる。レンズユニット150は、このレンズ側通信端子6と、撮像装置100のカメラ側通信端子10を介して、システム制御部50と通信する。そして、内部のレンズシステム制御回路4は、システム制御部50の指示にしたがい、絞り駆動回路2を介した絞り102の制御と、AF駆動回路3を介したAF動作(撮影レンズ103の位置を変位させることで焦点を合わせる動作)を実行する。
AEセンサー17は、レンズユニット150を通した被写体の輝度を測光する。
焦点検出部11は、システム制御部50にデフォーカス量情報を出力する。システム制御部50は、それに基づいてレンズユニット150を制御し、位相差AFを行う。
ミラー12は、撮影レンズ103から入射した光束を、ファインダー16側と撮像部22側とに切り替える。ミラー12は、露光、ライブビュー撮影、動画撮影の際に、システム制御部50から指示に応じ、不図示のアクチュエータによりアップダウンされる。すなわち、ミラー12は、通常時においてはファインダー16へと光束を導くよう反射させるように配されている。そして、ミラー12は、撮影が行われる場合やライブビュー撮影中の場合には、撮像部22へと光束を導くように上方に跳ね上がり、光束中から待避する(ミラーアップ)。また、ミラー12は、その中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部11に入射するように透過させる。
ファインダー内表示部26は、フォーカシングスクリーン13へLED光を投光する装置である。ファインダー内表示部26は、観察される被写体像に、測距点や測距エリアなどの情報を、ファインダー16内に表示する(スーパーインポーズする)ことができる。
アイピースシャッター21は、開閉可能なシャッターである。そして、アイピースシャッター21は、ファインダー16を用いず撮像する際に閉じることで、ファインダー16からの入射光を防ぐ。なお、アイピースシャッター21の開閉状態は、システム制御部50に通知される。
シャッター101には、フォーカルプレーンシャッターが適用される。そして、シャッター101は、システム制御部50の制御によって、撮像部22の露光時間を自由に設定できる。
撮像部22には、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子が適用される。そして撮像部22は、アナログ信号を出力する。
A/D変換器23は、撮像部22が出力するアナログ信号を、デジタル信号に変換する。
画像処理部25は、A/D変換器23が出力したデジタル信号のデータ、または、メモリ制御部15からのデータに対し、所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部25は、撮像した画像データを用いて所定の演算処理を行い、システム制御部50は、画像処理部25の演算結果に基づいて、露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部25は、さらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、LCDパネル41に表示するための画像データを格納する。メモリ32には、A/D変換器23が出力するデジタル信号のデータが、画像処理部25およびメモリ制御部15を介して、または、メモリ制御部15を介して書き込まれる。メモリ32は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。
D/A変換器24は、メモリ32に格納されている画像表示用のデータを、アナログ信号に変換してLCDパネル41に供給する。こうして、メモリ32に書き込まれた表示用の画像データは、D/A変換器24を介してLCDパネル41により表示される。
LCDパネル41は、D/A変換器24からのアナログ信号に応じた表示を行う。このように、A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器24においてアナログ変換し、LCDパネル41に逐次転送して表示する。これにより、LCDパネル41は、電子ビューファインダーとして機能し、スルー画像表示(ライブビュー表示)を行える。
バックライト49は、LCDパネル41の光源である。バックライト49が点灯していると、LCDパネル41に画像が表示され、バックライト49が消灯しているとLCDパネル41には画像が表示されない。なお、バックライト49は、システム制御部50により、可動式表示装置40の状態に応じて点灯と消灯が制御される。また、バックライト49は、使用者による操作に応じて、点灯と消灯が制御される。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。そして電源制御部80は、電源部30の装着の有無、電源部30の種類、電源部30の電池残量の検出を行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む撮像装置100の各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F20は、メモリカードやハードディスク等の記録媒体200と通信を行うインターフェースである。
記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
ここで、操作部70に含まれる操作部材について説明する。
モード切り替えダイヤル60は、システム制御部50の動作モードを、静止画記録モード、動画記録モード、再生モード等のいずれかに切り替えるための操作部材である。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード、カスタムモード等がある。システム制御部50は、使用者によるモード切り替えダイヤル60の操作に応じて、動作モードを、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替える。または、システム制御部50は、使用者によるモード切り替えダイヤル60の操作によって静止画撮影モードに切り換えた後に、他の操作部材の操作に応じて静止画撮影モードに含まれるこれらのモードのいずれかに切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、撮影指示を行うための操作部材である。シャッターボタン61には、第1のシャッタースイッチ62と第2のシャッタースイッチ64とが含まれる。
第1のシャッタースイッチ62は、撮像装置100に設けられたシャッターボタン61の操作途中のいわゆる半押し(撮影準備指示)でONとなる。そして、第1のシャッタースイッチ62がONになると、第1のシャッタースイッチ信号SW1を発生する。第1のシャッタースイッチ信号SW1により、システム制御部50は、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2のシャッタースイッチ64は、シャッターボタン61の操作完了のいわゆる全押し(撮影指示)でONとなる。そして、第2のシャッタースイッチ64がONになると、第2のシャッタースイッチ信号SW2を発生する。システム制御部50は、第2のシャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
メイン電子ダイヤル71は、回転式の操作部材である。使用者は、このメイン電子ダイヤル71を回すことで、モード切り替えダイヤル60にて設定されたモードに応じてシャッター速度や絞りなどの設定値の変更等が行える。
電源スイッチ72は、撮像装置100の電源のON及びOFFを切り替える操作部材である。
十字キー74は、上、下、左、右部分をそれぞれ押し込み可能な操作部材である。
SETボタン75は、押しボタン式の操作部材であり、主に、選択項目の決定などに用いられる。
LVボタン76は、静止画撮影モードにおいてライブビュー(以下、LV)のONとOFFを切り替えるボタン式の操作部材である。動画撮影モードにおいては、LVボタン76は、動画撮影(記録)の開始、停止の指示に用いられる。
拡大ボタン77は、撮影モードのLV表示において拡大モードのON、OFF、及び拡大モード中の拡大率の変更を行うためのボタン式の操作部材である。また、拡大ボタン77は、再生モードにおいては、再生画像を拡大する(拡大率を増加させる)ための拡大ボタンとして機能する。再生ボタン78は、撮影モードと再生モードとを切り替えるボタン式の操作部材である。撮影モード中に再生ボタン78が押下されると、撮像装置100の動作モードは再生モードに移行し、記録媒体200(図3参照)に記録された画像のうち、最新の画像を可動式表示装置40に表示させることが可能である。
システム制御部50は、LCDパネル41に種々の機能アイコンを表示する。そして、システム制御部50は、これらの機能アイコンに対する使用者の選択操作を検出すると、操作部70の各操作部材に、場面ごとに適宜機能を割り当てる。これにより、各種操作部材を各種機能ボタンとして機能させる。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面がLCDパネル41に表示される。使用者は、LCDパネル41に表示されたメニュー画面と、十字キー74やSETボタン75とを用いて、直感的に各種設定を行うことができる。
次に、可動式表示装置40の動作について説明する。
図4(a)は、使用者(撮影者)がファインダー16に接眼して覗いている状態のタッチパネル42を示す模式図である。図4(b)は、図4(a)に示す状態においてファインダー16から見える被写体像および測距点300の例を示す模式図である。
接眼検出部18は、使用者がファインダー16を覗いていることを検出すると、検出結果をシステム制御部50に通知する。システム制御部50は、この検出結果を接眼検出部18から受け取ると、可動式表示装置40のLCDパネル41が視認不可能な状態にあると判定する(判定部)。そして、システム制御部50は、可動式表示装置40のLCDパネル41に対して、表示の停止を指示する。さらに、システム制御部50は、LCDパネル41が視認不可能な状態にあると判定すると(判定部)、触感発生部45を作動させ、タッチパネル42の表面形状を部分的変化させ、凸形状301を出現させる(制御部)。
第1実施形態では、触感発生部45は、ファインダー16内に表示されるAF測距点に対応する位置にのみ、使用者が感知可能な刺激を発生させる。第1の実施形態では、使用者が感知可能な刺激として、凸形状301が適用される。すなわち、LCDパネル41の表示領域に対応して区分けされた複数のセルのうち、ファインダー16内に表示されるAF測距点に対応する位置に設けられたセルを駆動し、タッチパネル42の表面形状部分的に変形させた凸形状301を出現させる。これにより使用者は、凸形状301に触れた触感(感知可能な刺激)によって、AF測距点の位置を認識できる。そして、使用者は、AF測距点に対応する箇所の凸形状301をタッチすることにより、AF測距点を選択できる。例えば、使用者がタッチパネル42の凸形状301aをタッチ操作すると、システム制御部50は、選択された凸形状301に対応する測距点300aをAF測距点として選択する。そして、ファインダー内表示部26は、システム制御部50の指示に従い、ファインダー16から見える被写体像に測距点300aをスーパーインポーズする処理を行い、測距点300aが選択されたことが示す。
図5は、タッチパネル42に部分的に形成される凸形状301(感知可能な刺激)の例を示す図であり、図5(b)は図5(a)のVB−VB線断面矢視図である。システム制御部50は、タッチパネル42のうち、タッチ操作を受け付ける箇所(以下、「操作受付部」と記す)を、凸形状301の上端部302(図6においての黒塗りで示す箇所)のみとするように制御する。これにより使用者は、指先の感覚によって凸形状301の位置を認識できる。したがって、使用者は、ファインダー16を覗いた状態、すなわち、タッチパネル42の操作部を視認できない状態であっても、指先の感覚によって凸形状301の位置を認識し、正確かつ直観的にAF測距点を選択することが可能となる。
図6は、凸形状(感知可能な刺激)の変形例を模式的に示す図である。変形例にかかる凸形状として、リング状の凸形状(以下、「リング凸形状303」と記す)を示す。なお、図6(a)は、変形例にかかる凸形状を出現させた状態における撮像装置100の背面図である。図6(b)は、図6(b)のVIB−VIB線断面矢視図である。
この例においては、システム制御部50は、タッチパネル42に出現させるリング凸形状303のうち、リング凸形状303に囲まれた中央部304(図6(b)中の黒塗り箇所)のみが操作受付部になるように制御する。リング凸形状303の内径及び凸量は、操作受付部に不用意にタッチが行われない程度の大きさに設定される。使用者は、タッチ操作の際に、中央部304を狙って指を押し込み、リング凸形状303または指を変形させて、操作受付部(リング凸形状303の中央部404)に指を接触させる。これにより、使用者は、タッチパネル42の操作部を視認不可能な状態であっても、正確かつ直観的にAF測距点の選択が可能となり、不用意なタッチによる誤操作を防ぐことができる。
一方、接眼検出部18は、使用者がファインダー16を覗いていることを検出しないと、その検出結果をシステム制御部50に通知しない。システム制御部50は、「使用者がファインダー16を覗いている」という検出結果を受け取らない場合には、可動式表示装置40のLCDパネル41が視認可能な状態にあると判定する(判定部)。この場合には、システム制御部50は、可動式表示装置40のLCDパネル41に対して、表示の停止を指示しない。さらに、システム制御部50によりLCDパネル41が視認可能な状態にあると判定されると、触感発生部45は作動せず(または停止し)、タッチパネル42の表面に凸形状301を出現させない。このため、LCDパネル41は、その表面が平面状態に保たれる。したがって使用者は、凸形状301によってLCDパネル41の表示が妨げられて見にくくなることがない。さらに、使用者がファインダー16を覗いていない場合は触感発生部45が作動しないため、電力消費を抑えることができる。
次に、触感発生部45の制御について、図7を参照して説明する。図7は、触感発生部45の制御の処理を示すフローチャートである。
ステップS301では、接眼検出部18は、使用者がファインダー16を覗いているか否かの検出を行う。そして接眼検出部18は、使用者がファインダーを覗いていることを検出した場合には、その検出結果をシステム制御部50に通知する。
ステップS302では、システム制御部50は判定部として機能し、接眼検出部18からの通知に応じて、LCDパネル41が視認可能な状態にあるか視認不可能な状態にあるかを判定する。具体的には、使用者がファインダー16に接眼している場合には、LCDパネル41が視認不可能な状態にあると判定し、ステップS303に進む。接眼していない場合には、LCDパネル41が視認可能な状態にあると判定し、ステップS305に進む。
ステップS303では、システム制御部50は、LCDパネル41の表示を停止させる。そしてステップS304に進む。
ステップS304では、システム制御部50は、触感発生部45に作動指示を出し、触感発生部45はシステム制御部50の作動指示に従って作動する。
一方、ステップS305では、システム制御部50は、LCDパネル41の表示を行う。既に表示中である場合には、表示を継続する。そしてステップS306に進む。
ステップS306では、システム制御部50は、触感発生部45に停止指示を出し、触感発生部45はシステム制御部50の停止指示にしたがって停止する。なお、すでに停止している場合には、停止状態を維持する。
第1実施形態では、システム制御部50は、接眼検出部18の信号によって視認可能な状態であるか視認不可能な状態であるかを判定しているが、この場合に、アイピースシャッター21が閉じている際には触感発生部45を作動させないとしてもよい。このような構成によれば、不必要なタイミングで触感発生部45を作動させないようにできる。したがって、LCDパネル41の表示が見にくくなることを防ぐとともに、電力消費を抑えることができる。
また、第1実施形態では、LCDパネル41が視認不可能な状態である場合のタッチパネル操作として、AF測距点の選択を例に示したが、タッチパネル操作はこれに限定されるものではない。例えば、タッチパネル操作として、ISO感度、露出、ホワイトバランスなどの変更操作や設定操作であってもよい。これらを直接的に変更や設定できるようにすることにより、ファインダー16を覗き込んだ状態での操作性を向上させることが可能となる。
さらに、凸形状305の形状や出現させる位置は、前述の構成に限定されるものではなく、任意の形状や位置でよい。例えば図8(a)に示すように、操作面のタッチパネル42のグリップ部90側に、凸形状305を出現させてもよい。この場合には、凸形状305に、ISO感度や露出、ホワイトバランスなどを変更する機能を割り当てることで、右手親指での操作性をより向上させることができる。また、撮影時の撮像装置100の姿勢に応じて凸形状305を配置する位置を変更してもよい。例えば図8(b)に示すように、撮像装置100に縦位置グリップ160が装着され、縦位置に構えられた場合には、システム制御部50は、縦位置グリップ160に近い側に凸形状306を出現させてもよい。この場合にも、凸形状306に、ISO感度や露出、ホワイトバランスなどを変更する機能を割り当てることで、右手親指での操作性をより向上させることができる。このように、凸形状305を出現させる位置は限定されるものではなく、操作面の任意の位置に出現させることができる。
さらに、触感発生部45の作動タイミングは、前述の構成に限定されるものではない。例えば、使用者が手動でLCDパネル41の表示を停止させた場合や、センサー等により自動でLCDパネル41の表示が停止した場合において、LCDパネル41が視認不可能な状態であると判定されれば、触感発生部45を作動させてもよい。このような構成によれば、LCDパネル41の表示が停止していても、使用者は、タッチパネル42によって撮像装置100を操作できる。
また、使用者が手動でLCDパネル41の表示を停止させた状態や、LCDパネル41のバックライト49を消灯した状態において、タッチパネル42をタッチボタンとして使用したい場合がある。このような場合に対応するため、システム制御部50は、使用者によるLCDパネル41の表示を停止させる操作を検出した場合や、LCDパネル41のバックライト49を消灯させる操作を検出した場合に、LCDパネル41が視認不可能な状態であると判定してもよい。そして、システム制御部50は、LCDパネル41の表示の停止やバックライト49の消灯によりLCDパネル41が視認不可能な状態と判定した場合に、触感発生部45を作動させる。このような構成であれば、使用者は、LCDパネル41に画像等が表示されていない状態においても、タッチパネル42の操作受付部の位置を感知して操作を行うことができる。
また、タッチパネル42が操作不可能な状態である場合に、触感発生部45を作動させない構成であってもよい。例えば、パネル状態検出部51は、可動式表示装置40の開閉状態および位置(すなわち、可動式表示装置40の収納状態)を検出する。システム制御部50は、パネル状態検出部51による可動式表示装置40収納状態の検出結果に基づいて、可動式表示装置40のタッチパネルが操作可能な状態にあるか操作不可能な状態にあるかを判定する(判定部)。そして、システム制御部50は、タッチパネル42が収納面44と対向する形で収納されていると検出された場合には、タッチパネル42が操作不可能な状態にあると判定する。この場合には、システム制御部50は、触感発生部45を作動させない。
さらに、LCDパネル41が視認可能な状態であると判定される場合に、触感発生部45を作動させない構成であってもよい。このような場合の例としては、ライブビュー撮影中の場合や、撮影画像をLCDパネル41で再生している場合(再生モードに設定されている場合)である。このような構成によれば、不必要なタイミングで触感発生部45を作動させないため、LCDパネル41の表示が見にくくなることを防ぐとともに、電力消費を抑えることができる。
(第2実施形態)
次に、第2実施形態について説明する。なお、第1実施形態と共通の構成については同じ符号を付し、説明を省略する。
第2実施形態では、触感発生部45(図3参照)が、圧電素子(ピエゾ素子)と歪みゲージセンサなどにより構成される。そして、触感発生部45は、LCDパネル41およびタッチパネル42と一体的に構成される。システム制御部50は、使用者がファインダー16を覗いていると判定し、かつ操作受付部またその周辺へのタッチを検出すると、触感発生部45を作動させる。
ここで、触感発生部45の構成について説明する。LCDパネル41またはタッチパネル42には、それらに加わる荷重(タッチ操作の押圧力)を検出するための歪みゲージセンサが接着等により設けられる。歪みゲージセンサは、タッチ操作の押圧力に応じてLCDパネル41またはタッチパネル42が微少量撓む(歪む)ことを利用して押圧力を検出する。また、LCDパネル41またはタッチパネル42に、振動を発生させる圧電素子(圧電振動子)がそれぞれ接着等を用いて設けられる。システム制御部50は、圧電素子を任意の振幅及び周波数で振動させることにより、LCDパネル41またはタッチパネル42を屈曲振動させて触感を発生させる。こうして、LCDパネル41またはタッチパネル42にタッチしている使用者の指等に対して、触感を知覚させることができる。さらに、システム制御部50は、振幅および周波数を様々なパターンでLCDパネル41またはタッチパネル42振動させることにより、使用者に様々なパターンの触感を知覚させることができる。
また、システム制御部50は、タッチパネル42で検出されたタッチ位置、および歪みゲージセンサで検出した押圧力に基づいて、触感を制御することができる。例えば、システム制御部50は、操作受付部に対するタッチを検出し、かつ、歪みゲージセンサで所定値以上の押圧力を検出した場合には、周波数が1Hz程度の振動を発生させる。これによって、あたかも機械的なボタンを押しこんだ際のクリック感のような触感を、使用者に知覚させることができる。さらに、システム制御部50は、操作受付箇所へのタッチを検出している状態で、所定値以上の押圧力を検出した場合にのみ、割り当てられた機能を実行してもよい。このような構成であると、所定値未満の弱い押圧力で操作受付部に触れただけでは、割り当てられた機能を実行しないようにすることができる。なお、タッチ操作の押圧力を検出するための構成は、上記に構成に限定されない。例えば、歪みゲージセンサを用いずに、押圧力に応じて圧電素子から出力される電圧に基づいて検出しても良い。
これらの触感(感知可能な刺激)を、操作受付部またはその周辺がタッチされた場合に発生させることで、使用者は、ファインダー16を覗き込んだ状況でも、操作受付部の位置を認識できる。一方、使用者がファインダー16を覗いていない場合は、触感発生部45を作動させないため、電力消費を抑えることができる。
また、触感発生部45は、感知可能な刺激として、電気的な触感(電気的刺激)を発生させるデバイスで構成されてもよい。電気的な触感(電気的刺激)を発生させるための構成として、触感発生部45は、例えば導電層パネルと絶縁体パネルからなり、導電層に正電荷をチャージできる構成が適用できる。これらの二枚のパネルは、タッチパネル42と同様に、LCDパネル41に重ね合わせて平面的に構成される。そして、使用者が絶縁体パネルを触ると、導電層パネルにチャージされた正電荷によって、使用者に電気的な触感を与えることができる。また、クーロン力により皮膚が引っ張られるような感覚を与えることも可能である。ここで、導電層パネル上の位置ごとに正電荷をチャージするかしないかを選択可能できる。システム制御部50は、正電荷をチャージする位置を制御することで、使用者に対し、「ゴツゴツ感」「ザラザラ感」等、様々な電気的な触感(電気的刺激)を知覚させることが可能である。
そして、システム制御部50は、これらの電気的な触感を操作受付箇所またはその周辺において知覚させるように制御する。これにより、使用者は、ファインダー16を覗き込んだ状況でも、操作受付箇所の位置を認識可能となる。また、システム制御部50は、使用者がファインダー16を覗いていない場合は、触感発生部45を作動させない。このため、電力消費を抑えることができる。
次に、第2実施形態における触感発生部45の処理の流れについて、図9を参照して説明する。図9は、触感発生部45の処理の例を示すフローチャートである。
ステップS401〜S403,S406は、それぞれ、第1実施形態のステップS301〜S305と同じである(図7参照)。このため、説明を省略する。
ステップS404では、システム制御部50は、触感発生箇所がタッチされているかを判定する。タッチされている場合にはステップS405に進み、タッチされていない場合にはステップS407に進む。
ステップS405では、システム制御部50は、触感発生部45を作動させる。
ステップS407では、システム制御部50は、触感発生部45を停止させる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、前記各実施形態においては、表示制御装置が撮像装置に適用される構成を示したが、本発明の表示制御装置の適用対象は撮像装置に限定されない。本発明の表示制御装置は、実施形態で示した撮像装置のほかに、ヘッドマウントディスプレイ、双眼鏡(デジタルスコープ)、ゲーム機(携帯ゲーム機を含む)、電子辞書、携帯電話(いわゆるスマートフォンを含む)、タブレットPC、携帯型の音楽プレーヤーなどといった、表示装置を有する機器であれば適用できる。要は、本発明は、タッチパネルが設けられた表示装置を有する機器であれば、種類を問わずに適用できる。
この場合、折り畳み式の本体を備える機器(例えば、携帯ゲーム機、電子辞書、携帯電話など)であれば、本体が折り畳まれた状態を「操作受付部が視認不可能な状態」として、触感発生部が作動しないようにする構成が適用できる。また、使用者が装着して(目を接近させて)使用する機器(ヘッドマウントディスプレイや双眼鏡など)であれば、使用者が装着している状態を「操作受付部が視認不可能な状態」として、触感発生部が作動しないようにする構成が適用できる。
さらに、これらの場合において、使用者が手動で表示装置の表示を停止させた状態や、表示装置の光源を消灯した状態において、タッチパネルをタッチボタンとして使用したい場合がある。このような場合に対応するため、使用者による表示装置の表示を停止させる操作を検出した場合や、表示装置の光源を消灯させる操作を検出した場合に、操作受付部が視認不可能な状態であると判定してもよい。そして、表示装置の表示の停止や表示装置の光源の消灯により操作受付部が視認不可能な状態と判定した場合に、触感発生部を作動させる。このような構成であれば、使用者は、表示装置に画像等が表示されていない状態においても、タッチパネルの操作受付部の位置を感知して操作を行うことができる。
本発明は、画像表示パネルとタッチパネルとを有する表示装置を制御する表示制御装置に有効な技術である。そして、本発明によれば、タッチパネルの操作箇所が視認不可能であっても正確に操作でき、表示装置が視認可能な状態では表示の視認性の低下を防止でき、さらに、省電力化を図ることができる。
100:撮像装置
18:接眼検出部
40:可動式表示装置
41:LCDパネル
42:タッチパネル
45:触感発生部
49:バックライト

Claims (17)

  1. 画像表示パネルとタッチパネルとを含む表示装置を備える表示制御装置であって、
    使用者が前記タッチパネルの操作受付部を視認可能な状態か否かを判定する判定部と、
    前記タッチパネルの前記操作受付部の位置を感知可能な刺激を発生させる触感発生部と、
    前記判定部による判定の結果に基づいて、前記触感発生部を作動または停止させる制御部と、
    を有し、
    前記操作受付部は、焦点の位置を設定するための表示であり、
    前記判定部により前記操作受付部を視認不可能な状態と判定された場合に、前記制御部は、前記画像表示パネルの表示を停止状態とし、前記操作受付部が表示されていた位置で前記触感発生部を作動させることを特徴とする表示制御装置。
  2. 前記判定部は、前記画像表示パネルの表示が停止している場合に、使用者が前記タッチパネルの前記操作受付部を視認不可能な状態であると判定し、
    前記制御部は、前記判定部によって前記画像表示パネルの表示が停止していると判定された場合に、前記触感発生部を作動させることを特徴とする請求項1に記載の表示制御装置。
  3. 前記判定部は、前記画像表示パネルの光源が消灯している場合に、使用者が前記タッチパネルの前記操作受付部を視認不可能な状態であると判定し、
    前記制御部は、前記判定部によって前記画像表示パネルの光源が消灯していると判定された場合に、前記触感発生部を作動させることを特徴とする請求項1に記載の表示制御装置。
  4. 前記触感発生部は、前記タッチパネルの操作面の任意の位置に触感を出現させられることを特徴とする請求項1から3のいずれか1項に記載の表示制御装置。
  5. 使用者が被写体像を確認できるファインダーと、
    使用者が前記ファインダーに接眼したことを検出する接眼検出部と、
    をさらに有し、
    前記判定部は、前記接眼検出部により使用者が前記ファインダーに接眼したことを検出された場合には、前記タッチパネルの前記操作受付部が使用者により視認不可能な状態であると判定し、
    前記触感発生部は、前記タッチパネルの前記操作受付部が使用者により視認不可能な状態であると判定された場合に作動することを特徴とする請求項1から4のいずれか1項に記載の表示制御装置。
  6. 前記ファインダーからの入射光を防ぐ機能を持つアイピースシャッターをさらに備え、
    前記アイピースシャッターが閉じられており、かつ、前記判定部により使用者が前記タッチパネルの前記操作受付部を視認可能な状態であると判定された場合に、前記触感発生部は停止することを特徴とする請求項5に記載の表示制御装置。
  7. ライブビュー撮影中であり、前記判定部により使用者が前記タッチパネルの前記操作受付部を視認可能な状態であると判定された場合に、前記触感発生部は停止することを特徴とする請求項1から6のいずれか1項に記載の表示制御装置。
  8. 再生モードに設定されており、前記判定部により使用者が前記タッチパネルの前記操作受付部を視認可能な状態であると判定された場合に、前記触感発生部は停止することを特徴とする請求項1から7のいずれか1項に記載の表示制御装置。
  9. 前記触感発生部は、前記タッチパネルの前記操作受付部に対応する位置の表面の形状を部分的に変化させることにより、前記操作受付部を認識できるようにすることを特徴とする請求項1から8のいずれか1項に記載の表示制御装置。
  10. 前記触感発生部は、前記タッチパネルの前記操作受付部またはその周辺の位置がタッチされると、前記タッチパネルを振動させることを特徴とする請求項1から8のいずれか1項に記載の表示制御装置。
  11. 前記触感発生部は、前記タッチパネルの前記操作受付部またはその周辺の位置がタッチされると、使用者に電気的刺激を与えることを特徴とする請求項1から8のいずれか1項に記載の表示制御装置。
  12. 画像表示パネルおよびタッチパネルを含む可動式表示装置と、前記可動式表示装置の収納状態を検出する状態検出部と、を備えた表示制御装置であって、
    使用者が前記タッチパネルの操作受付部を操作可能な状態か否かを判定する判定部と、
    前記タッチパネルの前記操作受付部の位置を感知可能な刺激を発生させる触感発生部と、
    を備え、
    前記操作受付部は、焦点の位置を設定するための表示であり、
    前記可動式表示装置の前記タッチパネルが視認不可能な状態に収納されていると前記検出部により検出され、使用者が前記タッチパネルの操作受付部を操作不可能な状態であると前記判定部により判定された場合には、前記触感発生部は停止し、
    前記可動式表示装置の前記タッチパネルが視認不可能な状態に収納されていないと前記検出部により検出され、前記判定部により前記操作受付部を視認不可能な状態と判定された場合に、前記画像表示パネルの表示を停止状態とし、前記操作受付部が表示されていた位置で前記触感発生部を作動させることを特徴とする表示制御装置。
  13. 前記触感発生部は、前記タッチパネルの前記操作受付部に対応する位置の表面の形状を部分的に変化させることにより、前記操作受付部を認識できるようにすることを特徴とする請求項12に記載の表示制御装置。
  14. 前記触感発生部は、前記タッチパネルの操作受付部またはその周辺の位置がタッチされると、前記タッチパネルを振動させることを特徴とする請求項12に記載の表示制御装置。
  15. 前記触感発生部は、前記タッチパネルの操作受付部またはその周辺の位置がタッチされると、使用者に電気的刺激を与えることを特徴とする請求項12に記載の表示制御装置。
  16. 画像表示パネルとタッチパネルとを含む表示装置を備える表示制御装置の制御方法であって、
    前記タッチパネルの操作受付部が使用者に視認可能な状態か否かを判定する判定ステップと、
    前記判定ステップにおける判定の結果に基づいて、前記タッチパネルの前記操作受付部の位置を感知可能な刺激を発生させる触感発生部を作動または停止させる制御ステップと、
    を有し、
    前記操作受付部は、焦点の位置を設定するための表示であり、
    前記判定ステップにより前記操作受付部を視認不可能な状態と判定された場合に、前記制御ステップは、前記画像表示パネルの表示を停止状態とし、前記操作受付部が表示されていた位置で前記触感発生部を作動させることを特徴とする表示制御装置の制御方法。
  17. 画像表示パネルとタッチパネルとを含む表示装置を制御する表示制御装置のコンピュータに実行させるためのプログラムであって、
    使用者が前記タッチパネルの操作受付部を視認可能な状態か否かを判定する判定ステップと、
    前記判定ステップにおける判定の結果に基づいて、前記タッチパネルの前記操作受付部の位置を感知可能な刺激を発生させる触感発生部を作動または停止させる制御ステップと、
    をコンピュータに実行させ、
    前記操作受付部は、焦点の位置を設定するための表示であり、
    前記判定ステップにより前記操作受付部を視認不可能な状態と判定された場合に、前記制御ステップは、前記画像表示パネルの表示を停止状態とし、前記操作受付部が表示されていた位置で前記触感発生部を作動させることを特徴とするプログラム。
JP2014045493A 2014-03-07 2014-03-07 表示制御装置、表示制御装置の制御方法、プログラム Expired - Fee Related JP6504745B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014045493A JP6504745B2 (ja) 2014-03-07 2014-03-07 表示制御装置、表示制御装置の制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014045493A JP6504745B2 (ja) 2014-03-07 2014-03-07 表示制御装置、表示制御装置の制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2015170209A JP2015170209A (ja) 2015-09-28
JP2015170209A5 JP2015170209A5 (ja) 2017-03-30
JP6504745B2 true JP6504745B2 (ja) 2019-04-24

Family

ID=54202864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014045493A Expired - Fee Related JP6504745B2 (ja) 2014-03-07 2014-03-07 表示制御装置、表示制御装置の制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP6504745B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341561A (ja) * 1999-05-28 2000-12-08 Olympus Optical Co Ltd カメラ
JP2002281357A (ja) * 2001-03-16 2002-09-27 Olympus Optical Co Ltd 撮像装置
JP2006285785A (ja) * 2005-04-01 2006-10-19 Fujitsu Ten Ltd タッチパネル装置
JP2007041150A (ja) * 2005-08-01 2007-02-15 Olympus Imaging Corp 撮像装置
JP5228858B2 (ja) * 2008-12-03 2013-07-03 ソニー株式会社 撮像装置
JP5677051B2 (ja) * 2010-11-29 2015-02-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2013168093A (ja) * 2012-02-17 2013-08-29 Nikon Corp 画像表示装置

Also Published As

Publication number Publication date
JP2015170209A (ja) 2015-09-28

Similar Documents

Publication Publication Date Title
US10911663B2 (en) Electronic apparatus and method for controlling the same
KR102020373B1 (ko) 촬상 제어장치 및 그 제어 방법
CN109479096B (zh) 电子设备及其控制方法和记录介质
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
WO2020255675A1 (ja) 電子機器およびその制御方法
US10742869B2 (en) Image pickup apparatus and control method for image pickup apparatus
JP7467071B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN112714247A (zh) 摄像设备和摄像设备的控制方法
CN113364945A (zh) 电子装置、控制方法和计算机可读介质
JP2022068749A (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
JP2021145191A (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
EP4099681A1 (en) Electronic apparatus, method for controlling the same, and recording medium
JP6504745B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム
CN112040095A (zh) 电子装置、电子装置的控制方法及存储介质
JP2021140590A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2021092958A (ja) 電子機器およびその制御方法、プログラム、並びに記憶媒体
JP2021022897A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
US11743575B2 (en) Electronic apparatus capable of moving execution position of specific function related to shooting, control method therefor, and storage medium
JP7451255B2 (ja) 電子機器及びその制御方法
JP6855317B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び、記録媒体
US20220272277A1 (en) Display control apparatus, control method for controlling the same, and storage medium
JP2021180437A (ja) 撮像装置
JP2021018634A (ja) 電子機器およびその制御方法
JP2023019951A (ja) 操作入力装置および電子機器
JP2022095306A (ja) 表示制御装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190326

R151 Written notification of patent or utility model registration

Ref document number: 6504745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees