JP6335015B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6335015B2
JP6335015B2 JP2014097111A JP2014097111A JP6335015B2 JP 6335015 B2 JP6335015 B2 JP 6335015B2 JP 2014097111 A JP2014097111 A JP 2014097111A JP 2014097111 A JP2014097111 A JP 2014097111A JP 6335015 B2 JP6335015 B2 JP 6335015B2
Authority
JP
Japan
Prior art keywords
amount
display area
change
size
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014097111A
Other languages
English (en)
Other versions
JP2015215701A (ja
JP2015215701A5 (ja
Inventor
貴幸 橋本
貴幸 橋本
小林 克行
克行 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014097111A priority Critical patent/JP6335015B2/ja
Priority to US14/695,399 priority patent/US10019919B2/en
Publication of JP2015215701A publication Critical patent/JP2015215701A/ja
Publication of JP2015215701A5 publication Critical patent/JP2015215701A5/ja
Application granted granted Critical
Publication of JP6335015B2 publication Critical patent/JP6335015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関するものである。

タッチ位置を検出する座標入力装置(タッチパネル装置)の位置検出方式として、抵抗膜方式、静電容量方式、電磁授受方式、表面弾性波方式等の種々の方式が知られている。また、近年では一か所のタッチ位置を検出するのみならず、複数のタッチ位置を略同時に検出できる製品も多数出現している。この種のタッチパネル装置は、スマートフォンが如く、表示装置と重ねて一体化する事で、表示画面に表示されているオブジェクト等をあたかも直接タッチするように、直感的な操作を実現することができる。
特許文献1では、座標入力領域上の2点の位置をタッチした後、2点のタッチ位置を移動してタッチ位置の間隔を広げると、表示されている写真や地図がより拡大表示され、間隔を狭めると縮小表示される、マルチタッチ動作による拡大操作/縮小操作であるピンチ操作が開示されている。
特許文献2では、位置検出用のセンサを着脱可能とし、座標入力領域の大きさを変更可能な座標入力装置が開示されている。
特開2007-279638号公報 特開2012-068892号公報
しかしながら、特許文献1および特許文献2の技術では、ピンチ操作の移動距離はほぼ一定値(親指と人指し指を閉じた状態から開いた状態までの相対的な距離は最大で10cm程度)であるにもかかわらず座標入力領域の大きさは様々に変更されうるので、座標入力領域が大きくなると一回のピンチ操作による拡大/縮小では十分な作業が行えず、ピンチ操作を何回も繰り返す必要があるという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、入力領域の大きさの差異によって生じる操作の煩わしさを低減することを目的とする。
上記の目的を達成する本発明に係る情報処理装置は、
大きさを可変に設定可能な表示領域を含む入力領域に対して行われたタッチ操作のタッチ位置を検出する検出手段と、
ッチ位置の移動に応じて変化させる画像の変化量を、前記検出手段により検出されるタッチ位置の移動量と、前記表示領域の大きさとに基づいて決定する決定手段と、
前記表示領域に表示される画像を変化させるための制御を、前記決定手段により決定される変化量に応じて行う制御手段とを有し、
前記決定手段は、前記表示領域の大きさが所定のサイズより大きい場合、タッチ位置の移動量に対する画像の変化量が前記表示領域の大きさに応じて変化するよう画像の変化量を決定し、
前記決定手段は、前記表示領域内の大きさが前記所定のサイズより小さい場合、タッチ位置の移動量に対する画像の変化量が前記表示領域の大きさに関わらず一定となるよう画像の変化量を決定する
ことを特徴とする。
本発明によれば、入力領域の大きさの差異によって生じる操作の煩わしさを低減することができる。
第1実施形態に係る座標入力システムにおける処理の手順を示すフローチャート。 第2実施形態に係る座標入力装置が実施する処理の手順を示すフローチャート。 第3実施形態に係る座標入力装置が実施する処理の手順を示すフローチャート。 本発明の一実施形態に係る処理の説明図。 第4実施形態に係る座標入力装置が実施する処理の手順を示すフローチャート。 本発明の一実施形態に係る座標系変換処理の説明図。 本発明の一実施形態に係るマルチタッチ操作の一例の説明図。 本発明の一実施形態に係る座標変換結果を説明する説明図。 (a)本発明の一実施形態に係る座標入力システムの構成例を示す図、(b)本発明の一実施形態に係る座標入力装置の制御部の機能構成例を示す図。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
(第1実施形態)
第1実施形態では、入力領域に対するタッチ位置を検出可能な座標入力システムにおいて、入力領域に対して表示装置から投影される表示領域の大きさに基づいたパラメータにより、タッチ位置の軌跡に基づくジェスチャ操作に対応するコマンドを補正する例を説明する。
まず図9(a)を参照して、本発明の一実施形態に係る座標入力システムの構成例について説明する。座標入力システムは、入力領域に対するタッチ位置を検出可能な座標入力装置1と、画像等を投影する表示装置2とを備えている。座標入力装置1は、制御部11と再帰反射部12とを備えている。制御部11および再帰反射部12は、投影面4の大きさに応じて設定される表示装置2による投影サイズに応じて設置できるように構成される。図9(a)の左が投影面4の大きさが小さい場合の例であり、図9(a)の右が投影面4の大きさが大きい場合の例である。
制御部11は、赤外光を投光する投光部および赤外光を受光する受光部を含むセンサユニットを備えている。再帰反射部12は、入射光を到来方向に反射する再帰反射面を有しており、表示装置2の投影領域をカバーする座標入力領域3の周囲3辺に設けられている。
座標入力領域3に対して指示具(例えば、専用入力ペン、指等)などによる入力指示がなされると、センサユニットの投光部から投光された赤外光が遮られ、入力指示方向のみ再帰反射による反射光が得られなくなる。制御部11は、センサユニットの光量変化から、入力指示された部分の遮光範囲を検出し、同範囲内での検出点を特定してそれぞれの角度情報を算出し、指示位置の座標を算出する。座標入力装置1および表示装置2にはそれぞれ不図示の通信部が設けられており、有線通信/無線通信により情報を相互に伝達することが可能である。
次に図9(b)を参照して、本発明の一実施形態に係る座標入力装置1の機能構成について説明する。座標入力装置1は、パラメータ設定部111と、ジェスチャ認識部112と、コマンド生成部113と、出力部114と、座標変換部115とを備えている。
パラメータ設定部111は、入力領域に対して表示装置2から投影される表示領域の大きさに基づいてパラメータ(例えば、拡大倍率/縮小倍率)を設定する。ジェスチャ認識部112は、タッチ位置の軌跡に基づいてジェスチャ操作(例えば、拡大操作/縮小操作)を認識する。コマンド生成部113は、ジェスチャ操作に対応するコマンドを生成する。ここでのコマンドとは、例えば表示領域を拡大する拡大コマンドまたは表示領域を縮小する縮小コマンドである。出力部114は、パラメータ設定部111により設定されたパラメータと、コマンド生成部113により生成されたコマンドとを出力する。表示領域の大きさに対応するパラメータでコマンドを自動的に調整することが可能となり、ユーザの操作性が向上する効果がある。なお、当該構成は座標入力装置1ではなく、表示装置2あるいは当該表示装置2を制御する不図示の情報処理装置が備えていてもよい。以下の説明では、表示装置2あるいは情報処理装置がこれらの構成を有する場合にも同じ参照符号により説明を行う。
次に図6を参照して、表示装置2と座標入力装置1とを重ねて配置した場合の表示装置2の座標系51、座標入力装置1の座標系52を説明する。図6(a)において、表示装置2の座標系51はx軸、y軸で定義され、表示装置2の左上部分の座標を原点(0000,0000)とし、右下部分の座標を(FFFF,FFFF)と定義する。これに対して、座標入力装置1の座標入力有効領域は、例えば座標入力有効領域の左上隅部分を原点(0,0)として、通常mm単位で定義される。そして、座標入力装置1本体、もしくは表示装置2が接続されているパーソナルコンピュータ等の制御機器により、座標入力装置1の座標系52は、表示装置2の座標系51に変換される。その変換方法は、表示装置2の左上部分をタッチした時に座標入力装置1が検出した座標値が(x1、y1)であれば、表示座標系での座標値(0000,0000)に変換される。同様に表示装置2の右下部分をタッチした時に座標入力装置が検出した座標値が(x2、y2)であれば、表示座標系での座標値(FFFF,FFFF)に変換される。このように、表示領域における表示座標系で既知の位置に、例えばカーソル等を表示させ、その位置をタッチする事で座標入力装置1が算出する座標値を算出し、両者を対応付けることで、座標系を変換するためのパラメータを設定することができる。このような座標変換のためのパラメータ設定手順をキャリブレーションと呼ぶ。キャリブレーションを事前に実施しておくことで、任意の位置をタッチした時に、その位置にカーソルを表示することが可能となる。
図6(b)は、図6(a)の場合より表示領域が大きくなった場合の例を示すものであり、同様に表示装置2の座標系51、座標入力装置1の座標系52が示されている。表示装置2の座標系51は表示領域が大きくなった場合でも、図6(a)の場合と同様に、座標(0000、0000)及び座標(FFFF,FFFF)で定義されるのが通例である。
一方、mm単位で出力される座標入力装置1の座標系52は、(x3、y3)及び(x4、y4)で定義され、表示領域が大きくなった分、より大きな値となる。しかしながら、表示座標系へと変換されると、図6(a)の座標系と図6(b)の座標系とは、同一の値となる。
この変換作業は、座標入力装置1で処理して、その結果をパーソナルコンピュータ等に表示座標系で出力するのが一般的である。もしくは、座標入力装置1は、座標入力装置1の座標系52でそのまま座標値を出力し、パーソナルコンピュータ等にインストールされているドライバ、あるいはアプリケーションソフトで座標変換するように構成されてもよい。
次に、図7を参照して、同時にタッチした時の2つ以上の点の動きを検知して画面の制御を行うマルチタッチ操作の一例と、マルチタッチ操作の問題点について説明する。図7(a)及び図7(c)は、スマートフォン等の比較的小型の携帯機器での操作例を説明するものである。図7(a)及び図7(c)に示すように、仮に表示領域の大きさを縦方向50mm、横方向100mmとすれば、図7(c)に示されるように親指と人差し指を広げることで、画面の対角方向の2点をタッチできる大きさである。マルチタッチ操作により、表示中の写真を拡大させようとする場合、図7(a)の状態で2点をタッチした後に、タッチしながら図7(c)の状態にタッチ位置を移動させる。そしてその移動量に応じて写真が拡大され、図7(c)のように写真が表示画面全体に拡大された状態となる。
一方、図7(b)及び図7(d)は、表示装置(プロジェクタ)により投影される大画面を想定した場合であって、仮に表示領域の大きさを縦方向1000mm、横方向2000mmとする。このような場合は、図7(b)に示されるような写真を画面いっぱいに拡大するために、図7(d)のように、操作者は両手を広げて操作をしなければならない。
この原因は、図8に示すように、座標入力装置が検出した座標値を表示座標系に変換して出力した結果は、操作者によるタッチ操作の移動量に関わらず、図7(b)の状態と図7(d)の状態とで同じであるためである。従って、図7(a)の状態から図7(c)へと遷移したような片手によるピンチ操作で、図7(b)の状態から図7(d)の状態に、大画面において写真を拡大しようとすると、ピンチ操作を何回も繰り返さなければならない。言い換えると、一回のピンチ操作では拡大量が十分に得られず、ピンチ操作を繰り返し、写真を拡大する操作を少しずつ実行することになり、煩雑な作業となる。以下、こうした煩雑な作業を必要としない本実施形態の処理について詳述していく。
[キャリブレーション処理]
図1(a)は、座標入力装置1の座標系を表示装置2の座標系に変換するためのキャリブレーション処理の手順を示すフローチャートである。
S101において、制御部11は、表示領域の1以上の所定の位置(例えば、表示領域の4隅)を順に指示する動作を促すため操作者に報知を行う。報知は、表示、音声、LED等の光など様々な方法で行うことが可能である。
S102において、制御部11は、指示動作がなされた結果、座標入力が検出されたか否かを判定する。座標入力が検出された場合(S102;Yes)、S103へ進む。一方、座標入力が検出されていない場合(S102;No)、検出されるまで待機する。
S103において、制御部11は、検出された座標値と、当該座標値に対応する表示装置2の表示座標系での位置情報とを不図示のメモリに記憶する。以降、座標入力装置1の座標系をdigi(x,y)と表記し、表示装置2の座標系をdisp(X,Y)と表記する。なお、表示領域の4隅をタッチするキャリブレーションでは4回繰り返すことになるが、キャリブレーションの方法はこれに限定されるものではない。例えば、アプリケーションソフト等によって、表示座標系での表示領域の既知の位置にカーソルを表示させ、操作者にその位置をタッチするように促してもよい。そして指示操作することによって得られる座標入力装置1の座標系での指示座標と、表示領域の既知の位置とを対応付けて、S103においてその情報を記憶してもよい。
S104において、制御部11は、座標変換用のパラメータ算出に必要な全データが取得されたか否かを判定する。全データが取得されたと判定された場合(S104;Yes)、S105へ進む。一方、全データが取得されていないと判定された場合(S104;No)、S102に戻る。
S105において、制御部11は、S103で得られた情報に基づいて座標入力装置1で検出した座標値を表示装置2の座標系での座標値へ変換するためのパラメータを算出する。ここで、図6を参照して説明したように、座標入力装置1の座標系は通常mm単位であって、4隅をタッチするキャリブレーションを実施することで、表示領域の大きさを把握することが可能となる。一方、表示座標系に変換されてしまうと、表示領域を縦横各々、約65000(16進数のFFFFを10進数に変換した値:65535)に分割して、相対的に位置を定義しているに過ぎず、大きさの情報が欠落する。
従って、S106において、座標変換の演算に用いるパラメータをメモリに記憶すると共に、座標入力装置1の座標系digi(x,y)で得られる表示領域の大きさに関する情報を、外部装置(例えば、表示装置2を制御するパーソナルコンピュータ等の情報処理装置)に送信する。以上で図1(a)のフローチャートの各処理が終了する。
[座標検出処理]
図1(b)は、キャリブレーション処理の完了後に遷移する、座標入力装置1の座標検出処理の手順を示すフローチャートである。
S111において、制御部11は、タッチ操作による座標入力が検出されたか否かを判定する。座標入力が検出された場合(S111;Yes)、S112へ進む。一方、座標入力が検出されていない場合(S111;No)、検出されるまで待機する。
S112において、制御部11は、座標入力装置1の座標系でのタッチ位置の座標値digi(x,y)を算出する。
S113において、制御部11の座標変換部115は、S106の処理により格納されている座標変換用パラメータを使用して、S112で算出された座標値digi(x,y)を表示装置2の表示座標系での座標値disp(X,Y)に変換する。
S114において、制御部11の出力部114は、変換した座標値disp(X,Y)を外部装置(例えば、パーソナルコンピュータ等)に出力する。
S115において、制御部11は、処理を終了するか否かを判定する。処理の終了は例えば座標入力装置1または表示装置2の電源オフや、座標入力の検出を行わない状態への遷移により判定してもよい。処理を終了すると判定された場合(S115;Yes)、図1(b)のフローチャートの各処理が終了する。一方、処理を終了しないと判定された場合(S115;No)、S111に戻って一連の処理を繰り返す。なお、座標入力装置1は少なくとも2つの座標値を同時に検出できるものとする。
[座標値の処理]
図1(c)は、表示装置2の表示を制御している情報処理装置(例えば、パーソナルコンピュータ)内において、座標入力装置1が出力した座標値を処理する手順を示すフローチャートである。なお、表示装置2が情報処理装置と一体として構成されていてもよく、その場合、情報処理装置の機能は表示装置2が有することとなる。
S121において、情報処理装置は、座標入力装置1から出力された表示座標系での座標値disp(X,Y)を取得したか否かを判定する。座標値disp(X,Y)を取得したと判定された場合(S121;Yes)、S122へ進む。一方、座標値disp(X,Y)を取得していないと判定された場合(S121;No)、取得するまで待機する。
S122において、情報処理装置は、座標入力装置1から繰り返し出力される座標値の軌跡を解析する。
S123において、情報処理装置のジェスチャ認識部112は、解析された軌跡に対応するジェスチャ操作(例えば、図7に示したような拡大操作)を認識できたか否かを判定する。ジェスチャ操作を認識できた場合(S123;Yes)、S124へ進む。一方、ジェスチャ操作を認識できなかった場合(S123;No)、S126へ進む。
S124において、情報処理装置のコマンド生成部113は、S123で認識されたジェスチャ操作に対応するコマンドを生成する。例えば、拡大操作を意図する軌跡情報が得られた場合、表示中のオブジェクトを拡大するための拡大コマンドを生成する。
S125において、情報処理装置のパラメータ設定部111は、S124で生成されたコマンドのパラメータを設定する。情報処理装置は、S106で出力された座標入力装置1の座標系digi(x,y)で得られる表示領域の大きさに関する情報を既に取得している。従って、コマンドパラメータとして、ここでは表示領域の大きさに応じてタッチ位置の移動量に対する拡大率の設定を自動的に行う。例えば、ある大きさの表示領域において、指示されている2点間の距離を5cmから10cmに広げて拡大コマンドを生成した時に、アクティブなオブジェクトの表示領域の大きさが2倍になったと仮定する。より大きな表示領域においては、同様にして指示されている2点間の距離を5cmから10cmに広げて拡大コマンドを生成した時に、アクティブなオブジェクトの表示領域の大きさが3倍になるように設定する。つまり操作者が同様の操作を行ったにもかかわらず、表示領域の大きさに応じて、結果として拡大されたオブジェクトの大きさが異なる結果となる。
図7を参照して説明したように、小さい表示装置で表示されている写真(図7(a))を画面全体に広げる(図7(c))場合は、ピンチ操作で実現できる。これに対して、大きい表示装置においては、図7(a)と同じサイズの写真が表示されていて(図7(b))、同様に画面全体に拡大するためには、写真が所望のサイズとなるまで煩雑な動作が必要となる(図7(d))。より大きな表示装置では、人間が手を最大限広げても所望のサイズにすることができず、この動作を繰り返し行わなければならないからである。本発明は、この操作性の低下を防止し、より良い操作環境を提供するために、表示画面の大きさに応じて、コマンドのパラメータ(例えば、拡大コマンドの拡大率、縮小コマンドの縮小率)を自動的に設定するものである。
S126において、情報処理装置の出力部114は、S124で生成されたコマンドと、S125で表示画面の大きさに応じて設定されたコマンドパラメータとを動作中のアプリケーションソフトウェア等に出力する。
S127において、情報処理装置の出力部114は、動作中のアプリケーションソフトウェア等に座標値disp(X,Y)を出力する。
S128において、情報処理装置は、処理を終了するか否かを判定する。処理の終了は例えば座標入力装置1、表示装置2または情報処理装置の電源オフ等により判定してもよい。処理を終了すると判定された場合(S128;Yes)、図1(c)のフローチャートの各処理が終了する。一方、処理を終了しないと判定された場合(S128;No)、S121に戻って一連の処理を繰り返す。
以上説明したように、第1実施形態では、座標入力装置が出力した表示座標系での座標値disp(X,Y)を、出力先のパーソナルコンピュータ内で処理してジェスチャ操作を解析し、自動的にジェスチャ操作に対応するコマンドパラメータを設定する。
これにより、表示画面の大きさに応じて、マルチタッチ操作の移動量に対する表示オブジェクトの拡大率が自動調整され、例えば大画面では小さなピンチ操作で、オブジェクトがより大きく拡大されるようになる。その結果、入力領域の大きさの差異によって生じる操作の煩わしさを低減することができる。
なお、拡大操作に係るコマンドパラメータの自動設定を説明したが、これに限定されるものではなく、縮小操作、フリック操作等のジェスチャ操作全般に適用可能である。
(第2実施形態)
第1実施形態では、座標入力装置1の座標系digi(x,y)で得られる表示領域の大きさに関する情報を外部装置(例えば、表示装置2を制御するパーソナルコンピュータ等の情報処理装置)に出力するとともに、表示座標系での座標値disp(X,Y)を出力していた。そして、表示座標系での座標値disp(X,Y)を取得した情報処理装置がコマンド生成等の処理を行っていた。これに対して、第2実施形態では、座標入力装置自身がコマンド生成及びコマンドパラメータの設定を自動的に行う例を説明する。
図2(a)は、座標入力装置1の座標系を表示装置2の座標系に変換するためのキャリブレーション処理の手順を示すフローチャートである。S201−S205の各処理は、図1(a)のS101−S105の各処理とそれぞれ同じであるため説明を省略する。なお、座標入力装置1の構成は第1実施形態と同様である。S206において、制御部11は、S205で算出された座標変換パラメータを記憶する。第1実施形態とは異なり、表示領域の大きさに関する情報を外部装置(例えば、表示装置2を制御するパーソナルコンピュータ等の情報処理装置)へ出力しない。
図2(b)は、キャリブレーション処理の完了後に遷移する、座標入力装置1の座標検出処理および座標入力装置1自身がコマンドパラメータを自動的に設定する処理の手順を示すフローチャートである。S211−S212はS111−S112と、S213−S217はS122−S126と、S218−S220はS113−S115と、処理の主体が座標入力装置1である点を除けば同様の処理である。より具体的には、S206で記憶された表示領域の大きさに関する情報に基づいて、S216において、座標入力装置1自身がコマンドパラメータを自動的に設定している。
このような一連の処理において、座標入力装置1が出力する情報は、表示座標系での指示座標disp(X,Y)、及び拡大等のコマンドパラメータの値を反映したコマンドのみとなる。従って、パーソナルコンピュータのOSが有する基本機能で当該情報を受信可能となり、第1実施形態とは異なり、専用ドライバ等をインストールする必要が無くなるという利点を有する。
(第3実施形態)
近年、情報処理装置(パーソナルコンピュータ)のOS標準機能として、指示座標値の一連の軌跡を解析してコマンドを生成するタッチジェスチャ機能のみならず、複数のタッチ位置の軌跡を各々解析してコマンドを生成するマルチタッチジェスチャ機能搭載のものが増加している。第3実施形態では、マルチタッチジェスチャ機能を利用して、例えば拡大ジェスチャコマンドのコマンドパラメータを表示領域の大きさに応じて、あたかも自動的に設定しているかのように座標入力装置が動作する例を説明する。
まずキャリブレーション処理については、第2実施形態で図2(a)を参照して説明した処理と同様であるため、説明を省略する。
図3(a)は、キャリブレーション処理の完了後に遷移する、座標入力装置1の座標検出処理および座標入力装置1自身がコマンドパラメータを自動的に設定する処理の手順を示すフローチャートである。
S311−S316の各処理は、図2(b)のS211−S216の各処理と同様である。S317において、座標入力装置の制御部11は、検出された座標値を補正する。
ここで図3(b)は、S317の検出座標補正処理の詳細な手順を示すフローチャートである。S3171において、制御部11は、前回検出された座標入力装置の座標系での座標値digi(Xn-1,Yn-1)と、今回検出された座標値digi(Xn,Yn)との差分ベクトルを算出する。ここでnは整数である。
S3172において、制御部11は、図2のS206の処理によって格納されている表示領域の大きさに基づき自動的に設定される倍率を、S3171で算出された差分ベクトルに乗算して補正量を算出する(補正量算出処理)。
S3173において、制御部11は、S3172で算出された補正量を、前回検出された座標補正値M_disp(Xn-1,Yn-1)に加算して、今回検出した座標補正値M_disp(Xn,Yn)として算出する(座標値算出処理)。以上で図3(b)の処理が終了する。
再び図3(a)に戻る。S318において、S317で今回検出した座標補正値M_disp(Xn,Yn)を表示座標系に変換する。そしてS319においてパーソナルコンピュータ等の外部機器に出力する。なお、補正された最初の座標値M_disp(X0,Y0)の値は、S304でジェスチャ認識された直前に検出された座標入力装置1の座標系での値digi(X,Y)である。S320の処理はS220の処理と同様である。
本実施形態の作用について、図4(a)及び図4(b)を参照して説明する。図4(a)は、操作者がオブジェクト(写真)を拡大するために、写真表示領域内の地点a、及び地点bをタッチした瞬間を示している。座標入力装置1は、S311で座標を検出し、S312でそのタッチ位置座標digi(X,Y)を算出する。S313の軌跡解析処理では、現在は瞬間的に座標を検知したのみの状態であるから、軌跡の解析は行わず、S314においてもジェスチャ操作している状態とは認識できない。従って、今回検出した座標はS318において座標変換パラメータを用いて表示座標系の座標値disp(X,Y)に変換して、S319においてパーソナルコンピュータ等の外部機器にその座標値を出力する。そしてS311に戻る。その後、図4(a)の状態から図4(b)の状態に操作されると、引き続き座標検出処理が行われるので、S312においてタッチ位置座標digi(X,Y)を検出し、S313において各々の座標の軌跡解析が行われる。軌跡解析の結果、2点間の距離が広がった状態にあると判定されると、S314において拡大操作を行っていると判定して、S315において拡大コマンドが生成される。その後、前回測定した座標値digi(X,Y)を補正座標M_disp(X0,Y0)として設定する。図4(b)に示すように、今回検出された座標値は指示位置c、及び指示位置dの座標値である。
前回検出した図4(a)の指示位置から、各々の指示位置が図4(b)のように変化した。そこで、まずS3171で差分ベクトルを算出し、S3172において所定の倍率を乗算して補正量を算出し、S3173で前回の座標検出で設定された補正座標値M_disp(X0,Y0)にその補正量を加算することにより、今回の補正座標値M_disp(X1,Y1)を算出する。図4の例では表示画面が大きいため、少ない動作で大きく拡大できることが好ましい。従って、実際の移動方向ベクトルと同じ方向に、その移動量が拡大された補正座標値を、表示装置2の大きさに応じて自動的に算出する。その結果、補正された座標値は、図4(b)における地点e、地点fの位置の座標となる。
この値をS318で表示座標系に変換し、S319で出力する。この情報を受けた例えばパーソナルコンピュータは、実際の動き量よりも大きな効果で写真を拡大するように作用することとなる。
(第4実施形態)
第3実施形態では、検出した座標値、及び前回の座標値との差分ベクトル、及び表示領域の大きさに応じた係数を差分ベクトルに乗算して加算し、座標を出力することにより、拡大操作の倍率を表示画面の大きさに応じて設定する例を説明した。第4実施形態では、同様に、表示領域の大きさに応じて、適切な縮小率を設定できるように座標を出力する例を説明する。
図4(c)及び図4(d)は、少ない動作で大きな縮小操作を実現することをOSが判断できるように、操作者がタッチしている位置と、座標入力装置1が出力する座標位置とを模式的に示したものである。
図4(c)において、地点g、地点hは操作者がタッチした地点であり、その時座標入力装置1がタッチ位置を検出して出力した表示座標系でのタッチ位置が各々の地点i、地点jであることを示している。本実施形態の場合、地点i、及び地点jは、地点g及び地点hを結んだ直線上にあって、地点g及び地点hの2点間の距離、及び表示領域の大きさに応じて、2点間の外側に、地点i、及び地点jが設定される。
その後、縮小操作により図4(d)のように操作を行うと、表示領域の大きさに応じた縮小率に従って、実際の操作量より大きな移動量を出力することになる。図4(d)は、実際に出力する補正された座標値と実際の座標値とが一致している状態を示している。
このように、図4(a)、図4(b)で説明した拡大操作の場合と、図4(c)、(d)で説明した縮小操作の場合とでは、最初に設定されて出力する補正された基準座標値が異なっている。
図5は、第3及び第4実施形態に係る拡大縮小操作の処理手順を示すフローチャートである。S511―S514の各処理はS311−S314の各処理と、S516−S520の各処理はS316−S320の各処理と同様である。
図5では、S521及びS522において基準座標となる候補座標を算出して記憶する処理を行う。S521では、拡大操作用の補正基準座標を算出して記憶する。S522では、縮小操作用の補正基準座標を算出して記憶する。そして、S515において、S521もしくはS522で事前に記憶されているいずれかの基準座標を、S514におけるジェスチャ認識の結果に基づいて選択し、出力用座標として処理する。
[変形例]
上述した各実施形態に加えてさらに以下の処理を行ってもよい。例えば、表示領域の大きさが所定サイズ以上である場合であって、さらに座標入力装置1の座標系での2点間距離(絶対距離) が所定距離以上である場合、表示領域の大きさに基づくパラメータ(拡大率/縮小率)による補正を禁止するように構成してもよい。そして、表示領域の大きさが所定サイズよりも大きい場合であって、さらに座標入力装置1の座標系での2点間距離(絶対距離) が所定距離未満である場合、表示領域の大きさに基づくパラメータ(拡大率/縮小率)による補正を許可するように構成してもよい。また、表示領域の大きさが所定サイズ未満である場合、表示領域の大きさに基づくパラメータ(拡大率/縮小率)による補正を禁止するように構成してもよい。パラメータによる補正ありのモードと補正無しのモードとを準備し、ユーザが切替スイッチを押下することで変更できるように構成してもよい。
このように、所定条件が満たされる場合に、出力する座標値をパラメータにより補正することで、大画面に対する操作を簡易にすることが可能となる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
1:座標入力装置、2:表示装置、11:制御部、12:再帰反射部、111:パラメータ設定部、112:ジェスチャ認識部、113:コマンド生成部113、114:出力部、115:座標変換部

Claims (14)

  1. 大きさを可変に設定可能な表示領域を含む入力領域に対して行われたタッチ操作のタッチ位置を検出する検出手段と、
    ッチ位置の移動に応じて変化させる画像の変化量を、前記検出手段により検出されるタッチ位置の移動量と、前記表示領域の大きさとに基づいて決定する決定手段と、
    前記表示領域に表示される画像を変化させるための制御を、前記決定手段により決定される変化量に応じて行う制御手段とを有し、
    前記決定手段は、前記表示領域の大きさが所定のサイズより大きい場合、タッチ位置の移動量に対する画像の変化量が前記表示領域の大きさに応じて変化するよう画像の変化量を決定し、
    前記決定手段は、前記表示領域内の大きさが前記所定のサイズより小さい場合、タッチ位置の移動量に対する画像の変化量が前記表示領域の大きさに関わらず一定となるよう画像の変化量を決定する
    ことを特徴とする情報処理装置。
  2. 前記決定手段は、前記検出手段により検出されるタッチ位置の移動量が同一である第1の場合と第2の場合それぞれにおける前記変化量を、前記表示領域が前記所定のサイズよりも大きい前記第1の場合における前記変化量が、前記表示領域が前記所定のサイズよりも小さい前記第2の場合における前記変化量よりも大きくなるように決定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記決定手段は、前記表示領域に表示される画像の拡大率を前記変化量として決定することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記決定手段は、前記表示領域に表示される画像の縮小率を前記変化量として決定することを特徴とする請求項1又は2に記載の情報処理装置。
  5. 画像が表示されている前記入力領域に対して行われた表示領域指示のためのタッチ操作のタッチ位置に基づいて、前記表示領域の大きさを判定する判定手段を有し、
    前記決定手段は、前記判定手段により判定される前記表示領域の大きさと、前記表示領域指示のためのタッチ操作より後に行われるタッチ操作に応じて前記検出手段により検出されるタッチ位置の移動量とに基づいて、前記変化量を決定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  6. 前記決定手段は、前記入力領域に対応する座標系における前記移動量を表す値を、前記表示領域に対応する座標系における値に変換することで、前記変化量を決定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  7. 前記決定手段は、前記検出手段により検出されるタッチ位置の移動量が閾値よりも小さい同一の値である第1の場合と第2の場合それぞれにおける前記変化量を、前記表示領域が前記所定のサイズよりも大きい前記第1の場合における前記変化量が、前記表示領域が前記所定のサイズよりも小さい前記第2の場合における前記変化量よりも大きくなるように決定し、且つ、前記検出手段により検出されるタッチ位置の移動量が前記値よりも大きい同一の値である第3の場合と第4の場合それぞれにおける前記変化量を、前記表示領域が前記所定のサイズよりも大きい前記第3の場合における前記変化量が、前記表示領域が前記所定のサイズよりも小さい前記第4の場合における前記変化量と等しくなるように決定することを特徴とする請求項1に記載の情報処理装置。
  8. 前記入力領域に対して光を投光する投光手段と、
    光を受光する受光手段とを有し、
    前記検出手段は、前記投光手段による投光に応じた前記受光手段による受光状態に基づいて前記タッチ操作のタッチ位置を検出することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  9. 前記検出手段は、前記入力領域に対して行われたタッチ操作のタッチ位置を表す情報を座標入力装置から取得することで、前記タッチ操作のタッチ位置を検出することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  10. 前記表示領域は、表示装置が画像の投影を行う領域であることを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
  11. 大きさを可変に設定可能な表示領域を含む入力領域に対して行われたタッチ操作のタッチ位置を検出する検出工程と、
    ッチ位置の移動に応じて変化させる画像の変化量を、前記検出工程において検出されるタッチ位置の移動量と、前記表示領域の大きさとに基づいて決定する決定工程と、
    前記表示領域に表示される画像を変化させるための制御を、前記決定工程において決定される変化量に応じて行う制御工程とを有し、
    前記決定工程では、前記表示領域の大きさが所定のサイズより大きい場合、タッチ位置の移動量に対する画像の変化量が前記表示領域の大きさに応じて変化するよう画像の変化量を決定し、
    前記表示領域内の大きさが前記所定のサイズより小さい場合、タッチ位置の移動量に対する画像の変化量が前記表示領域の大きさに関わらず一定となるよう画像の変化量を決定することを特徴とする情報処理方法。
  12. 前記決定工程は、前記検出工程において検出されるタッチ位置の移動量が同一である第1の場合と第2の場合それぞれにおける前記変化量を、前記表示領域が前記所定のサイズよりも大きい前記第1の場合における前記変化量が、前記表示領域が前記所定のサイズよりも小さい前記第2の場合における前記変化量よりも大きくなるように決定することを特徴とする請求項11に記載の情報処理方法。
  13. 前記決定工程においては、前記表示領域に表示される画像の拡大率が前記変化量として決定されることを特徴とする請求項11又は12に記載の情報処理方法。
  14. コンピュータを、請求項1乃至10の何れか1項に記載の情報処理装置の各手段として動作させるためのプログラム。
JP2014097111A 2014-05-08 2014-05-08 情報処理装置、情報処理方法およびプログラム Active JP6335015B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014097111A JP6335015B2 (ja) 2014-05-08 2014-05-08 情報処理装置、情報処理方法およびプログラム
US14/695,399 US10019919B2 (en) 2014-05-08 2015-04-24 Processing apparatus, command generation method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014097111A JP6335015B2 (ja) 2014-05-08 2014-05-08 情報処理装置、情報処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2015215701A JP2015215701A (ja) 2015-12-03
JP2015215701A5 JP2015215701A5 (ja) 2017-05-25
JP6335015B2 true JP6335015B2 (ja) 2018-05-30

Family

ID=54367846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014097111A Active JP6335015B2 (ja) 2014-05-08 2014-05-08 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US10019919B2 (ja)
JP (1) JP6335015B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160057651A (ko) * 2014-11-14 2016-05-24 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10503278B2 (en) 2015-12-22 2019-12-10 Sony Corporation Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
WO2018133194A1 (zh) * 2017-01-22 2018-07-26 华为技术有限公司 基于手势显示图形用户界面的方法及电子设备
US11144194B2 (en) * 2019-09-19 2021-10-12 Lixel Inc. Interactive stereoscopic display and interactive sensing method for the same
CN114143521A (zh) * 2019-09-30 2022-03-04 深圳市火乐科技发展有限公司 一种游戏投影方法、投影仪及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
JP5210497B2 (ja) 2006-04-12 2013-06-12 クラリオン株式会社 ナビゲーション装置
US8381125B2 (en) * 2009-12-16 2013-02-19 Apple Inc. Device and method for resizing user interface content while maintaining an aspect ratio via snapping a perimeter to a gridline
JP5466609B2 (ja) 2010-09-24 2014-04-09 株式会社日立ソリューションズ 光学式位置検出装置及び再帰性反射板ユニット
WO2012040827A2 (en) * 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
JP5718042B2 (ja) * 2010-12-24 2015-05-13 株式会社ソニー・コンピュータエンタテインメント タッチ入力処理装置、情報処理装置およびタッチ入力制御方法
TW201312422A (zh) * 2011-09-07 2013-03-16 Pixart Imaging Inc 具軌跡偵測功能之光學觸控系統及方法
JP5927845B2 (ja) * 2011-11-01 2016-06-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
CA2862435A1 (en) * 2012-01-10 2013-07-18 Smart Technologies Ulc Method for manipulating a graphical object and an interactive input system employing the same
JP5875445B2 (ja) * 2012-03-30 2016-03-02 キヤノン株式会社 座標入力装置
JP6249652B2 (ja) * 2012-08-27 2017-12-20 三星電子株式会社Samsung Electronics Co.,Ltd. タッチ機能制御方法及びその電子装置
EP3096216B1 (en) * 2015-05-12 2018-08-29 Konica Minolta, Inc. Information processing device, information processing program, and information processing method

Also Published As

Publication number Publication date
US20150324026A1 (en) 2015-11-12
US10019919B2 (en) 2018-07-10
JP2015215701A (ja) 2015-12-03

Similar Documents

Publication Publication Date Title
JP6335015B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8139044B2 (en) Storage medium storing pointing device input adjustment program, input adjustment apparatus and input adjustment method
US8669947B2 (en) Information processing apparatus, information processing method and computer program
JP5497722B2 (ja) 入力装置、情報端末、入力制御方法、および入力制御プログラム
US9632690B2 (en) Method for operating user interface and electronic device thereof
TWI451309B (zh) Touch device and its control method
US9685143B2 (en) Display control device, display control method, and computer-readable storage medium for changing a representation of content displayed on a display screen
US20130328804A1 (en) Information processing apparatus, method of controlling the same and storage medium
US9213482B2 (en) Touch control device and method
JP6618276B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP5389241B1 (ja) 電子機器および手書き文書処理方法
KR20130137069A (ko) 마우스 모의 터치 제어 스크린 조작 방법
JP2012022458A (ja) 情報処理装置およびその制御方法
TWI471792B (zh) 近接暨觸控面板之多物件偵測方法
US20180059806A1 (en) Information processing device, input control method for controlling input to information processing device, and computer-readable storage medium storing program for causing information processing device to perform input control method
JP4244202B2 (ja) 操作入力装置および操作入力方法
JP5812582B2 (ja) 情報処理装置および情報処理方法
JP6618301B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
TWI483162B (zh) 近接暨觸控面板之多物件偵測方法
JP6505317B2 (ja) 表示制御装置
KR101507881B1 (ko) 한 포인트를 이용한 인터페이스 제어 방법
JP2017228216A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2016139340A (ja) 情報入力システムおよび入力装置
TWI578213B (zh) 觸控信號的處理方法及電腦系統
CN117917620A (zh) 光线投射系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170403

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180427

R151 Written notification of patent or utility model registration

Ref document number: 6335015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151