JP6074403B2 - System, program, and method capable of pointer operation on head mounted display by touch panel type device - Google Patents
System, program, and method capable of pointer operation on head mounted display by touch panel type device Download PDFInfo
- Publication number
- JP6074403B2 JP6074403B2 JP2014251735A JP2014251735A JP6074403B2 JP 6074403 B2 JP6074403 B2 JP 6074403B2 JP 2014251735 A JP2014251735 A JP 2014251735A JP 2014251735 A JP2014251735 A JP 2014251735A JP 6074403 B2 JP6074403 B2 JP 6074403B2
- Authority
- JP
- Japan
- Prior art keywords
- contact
- pointer
- start position
- display
- touch panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法に関し、より詳細には、タッチパネル式装置のタッチ面に対するタッチ操作により、ヘッドマウントディスプレイの表示領域に表示されるポインタを表示操作するシステム、プログラム、及び方法に関する。 The present invention relates to a system, a program, and a method capable of operating a pointer on a head-mounted display by a touch panel device, and more specifically, displayed on a display area of a head mounted display by a touch operation on a touch surface of the touch panel device. The present invention relates to a system, a program, and a method for displaying and operating a pointer.
近年、キーボードなどを有さず、入力がタッチ操作のみのタッチパネル式表示装置を備えた情報処理装置が広まっている。このようなタッチパネル式表示装置は、操作画面と表示画面が一体となっており、ユーザは画面を確認しながら指を画面に接触させて該画面上に示されるポインタを所望の位置に指定することができる。例えば、特許文献1〜4は、操作画面と表示画面が一体となったタッチパネル式表示装置に関する技術を開示しており、ユーザは画面を確認しながら該画面上に示されるポインタの所望の位置を指定することができる。また、ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに画像を提示することが可能なヘッドマウントディスプレイ(HMD)が知られている。 2. Description of the Related Art In recent years, information processing apparatuses including a touch panel display device that does not have a keyboard or the like and can be used only for touch operations have been widely used. In such a touch panel display device, the operation screen and the display screen are integrated, and the user touches the screen while checking the screen and designates the pointer indicated on the screen at a desired position. Can do. For example, Patent Documents 1 to 4 disclose a technique related to a touch panel display device in which an operation screen and a display screen are integrated, and a user can check a desired position of a pointer displayed on the screen while checking the screen. Can be specified. In addition, a head mounted display (HMD) is known that is mounted on the user's head and can present an image to the user by a display or the like disposed in front of the eyes.
タッチパネル式表示装置においては、ユーザはディスプレイ上に表示された画面を観察しながらタッチ操作を行うことができる。しかしながらタッチパネル式表示装置を、ユーザの目を完全に覆う非透過型のHMDと併せて用いる場合、HMDを装着しているユーザは仮想空間に完全に没入しており、ユーザは自身が保持しているタッチパネル式表示装置のタッチ面を観察することができないため、現在操作を行おうとしているタッチ面上の操作位置を観察することができない。 In the touch panel display device, the user can perform a touch operation while observing the screen displayed on the display. However, when the touch panel display device is used in combination with a non-transparent HMD that completely covers the eyes of the user, the user wearing the HMD is completely immersed in the virtual space, and the user holds it. Since the touch surface of the touch panel display device cannot be observed, it is impossible to observe the operation position on the touch surface on which the operation is currently being performed.
(1)本発明は、タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出部と、接触位置検出部にて検出した被接触物の接触位置の移動に基づく接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する表示制御部と、を備え、ヘッドマウントディスプレイはタッチパネル式装置と通信可能に接続されていることを特徴とするシステムに関係する。
(2)本発明のシステムにおける他の実施形態によれば、システムはヘッドマウントディスプレイの表示領域においてポインタの操作開始位置を取得するポインタ位置取得部をさらに備え、表示制御部は接触位置検出部にて検出した被接触物の接触開始位置を、ポインタ位置取得部により取得されたポインタの操作開始位置に対応付けし、被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ポインタを前記ポインタの操作開始位置から操作終了位置まで移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする。
(3)本発明のシステムにおける他の実施形態によれば、システムは、被接触物の接触位置が、タッチパネル式装置のタッチ面に備えられる警告領域に存在するかを判定する接触位置判定部をさらに備え、被接触物の接触位置が前記警告領域に存在する場合に、タッチパネル式装置を振動させることを特徴とする。
(4)本発明のシステムにおける他の実施形態によれば、接触位置検出部は、タッチ面に対する被接触物の次の接触開始位置を検出し、ポインタ位置取得部は、ポインタの前回の操作終了位置をポインタの次の操作開始位置に対応付けし、被接触物の前記次の接触開始位置に対する接触位置の移動に方向と距離に対応付けて、ポインタを前記次の操作開始位置から移動してヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする。
(1) The present invention provides a contact position detection unit that detects a contact position of a contacted object with respect to a touch surface of a touch panel device, and a contact start position based on the movement of the contact position of the contacted object detected by the contact position detection unit. A display control unit that controls display of a pointer that represents an operation position on the display area of the head mounted display in association with the moving direction and distance of the contact position with respect to the head mounted display, and the head mounted display can communicate with the touch panel type device It relates to a system characterized by being connected.
(2) According to another embodiment of the system of the present invention, the system further includes a pointer position acquisition unit that acquires the operation start position of the pointer in the display area of the head mounted display, and the display control unit is provided in the contact position detection unit. The contact start position of the contacted object detected in this manner is associated with the operation start position of the pointer acquired by the pointer position acquisition unit, and is associated with the moving direction and distance of the contact position with respect to the contact start position of the contacted object, The pointer is moved from the operation start position of the pointer to the operation end position, and display control is performed on the display area of the head mounted display.
(3) According to another embodiment of the system of the present invention, the system includes a contact position determination unit that determines whether the contact position of the contacted object is present in a warning area provided on the touch surface of the touch panel device. Further, the touch panel device is vibrated when the contact position of the contacted object exists in the warning area.
(4) According to another embodiment of the system of the present invention, the contact position detection unit detects the next contact start position of the contacted object with respect to the touch surface, and the pointer position acquisition unit ends the previous operation of the pointer. The position is associated with the next operation start position of the pointer, the movement of the contact position with respect to the next contact start position of the contacted object is associated with the direction and the distance, and the pointer is moved from the next operation start position. Display control is performed on the display area of the head mounted display.
この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。 The above and other features and advantages of the present invention will become apparent from the following more specific description of the embodiments of the invention, the accompanying drawings, and the appended claims.
以下、本実施形態について説明する。図1は、一実施例に係るシステムの構成図である。このシステムでは、タッチパネル式装置130と本体装置120が無線又は有線で通信可能に接続され、本体装置120とHMD110が無線又は有線で通信可能に接続されている。HMD110は、表示領域112を備えており、HMDを装着したユーザは表示領域112に表示される画像のみを観察することができる。タッチパネル式装置130は、タッチセンサ132と、振動部134を備えることができる。タッチセンサ132はユーザによるタッチ面に対する接触操作を検知する。非透過型のHMDを装着している場合、ユーザは保持しているタッチパネル式装置130の表示面を観察することはできないため、タッチセンサ132は、表示機能を有していなくても良い。振動部134は、本体装置120より受信する信号に応じてタッチパネル式装置を振動させるためのものである。本体装置120は、図2に示される機能を実現するための装置である。なお、タッチパネル式装置130は、公知のスマートフォン、タブレット端末、PDAにより実現され得る。 Hereinafter, this embodiment will be described. FIG. 1 is a configuration diagram of a system according to an embodiment. In this system, the touch panel type device 130 and the main body device 120 are connected so as to be communicable wirelessly or by wire, and the main body device 120 and the HMD 110 are communicably connected by wireless or wire. The HMD 110 includes a display area 112, and a user wearing the HMD can observe only an image displayed in the display area 112. The touch panel device 130 can include a touch sensor 132 and a vibration unit 134. The touch sensor 132 detects a touch operation on the touch surface by the user. When the non-transmissive HMD is attached, the user cannot observe the display surface of the touch panel device 130 held by the user, and thus the touch sensor 132 may not have a display function. The vibration unit 134 is for vibrating the touch panel device according to a signal received from the main device 120. The main device 120 is a device for realizing the functions shown in FIG. The touch panel device 130 can be realized by a known smartphone, tablet terminal, or PDA.
図2は、本発明の一実施例に係るシステムの機能的構成図である。本体装置120は、CPUなどの演算部に組み込まれたプログラムで制御された、接触位置検出部210と、表示制御部212と、接触位置判定部214と、ポインタ位置取得部216を備えている。なお、図2において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることは当業者に理解されるであろう。 FIG. 2 is a functional configuration diagram of a system according to an embodiment of the present invention. The main device 120 includes a contact position detection unit 210, a display control unit 212, a contact position determination unit 214, and a pointer position acquisition unit 216, which are controlled by a program incorporated in a calculation unit such as a CPU. In FIG. 2, each element described as a functional block for performing various processes can be configured with a CPU, a memory, and other integrated circuits in hardware, and loaded into the memory in software. This is realized by various programs. Therefore, those skilled in the art will understand that these functional blocks can be realized by hardware, software, or a combination thereof.
接触位置検出部210は、タッチセンサ132より出力された、ユーザの指などによる操作に基づく被接触物の接触に関する情報に基づいて、タッチパネル式装置130のタッチ面132に対する被接触物の接触位置を検出する。具体的には、タッチセンサ132がタッチパネル式装置130のタッチ面132に対する接触を検知すると、接触位置検出部210は、接触に関する情報を受信し、該情報に基づいてタッチパネル式表示装置の接触面上の直交するX、Y軸に基づいて、接触点の座標を接触位置T(xt、yt)として検出する。なお、接触位置検出部210は、タッチ面に対する被接触物の接触位置の検出だけではなく、接触面に指が接触したまま指が接触面を移動するスワイプ操作、タッチ面を叩くと言った短時間の接触によるタップ操作の検出を行うことができる。なお、以下では、被接触物が指である場合を例示して説明するが、被接触物は指であることに限定されない。 The contact position detection unit 210 determines the contact position of the contacted object with respect to the touch surface 132 of the touch panel device 130 based on the information regarding the contact of the contacted object based on the operation with the user's finger or the like output from the touch sensor 132. To detect. Specifically, when the touch sensor 132 detects contact with the touch surface 132 of the touch panel device 130, the contact position detection unit 210 receives information about the contact, and on the contact surface of the touch panel display device based on the information. The coordinates of the contact point are detected as the contact position T (x t , y t ) based on the orthogonal X and Y axes. Note that the contact position detection unit 210 not only detects the contact position of the object to be touched with respect to the touch surface, but also performs a swipe operation in which the finger moves on the contact surface while the finger is in contact with the touch surface, and a short stroke such as hitting the touch surface. It is possible to detect a tap operation due to contact with time. Hereinafter, a case where the contacted object is a finger will be described as an example, but the contacted object is not limited to being a finger.
表示制御部212は、接触位置検出部にて検出した被接触物の接触開始位置T0(xt0、yt0)を、ポインタ位置取得部216により取得されたHMDの表示領域112におけるポインタの操作開始位置P0(xp0、yp0)に対応付けし、接触位置検出部にて検出した被接触物の接触開始位置からのスワイプ操作に基づく接触開始位置に対する接触位置の移動方向と距離に基づいて、HMDの表示領域上に表示するポインタを表示制御する。例えば、図3に示すように、タッチパネル式装置130のタッチ面132に対する被接触物(本実施例ではユーザの指)は、接触開始位置T0(xt0、yt0)を始点として、接触終了位置T1(xt1、yt1)までスワイプ移動している。被接触物の接触開始位置T0(xt0、yt0)から接触終了位置T1(xt1、yt1)までの移動方向と距離に基づいて、表示制御部212は、HMDの表示領域112上でポインタを操作開始位置P0(xp0、yp0)から操作終了位置(P1(xp1、yp1)へと移動表示する。なお、ポインタの形状は、矢印に限定されず、いかなる図形、例えばゲームキャラクタでもよい。また、ポインタの操作開始位置P0(xp0、yp0)は、本体装置120により実行されているアプリケーションの内容に基づいて決められる任意の位置、例えば操作中のゲームキャラクタの現在位置でも良いし、表示領域112上のあらかじめ定められた所定の位置、例えば表示領域112の中心位置でもよい。ポインタの操作開始位置P0(xp0、yp0)が表示領域112上のあらかじめ定められた所定の位置である場合には、表示制御部212はポインタ位置取得部によりポインタ位置を取得せずに、被接触物の接触開始位置T0(xt0、yt0)を、あらかじめ定められたポインタの所定の操作開始位置P0(xp0、yp0)に対応付けすることができる。 The display control unit 212 operates the pointer in the display area 112 of the HMD acquired by the pointer position acquisition unit 216 based on the contact start position T 0 (x t0 , y t0 ) of the contacted object detected by the contact position detection unit. Based on the movement direction and distance of the contact position relative to the contact start position based on the swipe operation from the contact start position of the contacted object detected by the contact position detection unit in association with the start position P 0 (x p0 , y p0 ) Thus, display control of the pointer displayed on the display area of the HMD is performed. For example, as shown in FIG. 3, an object to be contacted (a user's finger in this embodiment) with respect to the touch surface 132 of the touch panel device 130 starts from the contact start position T 0 (x t0 , y t0 ) and ends. The swipe is moved to the position T 1 (x t1 , y t1 ). Based on the moving direction and distance from the contact start position T 0 (x t0 , y t0 ) to the contact end position T 1 (x t1 , y t1 ) of the contacted object, the display control unit 212 displays the display area 112 of the HMD. The pointer is moved and displayed from the operation start position P 0 (x p0 , y p0 ) to the operation end position (P 1 (x p1 , y p1 ). The operation start position P 0 (x p0 , y p0 ) of the pointer may be an arbitrary position determined based on the contents of the application being executed by the main body device 120, for example, during the operation. It may be the current position of the game character, or may be a predetermined position on the display area 112, for example, the center position of the display area 112. If the start position P 0 (x p0, y p0 ) is the predetermined position predetermined on the display area 112, the display control unit 212 without acquiring the pointer position by the pointer position acquisition unit, the contact An object contact start position T 0 (x t0 , y t0 ) can be associated with a predetermined operation start position P 0 (x p0 , y p0 ) of a predetermined pointer.
接触位置判定部214は、被接触物の接触位置が警告領域に存在するか否かを判定する。警告領域とは、タッチパネル式装置130のタッチ面132の一部の領域であり、例えば図4に示すように、タッチ面132の外延領域136である。 The contact position determination unit 214 determines whether or not the contact position of the contacted object exists in the warning area. The warning area is a partial area of the touch surface 132 of the touch panel device 130, for example, an extended area 136 of the touch surface 132 as shown in FIG.
ポインタ位置取得部216は、HMD110の表示領域112上の直交するX,Y軸に基づいて、該表示領域112に表示されるポインタの座標をポインタ位置(xp、yp)として検出する。なお、上述したようにポインタの操作開始位置は、本体装置120により実行されているアプリケーションの内容等に基づいて定められているため、対応付けられているタッチ面上の接触位置T0とポインタの操作開始位置P0において、タッチ面132上の座標(xt、yt)が表示領域112上の座標(xp、yp)と同じわけではない。例えば図3に示すように、タッチ面132上の接触位置(xt0、yt0)はタッチ面132の中心より左下領域に存在するが、表示領域112上のポインタ操作開始位置P0は、表示領域112の中心より右上領域に存在する。HMDを装着しているユーザは、完全に外界の視界を失っているため、自身の保有するタッチ面132上のどの場所をタッチしているかを観察することができない。ユーザがタッチ面132を最初にタッチした場所を、HMDの表示領域112上に表示されているポインタの操作開始位置に対応付けることで、ユーザはタッチ面を観察することなしに、HMDの表示領域上に表示されている操作したいポインタを現在の表示位置から移動させることができる。 Pointer position acquisition unit 216, X perpendicular on the display area 112 of the HMD 110, based on the Y axis, coordinates the pointer position of the pointer displayed on the display area 112 (x p, y p) is detected as a. The operation starting position of the pointer as described above, because it is determined on the basis of the contents or the like of the application executed by the main unit 120, its associated with the touch surface has a contact position T 0 and a pointer At the operation start position P 0 , the coordinates (x t , y t ) on the touch surface 132 are not the same as the coordinates (x p , y p ) on the display area 112. For example, as shown in FIG. 3, the contact position (x t0 , y t0 ) on the touch surface 132 exists in the lower left area from the center of the touch surface 132, but the pointer operation start position P0 on the display area 112 is the display area. It exists in the upper right area from the center of 112. Since the user wearing the HMD has completely lost the field of view of the outside world, the user cannot observe which place on the touch surface 132 he / she is touching. By associating the location where the user first touched the touch surface 132 with the operation start position of the pointer displayed on the HMD display region 112, the user can view the location on the HMD display region without observing the touch surface. The pointer to be operated displayed on can be moved from the current display position.
振動部134は、被接触物の接触位置が警告領域に存在する場合に、タッチパネル式装置を振動させる。HMDを装着しているユーザは自身の保有するタッチパネル式装置のタッチ面を観察することができない。図4に示すように、ユーザの指がタッチ面の外縁領域136にかかるとき、すなわちユーザの指がタッチ面から外れそうであるときに、振動部134は、タッチパネル式装置を振動させることができる。ユーザはタッチ面を観察せずに、指がタッチ面から外れそうであることを直感的に理解することができる。 The vibration unit 134 vibrates the touch panel device when the contact position of the contacted object exists in the warning area. The user wearing the HMD cannot observe the touch surface of his / her touch panel device. As shown in FIG. 4, when the user's finger is applied to the outer edge region 136 of the touch surface, that is, when the user's finger is likely to be detached from the touch surface, the vibration unit 134 can vibrate the touch panel device. . The user can intuitively understand that the finger is likely to come off the touch surface without observing the touch surface.
次に、図5を参照して、図2〜図4に対応するシステムの処理の流れを説明する。
まず、ユーザによりタッチパネル式装置のタッチ面に対する接触がなされると、センサ132はその接触を感知し、接触に関する情報を接触位置検出部210へ送信する。接触位置検出部210は、受信した接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触開始位置T0(xt0、yt0)を検出する(ステップ502)。
Next, with reference to FIG. 5, the processing flow of the system corresponding to FIGS.
First, when the user makes contact with the touch surface of the touch panel device, the sensor 132 detects the contact and transmits information related to the contact to the contact position detection unit 210. The contact position detection unit 210 detects the contact start position T 0 (x t0 , y t0 ) of the contacted object with respect to the touch surface 132 of the touch panel device based on the received information related to contact (step 502).
次に、ステップ504において、表示制御部212は、接触位置検出部にて検出した被接触物の接触開始位置T0(xt0、yt0)を、ポインタ位置取得部216により取得された、HMDの表示領域112における操作位置を表すポインタの操作開始位置P0(xp0、yp0)に対応付けする。 Next, in step 504, the display control unit 212 receives the contact start position T 0 (x t0 , y t0 ) of the contacted object detected by the contact position detection unit by the pointer position acquisition unit 216. Corresponding to the operation start position P 0 (x p0 , y p0 ) of the pointer representing the operation position in the display area 112.
次に、ユーザがタッチ面に指を接触したままの状態で指をスワイプ移動させている場合、すなわちセンサ132が連続的に接触を感知する場合、センサ132はユーザによるタッチ面に対する連続する接触に関する情報を接触位置検出部210へ出力する。接触位置検出部210は、前記接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触位置を検出する(ステップ506)。 Next, when the user swipes the finger while keeping the finger in contact with the touch surface, that is, when the sensor 132 continuously detects contact, the sensor 132 relates to continuous contact with the touch surface by the user. Information is output to the contact position detector 210. The contact position detection unit 210 detects the contact position of the contacted object with respect to the touch surface 132 of the touch panel device based on the information related to the contact (step 506).
次に、接触位置判定部214は、検出された接触位置が警告領域136内か否かを判定し、警告領域内にある場合には、タッチパネル式装置の振動部134を振動させ(ステップ510)、ステップ512に進む。ユーザはタッチパネル式装置の振動を感じると、ユーザはタッチ面から指が外れそうであることを直感的に認識することができる。検出された接触位置が警告領域内にない場合には、ステップ512に進む。 Next, the contact position determination unit 214 determines whether or not the detected contact position is within the warning region 136, and if it is within the warning region, vibrates the vibration unit 134 of the touch panel device (step 510). The process proceeds to step 512. When the user feels the vibration of the touch panel device, the user can intuitively recognize that the finger is likely to come off the touch surface. If the detected contact position is not within the warning area, the process proceeds to step 512.
次に、表示制御部212は、タッチパネル式装置130のタッチ面上の被接触物の接触開始位置T0(xt0、yt0)に対する接触位置の移動方向と距離に対応付けて、HMDの表示領域112に表示されるポインタを、ポインタの操作開始位置P0(xp0、yp0)からHMDの表示領域に対して移動表示させる(ステップ512)。 Next, the display control unit 212 displays the HMD in association with the moving direction and distance of the contact position with respect to the contact start position T 0 (x t0 , y t0 ) of the contacted object on the touch surface of the touch panel device 130. The pointer displayed in the area 112 is moved from the pointer operation start position P 0 (x p0 , y p0 ) to the display area of the HMD (step 512).
そして、ステップ514において、接触位置検出部210が接触に関する情報をセンサ132より受信しない場合、すなわち、タッチ面から被接触物が離れてしまった場合、ユーザによるスワイプ操作が終了したとして操作を終了する。一方、接触位置検出部210は、接触に関する情報をセンサ132より受信する場合、すなわち、タッチ面に被接触物が接触されたままである場合、ユーザによるスワイプ操作は継続しているとして、ステップ506に戻る。 In step 514, if the contact position detection unit 210 does not receive contact information from the sensor 132, that is, if the contacted object has moved away from the touch surface, the operation is terminated assuming that the swipe operation by the user has ended. . On the other hand, when the contact position detection unit 210 receives information related to the contact from the sensor 132, that is, when the contacted object remains in contact with the touch surface, it is assumed that the swipe operation by the user is continued and the process proceeds to step 506. Return.
ステップ506〜512の一連の処理を繰り返すことにより、図3に示すように、表示制御部212は、接触開始位置T0(xt0、yt0)から接触終了位置T1(xt1、yt1)までの移動に伴う方向と距離に対応付けて、ポインタをポインタの操作開始位置P0(xp0、yp0)から操作終了位置P1(xp1,yp1)までHMDの表示領域112上に移動表示させることができる。接触位置Tと、該接触位置Tに対応づけられるポインタの操作位置Pは逐次メモリに格納することができる。 By repeating a series of processes of steps 506 to 512, as shown in FIG. 3, the display control unit 212 causes the contact end position T 1 (x t1 , y t1 ) from the contact start position T 0 (x t0 , y t0 ). ) On the display area 112 of the HMD from the pointer operation start position P 0 (x p0 , y p0 ) to the operation end position P 1 (x p1 , y p1 ) Can be moved and displayed. The contact position T and the operation position P of the pointer associated with the contact position T can be sequentially stored in the memory.
図6は、タッチパネル式装置のタッチ面132への被接触物による接触が一旦なくなり、すなわち、タッチ面132から指が一旦離され、新たに別の任意の場所においてタッチ面132への接触がなされた場合のタッチパネル式表示装置のタッチ面132と、それに対応するHMDの表示領域112を示す図である。図6の左側図は、タッチ面から指を離す前のタッチパネル式表示装置の表示領域132と、それに対応するHMDの表示領域112を示す。図6の右側図は、左側図に従ったタッチ面に対するスワイプ操作が行われた後、一旦タッチ面から指を離した後に、再度タッチパネル式表示装置のタッチ面がタッチされたときのタッチ面132と、それに対応するHMDの表示領域112を示す。 FIG. 6 shows that the touch surface 132 of the touch panel type device is once no longer touched by the contacted object, that is, the finger is once released from the touch surface 132, and the touch surface 132 is newly contacted at another arbitrary position. It is a figure which shows the touch surface 132 and the display area 112 of HMD corresponding to the touch surface 132 of the touchscreen type display apparatus in the case of. The left side view of FIG. 6 shows the display area 132 of the touch panel display device before the finger is released from the touch surface and the corresponding HMD display area 112. 6 shows the touch surface 132 when the touch surface of the touch panel display device is touched again after the finger is once released from the touch surface after the swipe operation is performed on the touch surface according to the left diagram. And the display area 112 of HMD corresponding to it is shown.
図6の左側図に示すタッチパネル式表示装置のタッチ面132と、それに対応するHMDの表示領域112は、図3に示されるものとほぼ同じものである。図6の左側図に示されるように、タッチパネル式装置130のタッチ面132に対する被接触物は、接触開始位置T0(xt0、yt0)を始点として、接触終了位置T1(xt1、yt1)までスワイプ移動している。被接触物の接触開始位置T0(xt0、yt0)から接触終了位置T1(xt1、yt1)までの方向と距離に基づいて、表示制御部212は、HMDの表示領域112上に表示されるポインタを操作開始位置P0(xp0、yp0)から操作終了位置P1(xp1、yp1)へ移動表示する。 The touch surface 132 of the touch panel display device shown in the left side view of FIG. 6 and the corresponding HMD display area 112 are substantially the same as those shown in FIG. As shown in the left side view of FIG. 6, the contacted object with respect to the touch surface 132 of the touch panel device 130 starts from the contact start position T 0 (x t0 , y t0 ) as the start point and reaches the contact end position T 1 (x t1 , Swipe to y t1 ). Based on the direction and distance from the contact start position T 0 (x t0 , y t0 ) to the contact end position T 1 (x t1 , y t1 ) of the contacted object, the display control unit 212 moves on the display area 112 of the HMD. Is moved from the operation start position P 0 (x p0 , y p0 ) to the operation end position P 1 (x p1 , y p1 ).
ユーザは、タッチパネル式装置のタッチ面に対しスワイプ操作を行った後、一旦タッチ面から指を離してしまうと、HMDを装着したユーザは自身の保有するタッチパネル式装置のタッチ面を観察することができない。従ってユーザは、指を離す直前のタッチ面上の接触終了位置T1(xt1、yt1)を視認することができないため、ユーザにとってタッチ面上で指を離す直前の位置を探し当ててから、再度表示領域112上で前に操作していたポインタを再度操作することが難しい。 After the user performs a swipe operation on the touch surface of the touch panel device and then lifts his / her finger from the touch surface, the user wearing the HMD may observe the touch surface of the touch panel device owned by the user. Can not. Therefore, since the user cannot visually recognize the contact end position T 1 (x t1 , y t1 ) on the touch surface immediately before releasing the finger, the user finds the position immediately before releasing the finger on the touch surface, It is difficult to operate again the pointer that was previously operated on the display area 112 again.
本発明によると、図6に示すように、図6の左側図に示される指を離す直前のポインタの操作終了位置P1(xp1,yp1)を、図6の右側図に示される指を離した後の表示領域112上のポインタの操作開始位置P1(xp1,yp1)とする。従って、ユーザは一旦指を離した後も、タッチパネル式装置のタッチ面132に対する任意の場所T0’(xt0’、yt0’)を新たな接触開始位置として、表示領域112上のポインタを、前に操作終了した位置P1(xp1,yp1))を新たな操作開始位置として操作することができる。より詳細には、図6の右側図に示すように、タッチパネル式装置130のタッチ面132に対する被接触物は、任意の接触開始位置T0’(xt0’、yt0’)を始点として、接触終了位置T1’(xt1’、yt1’)までスワイプ移動している。被接触物の接触開始位置T0’(xt0’、yt0’)から接触終了位置T1’(xt1’、yt1’)までの方向と距離に基づいて、表示制御部212は、HMDの表示領域112上でポインタを操作開始位置P1(xp1、yp1)から操作終了位置P2(xp2、yp2)へと移動させる。図6の左側図におけるポインタの操作終了位置P1、右側図におけるポインタの操作終了位置P1は変化していない。 According to the present invention, as shown in FIG. 6, the operation end position P 1 (x p1 , y p1 ) of the pointer immediately before releasing the finger shown in the left diagram of FIG. 6 is indicated by the finger shown in the right diagram of FIG. The operation start position P 1 (x p1 , y p1 ) of the pointer on the display area 112 after releasing is set. Therefore, even after the user lifts his / her finger, the pointer on the display area 112 is set with the arbitrary position T 0 ′ (x t0 ′ , y t0 ′ ) on the touch surface 132 of the touch panel device as a new contact start position. The position P 1 (x p1 , y p1 )) at which the previous operation has been completed can be operated as a new operation start position. More specifically, as shown in the right side view of FIG. 6, the contacted object with respect to the touch surface 132 of the touch panel device 130 starts from an arbitrary contact start position T 0 ′ (x t0 ′ , y t0 ′ ). The swipe is moved to the contact end position T 1 ′ (x t1 ′ , y t1 ′ ). Based on the direction and distance from the contact start position T 0 ′ (x t0 ′ , y t0 ′ ) to the contact end position T 1 ′ (x t1 ′ , y t1 ′ ) of the contacted object, the display control unit 212 The pointer is moved from the operation start position P 1 (x p1 , y p1 ) to the operation end position P 2 (x p2 , y p2 ) on the display area 112 of the HMD. Operation end position P 1 of the pointer in the left diagram of FIG. 6, the operation end position P 1 of the pointer in the right view has not changed.
次に、図7を参照して、図6に対応するシステムの処理の流れを説明する。
まず、センサ132により出力された接触に関する情報に基づいて、接触位置検出部210は、ユーザによりタッチパネル式装置のタッチ面に対する新たな接触が検知されたか否かを判定する(ステップ702)。そして、ユーザによる接触が検知された場合に、接触位置検出部210は、該接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触開始位置T0’(xt0’、yt0’)を検出する(ステップ704)。
Next, a processing flow of the system corresponding to FIG. 6 will be described with reference to FIG.
First, based on the information regarding the contact output by the sensor 132, the contact position detection unit 210 determines whether or not a new contact with the touch surface of the touch panel device is detected by the user (step 702). When contact by the user is detected, the contact position detection unit 210 determines the contact start position T 0 ′ (x t0 ′ , y) of the contacted object with respect to the touch surface 132 of the touch panel device based on the information related to the contact. t0 ' ) is detected (step 704).
次に、ポインタ位置取得部216は、ポインタの操作終了位置(例えば、図6の左側図におけるP1(xp1、yp1))がメモリに記憶されているか否かを判定する(ステップ706)。ポインタの操作終了位置が記憶されている場合に、ポインタ位置取得部216は、該操作終了位置(図6の左側図におけるP1(xp1、yp1))を次の操作開始位置(図6の右側図におけるP1(xp1、yp1))として取得する(ステップ708)。そして、ステップ710に進む。ポインタの操作終了位置が記憶されていない場合、ステップ710に進む。 Next, the pointer position acquisition unit 216 determines whether or not the operation end position of the pointer (for example, P 1 (x p1 , y p1 ) in the left diagram of FIG. 6) is stored in the memory (step 706). . When the operation end position of the pointer is stored, the pointer position acquisition unit 216 uses the operation end position (P 1 (x p1 , y p1 ) in the left side view of FIG. 6) as the next operation start position (FIG. 6). As P 1 (x p1 , y p1 )) in the right-hand side view (step 708). Then, the process proceeds to Step 710. When the operation end position of the pointer is not stored, the process proceeds to step 710.
次に、ステップ710において、表示制御部212は、接触位置検出部にて検出した被接触物の接触開始位置T0’(xt0’、yt0’)を、ポインタ位置取得部216により取得された、HMDの表示領域112における操作位置を表すポインタの操作開始位置(図6の右側図におけるP1(xp1、yp1))に対応付けする(ステップ710)。 Next, in step 710, the display control unit 212 acquires the contact start position T 0 ′ (x t0 ′ , y t0 ′ ) of the contacted object detected by the contact position detection unit by the pointer position acquisition unit 216. In addition, it is associated with the operation start position of the pointer representing the operation position in the display area 112 of the HMD (P 1 (x p1 , y p1 ) in the right side view of FIG. 6) (step 710).
次に、ユーザによりタッチ面に指を接触したままの状態で指を移動させている場合に、センサ132はユーザによるタッチ面に対する接触を感知し、接触に関する情報を接触位置検出部210へ出力する。接触位置検出部210は、前記接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触位置を検出する(ステップ712)。 Next, when the user moves the finger while keeping the finger in contact with the touch surface, the sensor 132 senses the touch on the touch surface by the user and outputs information related to the contact to the contact position detection unit 210. . The contact position detection unit 210 detects the contact position of the contacted object with respect to the touch surface 132 of the touch panel device based on the information related to the contact (step 712).
次に、表示制御部212は、被接触物の接触開始位置T0’(xt0’、yt0’)に対する接触位置の移動方向と距離に対応付けて、ポインタをポインタの操作開始位置P1(xp1、yp1)から移動表示する(ステップ714)。 Next, the display control unit 212 associates the pointer with the operation start position P 1 of the pointer in association with the moving direction and distance of the contact position with respect to the contact start position T 0 ′ (x t0 ′ , y t0 ′ ) of the contacted object. The display is moved from (x p1 , y p1 ) (step 714).
そして、ステップ714において、接触位置検出部210は、接触に関する情報をセンサ132より受信しない場合、すなわち、タッチ面から被接触物が離れてしまった場合、タッチが終了したとして操作を終了する。一方、接触位置検出部210は、接触に関する情報をセンサ132より受信する場合、すなわち、タッチ面に被接触物が接触されたままである場合、タッチ操作は継続しているとして、ステップ712に戻る。 In step 714, when the contact position detection unit 210 does not receive contact information from the sensor 132, that is, when the contacted object has moved away from the touch surface, the touch position detection unit 210 ends the operation assuming that the touch has ended. On the other hand, when the contact position detection unit 210 receives information related to contact from the sensor 132, that is, when the contacted object remains in contact with the touch surface, the touch operation is continued and the process returns to step 712.
ステップ712〜716の処理を繰り返すことにより、表示制御部212は、接触開始位置T0’(xt0’、yt0’)から接触終了位置T1’(xt1’、yt1’)までの移動に伴う方向と距離に対応付けて、ポインタをポインタの操作開始位置P1(xp1、yp1)から操作終了位置P2(xp2,yp2)まで移動表示する。 By repeating the processing in steps 712 to 716, the display control unit 212 moves from the contact start position T 0 ′ (x t0 ′ , y t0 ′ ) to the contact end position T 1 ′ (x t1 ′ , y t1 ′ ). The pointer is moved and displayed from the pointer operation start position P 1 (x p1 , y p1 ) to the operation end position P 2 (x p2 , y p2 ) in association with the direction and distance associated with the movement.
以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施態様の変更がなされうることを当業者は理解するであろう。 As described above, the embodiment of the present invention has been described, but the present invention is not limited to the above embodiment. Those skilled in the art will appreciate that various modifications of the embodiments can be made without departing from the spirit and scope of the invention as set forth in the appended claims.
Claims (7)
前記被接触物の接触開始位置に対する接触位置の移動方向と移動距離に対応付けて、非透過型のヘッドマウントディスプレイの表示領域上でポインタを表示制御する、表示制御部と、
前記表示領域においてポインタの操作開始位置を取得するポインタ位置取得部と、
を備え、
前記表示制御部は、前記接触開始位置を、前記ポインタの操作開始位置に対応付けし、前記ポインタの操作開始位置が、実行されているアプリケーションに基づいてあらかじめ定められた所定の位置である場合には、前記接触開始位置を、前記所定の位置に対応付けし、前記接触開始位置に対する接触位置の前記移動方向と前記移動距離に対応付けて、前記ポインタを前記操作開始位置から操作終了位置まで移動させるように構成され、
前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、システム。 A contact position detection unit that detects a contact position of an object to be touched with respect to a touch surface of the touch panel device;
Before SL in association with the moving direction and moving distance of the touch position on the contact start position of the contacted object, and the display control nontransparent head mounted display of the display area on a depot interface of a display control unit,
A pointer position acquisition unit for acquiring an operation start position of the pointer in the display area;
With
The display control unit associates the contact start position with the operation start position of the pointer, and the operation start position of the pointer is a predetermined position determined in advance based on an application being executed. Moves the pointer from the operation start position to the operation end position by associating the contact start position with the predetermined position and associating with the movement direction and the movement distance of the contact position with respect to the contact start position. Configured to let
The system according to claim 1, wherein the head mounted display is communicably connected to the touch panel device.
前記被接触物の接触位置が、前記タッチパネル式装置のタッチ面に備えられる警告領域内に存在するかを判定する接触位置判定部をさらに備え、
前記被接触物の接触位置が前記警告領域に存在する場合に、前記タッチパネル式装置を振動させることを特徴とする、システム。 The system of claim 1 comprises:
A contact position determination unit that determines whether the contact position of the contacted object is present in a warning area provided on a touch surface of the touch panel device;
The touch panel device is vibrated when a contact position of the contacted object is present in the warning area.
前記接触位置検出部は、タッチ面に対する被接触物の次の接触開始位置を検出し、
前記ポインタ位置取得部は、前記ポインタの前回の操作終了位置を、前記ポインタの次の操作開始位置に対応付けし、前記被接触物の前記次の接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、前記ポインタを前記次の操作開始位置から移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、システム。 The system of claim 1 , comprising:
The contact position detection unit detects a next contact start position of the contacted object with respect to the touch surface,
The pointer position acquisition unit associates the previous operation end position of the pointer with the next operation start position of the pointer, and the movement direction and distance of the contact position with respect to the next contact start position of the contacted object The system is characterized in that the display is controlled on the display area of the head mounted display by moving the pointer from the next operation start position in association with the display.
タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出ステップと、
前記被接触物の接触開始位置に対する接触位置の移動方向と移動距離に対応付けて、ヘッドマウントディスプレイの表示領域上でポインタを表示制御する、表示制御ステップと、
前記表示領域においてポインタの操作開始位置を取得するポインタ位置取得ステップと、
を備え、
前記表示制御ステップは、前記接触開始位置を、前記ポインタの操作開始位置に対応付けし、前記ポインタの操作開始位置が、実行されているアプリケーションに基づいてあらかじめ定められた所定の位置である場合には、前記接触開始位置を、前記所定の位置に対応付けし、前記接触開始位置に対する接触位置の前記移動方向と前記移動距離に対応付けて、前記ポインタを前記操作開始位置から操作終了位置まで移動させ、
前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、プログラム。 A program for causing a processor to execute a method of associating movement of an object to be touched with a touch panel device with display of a pointer on a non-transmissive head-mounted display, the method comprising:
A contact position detection step for detecting a contact position of an object to be touched with respect to a touch surface of the touch panel device;
Wherein in association with the moving direction and moving distance of the touch position on the contact start position of the contacted object, and display control of the head-mounted display of the display area on a depot interface, a display control step,
A pointer position acquisition step of acquiring an operation start position of the pointer in the display area;
With
The display control step associates the contact start position with the operation start position of the pointer, and the operation start position of the pointer is a predetermined position determined in advance based on an application being executed. Moves the pointer from the operation start position to the operation end position by associating the contact start position with the predetermined position and associating with the movement direction and the movement distance of the contact position with respect to the contact start position. Let
The head mounted display is communicably connected to the touch panel device.
前記被接触物の接触位置が、前記タッチパネル式装置のタッチ面に備えられる警告領域内に存在するかを判定する接触位置判定ステップをさらに備え、
前記被接触物の接触位置が前記警告領域に存在する場合に、前記タッチパネル式装置を振動させることを特徴とする、プログラム。 The program according to claim 4 is:
A contact position determination step for determining whether the contact position of the contacted object is present in a warning area provided on the touch surface of the touch panel device;
A program for causing the touch panel device to vibrate when a contact position of the contacted object exists in the warning area.
前記接触位置検出ステップは、タッチ面に対する被接触物の次の接触開始位置を検出し、
前記ポインタ位置取得ステップは、前記ポインタの前回の操作終了位置を、前記ポインタの次の操作開始位置に対応付けし、前記被接触物の前記次の接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、前記ポインタを前記次の操作開始位置から移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、プログラム。 The program according to claim 4 ,
The contact position detection step detects a next contact start position of the contacted object with respect to the touch surface,
The pointer position acquisition step associates the previous operation end position of the pointer with the next operation start position of the pointer, and the moving direction and distance of the contact position with respect to the next contact start position of the contacted object In association with the program, the pointer is moved from the next operation start position, and display control is performed on the display area of the head mounted display.
タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出ステップと、
前記被接触物の接触開始位置に対する接触位置の移動方向と移動距離に対応付けて、前記ヘッドマウントディスプレイの表示領域上でポインタを表示制御する、表示制御ステップと、
前記表示領域においてポインタの操作開始位置を取得するポインタ位置取得ステップと、
を備えており、
前記表示制御ステップは、前記接触開始位置を、前記ポインタの操作開始位置に対応付けし、前記ポインタの操作開始位置が、実行されているアプリケーションに基づいてあらかじめ定められた所定の位置である場合には、前記接触開始位置を、前記所定の位置に対応付けし、前記接触開始位置に対する接触位置の前記移動方向と前記移動距離に対応付けて、前記ポインタを前記操作開始位置から操作終了位置まで移動させ、
前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、方法。 A system control method for associating movement of an object to be touched with a touch panel device with display of a pointer on a non-transmissive head-mounted display,
A contact position detection step for detecting a contact position of an object to be touched with respect to a touch surface of the touch panel device;
Wherein in association with the moving direction and moving distance of the touch position on the contact start position of the contacted object, it controls the display area on a depot interface of the head-mounted display, and a display control step,
A pointer position acquisition step of acquiring an operation start position of the pointer in the display area;
With
The display control step associates the contact start position with the operation start position of the pointer, and the operation start position of the pointer is a predetermined position determined in advance based on an application being executed. Moves the pointer from the operation start position to the operation end position by associating the contact start position with the predetermined position and associating with the movement direction and the movement distance of the contact position with respect to the contact start position. Let
The method of claim 1, wherein the head mounted display is communicatively connected to the touch panel device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014251735A JP6074403B2 (en) | 2014-12-12 | 2014-12-12 | System, program, and method capable of pointer operation on head mounted display by touch panel type device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014251735A JP6074403B2 (en) | 2014-12-12 | 2014-12-12 | System, program, and method capable of pointer operation on head mounted display by touch panel type device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016221061A Division JP2017045472A (en) | 2016-11-11 | 2016-11-11 | System, program, and method capable of pointer operation on head-mounted display by touch-panel device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016115039A JP2016115039A (en) | 2016-06-23 |
JP6074403B2 true JP6074403B2 (en) | 2017-02-01 |
Family
ID=56141916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014251735A Active JP6074403B2 (en) | 2014-12-12 | 2014-12-12 | System, program, and method capable of pointer operation on head mounted display by touch panel type device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6074403B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6630439B2 (en) * | 2016-07-20 | 2020-01-15 | オリンパス株式会社 | Medical input device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1091329A (en) * | 1996-09-19 | 1998-04-10 | Sony Corp | Information processor and information input method |
US6757002B1 (en) * | 1999-11-04 | 2004-06-29 | Hewlett-Packard Development Company, L.P. | Track pad pointing device with areas of specialized function |
JP4846857B2 (en) * | 2010-03-03 | 2011-12-28 | 株式会社東芝 | Information processing apparatus and input control method |
US11068149B2 (en) * | 2010-06-09 | 2021-07-20 | Microsoft Technology Licensing, Llc | Indirect user interaction with desktop using touch-sensitive control surface |
JP6036217B2 (en) * | 2012-11-27 | 2016-11-30 | セイコーエプソン株式会社 | Display device, head-mounted display device, and display device control method |
JP2014154074A (en) * | 2013-02-13 | 2014-08-25 | Seiko Epson Corp | Input device, head-mounted type display device, and method for controlling input device |
-
2014
- 2014-12-12 JP JP2014251735A patent/JP6074403B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016115039A (en) | 2016-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102408359B1 (en) | Electronic device and method for controlling using the electronic device | |
KR102255774B1 (en) | Interacting with a device using gestures | |
KR101019254B1 (en) | apparatus having function of space projection and space touch and the controlling method thereof | |
JP6483556B2 (en) | Operation recognition device, operation recognition method and program | |
CN104951213B (en) | The method for preventing false triggering boundary slip gesture | |
US20180081443A1 (en) | Display control apparatus, display control system, and display control method | |
JP2018073287A5 (en) | ||
JP2014052950A (en) | Information terminal | |
JP2018049432A5 (en) | ||
JP2015135572A (en) | Information processing apparatus and control method of the same | |
JP5852514B2 (en) | Touch sensor | |
JP6074403B2 (en) | System, program, and method capable of pointer operation on head mounted display by touch panel type device | |
JP4856136B2 (en) | Movement control program | |
JP5873592B1 (en) | User interface program for determining three-point slide operation | |
JP2017045472A (en) | System, program, and method capable of pointer operation on head-mounted display by touch-panel device | |
JP2017174144A (en) | Program, computer device, program execution method and system | |
JP5575027B2 (en) | Display-integrated coordinate input device and virtual keyboard function activation method | |
JP2016066254A (en) | Electronic device with touch detection apparatus | |
JP2015153197A (en) | Pointing position deciding system | |
JP5769841B2 (en) | Portable game device with touch panel display | |
KR101573287B1 (en) | Apparatus and method for pointing in displaying touch position electronic device | |
JP6126639B2 (en) | A portable game device having a touch panel display and a game program. | |
JP2019152988A (en) | Touch sensor device and touch coordinate estimation program | |
JP6204414B2 (en) | GAME DEVICE AND PROGRAM | |
JP6391486B2 (en) | Information processing apparatus, operation control system, and operation control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160421 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6074403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |