WO2014147715A1 - 情報処理装置、制御方法およびプログラム - Google Patents

情報処理装置、制御方法およびプログラム Download PDF

Info

Publication number
WO2014147715A1
WO2014147715A1 PCT/JP2013/057702 JP2013057702W WO2014147715A1 WO 2014147715 A1 WO2014147715 A1 WO 2014147715A1 JP 2013057702 W JP2013057702 W JP 2013057702W WO 2014147715 A1 WO2014147715 A1 WO 2014147715A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
touch input
angle
information processing
subject
Prior art date
Application number
PCT/JP2013/057702
Other languages
English (en)
French (fr)
Inventor
鈴木　裕道
信孝 西垣
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to JP2015506399A priority Critical patent/JPWO2014147715A1/ja
Priority to PCT/JP2013/057702 priority patent/WO2014147715A1/ja
Publication of WO2014147715A1 publication Critical patent/WO2014147715A1/ja
Priority to US14/617,627 priority patent/US20150153902A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • Embodiments of the present invention relate to a control technique suitable for an information processing apparatus including a touch screen display.
  • the user can instruct the information processing apparatus to execute a function associated with the icon or menu by touching an object such as an icon or menu displayed on the touch screen display with a finger.
  • the input operation using the touch screen display is not limited to giving an operation instruction to the information processing apparatus, and is also used for inputting a document by handwriting.
  • touch input is performed on the touch screen display, the trajectory is displayed on the touch screen display.
  • a transparent protective panel with a certain thickness is arranged to protect the display surface from external pressure, and the user often sees the touch screen display from an angle, so touch input
  • various proposals have been made so far to prevent such a visual shift.
  • An object of the present invention is to provide an information processing apparatus, a control method, and a program capable of appropriately correcting a touch input position using an image obtained by a camera.
  • the information processing apparatus includes a display, a protection panel for protecting the display, a camera, a sensor that detects a touch input on the protection panel and outputs position information, and the camera Correction means for correcting the touch input position indicated by the position information obtained by the sensor using the image obtained by the above.
  • FIG. 1 is a top view illustrating a positional relationship between the information processing apparatus according to the first embodiment and a user.
  • FIG. 2 is a cross-sectional view for illustrating a positional relationship between the information processing apparatus according to the first embodiment and a user.
  • FIG. 3 is a diagram illustrating a system configuration of the information processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating each element used by the correction module of the touch input support application program operating on the information processing apparatus according to the first embodiment to calculate the correction amount.
  • FIG. 5 is a diagram illustrating a relationship between a camera image and a user's eye angle in the information processing apparatus according to the first embodiment.
  • FIG. 6 is a schematic diagram simply showing the relationship between the elements used by the correction module of the touch input support application program operating on the information processing apparatus according to the first embodiment to calculate the correction amount.
  • FIG. 7 is a flowchart illustrating the processing procedure of the correction module of the touch input support application program operating on the information processing apparatus according to the first embodiment.
  • FIG. 8 is a diagram illustrating a positional relationship between the camera and the user's eyes in the information processing apparatus according to the second embodiment.
  • FIG. 9 is a diagram illustrating a relationship between the size of the face captured by the camera and the distance between the camera and the user in the information processing apparatus according to the second embodiment.
  • FIG. 10 is a top view for illustrating a positional relationship between the information processing apparatus (a plurality of cameras are arranged) according to the third embodiment and a user.
  • FIG. 11 is a schematic diagram simply showing the relationship between the elements used by the correction module of the touch input support application program operating on the information processing apparatus of the third embodiment to calculate the correction amount.
  • the information processing apparatus of the present embodiment can be realized as a portable information processing apparatus capable of touch input, such as a tablet terminal or a smartphone.
  • FIG. 1 is a top view for illustrating the positional relationship between the information processing apparatus and the user
  • FIG. 2 is a cross-sectional view for illustrating the positional relationship between the information processing apparatus and the user.
  • the information processing apparatus is realized as a tablet terminal 10.
  • the tablet terminal 10 includes a main body 11, a touch screen display 12, and a camera 13.
  • the touch screen display 12 and the camera 13 are attached to the upper surface of the main body 11.
  • the main body 11 has a thin box-shaped housing.
  • the touch screen display 12 incorporates a flat panel display and a sensor configured to detect a touch input position on the touch screen display 12.
  • the flat panel display is, for example, an LCD (Liquid Crystal Display) 12A.
  • the sensor is, for example, a capacitive touch panel (digitizer) 12B.
  • the touch panel 12B is provided so as to cover the screen of the flat panel display.
  • the user performs touch input on the touch screen display 12 using a pen 100 called a stylus or the like.
  • the misalignment (a1) between the pen tip and the display position is based on the position of the pen tip (a2) detected by the sensor and the position (a3) captured by the pen tip. It is generated by refracting and shifting by the ITO film.
  • the refraction method is also composed of a number of devices from the surface of the touch panel 12B to the display surface of the LCD 12A, and each has a different refractive index.
  • the refractive index differs greatly between the device and the air layer. Since the optical path is greatly deviated, correction considering the refractive index is important.
  • the tablet terminal 10 is configured to perform appropriate correction using the image obtained by the camera 13, and this point will be described in detail below.
  • FIG. 3 is a diagram showing a system configuration of the tablet terminal 10.
  • the tablet terminal 10 includes a CPU 101, a system controller 102, a main memory 103, a graphics controller 104, a BIOS-ROM 105, a nonvolatile memory 106, a wireless communication device 107, an EC (Embedded controller) 108, and the like. .
  • the CPU 101 is a processor that controls the operation of various components in the tablet terminal 10.
  • the CPU 101 executes various software loaded from the nonvolatile memory 106 to the main memory 103.
  • the software includes an operating system (OS) 210 and a touch input support application program 220 (described later) that operates under the control of the OS 210.
  • the touch input support application program 220 includes a correction module 221.
  • the CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 105.
  • BIOS is a program for hardware control.
  • the system controller 102 is a device that connects between the local bus of the CPU 101 and various components.
  • the system controller 102 also includes a memory controller that controls access to the main memory 103.
  • the system controller 102 also has a function of executing communication with the graphics controller 104 via a PCI EXPRESS serial bus or the like.
  • the graphics controller 104 is a display controller that controls the LCD 12 ⁇ / b> A used as a display monitor of the tablet terminal 10.
  • a display signal generated by the graphics controller 104 is sent to the LCD 12A.
  • the LCD 12A displays a screen image based on the display signal.
  • a touch panel 12B is disposed on the LCD 12A.
  • the touch panel 12 ⁇ / b> B is, for example, an electrostatic capacitance type pointing device for performing touch input on the touch screen display 12. The position where the pen 100 is grounded is detected by the touch panel 12B.
  • the wireless communication device 107 is a device configured to perform wireless communication such as wireless LAN or 3G mobile communication.
  • the EC 108 is a one-chip microcomputer including an embedded controller for power management.
  • the EC 108 has a function of turning on / off the tablet terminal 10 in accordance with the operation of the power button by the user.
  • FIG. 4 shows each element used by the correction module 221 for calculating the correction amount.
  • FIG. 5 shows the relationship between the image of the camera 13 and the angle of the user's eyes.
  • the angle ⁇ is an angle formed by the protective glass surface (the surface including the protective glass surface including the periphery of the main body 11) and the line segment connecting the camera 13 and the eyes.
  • the angle ⁇ extends the first surface including the position of the camera 13 orthogonal to the imaging direction of the camera 13 and the vertical center line passing through the position of the camera 13 on the first surface in the direction of the eye. Is an angle formed by the second surface formed by.
  • the correction module 221 (of the touch input support application program 220) uses an angle correspondence table proportional to the eye position relative to the effective viewing angle of the camera with respect to the coordinate position of the eye, nose, and mouth captured in the camera image. The angles ⁇ and ⁇ are calculated.
  • FIG. 6 is a schematic diagram simply showing the relationship between the elements used by the correction module 221 to calculate the correction amount.
  • the correction module 221 calculates the angles ⁇ and ⁇ by tracking the direction of the eye with the image of the camera 13. Since the camera position is fixed, the correction module 221 calculates the distance L between the camera 13 and the pen 100 by detecting the touch input position on the touch screen display 12. Furthermore, since the distance a between the camera 13 and the user's eyes can be estimated to some extent as 20 to 50 cm, the correction module 221 calculates the angles ⁇ and ⁇ and the distance L, and then calculates the distance a ′ shown in the figure from the triangle formula. , A ′′, and finally, an angle ⁇ 0 formed between the normal of the protective glass surface and the line of sight is calculated.
  • the camera 13 may estimate the position of the eye not only from the eyes but also from the positional relationship of the nose, mouth, ears, eyebrows, hair, and the like. In addition, since the range captured by the camera 13 is limited, if it cannot be recognized, the predetermined shift amount is corrected.
  • FIG. 7 is a flowchart showing the processing procedure of the correction module 221.
  • the correction module 221 calculates an angle ( ⁇ , ⁇ ) formed in the direction of the camera 13 and the user's eyes from the image of the camera 13 (block A1). Further, the correction module 221 calculates the distance (L) between the pen tip and the camera (block A2). Further, the correction module 221 calculates an angle ( ⁇ ) between the normal of the protective glass surface and the line of sight (block A3). Then, the correction module 221 calculates a positional deviation amount (g) (block A4).
  • the tablet terminal 10 can appropriately correct the touch input position using the image obtained by the camera.
  • the pen tip can be detected without being affected by the hand, so that more accurate correction is realized.
  • the positional deviation accuracy is further improved by measuring the distance between the camera 13 and the user's eyes.
  • FIG. 8 is a diagram showing the positional relationship between the camera and the user's eyes
  • FIG. 9 is a diagram showing the relationship between the size of the face captured by the camera and the distance between the camera and the user.
  • the correction module 221 of the present embodiment has a correspondence table of average sizes and distances of general people of the triangle created by the eye-nose, detects the size of the triangle created by the eye-nose from the screen, The distance a is obtained with reference to the correspondence table.
  • the eye-nose triangle may not be captured, and there are cases where only both eyes or only the nose-mouth, and if these are also used as reference values, the eye-nose-mouth correspondence table can be used with a certain degree of accuracy. You can ask for a.
  • the positional deviation accuracy is further improved by arranging a plurality of cameras.
  • FIG. 10 is a top view for showing the positional relationship between the tablet terminal 10 of this embodiment (a plurality of cameras [13a, 13b] are arranged) and the user.
  • FIG. 11 simply shows the relationship between the elements used by the correction module 221 of this embodiment to calculate the correction amount.
  • the correction module 221 performs the above-described procedure according to the angle ⁇ and ⁇ formed between the camera [1] and the eye direction, the distance L between the position of the camera [1] and the pen position, and the camera [2].
  • the angles ⁇ and ⁇ formed in the eye direction and the distance M between the position of the camera [2] and the pen position are calculated. Since the distance O between the camera [1] and the camera [2] is known, the correction module 221 can finally calculate the angle ⁇ 0 from the triangle formula.
  • each tablet terminal 10 described in the first to third embodiments it is possible to appropriately correct the touch input position using the image obtained by the camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

　実施形態によれば、情報処理装置は、ディスプレイと、前記ディスプレイを保護するための保護パネルと、カメラと、前記保護パネル上でのタッチ入力を検出して位置情報を出力するセンサと、前記カメラにより得られる画像を用いて、前記センサにより得られる位置情報で示されるタッチ入力位置を補正する補正手段とを具備する。

Description

情報処理装置、制御方法およびプログラム
　本発明の実施形態は、タッチスクリーンディスプレイを備える情報処理装置に好適な制御技術に関する。
　近年、タブレット端末やスマートフォンといったバッテリ駆動可能で携行容易な情報処理装置が広く普及している。この種の情報処理装置の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。
　ユーザは、タッチスクリーンディスプレイ上に表示されるアイコンやメニュー等のオブジェクトを指でタッチすることにより、これらアイコンやメニューに関連づけられた機能の実行を情報処理装置に指示することができる。
　また、タッチスクリーンディスプレイを使った入力操作は、情報処理装置に対して動作指示を与えるに止まらず、手書きで文書を入力する用途にも使われている。タッチスクリーンディスプレイ上でタッチ入力を行うと、その軌跡がタッチスクリーンディスプレイに表示されるようになっている。
　タッチスクリーンディスプレイ上には、ディスプレイ面を外圧から保護するために、ある程度の厚みを持った透明の保護パネルが配置され、また、ユーザは、タッチスクリーンディスプレイを斜めから見ることが多いので、タッチ入力位置と、例えばその軌跡の表示位置との間にずれが生じていると感じることが少なくない。そこで、このような見た目上のずれを生じさせないようにするための提案が、これまでも種々成されている。
特開２００６－３０２０２９号公報
　最近では、タッチスクリーンディスプレイを備える情報処理装置の多くが、静止画像や動画像を撮像するためのカメラを備えている。しかしながら、前述したような見た目上のずれの解消に、このカメラを使用するという発想は皆無であった。
　本発明は、カメラで得られる画像を用いて、タッチ入力位置を適切に補正することを可能とした情報処理装置、制御方法およびプログラムを提供することを目的とする。
　実施形態によれば、情報処理装置は、ディスプレイと、前記ディスプレイを保護するための保護パネルと、カメラと、前記保護パネル上でのタッチ入力を検出して位置情報を出力するセンサと、前記カメラにより得られる画像を用いて、前記センサにより得られる位置情報で示されるタッチ入力位置を補正する補正手段とを具備する。
図１は、第１実施形態の情報処理装置とユーザとの位置関係を示すための上面図である。 図２は、第１実施形態の情報処理装置とユーザとの位置関係を示すための断面図である。 図３は、第１実施形態の情報処理装置のシステム構成を示す図である。 図４は、第１実施形態の情報処理装置上で動作するタッチ入力支援アプリケーションプログラムの補正モジュールが補正量の計算に用いる各要素を示す図である。 図５は、第１実施形態の情報処理装置におけるカメラ画像とユーザの眼の角度の関係を示す図である。 図６は、第１実施形態の情報処理装置上で動作するタッチ入力支援アプリケーションプログラムの補正モジュールが補正量の計算に用いる各要素の関係を簡易的に示す模式図である。 図７は、第１実施形態の情報処理装置上で動作するタッチ入力支援アプリケーションプログラムの補正モジュールの処理手順を示すフローチャートである。 図８は、第２実施形態の情報処理装置におけるカメラとユーザの眼との位置関係を示す図である。 図９は、第２実施形態の情報処理装置における、カメラで捉えた顔のサイズと、カメラとユーザとの距離との関係を示す図である。 図１０は、第３実施形態の（カメラを複数配置した）情報処理装置とユーザとの位置関係を示すための上面図である。 図１１は、第３実施形態の情報処理装置上で動作するタッチ入力支援アプリケーションプログラムの補正モジュールが補正量の計算に用いる各要素の関係を簡易的に示す模式図である。
　以下、実施の形態について図面を参照して説明する。
　（第１実施形態）
　まず、第１実施形態について説明する。
　本実施形態の情報処理装置は、例えば、タブレット端末やスマートフォン等、タッチ入力可能な携帯型情報処理装置として実現され得る。図１は、本情報処理装置とユーザとの位置関係を示すための上面図であり、図２は、本情報処理装置とユーザとの位置関係を示すための断面図である。
　図１に示すように、ここでは、本情報処理装置が、タブレット端末１０として実現されている場合を想定する。タブレット端末１０は、本体１１、タッチスクリーンディスプレイ１２およびカメラ１３を備える。タッチスクリーンディスプレイ１２およびカメラ１３は、本体１１の上面に取り付けられている。
　本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１２には、フラットパネルディスプレイと、タッチスクリーンディスプレイ１２上でのタッチ入力位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えばＬＣＤ（Liquid crystal display）１２Ａである。センサは、例えば静電容量方式のタッチパネル（デジタイザ）１２Ｂである。タッチパネル１２Ｂは、フラットパネルディスプレイの画面を覆うように設けられる。
　そして、ユーザは、スタイラスなどと称されるペン１００を使って、タッチスクリーンディスプレイ１２上でのタッチ入力を実施する。
　図２に示すように、ペン先と表示位置との位置ずれ（ａ１）は、センサで検出したペン先の位置（ａ２）と、ペン先で捉えた位置（ａ３）とが、保護ガラスやタッチパネルのＩＴＯ膜などで屈折してずれることで発生する。また、屈折の仕方も、タッチパネル１２Ｂの表面からＬＣＤ１２Ａの表示面までいくつものデバイスで構成されており、それぞれ屈折率が異なるため、考慮する必要がある。特に、保護ガラスとＬＣＤ１２Ａなどの表示デバイスとの間が、表面から外圧で押されても吸着しないように、一定の間隙を設けてある場合、デバイスと空気層とで屈折率が大きく異なり、視線光路が大きくずれるため、屈折率を考慮した補正が重要である。
　そこで、本タブレット端末１０は、カメラ１３で得た画像を用いて、適切な補正を施すようにしたものであり、以下、この点について詳述する。
　図３は、本タブレット端末１０のシステム構成を示す図である。
　図３に示されるように、タブレット端末１０は、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ－ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、ＥＣ（Embedded controller）１０８等を備える。
　ＣＰＵ１０１は、タブレット端末１０内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２１０や、当該ＯＳ２１０の制御下で動作する後述するタッチ入力支援アプリケーションプログラム２２０が含まれている。タッチ入力支援アプリケーションプログラム２２０は、補正モジュール２２１を有している。
　また、ＣＰＵ１０１は、ＢＩＯＳ－ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ：Basic input/output system）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
　システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ　ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
　グラフィクスコントローラ１０４は、タブレット端末１０のディスプレイモニタとして使用されるＬＣＤ１２Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１２Ａに送られる。ＬＣＤ１２Ａは、表示信号に基づいて画面イメージを表示する。ＬＣＤ１２Ａ上にはタッチパネル１２Ｂが配置されている。タッチパネル１２Ｂは、タッチスクリーンディスプレイ１２上でタッチ入力を行うための例えば静電容量式のポインティングデバイスである。ペン１００が接地した位置は、このタッチパネル１２Ｂによって検出される。
　無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレット端末１０を電源オン／オフする機能を有している。
　図４に、補正モジュール２２１が補正量の計算に用いる各要素を示す。また、図５に、カメラ１３の画像とユーザの眼の角度の関係を示す。
　図４および図５中、角度αは、保護ガラス面（本体１１の周辺を含む保護ガラス面を含む面）と、カメラ１３と眼とを結ぶ線分とがなす角度である。また、角度φは、カメラ１３の撮像方向と直交するカメラ１３の位置を含む第１面と、この第１面上のカメラ１３の位置を通過する垂直方向の中心線を眼の方向に伸ばすことによって形成される第２面とがなす角度である。（タッチ入力支援アプリケーションプログラム２２０の）補正モジュール２２１は、カメラ画像で捉えた眼や鼻、口の座標位置に対して、カメラの有効視野角に対する眼の位置に比例した角度の対応表などから、当該角度α，φを算出する。
　図６は、補正モジュール２２１が補正量の計算に用いる各要素の関係を簡易的に示す模式図である。
　補正モジュール２２１は、カメラ１３の画像で眼の方向をトラッキングすることで、角度α，φを算出する。また、カメラ位置は固定のため、補正モジュール２２１は、タッチスクリーンディスプレイ１２上でのタッチ入力位置を検出することで、カメラ１３－ペン１００間の距離Ｌを算出する。さらに、カメラ１３とユーザの眼との間の距離ａは２０～５０ｃｍとある程度推定できるため、補正モジュール２２１は、角度α，φ、距離Ｌを算出すると、三角形の公式から、図示の距離ａ’，ａ”を算出し、最終的に、保護ガラス面の法線と視線とのなす角度θ0を算出する。
　これにより、補正モジュール２２１は、
　ずれ量ｇ、各デバイス厚みｈm（m=1,2,…）、各デバイス屈折率ｎm（m=1,2,…）、視線光路の各デバイスに対する入射角θm（m=1,2,…）として、θ0が、カメラと眼の方向で形成される角度α，φ、眼とタブレット本体との距離ａ、ペン先とカメラとの距離Ｌから算出される時、
　ｇ=ｈ1*tanθ1+ … +ｈm*tanθm
　　ここで、θm=arc sin（ｎm-1*sinθm-1／ｈm）（m=1,2,…）
　の計算を実行して、補正量を算出する。
　この補正量の補正を行うことで、位置ずれ量が少なくなり、ユーザは、ストレスなく筆記できることになる。
　なお、カメラ１３では、眼だけでなく、鼻や口、耳、眉、髪の毛などの位置関係から眼の位置を推定することでもよい。また、カメラ１３で捉えられる範囲は限定されているので、認識できなかった場合は、あらかじめ決めていたずれ量を補正する。
　図７は、補正モジュール２２１の処理手順を示すフローチャートである。
　補正モジュール２２１は、カメラ１３の画像からカメラ１３とユーザの眼の方向で形成される角度（α，φ）を算出する（ブロックＡ１）。また、補正モジュール２２１は、ペン先とカメラとの間の距離（Ｌ）を算出する（ブロックＡ２）。さらに、補正モジュール２２１は、保護ガラス面の法線と視線とがなす角の角度（θ）を算出する（ブロックＡ３）。そして、補正モジュール２２１は、位置ずれ量（ｇ）を算出する（ブロックＡ４）。
　このように、本タブレット端末１０は、カメラで得られる画像を用いて、タッチ入力位置を適切に補正することを可能とする。
　また、センサをデジタイザ（電磁誘導式）、ペンをデジタイザ専用ペンとすることで、手の影響などを受けることなく、ペン先を検出することができるため、より高精度な補正が実現される。
　（第２実施形態）
　次に、第２実施形態について説明する。
　本実施形態では、カメラ１３とユーザの眼の距離を測距することで、さらに位置ずれ精度を向上させる。
　図８は、カメラとユーザの眼との位置関係を示す図であり、図９は、カメラで捉えた顔のサイズと、カメラとユーザとの距離との関係を示す図である。
　図８および図９に示すように、カメラ１３とユーザの眼との距離ａは、カメラ１３で捉えた映像から推定できる。そこで、本実施形態の補正モジュール２２１は、例えば、眼－鼻でつくる三角形の一般人の平均的な大きさと距離との対応表をもっておき、画面から眼－鼻でつくる三角形の大きさを検出し、対応表を参照して、距離ａを求める。
　当然、眼－鼻の三角形を捉えられないこともあり、両眼だけ、鼻－口だけということもあり、それらも参考値として、眼－鼻－口の対応表をもっておけば、ある程度精度よく距離aを求めることはできる。
　（第３実施形態）
　次に、第３実施形態について説明する。
　本実施形態では、カメラを複数配置することで、さらに位置ずれ精度を向上させる。
　図１０は、（カメラ［１３ａ，１３ｂ］を複数配置した）本実施形態のタブレット端末１０とユーザとの位置関係を示すための上面図である。また、図１１に、本実施形態の補正モジュール２２１が補正量の計算に用いる各要素の関係を簡易的に示す。
　タブレット端末において、カメラを複数配置することは、３Ｄ映像を観る等の理由で想定されることである。補正モジュール２２１は、まず、前述の手順で、カメラ［１］と眼の方向で形成される角度α，φと、カメラ［１］の位置とペン位置との距離Ｌと、カメラ［２］と眼の方向で形成される角度β，δと、カメラ［２］の位置とペン位置との距離Ｍとを算出する。カメラ［１］とカメラ［２］との距離Ｏは既知のため、補正モジュール２２１は、三角形の公式から、最終的に、角度θ0を算出することができる。
　これにより、より高精度の位置ずれ補正を実現できる。
　以上のように、第１乃至第３実施形態で説明した各タブレット端末１０によれば、カメラで得られる画像を用いて、タッチ入力位置を適切に補正することを可能とする。
　なお、本実施形態の動作手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (12)

  1. 　ディスプレイと、
    　前記ディスプレイを保護するための保護パネルと、
    　カメラと、
    　前記保護パネル上でのタッチ入力を検出して位置情報を出力するセンサと、
    前記カメラにより得られる画像を用いて、前記センサにより得られる位置情報で示されるタッチ入力位置を補正する補正手段と、
    　を具備する情報処理装置。
    　情報処理装置。
  2. 　前記補正手段は、前記画像に含まれる被写体像の前記画像上での位置に基づき、実空間上での被写体の眼の位置を検出する請求項１に記載の情報処理装置。
  3. 　前記補正手段は、前記被写体の眼の位置に関する情報として、前記保護パネル面と、前記カメラと前記被写体の眼とを結ぶ線分とがなす第１角の角度と、前記カメラの撮像方向と直交する前記カメラの位置を含む第１面と、前記第１面上の前記カメラの位置を通過する垂直方向の中心線を前記被写体の眼の方向に伸ばすことによって形成される第２面とがなす第２角の角度とを算出する請求項２に記載の情報処理装置。
  4. 　前記補正手段は、前記第１角の角度と、前記第２角の角度と、前記カメラと前記タッチ入力位置との間の距離と、前記カメラと前記被写体の眼との間の距離とに基づき、前記タッチ入力位置を通過する前記保護パネル面の法線方向の線分と、前記被写体の眼と前記タッチ入力位置とを結ぶ線分とがなす第３角の角度を算出する請求項３に記載の情報処理装置。
  5. 　前記補正手段は、前記画像に含まれる被写体像の部位の大きさまたは部位間の距離に基づき、前記カメラと前記被写体の眼との間の距離を算出する請求項４に記載の情報処理装置。
  6. 　前記補正手段は、前記第３角の角度と、前記保護パネル面と前記ディスプレイ面との間の距離とに基づき、前記タッチ入力位置の補正量を算出する請求項４または５に記載の情報処理装置。
  7. 　前記補正手段は、前記補正量の算出時、前記保護パネル面と前記ディスプレイ面との間に介在する１以上の部材それぞれの厚みおよび屈折率を適用する請求項６に記載の情報処理装置。
  8. 　前記補正手段は、
    　前記補正量をｇ、前記１以上の部材それぞれの厚みをｈm（ｍは整数）、前記１以上の部材それぞれの屈折率をｎm、前記第３角の角度を初期値（入射角θ0）とする前記被写体の眼の位置から前記タッチ入力位置に至る視線光路の前記１以上の部材それぞれに対する入射角をθmとして、
    　ｇ＝ｈ1×tanθ1+ … ｈm×tanθm
    　　　ここで、θm＝arc sin(ｎm-1×sinθm-1／ｎm)
    　の計算を実行する
    　請求項７に記載の情報処理装置。
  9. 　前記カメラを複数具備し、
    　前記補正手段は、第１カメラにより得られた第１画像に含まれる被写体像の前記第１画像上での位置に基づき、前記保護パネル面と、前記第１カメラと前記被写体の眼とを結ぶ線分とがなす前記第１カメラに関する第１角の角度、および、前記第１カメラの撮像方向と直交する前記第１カメラの位置を含む前記第１カメラに関する第１面と、前記第１カメラに関する第１面上の前記第１カメラの位置を通過する垂直方向の中心線を前記被写体の眼の方向に伸ばすことによって形成される前記第１カメラに関する第２面とがなす前記第１カメラに関する第２角の角度を算出すると共に、第２カメラにより得られた第２画像に含まれる被写体像の前記第２画像上での位置に基づき、前記保護パネル面と、前記第１カメラと前記被写体の眼とを結ぶ線分とがなす前記第２カメラに関する第１角の角度、および、前記第２カメラの撮像方向と直交する前記第２カメラの位置を含む前記第２カメラに関する第１面と、前記第２カメラに関する第１面上の前記第２カメラの位置を通過する垂直方向の中心線を前記被写体の眼の方向に伸ばすことによって形成される前記第２カメラに関する第２面とがなす前記第２カメラに関する第２角の角度を算出し、前記第１カメラに関する第１角および第２角の角度と、前記第２カメラに関する第１角および第２角の角度と、前記第１カメラと前記タッチ入力位置との間の距離と、前記第２カメラと前記タッチ入力位置との間の距離と、前記第１カメラと前記第２カメラとの間の距離とに基づき、前記タッチ入力位置を通過する前記保護パネル面の法線方向の線分と、前記被写体の眼と前記タッチ入力位置とを結ぶ線分とがなす第３角の角度を算出する
    　請求項１に記載の情報処理装置。
  10. 　前記センサは、デジタイザであり、専用ペンによる前記保護パネル上でのタッチ入力を検出する請求項１に記載の情報処理装置。
  11. 　情報処理装置の制御方法であって、
    　タッチスクリーンディスプレイ上でのタッチ入力を検出し、
    　カメラにより得られる画像を用いて、前記検出したタッチ入力の位置を補正する、
    　制御方法。
  12. 　コンピュータを、
    　タッチスクリーンディスプレイ上でのタッチ入力を検出し、
    　カメラにより得られる画像を用いて、前記検出したタッチ入力の位置を補正する、
    　ように動作させるためのプログラム。
PCT/JP2013/057702 2013-03-18 2013-03-18 情報処理装置、制御方法およびプログラム WO2014147715A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015506399A JPWO2014147715A1 (ja) 2013-03-18 2013-03-18 情報処理装置、制御方法およびプログラム
PCT/JP2013/057702 WO2014147715A1 (ja) 2013-03-18 2013-03-18 情報処理装置、制御方法およびプログラム
US14/617,627 US20150153902A1 (en) 2013-03-18 2015-02-09 Information processing apparatus, control method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/057702 WO2014147715A1 (ja) 2013-03-18 2013-03-18 情報処理装置、制御方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/617,627 Continuation US20150153902A1 (en) 2013-03-18 2015-02-09 Information processing apparatus, control method and storage medium

Publications (1)

Publication Number Publication Date
WO2014147715A1 true WO2014147715A1 (ja) 2014-09-25

Family

ID=51579451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/057702 WO2014147715A1 (ja) 2013-03-18 2013-03-18 情報処理装置、制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20150153902A1 (ja)
JP (1) JPWO2014147715A1 (ja)
WO (1) WO2014147715A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091509A (ja) * 2018-12-03 2020-06-11 ルネサスエレクトロニクス株式会社 情報入力装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454235B2 (en) 2014-12-26 2016-09-27 Seungman KIM Electronic apparatus having a sensing unit to input a user command and a method thereof
JP6859999B2 (ja) * 2016-02-23 2021-04-14 ソニー株式会社 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
KR102478492B1 (ko) * 2016-06-27 2022-12-15 엘지디스플레이 주식회사 다중 패널 표시장치
US20180329492A1 (en) * 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Parallax correction for touch-screen display
WO2019094003A1 (en) * 2017-11-08 2019-05-16 Hewlett-Packard Development Company, L.P. Determining locations of electro-optical pens

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63187326A (ja) * 1987-01-30 1988-08-02 Nippon Telegr & Teleph Corp <Ntt> 入力表示装置
JPH05289816A (ja) * 1992-04-06 1993-11-05 Fujitsu Ltd 表示操作パネル補正装置
JPH11296304A (ja) * 1998-04-10 1999-10-29 Ricoh Co Ltd 画面表示入力装置及び視差補正方法
JPH11353118A (ja) * 1998-06-08 1999-12-24 Ntt Data Corp 情報入力装置
JP2007207008A (ja) * 2006-02-02 2007-08-16 Toshiba Tec Corp タッチパネル付表示装置
JP2009110275A (ja) * 2007-10-30 2009-05-21 Sharp Corp 表示入力装置及びその視差補正方法
JP2010176313A (ja) * 2009-01-28 2010-08-12 Toshiba Corp 情報処理装置及び情報処理方法
JP2012198608A (ja) * 2011-03-18 2012-10-18 Nec Personal Computers Ltd 入力装置および入力方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63187326A (ja) * 1987-01-30 1988-08-02 Nippon Telegr & Teleph Corp <Ntt> 入力表示装置
JPH05289816A (ja) * 1992-04-06 1993-11-05 Fujitsu Ltd 表示操作パネル補正装置
JPH11296304A (ja) * 1998-04-10 1999-10-29 Ricoh Co Ltd 画面表示入力装置及び視差補正方法
JPH11353118A (ja) * 1998-06-08 1999-12-24 Ntt Data Corp 情報入力装置
JP2007207008A (ja) * 2006-02-02 2007-08-16 Toshiba Tec Corp タッチパネル付表示装置
JP2009110275A (ja) * 2007-10-30 2009-05-21 Sharp Corp 表示入力装置及びその視差補正方法
JP2010176313A (ja) * 2009-01-28 2010-08-12 Toshiba Corp 情報処理装置及び情報処理方法
JP2012198608A (ja) * 2011-03-18 2012-10-18 Nec Personal Computers Ltd 入力装置および入力方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091509A (ja) * 2018-12-03 2020-06-11 ルネサスエレクトロニクス株式会社 情報入力装置
US11455061B2 (en) 2018-12-03 2022-09-27 Renesas Electronics Corporation Information input device including a touch surface and a display surface
JP7178888B2 (ja) 2018-12-03 2022-11-28 ルネサスエレクトロニクス株式会社 情報入力装置

Also Published As

Publication number Publication date
JPWO2014147715A1 (ja) 2017-02-16
US20150153902A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
WO2014147715A1 (ja) 情報処理装置、制御方法およびプログラム
US10983593B2 (en) Wearable glasses and method of displaying image via the wearable glasses
US11016611B2 (en) Touch processing method and electronic device for supporting the same
US10962809B1 (en) Eyewear device with finger activated touch sensor
US10585288B2 (en) Computer display device mounted on eyeglasses
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
WO2015025549A1 (ja) 表示装置、および、タッチ操作処理方法
US20150084881A1 (en) Data processing method and electronic device
WO2015141332A1 (ja) 入力装置、表示装置及び端末装置
KR102363707B1 (ko) 압력 센서를 포함하는 전자 장치 및 전자 장치 제어 방법
US9778792B2 (en) Information handling system desktop surface display touch input compensation
JP6792721B2 (ja) 電子機器、プログラム、制御装置および制御方法
TW201523425A (zh) 桌上型電子裝置以及使用者介面顯示方法
US10345927B2 (en) Pen/stylus offset modification
US20140210746A1 (en) Display device and method for adjusting display orientation using the same
KR20140094958A (ko) 플렉서블 디스플레이 장치의 동작 실행 방법 및 그 장치
JP5947999B2 (ja) タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム
KR101397812B1 (ko) 원격 터치 및 드래그 방식 입력 시스템
JP2015153277A (ja) 表示装置
JP6466736B2 (ja) 情報処理装置、情報処理方法、ならびに、プログラム
TW201514601A (zh) 觸控投影系統及其方法
JP2014216962A (ja) 電子機器及びシステム
JP2017157135A (ja) 入力装置及び入力方法
KR20170095595A (ko) 투명 디스플레이 장치 및 그것의 양면 디스플레이 방법
JP2014153850A (ja) 電子機器、制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13878665

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015506399

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13878665

Country of ref document: EP

Kind code of ref document: A1