JP5589549B2 - 情報処理装置及び情報処理装置の操作方法 - Google Patents

情報処理装置及び情報処理装置の操作方法 Download PDF

Info

Publication number
JP5589549B2
JP5589549B2 JP2010111780A JP2010111780A JP5589549B2 JP 5589549 B2 JP5589549 B2 JP 5589549B2 JP 2010111780 A JP2010111780 A JP 2010111780A JP 2010111780 A JP2010111780 A JP 2010111780A JP 5589549 B2 JP5589549 B2 JP 5589549B2
Authority
JP
Japan
Prior art keywords
acceleration
axis
gesture
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010111780A
Other languages
English (en)
Other versions
JP2011242832A (ja
Inventor
大記 横山
康隆 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010111780A priority Critical patent/JP5589549B2/ja
Priority to US13/086,684 priority patent/US8947359B2/en
Priority to EP20110164918 priority patent/EP2386931A2/en
Priority to CN201110121699.3A priority patent/CN102289343B/zh
Publication of JP2011242832A publication Critical patent/JP2011242832A/ja
Application granted granted Critical
Publication of JP5589549B2 publication Critical patent/JP5589549B2/ja
Priority to US14/570,233 priority patent/US10809807B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Description

本発明は、情報処理装置及びその操作方法に関し、より詳細には、ユーザが手に持って各種操作を行うことが可能な情報処理装置及びその情報処理装置における操作方法に関する。
従来、情報処理機能を備える様々な携帯型の電子機器が開発されており、そのような携帯型の電子機器の操作性を向上させるための技術も種々提案されている(例えば、特許文献1参照)。
特許文献1には、ユーザが片手で持って操作する携帯電子機器が記載されている。この携帯電子機器は、3軸加速度センサを備えており、その加速度センサで検出されるX、Y及びZ軸方向の加速度Ax、Ay及びAzに基づいて、携帯電子機器がユーザにより振られたか(シェイクされたか)否かを判定する。そして、携帯電子機器は、その判定結果に基づいて所定の機能を実現する。
なお、特許文献1の携帯電子機器では、X、Y及びZ軸方向の加速度Ax、Ay及びAzから、参照加速度値([Ax+Ay+Az1/2)、並びに、X軸方向及びY軸方向の傾き角度θ及びφを算出して上記判定を行っている。
特開2003−345492号公報
近年、上記特許文献1で提案されているような携帯電子機器に限らず、例えばノート型のパーソナルコンピュータ(以下、ノート型PCを記す)においても、その小型化がさらに進み、ユーザが手に持った状態でも操作可能なノート型PCが提案されている。そして、そのような携帯型のノート型PCにおいても、ユーザがノート型PCを手に持って行う所定動作(ジェスチャー)とノート型PCの所定操作とを対応付ける機能(以下、ジェスチャー機能という)の多様化及び操作性の向上が望まれている。
本発明は上記状況を鑑みなされたものであり、本発明の目的は、ジェスチャー機能を備える情報処理装置及びその操作方法において、ジェスチャー機能の多様化及びジェスチャー機能の操作性の向上を図ることである。
上記課題を解決するために、本発明の情報処理装置は、キーボードを含む本体部及び該本体部に取り付けられた表示部を有する装置本体と、装置本体に搭載された加速度センサと、ジェスチャー動作判別部と、操作実行部とを備える構成とする。そして、ジェスチャー動作判別部及び操作実行部の構成及び機能を次のようにする。ジェスチャー動作判別部は、装置本体に搭載され、ユーザが装置本体を保持して所定のジェスチャー機能を実行する際の装置本体の保持状態の基準姿勢を加速度センサで検出される加速度に基づいて判別する。この際、ジェスチャー動作判別部が、ユーザが実行したジェスチャー動作の基準姿勢にあるときには軸上の加速度が零であり、装置本体が該基準姿勢から変化したときには該変化に応じて該軸上の加速度が変化するような仮想軸を設定し、該基準姿勢に対応する判別用閾値を設定し、加速度センサにより検出した加速度に基づいて該仮想軸上の加速度を算出し、且つ、該算出された仮想軸上の加速度と判別用閾値を比較することによりジェスチャー動作が実行されたか否かを判別し、ジェスチャー動作を判別する。さらに、ジェスチャー動作判別部は、装置本体の基準姿勢からの姿勢変化を加速度センサで検出される加速度に基づいて検出してジェスチャー動作を判別する。そして、操作実行部は、装置本体に搭載され、ジェスチャー動作判別部における判別結果に基づいて、ユーザにより実行されたジェスチャー動作に対応する所定操作を実行する。
また、本発明の情報処理装置の操作方法は、上記本発明の情報処理装置の操作方法であり、次の手順で行われる。まず、ジェスチャー動作判別部が、加速度センサで検出される加速度に基づいて、ユーザが装置本体を保持して所定のジェスチャー機能を実行する際の装置本体の保持状態の基準姿勢を判別する。次いで、ジェスチャー動作判別部が、加速度センサで検出される加速度に基づいて、装置本体の基準姿勢からの姿勢変化を検出してユーザが実行したジェスチャー動作を判別する。この際、ジェスチャー動作判別部が、ユーザが実行したジェスチャー動作の基準姿勢にあるときには軸上の加速度が零であり、装置本体が基準姿勢から変化したときには変化に応じて軸上の加速度が変化するような仮想軸を設定し、基準姿勢に対応する判別用閾値を設定し、加速度センサにより検出した加速度に基づいて仮想軸上の加速度を算出し、且つ、算出された仮想軸上の加速度と判別用閾値を比較することによりジェスチャー動作が実行されたか否かを判別し、ジェスチャー動作を判別する。そして、操作実行部が、ジェスチャー動作の判別結果に基づいて、ユーザにより実行された判別されたジェスチャー動作に対応する所定操作を実行する。
上述のように、本発明の情報処理装置では、ジェスチャー機能を実行する際に、まず、ジェスチャー動作判別部が、速度センサで検出される加速度に基づいて、ユーザによる装置本体の保持状態の基準姿勢(持ち方)を判別する。次いで、ジェスチャー動作判別部が、加速度センサで検出される加速度に基づいて実行されたジェスチャー動作を判別する。この際、ジェスチャー動作判別部が、ユーザが実行したジェスチャー動作の基準姿勢にあるときには軸上の加速度が零であり、装置本体が基準姿勢から変化したときには変化に応じて軸上の加速度が変化するような仮想軸を設定し、基準姿勢に対応する判別用閾値を設定し、加速度センサにより検出した加速度に基づいて仮想軸上の加速度を算出し、且つ、算出された仮想軸上の加速度と判別用閾値を比較することによりジェスチャー動作が実行されたか否かを判別し、ジェスチャー動作を判別する。その判別結果に基づいて、操作実行部により所定のジェスチャー機能が実行される。そえゆえ、本発明では、装置本体の種々の持ち方において、ジェスチャー機能を実現することができる。
本発明では、上述のように、様々な装置本体の持ち方においてジェスチャー機能を実現することができる。それゆえ、本発明によれば、ジェスチャー機能を備える情報処理装置及びその操作方法において、ジェスチャー機能の多様化及びジェスチャー機能の操作性の向上を図ることができる。
本発明の一実施形態に係る情報処理装置の外観斜視図である。 本発明の一実施形態に係る情報処理装置の内部ブロック構成図である。 本発明の一実施形態に係るジェスチャー機能の処理ブロックの構成図である。 情報処理装置を横位置で保持した際の様子を示す図である。 情報処理装置を縦位置で保持した際の様子を示す図である。 情報処理装置を横位置で保持した際のジェスチャー動作の判別原理を説明するための図である。 情報処理装置を横位置で保持した際のジェスチャー動作の判別原理を説明するための図である。 情報処理装置を縦位置で保持した際の基準姿勢を示す図である。 加速度センサのY軸及びZ軸で画成されるY−Z面内の合成加速度ベクトルを説明するための図である。 仮想軸の設定原理を説明するための図である。 仮想軸の設定原理を説明するための図である。 仮想軸の設定原理を説明するための図である。 情報処理装置を縦位置で保持した際のジェスチャー動作の判別原理を説明するための図である。 情報処理装置を縦位置で保持した際のジェスチャー動作の判別原理を説明するための図である。 本発明の一実施形態に係るジェスチャー機能の全体的な処理手順を示すフローチャートである。 本発明の一実施形態に係るジェスチャー動作の判別処理の手順を示すフローチャートである。 比較例の情報処理装置におけるジェスチャー機能の処理ブロックの構成図である。 比較例の情報処理装置におけるジェスチャー機能の全体的な処理手順を示すフローチャートである。
以下に、本発明の一実施形態に係る情報処理装置及びその操作方法の一例を、図面を参照しながら下記の順で説明する。ただし、本発明の構成はこれに限定されない。
1.情報処理装置の基本構成例
2.ジェスチャー機能の処理ブロック
3.ジェスチャー機能の概要及び動作原理
4.ジェスチャー機能の処理例
<1.情報処理装置の基本構成例>
[情報処理装置の外観構成]
図1に、本発明の一実施形態に係る情報処理装置の外観斜視図を示す。なお、本実施形態では、情報処理装置として、ノート型PCを例に挙げて説明するが、本発明はこれに限定されず、ジェスチャー機能を備える任意の情報処理装置に本発明は適用可能である。
情報処理装置100の装置本体100aは、本体部1と、表示部2と、2つのヒンジ3とで構成される。なお、図1に示す例では、2つのヒンジ3が本体部1の表示部2側の長辺端部1aの両端付近に取り付けられ、表示部2は、この2つのヒンジ3を介して本体部1に取り付けられる。また、表示部2は、本体部1に対して、2つのヒンジ3の中心間を繋ぐ線を中心軸にして回転可能に取り付けられており、この表示部2の回転動作により表示部2が本体部1に対して開閉される。なお、本実施形態では、本体部1及び表示部2間の開き角度は180度未満であり、最大でも約120〜140度程度とする。
本体部1は、その上面側(表示部2と対向する側)の部分を構成するパームレストユニット4(キーボードユニット)と、本体部1の底面側の部分を構成する本体ユニット5とを備える。本体部1は、パームレストユニット4と本体ユニット5とが一体的に組み合わされて構成される。パームレストユニット4及び本体ユニット5は、ともに複数の部材により構成されるがともに外装表面に目立つネジ等は形成されていない。
パームレストユニット4には、例えば、キーボード6、スティックポインタ7及び第1クリックボタン8等の操作子が設けられる。なお、スティックポインタ7は、例えば、後述の表示画面10に表示されたカーソル(ポインタ)の移動操作や表示画面10のスクロール操作を行う際に用いる操作子であり、パームレストユニット4の略中央付近に設けられる。
本体ユニット5には、図1には示さないが、例えば、複数の電子部品等が実装されたプリント基板、放熱ユニット、ハードディスクドライブなどのドライブ類等が搭載される。プリント基板には、例えば、CPU、メモリ、その他の電子部品が実装される。
さらに、本体ユニット5には、図1には示さないが、例えば後述する各種ジェスチャー機能で用いる加速度センサが搭載される。なお、加速度センサの配置位置は、任意の位置に配置することができ、例えば表示部2に設けてもよい。また、加速度センサを本体ユニット5に搭載する場合には、本体ユニット5に搭載される他の電子部品等との配置関係を考慮して適宜設定される。本実施形態では、例えば文字「R」のキーの下部付近に加速度センサを配置する。
表示部2は、筐体9と、筐体9の本体部1と対向する側の面に設けられた表示画面10、タッチパッド11及び第2クリックボタン12と、筐体9内部に設けられた所定の表示処理を行う表示処理ユニット(不図示)とを備える。
表示画面10は、例えば文字、画像等の種々の情報を表示するための画面である。タッチパッド11は、例えば、表示画面10に表示されたカーソル(ポインタ)の移動操作や表示画面10のスクロール操作を行う際に用いる操作子であり、本実施形態では、静電容量型のセンサを用いる。
[情報処理装置の内部構成]
次に、本実施形態の情報処理装置100の内部構成(ハードウェア構成)を、図2を参照しながら説明する。なお、図2は、情報処理装置100のハードウェアのブロック構成図である。
情報処理装置100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、ホストバス104と、ブリッジ105と、外部バス106と、インタフェース107とを備える。また、情報処理装置100は、入力装置108と、出力装置109と、ストレージ装置110と、ドライブ111と、接続ポート112と、通信装置113と、撮像装置114とを備える。さらに、情報処理装置100は、加速度センサ115と、マイクロコンピュータ21(以下、マイコン21という)とを備える。
CPU101(メインCPU)は、演算処理装置および制御装置として機能する。具体的には、CPU101は、ROM102、RAM103、ストレージ装置110、または、ドライブ111を介して接続されたリムーバブル記録媒体201に記録された各種プログラムに従って、情報処理装置100内の動作全般またはその一部を制御する。なお、本実施形態の情報処理装置100における後述のジェスチャー機能の実行処理もCPU101が制御する。
ROM102は、CPU101が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU101で制御処理を行う際に使用するプログラムや、その実行において必要なパラメータ等を一時的に記憶する。
また、CPU101、ROM102及びRAM103は、CPUバス等の内部バス(不図示)により構成されるホストバス104を介して相互に接続される。そして、上述したプログラム及び演算パラメータ等のデータは、ホストバス104を介してCPU101、ROM102及びRAM103間で互いに入出力される。なお、ホストバス104は、ブリッジ105を介して、例えばPCI(Peripheral Component Interconnect/Interface)バス等の外部バス106に接続される。
入力装置108は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段で構成される。すなわち、上述した本体部1に設けられたスティックポインタ7及び第1クリックボタン8、並びに、表示部2に設けられたタッチパッド11及び第2クリックボタン12は、入力装置108内に含まれる。また、入力装置108は、例えば、赤外線やその他の電波を利用したリモートコントロール装置(いわゆる、リモコン)を含んでいてもよい。さらに、入力装置108は、例えば携帯電話やPDA(Personal Digital Assistants)等の外部接続機器202から直接操作可能な入力機能を備えていてもよい。
また、入力装置108は、例えば、上述した各種操作手段を用いてユーザにより実行された操作に対応する操作信号を生成し、その生成した操作信号をCPU101に出力する入力制御回路などを備える。CPU101は、入力装置108から出力された操作信号に基づいて、ユーザの行った操作に対応する処理を実行する。
出力装置109は、取得した情報をユーザに対して視覚的に通知することが可能な表示装置や、聴覚的に通知することが可能な音声出力装置などで構成される。すなわち、上述した表示部2に設けられた表示画面10は出力装置109内に含まれる。表示装置としては、例えば、CRT(Cathode-Ray Tube)ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、EL(Electro-Luminescence)ディスプレイ装置及びランプ等を用いることができる。また、音声出力装置は、例えばスピーカ及びヘッドホン等で構成される。さらに、出力装置109は、例えば、プリンタ装置、携帯電話、ファクシミリなどを含んでいてもよい。
出力装置109は、情報処理装置100が行った各種処理により得られた結果を出力する。具体的には、出力装置109内に含まれる各種表示装置は、情報処理装置100が行った各種処理により得られた結果を、テキストまたはイメージとして表示する。また、出力装置109内に含まれる各種音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置110は、データ格納用の装置であり、例えば、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。ストレージ装置110は、CPU101が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
ドライブ111は、記録媒体用リーダライタである。図2に示す例では、ドライブ111が情報処理装置100に内蔵されている例を示すが、本発明はこれに限定されず、ドライブ111が情報処理装置100に対して外付けされる構成にしてもよい。ドライブ111は、装着されたリムーバブル記録媒体201に記録された所定情報を読み出して、RAM103に出力する。また、ドライブ111は、装着されたリムーバブル記録媒体201に対して情報を書き込むこともできる。
なお、リムーバブル記録媒体201は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等で構成される。より具体的には、リムーバブル記録媒体201は、例えば、DVD(Digital Versatile Disc)、BD(Blu-ray Disc:登録商標)、コンパクトフラッシュ(登録商標)カード、メモリースティック、または、SD(Secure Digital)メモリカード等で構成される。また、リムーバブル記録媒体201は、例えば、非接触型IC(Integrated Circuit)チップを搭載したICカードまたは外部の電子機器等であってもよい。
接続ポート112は、外部機器を情報処理装置100に直接接続するためのポートであり、例えば、USB(Universal Serial Bus)ポート、i.Link等のIEEE1394ポート、SCSI(Small Computer System Interface)ポート等で構成される。さらに、接続ポート112は、例えば、RS−232Cポート、光オーディオ端子、HDMI(High-Definition Multimedia Interface)ポート等で構成される。接続ポート112に外部接続機器202を接続することにより、情報処理装置100は、外部接続機器202から直接音響信号データや画像信号データを取得したり、外部接続機器202に音響信号データや画像信号データを提供したりすることができる。
通信装置113は、情報処理装置100を例えばネットワーク203に接続する際に必要な通信デバイス等で構成された通信インタフェースである。通信装置113は、例えば、有線もしくは無線LAN(Local Area Network)、Bluetooth、または、WUSB(Wireless USB)用の通信カード等を含む。さらに、通信装置113は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等も含む。情報処理装置100は、例えば、インターネットや他の通信機器との間で、通信装置113を介して、所定の情報を送受信することができる。なお、ネットワーク203は、通信装置113に有線または無線で接続されるネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信ネットワーク、ラジオ波通信ネットワークまたは衛星通信ネットワーク等である。
撮像装置114は、図示しないが、結像光学系と撮像素子とを備える。結像光学系によって被写体からの入射光(像光)を取り込んで、その像光が撮像素子上に結像される。そして、撮像素子は、結像された入射光の光量を電気信号に変換(光電変換)することにより、撮像画像を取得する。撮像素子から取得される撮像画像は、時系列に取得される動画であってもよいし、一時点において取得される静止画であってもよい。撮像素子は、例えば、CCD(Charge Coupled Device)型やMOS(Metal-Oxide Semiconductor)型のイメージセンサ等によって構成される。
加速度センサ115は、装置本体100aの姿勢(傾き)に関する情報(加速度)を検出する。本実施形態では、加速度センサ115として3軸加速度センサを用い、加速度センサ115で検出される各軸方向の加速度(重力加速度)成分に基づいて、装置本体100aの傾きを算出する。また、本実施形態では、図1に示すように、加速度センサ115のX軸方向を本体部1の長手方向とし、Y軸方向を本体部1の短手方向とし、そして、Z軸方向はキーボード6の形成面に直交する方向とする。
マイコン21は、従来のノート型PCと同様にキーボード制御や電源制御等の処理を行う。さらに、本実施形態では、マイコン21(ジェスチャー動作判別部)は、加速度センサ115に接続され、加速度センサ115で検出された各軸方向の加速度データを取得し、その取得した加速度データに基づいて、ジェスチャー機能の各種判別処理を行う。具体的には、マイコン21は、例えば、加速度センサ115で検出された各軸方向の加速度データを用いて後述するジェスチャー機能の動作原理により、情報処理装置100の保持状態の基準姿勢の判別及びユーザにより実行されたジェスチャー動作の特定を行う。なお、マイコン21により判別されたジェスチャー動作に対応する操作の実行処理は、CPU101内の後述する操作実行部22により行われる。
また、マイコン21は、ジェスチャー機能の実行時には、加速度センサ115の各種動作設定を初期化する。さらに、マイコン21は、ジェスチャー機能の実行時に、その旨の通知をCPU101内の後述する操作実行部22に対して行う。なお、マイコン21は、例えば、ジェスチャー判別に用いる各種閾値、加速度センサ115の初期化設定値等のデータが記憶されるROM(不図示)を備える。
本実施形態では、後述するように、ジェスチャー動作の判別時にマイコン21で行う演算処理及び処理アルゴリズム等を、より簡略化することができる。それゆえ、ノート型PCに従来から搭載されているキーボード制御や電源制御等の処理を行うためのマイコン21にジェスチャー機能の各種処理を負担させても、軽快なジェスチャー機能を実現することができる。
なお、上述した情報処理装置100の内部構成(ハードウェア構成)は一例であり、上記各構成要素を汎用的な部材を用いて構成してもよいし、各構成要素が対応する機能に特化したハードウェアにより構成されていてもよい。したがって、本実施形態を実施する時々の技術レベルに応じて、利用するハードウェア構成を適宜変更することができる。
<2.ジェスチャー機能の処理ブロック>
次に、本実施形態の情報処理装置100におけるジェスチャー機能を実行するための処理部の構成を、図3を参照しながら説明する。図3は、ジェスチャー機能で各種操作を行う際に必要な処理系統のブロック構成図である。なお、図3では、ジェスチャー機能の実行に必要な処理系統のみを示し、その他の構成は省略する。
ジェスチャー機能を実行するための処理部は、上述したマイコン21と、CPU101内に含まれる操作実行部22とで構成される。
操作実行部22は、所定のジェスチャー動作が行われたことを示すマイコン21からの通知を受け、そのジェスチャーを特定するための情報(以下、イベント要因という)をマイコン21から取得する。そして、操作実行部22は、取得したイベント要因に基づいて、判別されたジェスチャー動作に対応する処理を実行する。例えば、ジェスチャー機能として表示画面10のページ送りを例に挙げると、操作実行部22は、所定のジェスチャー動作が行われたことを示すマイコン21からの通知を受けると、表示部2を制御して表示画面10を所定方向にページ送りする。
なお、操作実行部22は、マイコン21からジェスチャーが行われたことを示す通知を受けて初めて、上述のような処理を実行する。それゆえ、CPU101内の処理フロー上では、操作実行部22はマイコン21の上位層として構成される。ただし、本発明は、これに限定されず、マイコン21と操作実行部22とが一体的に構成されていてもよい。
また、操作実行部22は、ジェスチャー機能の処理だけでなく、他の機能に対応する操作処理も実行する。
<3.ジェスチャー機能の概要及び動作原理>
[ジェスチャー機能の概要]
次に、本実施形態の情報処理装置100で実行可能なジェスチャー機能の概要を簡単に説明する。ノート型PCの小型化が進むと、その使用時の持ち方も複数種存在する。この場合、ジェスチャー機能も様々な持ち方に対応可能にする必要がある。本実施形態では、2種類の持ち方においてジェスチャー機能が実現可能な情報処理装置100の例を説明する。
その2種類の持ち方を、図4及び5に示す。図4は、情報処理装置100の本体部1の一方(図4上では右側)の短辺端部及び他方の短辺端部をそれぞれ右手及び左手で把持した状態(以下、この保持状態を横位置という)の様子を示す図である。一方、図5は、情報処理装置100を横位置の状態から90度回転させて保持した状態(以下、この保持状態を縦位置という)の様子を示す。
また、本実施形態では、図4または5に示す情報処理装置100の保持姿勢において、情報処理装置100を所定方向に傾ける(フリックする)ことにより、例えば表示ページのページ送り操作等の所定操作を実行するジェスチャー機能の例を説明する。なお、本実施形態では、情報処理装置100を横位置の状態から90度回転させた際には、表示画面10に表示される表示画像も90度回転するように設定されている。この回転処理は、CPU101が、加速度センサ115で検出される信号に基づいて行う。
[ジェスチャー機能の動作原理]
本実施形態では、加速度センサ115から得られる各軸の加速度成分に基づいて、図4または5に示す保持状態の基準姿勢を判定するとともに、情報処理装置100の基準姿勢からの姿勢変化(傾き)を判別する。そして、情報処理装置100は、その判別結果に対応するジェスチャー機能を実行する。以下、横位置及び縦位置の保持姿勢におけるジェスチャー機能の動作原理を、図面を参照しながら詳細に説明する。
(1)横位置の保持姿勢におけるジェスチャー機能
ユーザが、図4に示すように情報処理装置100を横位置に保持してジェスチャー機能を実行する際の動作原理を、図6(a)及び(b)、並びに、図7(a)及び(b)を参照しながら説明する。
なお、図6(a)は、情報処理装置100を横位置に保持してジェスチャー機能を実行する際の基準姿勢を示す情報処理装置100の正面図である。そして、図6(b)は、加速度センサ115から出力されるX軸方向の加速度Axの情報処理装置100の横位置の基準姿勢からの傾きに対する変化を示す特性図であり、横軸はX軸の基準姿勢からの傾き角度θであり、縦軸はX軸方向の加速度Axである。また、図7(a)は、情報処理装置100を横位置に保持してジェスチャー機能を実行した際の情報処理装置100の保持状態を示す正面図である。そして、図7(b)は、加速度センサ115から出力されるX軸方向の加速度Axの情報処理装置100の基準姿勢からの傾きに対する変化を示す特性図であり、横軸はX軸の基準姿勢からの傾き角度θであり、縦軸はX軸方向の加速度Axである。
ただし、図6(b)及び図7(b)に示すように、本実施形態では、加速度センサ115から出力される各軸方向の加速度は、各軸の傾きに応じて正弦波状に変化する加速度センサ115を用いる。また、図6(a)及び図7(a)では、説明を簡略化するため、情報処理装置100を保持するユーザの手の図示は省略する。
ユーザが情報処理装置100を横位置の基準姿勢で保持した場合には、図6(a)に示すように、加速度センサ115のX軸が水平方向の軸(以下、水平軸という)と略一致するので、この場合のジェスチャー機能の判定軸はX軸とする。そして、本実施形態では、横位置におけるX軸の基準姿勢からの傾き方向を算出して、所定のジェスチャー機能を実行する。
横位置の保持姿勢におけるジェスチャー機能において、ユーザが、まず、情報処理装置100(装置本体100a)を基準姿勢で保持すると、図6(a)に示すようにX軸方向と水平方向が略一致する。この場合、加速度センサ115から出力されるX軸方向の加速度Axは略零となる(図6(b)中の黒丸印参照)。
次いで、ユーザが、図7(a)に示すように、情報処理装置100を基準姿勢(水平軸)からユーザとの対向面内で時計方向に角度θ1だけ回転させて加速度センサ115のX軸を傾ける。この傾け動作(ジェスチャー動作)により、加速度センサ115から出力されるX軸方向の加速度Axは、図7(b)に示すように、X軸の水平軸からの傾き角度θ1に対応するプラスの加速度値になる(図7(b)中の黒丸印参照)。また、図示しないが、ユーザが、情報処理装置100を基準姿勢からユーザとの対向面内で反時計方向に回転させた場合には、加速度センサ115から出力されるX軸方向の加速度Axはマイナスの加速度値となる。
そして、マイコン21は、加速度センサ115から出力されるX軸方向の加速度Axを所定の閾値と比較してユーザのジェスチャー(時計方向の傾け動作または反時計方向の傾け動作)を特定し、操作実行部22は、そのジェスチャーに対応する処理を実行する。なお、この例では、閾値として、情報処理装置100をユーザとの対向面内で時計方向(右回り方向)に傾けた際の閾値(プラス値)及び反時計方向(左回り方向)に傾けた際の閾値(マイナス値)の2種類を用意する。
ここで、情報処理装置100を横位置に保持して行うジェスチャー機能として表示画面10のページ送りを例に挙げ、その動作例を簡単に説明する。例えば、ユーザが情報処理装置100を横位置の基準姿勢から時計方向に傾けた場合、そのユーザのジェスチャーをマイコン21により判別して、次のページの画像を表示する。逆に、ユーザが情報処理装置100を横位置の基準姿勢から反時計方向に傾けた場合、そのユーザのジェスチャーをマイコン21により判別して、前のページの画像を表示する。
(2)縦位置の保持姿勢におけるジェスチャー機能
ユーザが、図5に示すように情報処理装置100を縦位置の状態に保持してジェスチャー機能を実行する際の動作原理を、図面を参照しながら説明する。ただし、本実施形態では、情報処理装置100を縦位置に保持してジェスチャー機能を実行する際のジェスチャー動作は、加速度センサ115のX軸を中心軸とする回転動作とする。
また、情報処理装置100を縦位置に保持してジェスチャー機能を実行する際には、通常、情報処理装置100のキーボード形成面側のユーザとの対向面を全開にした状態で実行することが多くなると想定される。それゆえ、以下に説明する縦位置におけるジェスチャー機能の動作原理では、情報処理装置100のキーボード形成面側のユーザとの対向面を全開にした状態、すなわち、本体部1及び表示部2間の開き角度を最大にした場合の動作を説明する。
情報処理装置100を縦位置で保持する場合、2種類の基準姿勢がある。図8(a)及び(b)のその保持例を示す。図8(a)及び(b)は、ユーザが情報処理装置100を縦位置の基準姿勢で保持した際のユーザ側から見た正面図である。ただし、図8(a)及び(b)では、説明を簡略化するため、情報処理装置100を保持するユーザの手の図示は省略する。
情報処理装置100を縦位置で保持する際、図8(a)に示すように、表示部2がユーザ側から見て本体部1の右側に位置するように保持する場合と、図8(b)に示すように、表示部2がユーザ側から見て本体部1の左側に位置するように保持する場合とがある。本実施形態では、いずれの縦位置の姿勢においても、同じ原理でジェスチャー機能を実行することができるので、ここでは、図8(a)に示す縦位置の保持姿勢におけるジェスチャー機能の動作原理のみを詳細に説明する。
図9(a)及び(b)に、情報処理装置100を縦位置で保持した場合の加速度センサ115の各軸方向の加速度成分のベクトルの関係を示す。なお、図9(a)は、ユーザが情報処理装置100を縦位置で保持した際の背面斜視図である。また、図9(b)は、加速度センサ115から出力されるY軸方向の加速度Ay及びZ軸方向の加速度Azと、Y軸方向の加速度ベクトルy及びZ軸方向の加速度ベクトルzの合成ベクトルYZとの関係を示す図である。なお、図9(b)において、横軸はY軸方向の加速度Ayであり、縦軸はZ軸方向の加速度Azである。
本実施形態では、上述のように、情報処理装置100を縦位置に保持してジェスチャー機能を実行する際のジェスチャー動作を、X軸を中心軸とする回転動作とするので、X軸方向の加速度Axは変化しない。また、加速度センサ115で得られるX軸、Y軸及びZ軸方向の加速度ベクトルにより合成されるベクトルは、図9(a)に示すように重力ベクトルGと一致する。それゆえ、加速度センサ115のY軸方向の加速度ベクトルy及びZ軸方向の加速度ベクトルzで合成される合成ベクトルYZの大きさは、情報処理装置100のX軸に対する回転量及び回転方向に関係なく一定になる。その結果、合成ベクトルYZの軌跡は、図9(b)中の破線で示すように、円形の軌跡となる。これは、情報処理装置100を縦位置に保持した場合においても、1つの判定軸の傾き変化により、ジェスチャー動作を判別することができることを表している。
ここで、図10(a)及び(b)に、ユーザが情報処理装置100を縦位置の基準姿勢で保持した際の下面図及び加速度センサ115から出力されるY軸方向の加速度Ayの特性をそれぞれ示す。なお、図10(b)に示す特性の横軸はY軸の水平軸からの傾き角度φであり、縦軸はY軸方向の加速度Ayである。
ユーザが情報処理装置100を縦位置の基準姿勢で保持した場合、通常、図10(a)に示すように、水平軸と本体部1の短手方向の軸(Y軸)との間の角度と、水平軸と表示部2の短手方向の軸との間の角度とはほぼ同じになる。すなわち、ユーザが情報処理装置100を縦位置の基準姿勢で保持した状態では、通常、水平方向に直交する方向に対して、本体部1及び表示部2はほぼ対称的に傾斜する。なお、水平軸及びY軸間の角度φは、本体部1及び表示部2間の最大開き角度φaから予め算出することができる。例えば、本体部1及び表示部2間の最大開き角度φaを約120〜140度程度とした場合、水平軸及びY軸間の角度φは、約20〜30度程度となる。
本実施形態では、X軸を中心軸とする回転方向への図10(a)に示す縦位置の基準姿勢からの情報処理装置100の傾きを判定してジェスチャー判定を行う。ただし、図10(a)に示す縦位置の基準姿勢では、加速度センサ115のY軸が水平軸に対して角度φだけ傾いているので、図10(b)の黒丸印に示すように、Y軸方向の加速度Ayは略零にならない。それゆえ、この場合、図10(a)に示す基準姿勢において、Y軸方向の加速度Ayが略零になるように、角度φに対応する加速度値を常にY軸方向の加速度Ayから差し引いて判定をする必要がある。
しかしながら、本実施形態では、そのような余計な演算を排除するため、水平軸(水平方向)と平行な方向の仮想軸を判定軸として新たに設定し、その仮想軸の傾き方向を判定してジェスチャー動作の判別を行う。図10(a)に示す例では、情報処理装置100を全開にした状態で、本体部1の表示部2側とは反対側の長辺端部の所定の基準点Aと、その基準点Aと同じY−Z面内における表示部2の本体部1側とは反対側の長辺端部の基準点Bとを結ぶ方向を仮想軸とする。すなわち、本実施形態では、X軸と直交する面(Y−Z面)内において、水平方向と平行な仮想軸を設定する。このように仮想軸を設定すると、後述するように、縦位置の基準姿勢において、その仮想軸上の加速度は略零となる。
なお、以下では、図10(a)中の基準点A及び基準点Bを結ぶ方向の仮想軸を仮想Y軸という。また、本実施形態では、図10(a)に示す縦位置において、水平軸を含む水平面に直交する仮想軸を仮想Z軸という。図11に、仮想Y軸と仮想Z軸との関係を示す。図11に示すように、仮想Y軸は水平軸と平行となり、仮想Y軸と仮想Z軸とは互いに直交する関係となる。
また、図12に、加速度センサ115から出力されるY軸方向の加速度Ay及びZ軸方向の加速度Azと、仮想Y軸上で得られる加速度Ay′との関係を示す。なお、図12中のベクトルyは加速度センサ115のY軸方向の加速度ベクトルであり、ベクトルzはZ軸方向の加速度ベクトルであり、そして、合成ベクトルYZはベクトルyとベクトルzとの合成ベクトルである。いま、ベクトルy及びベクトルzの大きさ(絶対値)をそれぞれAy及びAzとし、基準姿勢における仮想Y軸(水平軸)とY軸との間の角度をφとすると、仮想Y軸上で得られる加速度Ay′は下記式(1)で算出される。
Figure 0005589549
上記式(1)中において、加速度Ay及びAzは、基準姿勢からジェスチャー動作により変化する。しかしながら、上記式(1)中の角度φは、上述のように、本体部1及び表示部2間の最大開き角度φa(既知)から予め算出されるパラメータであり、ジェスチャー動作により変化しない。すなわち、本実施形態では、上記式(1)中のcosφ及びsinφは定数として取り扱うことができる。それゆえ、本実施形態では、仮想Y軸上で得られる加速度Ay′を算出する際には三角関数の演算を行う必要がないので、その演算処理を簡略化することができ、マイコン21における演算処理の負担を軽減することができる。
次に、ユーザが、図8(a)に示すように情報処理装置100を縦位置に保持してジェスチャー機能を実行する際の動作原理を、図13(a)及び(b)、並びに、図14(a)及び(b)を参照しながら具体的に説明する。
なお、図13(a)は、情報処理装置100を縦位置の基準姿勢で保持した際の情報処理装置100の下面図である。そして、図13(b)は、上記式(1)で算出される仮想Y軸方向の加速度Ay′の情報処理装置100の縦位置の基準姿勢からの傾きに対する変化特性図であり、横軸は仮想Y軸の基準姿勢からの傾き角度φ′であり、縦軸は仮想Y軸方向の加速度Ay′である。また、図14(a)は、情報処理装置100を縦位置に保持してジェスチャー機能を実行した際の情報処理装置100の保持状態を示す下面図である。そして、図14(b)は、上記式(1)で算出される仮想Y軸方向の加速度Ay′の情報処理装置100の縦位置の基準姿勢からの傾きに対する変化特性図であり、横軸は仮想Y軸の基準姿勢からの傾き角度φ′であり、縦軸は仮想Y軸方向の加速度Ay′である。なお、図13(a)及び図14(a)では、説明を簡略化するため、情報処理装置100を保持するユーザの手の図示は省略する。
また、本実施形態の加速度センサ115では、上述のように、Y軸の傾き角度の変化に対する加速度Ayの変化、及び、Z軸の傾き角度の変化に対する加速度Azの変化はともに正弦波状となる。それゆえ、仮想Y軸の傾き角度φ′の変化に対する加速度Ay′の変化もまた、図13(b)及び図14(b)に示すように、正弦波状になる。
縦位置の保持姿勢におけるジェスチャー機能において、まず、ユーザが、図13(a)に示すように情報処理装置100(装置本体100a)を縦位置の基準姿勢で保持すると、加速度センサ115の仮想Y軸の方向が、水平軸の方向と略一致する。この場合、仮想Y軸方向の加速度Ay′は、図13(b)に示すように、略零になる(図13(b)中の黒丸印参照)。
次いで、ユーザが、図14(a)に示すように、情報処理装置100を縦位置の基準姿勢からX軸を中心軸にして一方の方向(図14(a)では時計方向)に角度φ1′だけ回転させて仮想Y軸を傾ける。この回転動作(ジェスチャー動作)により、仮想Y軸上の加速度Ay′は、仮想Y軸の傾き角度φ1′に対応するプラスの加速度値になる(図14(b)中の黒丸印参照)。また、図示しないが、ユーザが情報処理装置100を縦位置の基準姿勢からX軸を中心軸にして反時計方向に回転させて仮想Y軸を傾けると、仮想Y軸上の加速度Ay′は、仮想Y軸の傾き角度に対応するマイナスの加速度値となる。
そして、この際、マイコン21は、上記式(1)で算出された仮想Y軸上の加速度Ay′を所定の閾値と比較してユーザのジェスチャー(時計方向の回転動作または反時計方向の回転動作)を特定し、操作実行部22は、そのジェスチャーに対応する処理を実行する。なお、この例では、閾値として、情報処理装置100を、X軸を中心軸にして時計方向に回転させた際の閾値(プラス値)及び反時計方向に回転させた際の閾値(マイナス値)の2種類を用意する。
ここで、情報処理装置100を縦位置に保持して行うジェスチャー機能として表示画面10のページ送りを例に挙げ、その動作例を簡単に説明する。例えば、ユーザが情報処理装置100を縦位置の基準姿勢から時計方向に回転させた場合、そのユーザのジェスチャーをマイコン21により判別して、次のページの画像を表示する。逆に、ユーザが情報処理装置100を縦位置の基準姿勢から反時計方向に回転させた場合、そのユーザのジェスチャーをマイコン21により判別して、前のページの画像を表示する。
なお、表示部2がユーザ側から見て本体部1の左側に位置するように情報処理装置100を保持した姿勢(図8(b)に示す姿勢)でジェスチャー機能を実現するためには、上記原理と同様にして、仮想軸を設定すればよい。
上述のように、本実施形態では、ユーザが情報処理装置100を縦位置に保持してジェスチャー機能を実行する場合にも、水平方向(水平軸)が基準となるように仮想軸を設定する。この場合、情報処理装置100を横位置で保持した際のジェスチャー機能の動作と同様に、一つの判定軸を用いてジェスチャー判定を行うことができる。
それゆえ、情報処理装置100を縦位置に保持してジェスチャー機能を実行する際に上述のように仮想軸を設定した場合、ジェスチャー機能の処理手法やその処理に利用するデータ等を情報処理装置100の持ち方に関係なく共通化することができる。この場合、情報処理装置100の保持姿勢(持ち方)に関係なく、ジェスチャー機能の処理アルゴリズム等を共通化してより簡略化することができる。
<4.ジェスチャー機能の処理例>
[ジェスチャー動作の処理手順]
次に、本実施形態の情報処理装置100におけるジェスチャー動作の全体的な処理の流れを、図15を参照しながら説明する。なお、図15は、本実施形態におけるジェスチャー動作の処理手順の全体的な流れを示すフローチャートである。
まず、図15には示さないが、情報処理装置100は、例えば、ジェスチャー機能の処理モードを起動する。なお、このジェスチャー機能の処理モードの起動は、ユーザの所定操作により実行されるようにしてもよいし、情報処理装置100の起動と同時に自動的に起動するようにしてもよい。
次いで、マイコン21は、加速度センサ115の各種動作設定を初期化する(ステップS1)。これにより、加速度センサ115の各軸方向の加速度データをマイコン21で定期的に監視できるようになる。
次いで、マイコン21は、加速度センサ115から各軸方向の加速度データを取得する(ステップS2)。そして、マイコン21は、取得した各軸方向の加速度データに基づいて、情報処理装置100の基準姿勢の判別、及び、ユーザにより実行されたジェスチャー動作の特定を行う(ステップS3)。なお、このステップS3のジェスチャー動作の判別処理のより具体的な処理手順については、後で詳述する。
次いで、マイコン21は、ステップS3の判別結果に基づいて、情報処理装置100に対してユーザがジェスチャー動作を実行したか否かを判定する(ステップS4)。
ステップS4において、マイコン21が、ユーザによりジェスチャー動作が実行されていないと判定した場合、ステップS4はNO判定となる。この場合には、ステップS2に戻り、上述したステップS2以降の処理を繰り返す。
一方、ステップS4において、マイコン21が、ユーザによりジェスチャー動作が実行されたと判定した場合、ステップS4はYES判定となる。この場合、マイコン21は、操作実行部22にジェスチャー動作が実行されたことを通知する(ステップS5)。
次いで、操作実行部22は、マイコン21からのジェスチャー実行の通知を受け、実行されたジェスチャーを特定するイベント要因をマイコン21から取得する(ステップS6)。具体的には、操作実行部22は、傾け方向に関する情報(時計方向に回転させたか反時計方向に回転させたかを示す情報)をイベント要因としてマイコン21から取得する。
そして、操作実行部22は、取得したイベント要因に基づいて、そのジェスチャー動作の実行に必要な情報処理装置100内の各部を制御し、対応する処理を実行する(ステップS7)。次いで、ジェスチャー動作実行後、ステップS2に戻り、上述したステップS2以降の処理を繰り返す。本実施形態では、このようにして、ジェスチャー機能を実現する。
[ジェスチャー動作の判別処理の手順]
次に、図15中のステップS3で行うジェスチャー動作の判別処理のより具体的な手順を、図16を参照しながら説明する。なお、図16は、図15中のステップS3で行う判別処理の一例を示すフローチャートである。
図16に示す判別処理における情報処理装置100の基準姿勢の判別では、図6(a)に示す横位置の基準姿勢、並びに、図8(a)及び(b)に示す縦位置の基準姿勢の3種類を判別する。それゆえ、ここでは、上記ジェスチャー機能の動作原理で説明したように、加速度センサ115のX軸または仮想Y軸を判別軸とし、その判別軸の水平方向からの傾きを算出して、その算出結果に基づいて、ジェスチャー機能を実行する例を説明する。なお、以下では、図6(a)に示す横位置の基準姿勢を姿勢Aと称し、図8(a)及び(b)に示す2種類の縦位置の基準姿勢をそれぞれ姿勢B及び姿勢Cと称す。
図15中のステップS2でマイコン21が加速度センサ115の各軸方向の加速度データを取得した後、まず、マイコン21は、取得した加速度データに基づいて、現在の情報処理装置100の保持状態の基準姿勢を判別する(ステップS31)。
具体的には、ステップS31において、マイコン21は、例えばX軸方向の加速度Axに基づいて現在の情報処理装置100の基準姿勢を判別する。加速度センサ115から得られるX軸方向の加速度Axは、図6(b)に示すように、水平軸からのX軸の傾きに応じて正弦波状に変化する。それゆえ、情報処理装置100の保持姿勢が姿勢Aである場合には、X軸方向の加速度Axの値はゼロ付近の値となる。情報処理装置100の保持姿勢が姿勢Bである場合には、X軸方向の加速度Axの値はプラス値となる。また、情報処理装置100の保持姿勢が姿勢Cである場合には、X軸方向の加速度Axの値はマイナス値となる。
それゆえ、加速度センサ115から得られるX軸方向の加速度Axの値が、ゼロ付近の所定の範囲内であるか否かを判別することにより、保持姿勢が横位置(姿勢A)か縦位置(姿勢Bまたは姿勢C)を判別することができる。そして、保持姿勢が縦位置の場合には、さらに、X軸方向の加速度Axの正負を判別することにより姿勢Bと姿勢Cとを判別することができる。
次いで、マイコン21は、ステップS31で得られた情報処理装置100の基準姿勢の判別結果が姿勢Aであるか否かを判定する(ステップS32)。
ステップS31で得られた判別結果が姿勢Aである場合、ステップS32はYES判定となる。この場合、マイコン21は、姿勢Aにおけるジェスチャー動作の判別軸を設定する(ステップS33)。具体的には、情報処理装置100の基準姿勢が姿勢Aの場合、上記ジェスチャー機能の動作原理で説明したように、マイコン21は、ジェスチャー動作の判別軸をX軸に設定する。次いで、マイコン21は、姿勢Aにおけるジェスチャー動作の判別用閾値を設定する(ステップ34)。
そして、マイコン21は、取得したX軸方向の加速度Axと、ステップS34で設定した判別用閾値とを比較して、ユーザにより実行されたジェスチャー動作を特定する(ステップ40)。より具体的には、マイコン21は、取得したX軸方向の加速度Axの絶対値が閾値の絶対値以上であるか否かを判定することにより、ユーザによりジェスチャー動作が実行されたか否を判別する。さらに、この際、マイコン21は、加速度Axの正負を判別することによりジェスチャー動作時の情報処理装置100の傾け方向(回転方向)を特定する。その後は、図15で説明したステップS4以降の処理を繰り返す。
また、ステップS31で得られた判別結果が姿勢Aでない場合、ステップS32はNO判定となる。この場合、マイコン21は、ステップS31で得られた情報処理装置100の基準姿勢の判別結果が姿勢Bであるか否かを判定する(ステップS35)。
ステップS31で得られた判別結果が姿勢Bである場合、ステップS35はYES判定となる。この場合、マイコン21は、姿勢Bにおけるジェスチャー動作の判別軸を設定する(ステップS36)。具体的には、情報処理装置100の基準姿勢が姿勢Bの場合、上記ジェスチャー機能の動作原理で説明したように、マイコン21はジェスチャー動作の判別軸を仮想Y軸に設定する。次いで、マイコン21は、姿勢Bにおけるジェスチャー動作の判別用閾値を設定する(ステップS37)。
次いで、マイコン21は、ステップS2で取得した加速度データから上記式(1)に基づいて仮想Y軸方向の加速度Ay′を算出する。そして、マイコン21は、算出した仮想Y軸方向の加速度Ay′と、ステップS37で設定した判別用閾値とを比較して、ユーザにより所定のジェスチャー動作が行われたか否かを判定する(ステップ40)。より具体的には、マイコン21は、算出した仮想Y軸上の加速度Ay′の絶対値が閾値の絶対値以上であるか否かを判定することにより、ユーザによりジェスチャー動作が実行されたか否を判別する。さらに、この際、マイコン21は、加速度Ay′の正負を判別することによりジェスチャー動作時の情報処理装置100の傾け方向(回転方向)を特定する。その後は、図15で説明したステップS4以降の処理を繰り返す。
一方、ステップS31で得られた判別結果が姿勢Bでない場合、すなわち、ステップS31で得られた姿勢の判別結果が姿勢Cである場合、ステップS35はNO判定となる。この場合、マイコン21は、姿勢Cにおけるジェスチャー動作の判別軸を設定する(ステップS38)。具体的には、情報処理装置100の基準姿勢が姿勢Cの場合、マイコン21は、姿勢Bと同様に、ジェスチャー動作の判別軸を仮想Y軸に設定する。次いで、マイコン21は、姿勢Cにおけるジェスチャー動作の判別用閾値を設定する(ステップS39)。
次いで、マイコン21は、ステップS2で取得した加速度データから上記式(1)に基づいて仮想Y軸方向の加速度Ay′を算出する。そして、マイコン21は、算出された仮想Y軸方向の加速度Ay′と、ステップS39で設定した判別用閾値とを比較して、ユーザにより所定のジェスチャー動作が行われたか否かを判定する(ステップ40)。その後は、図15で説明したステップS4以降の処理を繰り返す。本実施形態では、このようにして、ジェスチャー動作時の情報処理装置100の基準姿勢の判別、及び、ジェスチャー動作の特定を行う。
[比較例]
ここで、比較のため、加速度センサを用いた従来のジェスチャー機能の処理手法を情報処理装置(ノート型PC)に適用した場合の例(比較例)を、図面を参照しながらより具体的に説明する。図17に、比較例におけるジェスチャー機能を実行するための処理部のブロック構成を示す。なお、図17に示すジェスチャー機能の処理ブロックにおいて、図3に示す上記実施形態のジェスチャー機能の処理ブロックと同様の構成には、同じ符号を付して示す。
比較例のジェスチャー機能を実行するための処理部は、キーボード制御や電源制御等の処理を行うマイコン301と、CPU101内に含まれる操作実行部302とで構成される。構成自体は、上記実施形態のジェスチャー機能の処理部(図3)と同様であるが、各部の機能は異なる。
比較例では、操作実行部302が、定期的に加速度センサ115で検出した加速度データを、マイコン301を介して取得し、ジェスチャー動作の判別も操作実行部302で行う。なお、比較例においても、操作実行部302は、上記実施形態と同様に、ジェスチャー機能の処理だけでなく、他の機能に対応する操作処理も実行する。
また、比較例におけるジェスチャー機能の処理手順を、図18を参照しながらより具体的に示す。なお、図18は、比較例におけるジェスチャー動作の処理手順の全体的な流れを示すフローチャートである。
まず、図18には示さないが、情報処理装置は、例えば、ジェスチャー機能の処理モードを起動する。次いで、マイコン301は、加速度センサ115の各種動作設定を初期化する(ステップS51)。次いで、操作実行部302は、マイコン301を介して加速度センサ115から各軸方向の加速度データを取得する(ステップS52)。
そして、操作実行部302は、取得した各軸方向の加速度データに基づいて、ジェスチャー動作の判別を行う(ステップS53)。次いで、操作実行部302は、ステップS53の判別結果に基づいて、情報処理装置に対してユーザにより所定のジェスチャー動作が実行されたか否かを判定する(ステップS54)。
ステップS54において、操作実行部302が、ユーザにより所定のジェスチャー動作が実行されていないと判定した場合、ステップS54はNO判定となる。この場合には、ステップS52に戻り、上述したステップS52以降の処理を繰り返す。
一方、ステップS54において、操作実行部302が、ユーザにより所定のジェスチャー動作が実行されたと判定した場合、ステップS54はYES判定となる。この場合、操作実行部302は、判別されたジェスチャー動作の実行に必要な情報処理装置100内の各部を制御し、対応する処理を実行する(ステップS55)。
次いで、ジェスチャー動作実行後、ステップS52に戻り、上述したステップS52以降の処理を繰り返す。比較例では、このようにして、ジェスチャー機能を実行する。
上述のように、比較例のジェスチャー機能実行時の処理では、操作実行部302(CPU101)で定期的に加速度データを取得し、ジェスチャー動作の判別を行う。それゆえ、比較例において、操作実行部302(メインCPU)で情報処理装置の動きを常時監視する必要があり、操作実行部302での処理量が増大し、消費電力が増大する。さらに、これにより、ジェスチャー機能以外の他の機能の処理速度が低下するおそれもある。
それに対して、上記実施形態では、加速度データの取得及びジェスチャー動作の判別処理を操作実行部22(CPU101)でなくマイコン21で行う。それゆえ、上記実施形態では、操作実行部22での消費電力の増大を抑制することができる。
さらに、上記実施形態では、操作実行部22は、マイコン21からジェスチャー動作の通知があった場合にのみマイコン21にアクセスして所定のジェスチャー動作を実行すればよい。それゆえ、上記実施形態では、ジェスチャー機能実行時における操作実行部22の無駄なポーリング処理を排除することができる。この結果、上記実施形態のジェスチャー機能の処理手法では、処理時間を大幅に低減することができ、他の機能の処理速度の低下も抑制することができる。
すなわち、上記実施形態のジェスチャー機能の処理手法では、従来困難であった、低消費電力で、且つ、軽快で素早い反応のジェスチャー機能を実現することが可能になる。
さらに、比較例において、情報処理装置に3軸加速度センサを設け、それにより情報処理装置の傾きを算出する際(ステップS53)、通常、例えば逆三角関数等の関数を用いた複雑な計算が必要になる。そのため、比較例においてジェスチャー機能を軽快に実現するためには、処理能力の高いCPU101(メインCPU)を情報処理装置に搭載する必要がある。それに対して、上記実施形態では、マイコン21でジェスチャー機能実行時の各種判別処理を行い、その判別処理では複雑な計算も行わない。それゆえ、本実施形態では、マイコン21として、処理能力の低いマイコンを使用することができる。
[各種変形例]
本発明のジェスチャー機能の処理手法は、上述した実施形態に限定されず、例えば、次のような変形例においても、同様の効果が得られる。
上記実施形態では、情報処理装置100を縦位置で保持してジェスチャー機能を実行する際、図11に示すように仮想Y軸を判別軸とする例を説明したが、本発明はこれに限定されない。仮想Y軸の代わりに、図11に示す仮想Z軸を判別軸として用いてもよい。この場合も、上記ジェスチャー機能の動作原理で説明した原理と同様にしてジェスチャー動作の判別を行うことができる。
上記実施形態では、情報処理装置100を縦位置で保持した際に仮想軸を設定する例を説明したが、本発明はこれに限定されない。情報処理装置100を横位置に保持した状態で、例えばX軸を中心軸とする回転動作と所定操作とを対応付けるジェスチャー機能を実行する場合にも、上記実施形態と同様にして仮想Y軸を設定してジェスチャー動作の判別を行ってもよい。
上記実施形態では、X軸を中心軸とする回転動作と所定操作とを対応付けるジェスチャー機能を実現する際に仮想軸として仮想Y軸を設定する例を説明したが、本発明はこれに限定されない。仮想軸の設定は、例えばジェスチャー機能の種類、情報処理装置100の保持姿勢等に応じて任意に設定することができる。より具体的には、仮想軸としては、情報処理装置100が基準姿勢であるときには仮想軸上の加速度が略零であり、情報処理装置100の姿勢が基準姿勢から変化したときに仮想軸上の加速度も変化するような軸であれば任意に設定することができる。
例えば、情報処理装置100が、加速度センサ115のY軸またはZ軸を中心軸とする回転動作と所定操作とを対応付けるジェスチャー機能を備える場合にも、上記実施形態と同様にして仮想軸を適宜設定してジェスチャー動作を判別することができる。この場合、例えば、Y軸またはZ軸と直交する面内において、水平方向と平行であり且つ基準姿勢時に該仮想軸上の加速度が略零となるような仮想軸を適宜設定すればよい。
上記実施形態では、縦位置のジェスチャー動作において、本体部1と表示部2との間の開き角度φaを最大(全開状態)にしてジェスチャー動作を実行する例を説明したが、本発明はこれに限定されない。本体部1及び表示部2間の開き角度が最大でなくてもよい。ただし、この場合は、本体部1及び表示部2間の開き角度を検出するセンサを設け、さらに、該センサで検出された開き角度のデータと、上記式(1)中のcosφ及びsinφとの対応関係を示すデータを予め装置内に記憶しておくことが好ましい。このような対応データを予め記憶させておくことにより、上記実施形態と同様に、上記式(1)中のcosφ及びsinφを定数として取り扱うことができ、上記実施形態と同様の効果が得られる。
上記実施形態では、マイコン21から操作実行部22にジェスチャー動作のイベント通知(図15中のステップS5)があった場合に、操作実行部22がマイコン21からイベント要因を取得する(ステップS6)例を説明したが、本発明はこれに限定されない。例えば、イベント要因を操作実行部22内に予め記憶しておいた場合には、マイコン21から入力されたイベント通知に対応するイベント要因を操作実行部22で判別し、所定のジェスチャー動作を実行してもよい。また、例えば、マイコン21からイベント通知と一緒にイベント要因の情報も操作実行部22に出力するようにしてもよい。
上記実施形態では、ジェスチャー動作が、基準姿勢から互いに逆方向(時計方向または反時計方向)となる2種類の動作である場合の例を説明したが、本発明はこれに限定されない。例えば、一方向のジェスチャーと所定の操作とが対応するようなジェスチャー機能にも本発明は適用可能であり、同様の効果が得られる。この場合には、ジェスチャー動作の判別に用いる加速度の閾値は1種類だけ用意すればよい。
また、上記実施形態では、キーボード制御や電源制御等の処理を行うためのマイコン21において、ジェスチャー機能の各種処理を行う例を説明したが、本発明はこれに限定されない。ジェスチャー機能処理用に別途、マイコンを設けてもよい。
1…本体部、2…表示部、3…ヒンジ、4…パームレストユニット、5…本体ユニット、6…キーボード、7…スティックポインタ、8…第1クリックボタン、9…筐体、10…表示画面、11…タッチパッド、12…第2クリックボタン、21…マイコン、22…操作実行部、100…情報処理装置、100a…装置本体、101…CPU、115…加速度センサ

Claims (5)

  1. キーボードを含む本体部及び該本体部に取り付けられた表示部を有する装置本体と、
    前記装置本体に搭載された加速度センサと、
    前記装置本体に搭載され、ユーザが前記装置本体を保持して所定のジェスチャー機能を実行する際の前記装置本体の保持状態の基準姿勢を前記加速度センサで検出される加速度に基づいて判別し、該装置本体の該基準姿勢からの姿勢変化を該加速度センサで検出される加速度に基づいて検出してユーザが実行したジェスチャー動作を判別する際に、前記装置本体が前記ジェスチャー動作の基準姿勢にあるときには軸上の加速度が零であり、前記装置本体が該基準姿勢から変化したときには該変化に応じて該軸上の加速度が変化するような仮想軸を設定し、該基準姿勢に対応する判別用閾値を設定し、前記加速度センサにより検出した加速度に基づいて該仮想軸上の加速度を算出し、且つ、該算出された仮想軸上の加速度と前記判別用閾値を比較することにより前記ジェスチャー動作が実行されたか否かを判別し、前記ジェスチャー動作を判別するジェスチャー動作判別部と、
    前記装置本体に搭載され、前記ジェスチャー動作判別部における判別結果に基づいて、ユーザにより実行された前記ジェスチャー動作に対応する所定操作を実行する操作実行部と
    を備える情報処理装置。
  2. 前記加速度センサが、互いに直交する3つの軸方向の加速度を検出する加速度センサであり、
    前記表示部は、前記本体部に対して開閉可能に取付けられ、
    前記ジェスチャー動作判別部が、前記加速度センサの所定軸を中心軸とする前記装置本体の回転動作と前記所定操作とを対応付けて前記所定のジェスチャー機能を実行する際に、該所定軸に直交する面内の水平方向と平行の仮想軸を設定し、該仮想軸上での加速度を該所定軸以外の2つの軸上の加速度並びに前記本体部及び前記表示部間の開き角度に基づいて算出し、且つ、該算出された該仮想軸上の該加速度に基づいてユーザにより実行された回転動作を判別する
    請求項に記載の情報処理装置。
  3. 前記本体部及び前記表示部間の開き角度が、最大であり且つ180度未満である
    請求項に記載の情報処理装置。
  4. 前記ジェスチャー動作判別部が、マイクロコンピュータにより構成されている
    請求項1に記載の情報処理装置。
  5. キーボードを含む本体部及び該本体部に取り付けられた表示部を有する装置本体と、該装置本体に搭載された加速度センサと、ユーザが該装置本体に対して実行したジェスチャー動作を判別するジェスチャー動作判別部と、該ジェスチャー動作に対応する所定操作を実行する操作実行部とを備える情報処理装置の該ジェスチャー動作判別部が、前記加速度センサで検出される加速度に基づいて、ユーザが前記装置本体を保持して所定のジェスチャー機能を実行する際の前記装置本体の保持状態の基準姿勢を判別するステップと、
    前記ジェスチャー動作判別部が、前記加速度センサで検出される加速度に基づいて、前記装置本体の前記基準姿勢からの姿勢変化を検出してユーザが実行したジェスチャー動作を判別する際に、前記装置本体が前記ジェスチャー動作の基準姿勢にあるときには軸上の加速度が零であり、前記装置本体が該基準姿勢から変化したときには該変化に応じて該軸上の加速度が変化するような仮想軸を設定し、該基準姿勢に対応する判別用閾値を設定し、前記加速度センサにより検出した加速度に基づいて該仮想軸上の加速度を算出し、且つ、該算出された仮想軸上の加速度と前記判別用閾値を比較することにより前記ジェスチャー動作が実行されたか否かを判別し、前記ジェスチャー動作を判別するステップと、
    前記操作実行部が、前記ジェスチャー動作の判別結果に基づいて、ユーザにより実行された前記判別されたジェスチャー動作に対応する前記所定操作を実行するステップと
    を含む情報処理装置の操作方法。
JP2010111780A 2010-05-14 2010-05-14 情報処理装置及び情報処理装置の操作方法 Active JP5589549B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010111780A JP5589549B2 (ja) 2010-05-14 2010-05-14 情報処理装置及び情報処理装置の操作方法
US13/086,684 US8947359B2 (en) 2010-05-14 2011-04-14 Information processing apparatus and operation method of information processing apparatus
EP20110164918 EP2386931A2 (en) 2010-05-14 2011-05-05 Information processing apparatus and operation method of information processing apparatus
CN201110121699.3A CN102289343B (zh) 2010-05-14 2011-05-09 信息处理设备和信息处理设备的操作方法
US14/570,233 US10809807B2 (en) 2010-05-14 2014-12-15 Information processing apparatus and associated methodology for performing functions based on gestures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010111780A JP5589549B2 (ja) 2010-05-14 2010-05-14 情報処理装置及び情報処理装置の操作方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014154769A Division JP5867554B2 (ja) 2014-07-30 2014-07-30 情報処理装置及び情報処理装置の操作方法

Publications (2)

Publication Number Publication Date
JP2011242832A JP2011242832A (ja) 2011-12-01
JP5589549B2 true JP5589549B2 (ja) 2014-09-17

Family

ID=44278662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010111780A Active JP5589549B2 (ja) 2010-05-14 2010-05-14 情報処理装置及び情報処理装置の操作方法

Country Status (4)

Country Link
US (2) US8947359B2 (ja)
EP (1) EP2386931A2 (ja)
JP (1) JP5589549B2 (ja)
CN (1) CN102289343B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162208A (ja) * 2012-02-02 2013-08-19 Aiptek International Inc 無線ビデオ出力装置を介して動作する映写用装置とそのビデオ出力制御ユニット
DE102012201498A1 (de) * 2012-02-02 2013-08-08 Robert Bosch Gmbh Bedienvorrichtung und Verfahren zum Betrieb einer Bedienvorrichtung
JP2014035562A (ja) * 2012-08-07 2014-02-24 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
JP5857991B2 (ja) 2013-03-19 2016-02-10 カシオ計算機株式会社 情報表示装置、方法及びプログラム
JP6171615B2 (ja) * 2013-06-21 2017-08-02 カシオ計算機株式会社 情報処理装置及びプログラム
JP2015114773A (ja) * 2013-12-10 2015-06-22 コニカミノルタ株式会社 入力装置、入力判定方法、プログラム
US9952675B2 (en) * 2014-09-23 2018-04-24 Fitbit, Inc. Methods, systems, and apparatuses to display visibility changes responsive to user gestures

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI114435B (fi) * 1999-04-22 2004-10-15 Nokia Oyj Kannettava viestintälaite
US6704007B1 (en) * 1999-09-27 2004-03-09 Intel Corporation Controlling displays for processor-based systems
JP2003345492A (ja) 2002-05-27 2003-12-05 Sony Corp 携帯電子機器
JP2004240878A (ja) * 2003-02-07 2004-08-26 Nec Corp 携帯型電子機器、表示方向切り替え方法およびプログラム
JP2007026258A (ja) 2005-07-20 2007-02-01 Sharp Corp 操作装置
JP4805633B2 (ja) * 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
JP4967368B2 (ja) * 2006-02-22 2012-07-04 ソニー株式会社 体動検出装置、体動検出方法および体動検出プログラム
JP4350740B2 (ja) * 2006-12-05 2009-10-21 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器、画面の表示方向の変更方法、プログラムおよび記憶媒体
JP4618517B2 (ja) * 2007-08-22 2011-01-26 ソニー株式会社 電子ブック、進行状況体感的通知方法、進行状況体感的通知プログラム及び進行状況体感的通知プログラム格納媒体
JP2009245176A (ja) * 2008-03-31 2009-10-22 Mitsubishi Electric Corp モーション認識装置
US8345025B2 (en) * 2008-06-05 2013-01-01 Dell Products, Lp Computation device incorporating motion detection and method thereof
US20100011388A1 (en) * 2008-07-10 2010-01-14 William Bull System and method for creating playlists based on mood
JP4962741B2 (ja) * 2008-09-29 2012-06-27 株式会社エクォス・リサーチ 端末装置
JP2010086192A (ja) 2008-09-30 2010-04-15 Sony Ericsson Mobile Communications Ab 携帯機器、コンピュータプログラムおよび記録媒体
KR101503835B1 (ko) * 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
JP5264420B2 (ja) 2008-11-06 2013-08-14 Dmノバフォーム株式会社 オレフィン系樹脂組成物
US8704767B2 (en) * 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
CN101477442A (zh) * 2009-02-16 2009-07-08 重庆大学 一种便携式计算机的显示状态切换方法及结构
US8502836B2 (en) * 2010-02-26 2013-08-06 Research In Motion Limited Unified visual presenter

Also Published As

Publication number Publication date
JP2011242832A (ja) 2011-12-01
US20150097771A1 (en) 2015-04-09
US8947359B2 (en) 2015-02-03
EP2386931A2 (en) 2011-11-16
US20110279373A1 (en) 2011-11-17
CN102289343B (zh) 2016-12-07
US10809807B2 (en) 2020-10-20
CN102289343A (zh) 2011-12-21

Similar Documents

Publication Publication Date Title
JP5589549B2 (ja) 情報処理装置及び情報処理装置の操作方法
US9141133B2 (en) Information processing apparatus and display screen operating method for scrolling
US9019312B2 (en) Display orientation control method and electronic device
US9429987B2 (en) Electronic device capable of rotating display image and display image rotating method thereof
KR102570777B1 (ko) 복수의 터치 디스플레이들을 포함하는 전자 장치 및 이의 상태 전환 방법
TW202026815A (zh) 用於多形式因素資訊處理系統(ihs)的對接裝置
US8669937B2 (en) Information processing apparatus and computer-readable medium
JP5284448B2 (ja) 情報処理装置および表示制御方法
CN107407945A (zh) 从锁屏捕获图像的系统和方法
TW201101001A (en) Electronic apparatus with active posture control function
US20140320537A1 (en) Method, device and storage medium for controlling electronic map
US10181017B2 (en) Swipe mechanism
JP6068545B2 (ja) 携帯型情報処理装置、その撮影方法、及びコンピュータが実行可能なプログラム
JP5867554B2 (ja) 情報処理装置及び情報処理装置の操作方法
JP4977162B2 (ja) 情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラム
US20230009352A1 (en) Information processing device, program, and method
JP2021022196A (ja) 制御装置、電子機器、制御システム、制御方法、およびプログラム
US11917095B2 (en) Information processing terminal, program, and method
US20240036601A1 (en) Computing Device
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
JP7342485B2 (ja) 制御装置、方法、プログラム、および情報処理システム
JP6354179B2 (ja) 情報処理装置
JP2014229233A (ja) 画面制御装置、情報処理装置、表示制御方法およびプログラム
CN114144753A (zh) 图像处理装置、图像处理方法和记录介质
TW202209148A (zh) 透過六自由度虛擬空間中的軌跡篩選資料之裝置及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140714

R151 Written notification of patent or utility model registration

Ref document number: 5589549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250