JP6001057B2 - 情報生成及び処理のための方法、装置、及び端末機器 - Google Patents

情報生成及び処理のための方法、装置、及び端末機器 Download PDF

Info

Publication number
JP6001057B2
JP6001057B2 JP2014513880A JP2014513880A JP6001057B2 JP 6001057 B2 JP6001057 B2 JP 6001057B2 JP 2014513880 A JP2014513880 A JP 2014513880A JP 2014513880 A JP2014513880 A JP 2014513880A JP 6001057 B2 JP6001057 B2 JP 6001057B2
Authority
JP
Japan
Prior art keywords
information
gesture
terminal device
summary information
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014513880A
Other languages
English (en)
Other versions
JP2014519127A (ja
Inventor
ジュンジ デン
ジュンジ デン
Original Assignee
▲華▼▲為▼▲終▼端有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ▲華▼▲為▼▲終▼端有限公司 filed Critical ▲華▼▲為▼▲終▼端有限公司
Publication of JP2014519127A publication Critical patent/JP2014519127A/ja
Application granted granted Critical
Publication of JP6001057B2 publication Critical patent/JP6001057B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322Aspects of commerce using mobile devices [M-devices]
    • G06Q20/3224Transactions dependent on location of M-devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50Service provisioning or reconfiguring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/10Details of telephonic subscriber devices including a GPS signal receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Description

本発明は通信技術の分野に関し、特に、情報を生成及び処理する方法、装置、及び端末装置に関する。
現在、通信技術の急速な発展に伴って携帯電話ユーザの数も増加している。携帯電話の使用プロセスの間、ユーザの通信要求が満たされることが可能であるだけでなく、携帯電話は同時に、目覚まし時計、写真撮影及びカレンダーなどの複数の一般的なアプリケーションプログラムをユーザに提供することも可能である。
一般に、携帯電話ユーザは、呼、ショートメッセージ及びマルチメディアメッセージを用いて、情報を別のユーザに配信でき、別のユーザは、受信されたテキスト、写真又は音を用いて、別のユーザによって配信された情報を取得することができる。例えば、端末ユーザはカメラを使用して景色を撮影し、撮影された景色を別のユーザに送信することができる。端末ユーザが撮影された景色内に自己定義シンボルを残したい場合、端末ユーザは写真編集ソフトウェアを使用して撮影された写真を開き、次に、写真内に自己定義シンボルを残し、修正された写真を保存し、最後に、修正された写真を別のユーザに送信する必要がある。
本発明の実施の間、発明者は、従来技術において、自己定義情報を有するパターンを端末間で配信する操作は複雑かつ時間がかかるという問題が存在するということを発見した。
本発明の目的は、ユーザが特定の地理的位置にいる場合にジェスチャ情報を連絡相手に送信することができ、その地理的位置に到着した連絡相手のカメラの表示インタフェース上にジェスチャ情報が表示され、これにより、自己定義情報を有するパターンをユーザと連絡相手との間で配信する操作を、単純かつ時間がかからないものにするための、情報を生成及び処理する方法、装置、及び端末装置を提供することである。
本発明の実施形態の特定の技術的解決法は、以下の通りである。
一態様では、本発明の一実施形態は、
識別されたジェスチャ経路に従ってジェスチャ情報を生成し、ジェスチャ経路は端末の移動軌跡によって形成され、
ジェスチャが発生した場所の位置情報を検出し、
ジェスチャ情報と位置情報とに従ってサマリ情報を生成することを含む、情報生成方法を提供する。
一態様では、本発明の一実施形態は、
識別されたジェスチャ経路に従ってジェスチャ情報を生成するように構成された、ジェスチャ情報生成モジュールであって、ジェスチャ経路は端末の移動軌跡によって形成される、ジェスチャ情報生成モジュールと、
ジェスチャが発生した場所の位置情報を検出するように構成された、ロケータモジュールと、
ジェスチャ情報と位置情報とに従ってサマリ情報を生成するように構成された、サマリ情報生成モジュールとを含む、情報生成装置を更に提供する。
別の態様では、本発明の一実施形態は、
サマリ情報を受信し、受信したサマリ情報内の位置情報とジェスチャ情報とを抽出し、サマリ情報は、識別されたジェスチャ経路に従って送信端によって生成されたジェスチャ情報と、送信端によって記録された、ジェスチャが発生した場所の位置情報とを含み、
端末の現在の位置情報が、サマリ情報内の位置情報と一致し、かつ、カメラがスイッチオン状態にあることを検出した場合、サマリ情報内のジェスチャ情報に従ってジェスチャ経路を取得し、カメラの表示インタフェース上に表示することを含む、情報処理方法を提供する。
別の態様では、本発明の一実施形態は、
サマリ情報を受信し、受信したサマリ情報内の位置情報とジェスチャ情報とを抽出するように構成された、受信処理モジュールであって、サマリ情報は、識別されたジェスチャ経路に従って送信端によって生成されたジェスチャ情報と、送信端によって記録された、ジェスチャが発生した場所の位置情報とを含む、受信処理モジュールと、
端末の現在の位置情報を検出するように構成された、ロケータモジュールと、
端末の現在の位置情報が、サマリ情報内の抽出された位置情報と一致するかどうかを判定するように構成された、監視処理モジュールと、
端末の現在の位置情報がサマリ情報内の位置情報と一致し、かつ、カメラがスイッチオン状態にあることが検出された場合、サマリ情報内のジェスチャ情報に従って、ジェスチャ経路を取得し、カメラの表示インタフェース上に表示するように構成された、画像処理モジュールとを含む、情報処理装置を更に提供する。
本発明の実施形態によって提供される前述の技術的解決法から、本発明によって提供される情報生成方法及び装置は、ユーザが写真編集ソフトウェアを用いて実施する代わりに、端末の移動軌跡を使用することによって、自己定義されたジェスチャ情報をユーザが撮影したい景色内に直接生成することを可能にし、これにより、ジェスチャ情報生成の複雑さが減少するということがわかる。その上、本発明によって提供される情報処理方法及び装置では、受信端がジェスチャ情報と位置情報とを含むサマリ情報を受信し、現在の位置がサマリ情報内の位置情報と一致する場合、サマリ情報を送信したユーザによって残された自己定義された画像が、スイッチオンされたカメラの表示インタフェース上で見られるようになり、従って、ユーザは画像を使用することによって、ユーザの要求を満たす対応する操作を実施することができる。
本発明の実施形態による情報生成方法のフローチャートである。 本発明の実施形態による情報処理方法のフローチャートである。 本発明の実施形態による情報生成装置の概略構成図である。 本発明の実施形態による情報処理装置の概略構成図である。 本発明の実施形態による端末装置の概略構成図である。
本発明による情報を生成及び処理する方法、装置及び端末装置では、識別されたジェスチャ経路に従ってジェスチャ情報が生成され、ジェスチャが発生した場所の位置情報が記録され、生成された情報とジェスチャが発生した場所の位置情報とを含むサマリ情報が受信端に送信されるので、ユーザは、写真編集ソフトウェアを用いて実施する代わりに、端末の移動軌跡を使用することによって、自己定義されたジェスチャ情報を直接生成することが可能であり、これにより、ジェスチャ情報生成の複雑さが減少する。サマリ情報を受信した受信端が、ジェスチャが発生した場所に到着した場合、サマリ情報を送信したユーザによって残された自己定義された画像がカメラの表示インタフェース上で見られるようになり、従って、ユーザは、ユーザの要求に応じて画像を使用することが可能である(例えば、自己定義された画像を有する写真を撮影する、画像に従ってナビゲーションを実行する、又は、画像を使用することによって広告を行うなど)。
本発明の技術的解決法をよりよく理解するために、以下では、本発明の技術的解決法について、添付の図面、及び実施形態を参照して説明する。
図1に示すように、本発明の一実施形態は情報生成方法を提供し、この技術的解決法は以下を含む。
101.識別されたジェスチャ経路に従ってジェスチャ情報を生成し、このジェスチャ経路は端末の移動軌跡によって形成される。
102.ジェスチャが発生した場所の位置情報を検出する。
103.ジェスチャ情報と位置情報とに従ってサマリ情報を生成する。
本発明の随意選択の実施形態では、ステップ101において、識別されたジェスチャ経路に従ってジェスチャ情報が生成されるときに、ジェスチャ経路は加速度センサを使用することによって識別されてもよく、ジェスチャ情報は識別されたジェスチャ経路に従って生成され、このジェスチャ経路は、パターン、シンボル、数字、及びテキストのうちの任意の1つ以上を含む。
加速度センサを使用することによってジェスチャ経路を識別する特定の技術的解決法は、当該分野における従来技術である。実施原理については、従来技術におけるタッチスクリーン手書き筆跡システムを参照されたい。本発明では、従来技術の解決法について詳細に説明することはしない。
本発明の随意選択の実施形態では、ステップ101においてジェスチャ経路を識別する前に、この方法は以下のステップを更に含んでもよい。
100.ブラシのモデルを確立(セットアップ)し、ブラシの属性を設定し、この属性はブラシの色、明るさ及び太さを含む。
ブラシ属性を設定することによって、ジェスチャ経路によって形成される画像をより明確にすることができる、色、明るさ及びブラシ太さに関するユーザの個別の要求を満たすことができる。
ブラシ属性が設定された後、識別されたジェスチャ経路に従ってジェスチャ情報を生成することは、設定されたブラシ属性を識別されたジェスチャ経路に適用し、ジェスチャ情報を生成することを含む。
必要に応じて、ジェスチャ経路に従って生成されたジェスチャ情報はネットワークアルバムにアップロードされ、ジェスチャ情報を記憶するネットワークリンクが生成される。
更に、必要に応じて、ジェスチャ経路を識別する前にブラシ属性が設定される場合、色、明るさ及び太さパラメータなどのブラシ属性は、ジェスチャ経路によって生成されたジェスチャ情報にロードされ、このジェスチャ情報はネットワークアルバムにアップロードされ、ネットワークリンクが生成される。
本発明の随意選択の実施形態では、ステップ102において、ジェスチャが発生した場所の位置情報を検出することは、
グローバルポジショニングシステムを使用することによって、ジェスチャが発生した場所の緯度及び経度座標を検出することを含む。
必要に応じて、ステップ102において、ジェスチャが発生した場所の位置情報を検出することは、コンパス又はジャイロスコープを使用することによって、ジェスチャが発生したときの端末の方向を検出することを更に含む。
更に、必要に応じて、ステップ102において、ジェスチャが発生した場所の位置情報を検出することは、
ネットワーク地図上の、ジェスチャが発生した場所の位置スクリーンショットを取得することを更に含む。
具体的には、本発明の実施形態では、位置情報が位置スクリーンショットを含むかどうかは選択的に決定されてもよく、位置情報が位置スクリーンショットを含むことが決定された場合、位置スクリーンショットはピクチャ様式で位置情報内に保持されてもよく、また、ネットワークリンク形式で位置情報内に保持されてもよい。本発明の実施形態では、位置スクリーンショットを保持する様式は限定されない。ユーザは、情報送信パーティが情報を送信したときの送信パーティの大まかな場所を、位置スクリーンショットに従って予め判定してもよいということに留意されたい。これにより、ユーザは、ユーザによってすでに取得された地理的知識に従って大まかな場所を簡便に見付け、次いでグローバルポジショニングシステムの支援により正確な位置を見つける。
加えて、サマリ情報を生成するユーザは、サマリ情報内の一部としてジェスチャが発生した場所の背景を撮影してもよく、情報受信者は背景写真に従ってジェスチャが発生したときの端末の地理的位置及び方向を判定してもよい。
その上、本発明の実施形態では、ジェスチャが発生したときの端末の緯度及び経度座標、並びに方向は、単純な数字又は文字の形式を使用することによって表されてもよい。
本発明の随意選択の実施形態では、ステップ103において、ジェスチャ情報と位置情報とに従ってサマリ情報を生成することは、以下を含む。
サマリ情報は端末装置間で伝送されてもよい情報であり、例えば、ショートメッセージ、又はマルチメディアメッセージであってもよい。ユーザは、生成されたサマリ情報を修正することができるということに留意されたい。例えば、生成されたサマリ情報内で、コンテンツが追加、修正、又は削除されてもよい。
ジェスチャが発生した場所の緯度及び経路、並びにジェスチャが発生したときの端末の方向は、端末が内部で判定する場合、及び、ユーザが別のツールの支援を受けつつこの情報を利用する必要がある場合に使用されるということに留意されたい。従って、サマリ情報内の、ジェスチャが発生したときの端末の緯度及び経度座標、並びに方向は、隠されていてもよい。
加えて、ユーザの実際の操作を容易にするために、端末上に、ジェスチャ識別を開始するために使用されるボタンが設けられてもよいということに留意されたい。ボタンは、ユーザインタフェース上のボタンであってもよく、或いは物理的に実際に存在するボタンであってもよい。
図2に示すように、本発明の一実施形態の提供する情報処理方法は、サマリ情報を受信する端末によってサマリ情報を処理する特定のプロセスを主として記載しており、この技術的解決法は以下を含む。
201.サマリ情報を受信し、受信したサマリ情報内の位置情報とジェスチャ情報とを抽出し、該サマリ情報は、識別されたジェスチャ経路に従って送信端によって生成されたジェスチャ情報と、送信端によって記録された、ジェスチャが発生した場所の位置情報とを含む。
202.端末の現在の位置情報が、サマリ情報内の位置情報と一致し、かつ、カメラがスイッチオン状態にあることを検出した場合、サマリ情報内のジェスチャ情報に従ってジェスチャ経路を取得し、カメラの表示インタフェース上に表示する。
サマリ情報の説明は、実施形態においてすでに詳細に説明されており、これについてここで再び説明することはしないということに留意されたい。
本発明の随意選択の実施形態では、この方法は、
サマリ情報を受信した後、グローバルポジショニングシステムを起動させるようプロンプトし、
グローバルポジショニングシステムが起動された場合、グローバルポジショニングシステムを使用することによって、端末の現在の位置の緯度及び経度座標を検出することを更に含んでもよい。
具体的には、サマリ情報を受信したと判定された場合、グローバルポジショニングシステムが自動的に起動されてもよく、或いはユーザがグローバルポジショニングシステムを起動させるようプロンプトされてもよい。この場合、ユーザは、ユーザの要求に従って起動させるかどうかを選択してもよい。ユーザが、起動させないことを選択した場合、いつユーザが、起動させるよう再びプロンプトされるかも、ユーザの選択に従って設定されてもよい。
必要に応じて、グローバルポジショニングシステムが起動された場合、コンパス又はジャイロスコープを使用することによって、端末の現在の位置の方向が検出されてもよい。
本発明の実施形態では、ユーザがグローバルポジショニングシステムを起動させた場合、ステップ202において、ジェスチャ情報に従って、ジェスチャ経路によって形成された画像を取得することは、
現在の位置の緯度及び経度座標が、サマリ情報内の緯度及び経路座標と一致した場合、カメラを起動させるようプロンプトし、
カメラが起動された後、サマリ情報から、ジェスチャ経路に従って生成されたジェスチャ情報を抽出することを含み、ジェスチャ経路は、パターン、シンボル、数字、及びテキストのうちの任意の1つ以上を含む。
必要に応じて、本発明の実施形態におけるジェスチャ情報は、ネットワークリンク形式で、サマリ情報内に保持されてもよい。
更に、必要に応じて、ジェスチャ経路を識別する前に、ブラシ属性が設定されている場合、受信されるジェスチャ情報は、設定されたブラシ属性をジェスチャ経路にロードすることによって生成される。ブラシ属性を設定することによって、ジェスチャ経路によって形成される画像をより明確にすることができ、色、明るさ、及びブラシ太さに関するユーザの個別の要求を満たす。
本発明の別の実施形態では、ユーザがグローバルポジショニングシステムを起動させないことを選択した場合、この方法は以下を更に含む。
位置情報は、ネットワーク地図上で取得された、ジェスチャが発生した場所の位置スクリーンショットを更に含む。
グローバルポジショニングシステムが起動されない場合、ユーザは、サマリ情報送信パーティが情報を送信したときの送信パーティの大まかな場所を、位置スクリーンショットに従って予め判定してもよく、これにより、ユーザは、ユーザによってすでに取得された地理的知識に従って大まかな場所を簡便に見付け、次いでグローバルポジショニングシステムの支援により正確な位置を見つける。
必要に応じて、位置情報は、サマリ情報送信パーティがジェスチャを生成したときに撮影した背景を更に含んでもよく、これにより、ジェスチャが発生した場所の大まかな位置を見付けた後、ユーザは、背景の支援により、ジェスチャが発生した場所の正確な位置、及びジェスチャが発生したときの端末の方向を見付ける。
本発明の随意選択の実施形態では、ステップ202において、ジェスチャ情報に従って、ジェスチャによって形成された画像を取得することは、
グローバルポジショニングシステムを起動させ、現在の位置がサマリ情報内の位置情報と一致した場合、カメラをスイッチオンするようユーザにプロンプトし、
カメラがスイッチオンされた後、サマリ情報から、ジェスチャ経路に従って生成されたジェスチャ情報を抽出することを含み、ジェスチャ経路は、パターン、シンボル、数字、及びテキストのうちの任意の1つ以上を含む。
更に、本発明の実施形態では、ジェスチャが発生したときの端末の緯度及び経度座標、並びに方向は、単純な数字又は文字の形式を使用することによって表されてもよい。
前述の技術的解決法から、サマリ情報を受信したユーザは、ユーザの現在の位置がサマリ情報内の位置情報と一致した場合、サマリ情報送信パーティによって残されたジェスチャ情報をカメラの表示インタフェースを介して見ることができるということがわかるであろう。画像は撮影された写真内に表示されてもよいだけでなく、画像は地理的位置に関連する経路案内又はプロンプト手段として、小売業者にとって広告情報を追加する新たなフォーマットとしても使用されてもよい。
図1に示す情報生成方法、及び図2で説明した情報処理方法の技術的解決法をより明確に説明するために、以下では、説明のための適用例を採用する。
本発明の適用例では、サマリ情報が、マルチメディアメッセージ形式内で送信される。端末Aがマルチメディアメッセージ送信端として働き、端末Bがマルチメディアメッセージ受信端として働くものとする。本発明の一実施形態の技術的解決法は、以下の通りである。
(1)端末Aのユーザは、地王大厦(Diwang Mansion)に到着し、地王大厦に対面する。
(2)携帯電話を起動した後、端末Aのユーザは、設定されたブラシモデルにブラシ属性を設定し、ブラシモデルはブラシ属性を設定することによって実施され、当該属性はブラシの色、明るさ及び太さを含む。
(3)端末Aのユーザは、携帯電話を使用して空中に「笑顔」を描く。
(4)加速度センサを使用することによって「笑顔」のジェスチャ経路を識別し、ジェスチャ経路は、パターン、シンボル、数字、及びテキストのうちの任意の1つ以上を含んでもよい。
(5)設定されたブラシ属性パラメータをジェスチャ経路によって形成された画像に適用し、画像をネットワークアルバムにアップロードし、ネットワークリンクを生成する。
(6)ジェスチャが発生した場所の位置情報を検出し、具体的には、グローバルポジショニングシステムを使用することによって、ジェスチャが発生した場所の緯度及び経度座標が検出される。
必要に応じて、コンパス又はジャイロスコープを使用することによって、ジェスチャが発生したときの端末の方向が検出される。
必要に応じて、ネットワーク地図上の、ジェスチャが発生した場所の位置スクリーンショットが取得される。
必要に応じて、ジェスチャが発生したときの背景を撮影する。
(7)マルチメディアメッセージを生成し、このマルチメディアメッセージは、位置スクリーンショットと、ジェスチャが発生した場所の緯度及び経度座標と、ジェスチャが発生したときの端末の方向と、ネットワークリンクとを含んでもよく、マルチメディアメッセージを端末Bに送信する。
位置スクリーンショット及びネットワークリンクはマルチメディアメッセージ内に表示され、緯度及び経度座標、並びに方向は、隠される。
(8)端末Bは、マルチメディアメッセージを受信したかどうかを検出し、このマルチメディアメッセージは、識別されたジェスチャ経路に従って送信端によって生成されたジェスチャ情報と、送信端によって記録された、ジェスチャが発生した場所の位置情報とを含み、マルチメディアメッセージを受信した後、端末Bはグローバルポジショニングシステムを起動させるようプロンプトする。
(9)端末Bのユーザが、グローバルポジショニングシステムを起動させないことを選択した場合、端末Bのユーザは、マルチメディアメッセージ内に表示された位置スクリーンショットを参照して地王大厦に到着し、次に、グローバルポジショニングシステムを起動させることを選択し、グローバルポジショニングシステムを使用することによって、ユーザの現在の位置をリアルタイムで取得する。
(10)端末Bのグローバルポジショニングシステムが起動させられた後、コンパス又はジャイロスコープを使用することによって、端末の現在の位置の方向を検出する。
(11)端末Bによって検出された緯度及び経度座標が、サマリ情報内の緯度及び経度座標と一致し、検出された現在の位置の方向が、サマリ情報内の方向と一致した場合、カメラをスイッチオンするよう端末Bのユーザにプロンプトする。
(12)マルチメディアメッセージ内のジェスチャ情報に従って、ネットワークアルバムから、識別されたジェスチャ経路に従って送信端によって形成された「笑顔」をダウンロードし、このジェスチャ情報は、ネットワークアルバムに画像がアップロードされた後で生成されたネットワークリンクであり、ジェスチャ経路は、パターン、シンボル、数字、及びテキストのうちの任意の1つ以上を含む。
(13)端末Bのカメラの表示インタフェース上に、笑顔を表示する。
図3に示すように、本発明の一実施形態は、
識別されたジェスチャ経路に従ってジェスチャ情報を生成するように構成され、該ジェスチャ経路は端末の移動軌跡によって形成される、ジェスチャ情報生成モジュール31と、
ジェスチャが発生した場所の位置情報を検出するように構成された、ロケータモジュール32と、
ジェスチャ情報と位置情報とに従ってサマリ情報を生成するように構成された、サマリ情報生成モジュール33とを含む、情報生成装置を提供する。
本発明の随意選択の実施形態では、ジェスチャ情報生成モジュール31は、
加速度センサを使用することによってジェスチャ経路を識別し、識別されたジェスチャ経路に従ってジェスチャ情報を生成するように特に構成されてもよく、ジェスチャ経路は、パターン、シンボル、数字、及びテキストのうちの任意の1つ以上を含む。
本発明の随意選択の実施形態では、ロケータモジュール32は、
ジェスチャが発生した場所の緯度及び経度座標を検出するように構成された、グローバルポジショニングユニットを含んでもよい。
必要に応じて、ロケータモジュール32は、コンパス又はジャイロスコープを使用することによって、ジェスチャが発生したときの端末の方向を検出するように構成された、方向検出ユニット、及び/又は、
ネットワーク地図上の、ジェスチャが発生した場所の位置スクリーンショットを取得するように構成された、位置取得ユニットも含んでもよい。
本発明の随意選択の実施形態では、この装置は、ジェスチャが発生したときの背景を撮影するように構成された、撮影モジュール34を更に含む。
本発明の随意選択の実施形態では、この装置は、
ジェスチャ経路を識別する前にブラシのモデルを確立し、ブラシの属性を設定するように構成された、モデル確立モジュール30を更に含み、属性は、ブラシの色、明るさ、及び太さを含む。
ジェスチャ情報生成モジュールは、設定されたブラシ属性を識別されたジェスチャ経路に適用し、ジェスチャ情報を生成するように更に構成される。
本発明の実施形態による情報生成装置は、図1における実施形態での情報生成方法の技術的解決法に基づいて得られ、図1における実施形態と同じ又はこれに対応する技術的特徴を含むということに留意されたい。従って、本発明のこの実施形態における特定の技術的解決法については、図1における実施形態での関連する説明を参照できるので、ここで再び説明しない。
図4に示すように、本発明の一実施形態は、
サマリ情報を受信し、受信されたサマリ情報内の位置情報とジェスチャ情報とを抽出するように構成され、サマリ情報は、識別されたジェスチャ経路に従って送信端によって生成されたジェスチャ情報と、送信端によって記録された、ジェスチャが発生した場所の位置情報とを含む、受信処理モジュール41と、
端末の現在の位置情報を検出するように構成された、ロケータモジュール42と、
端末の現在の位置情報が、サマリ情報内の抽出された位置情報と一致するかどうかを判定するように構成された、監視処理モジュール43と、
端末の現在の位置情報がサマリ情報内の位置情報と一致し、かつ、カメラがスイッチオン状態にあることが検出された場合、サマリ情報内のジェスチャ情報に従ってジェスチャ経路を取得し、カメラの表示インタフェース上に表示するように構成された、画像処理モジュール44とを含む、情報処理装置を提供する。
本発明の随意選択の実施形態では、受信処理モジュール41は、サマリ情報を受信した後、グローバルポジショニングシステムを起動させるようプロンプトするように更に構成される。
ロケータモジュール42は、グローバルポジショニングシステムが起動された場合に、グローバルポジショニングシステムを使用することによって、端末の現在の位置の緯度及び経度座標を検出するように構成された、グローバルポジショニングユニットを含む。
必要に応じて、ロケータモジュール42は、グローバルポジショニングシステムが起動された場合に、コンパス又はジャイロスコープを使用することによって端末の現在の位置の方向を検出するように構成された、方向検出ユニットを更に含む。
本発明の随意選択の実施形態では、端末の現在の位置がサマリ情報内の位置情報と一致した後、監視処理モジュール43は、カメラをスイッチオンするようプロンプトするように更に構成される。
本発明の実施形態による情報処理装置は、図2における実施形態での情報処理方法の技術的解決法に基づいて提供され、図2における実施形態と同じ又はこれに対応する技術的特徴を含むということに留意されたい。従って、本発明のこの実施形態における特定の技術的解決法については、図2における実施形態での関連する説明を参照できるので、ここで再び説明しない。
図5に示すように、本発明の一実施形態は、
ジェスチャ経路に従ってジェスチャ情報を生成し、ジェスチャが発生した場所の位置情報を検出し、ジェスチャ情報と位置情報とに従ってサマリ情報を生成し、サマリ情報を受信端に送信するように構成された、図3における実施形態による情報生成装置51であって、
識別されたジェスチャ経路に従ってジェスチャ情報を生成するように構成され、ジェスチャ経路は端末の移動軌跡によって形成される、ジェスチャ情報生成モジュールと、
ジェスチャが発生した場所の位置情報を検出するように構成された、ロケータモジュールと、
ジェスチャ情報と位置情報とに従ってサマリ情報を生成するように構成された、サマリ情報生成モジュールと
を含む、情報生成装置と、
サマリ情報を受信し、現在の位置が位置情報と一致し、かつ、カメラがスイッチオン状態にある場合に、ジェスチャ情報に従ってジェスチャ経路によって形成された画像を取得し、カメラの表示インタフェース上に画像を表示するように構成された、図4における実施形態による情報処理装置52であって、
サマリ情報を受信し、受信したサマリ情報内の位置情報とジェスチャ情報とを抽出するように構成され、サマリ情報は、識別されたジェスチャ経路に従って送信端によって生成されたジェスチャ情報と、送信端によって記録された、ジェスチャが発生した場所の位置情報とを含む、受信処理モジュールと、
端末の現在の位置情報を検出するように構成された、ロケータモジュールと、
端末の現在の位置情報が、サマリ情報内の抽出された位置情報と一致するかどうかを判定するように構成された、監視処理モジュールと、
検出された端末の現在の位置情報をサマリ情報内の位置情報と照合し、カメラがスイッチオン状態にある場合、サマリ情報内のジェスチャ情報に従ってジェスチャ経路を取得し、カメラの表示インタフェース上に表示するように構成された、画像処理モジュールと
を含む、情報処理装置と、
を備える、端末装置を提供する。
実際の適用例では、情報生成装置と情報処理装置とは一緒に端末装置上に設けられてもよいということに留意されたい。ユーザがサマリ情報の送信端としての役割を果たす端末装置を使用する場合、情報生成装置を使用することによってサマリ情報が生成され、サマリ情報は受信端に送信され、ユーザがサマリ情報の受信端としての役割を果たす端末装置を使用する場合、情報処理装置を使用することによってサマリ情報が取得され、現在の位置がサマリ情報内の位置情報と一致する場合、取得されたジェスチャ情報が表示インタフェース上に表示される。情報生成装置と情報処理装置とが装置上に一緒に存在する場合、ロケータモジュールは同じモジュールであることに留意されたい。
本発明の実施形態による、情報を生成する方法及び装置の実施は、ユーザが、写真編集ソフトウェアを用いて実施する代わりに、端末の移動軌跡を使用することによって、自己定義されたジェスチャ情報を直接生成することを可能にし、これにより、ジェスチャ情報生成の複雑さが減少する。
本発明の実施形態による情報を処理する方法及び装置の実施では、サマリ情報を受信した受信端が、ジェスチャが発生した場所に到着した場合、サマリ情報を送信したユーザによって残された自己定義された画像がカメラの表示インタフェース上で見られることが可能であり、従って、ユーザは、ユーザの要求に応じて画像を使用することが可能である(例えば、自己定義された画像を有する写真を撮影する、画像に従ってナビゲーションを実行する、又は、画像を使用することによって広告を行うなど)。
実施形態における方法のプロセスの全て又は一部は、関連するハードウェアに指示するプログラムによって実施されてもよいということを当業者は理解するであろう。プログラムは、コンピュータ読み取り可能な記憶媒体内に記憶されてもよい。プログラムが実行される場合、方法の実施形態のプロセスが実行されてもよい。記憶媒体は、磁気ディスク、光ディスク、読み取り専用メモリ(Read−Only Memory、ROM)、又はランダムアクセスメモリ(Random Access Memory、RAM)であってもよい。

Claims (17)

  1. 端末装置が、識別されたジェスチャ経路に従ってジェスチャ情報を生成し、前記ジェスチャ経路は前記端末装置の移動軌跡によって形成され、
    前記端末装置が、ジェスチャが発生した場所の位置情報を検出し、
    前記端末装置が、前記ジェスチャ情報と前記位置情報とに従ってサマリ情報を生成し、
    前記端末装置が、前記サマリ情報を含むメッセージを受信端に送信すること
    を含み、前記サマリ情報を含むメッセージを受信した場合、前記受信端の位置が、前記サマリ情報の位置情報に対応する位置と一致するまで、前記受信端が前記識別されたジェスチャ経路を表示しないことを含む、情報生成方法。
  2. 前記端末装置が、識別されたジェスチャ経路に従ってジェスチャ情報を生成することは、
    前記端末装置が、加速度センサを使用することによって前記ジェスチャ経路を識別し、前記識別されたジェスチャ経路に従って前記ジェスチャ情報を生成することを含み、
    前記ジェスチャ経路は、パターン、シンボル、数字、及びテキストのうちの任意の1つ以上を含む、請求項1に記載の方法。
  3. 前記端末装置が、識別されたジェスチャ経路に従ってジェスチャ情報を生成することは、
    前記端末装置が、前記ジェスチャ経路に基づいて生成された生成情報を、ネットワークアルバムにアップロードし、前記ジェスチャ情報を記憶するネットワークリンクを生成することを含む、請求項1又は2に記載の方法。
  4. 前記位置情報は、グローバルポジショニングシステムを使用することによって検出された、前記ジェスチャが発生した前記場所の緯度及び経度座標を含む、請求項1〜3のいずれか一項に記載の方法。
  5. 前記位置情報は、コンパス又はジャイロスコープを使用することによって検出された、前記ジェスチャが発生したときの端末装置の方向、及び、
    ネットワーク地図上で取得された、前記ジェスチャが発生した前記場所の位置スクリーンショット
    のうちの少なくとも一方を更に含み、
    前記サマリ情報は、前記ジェスチャが発生したときの端末装置の方向、並びに前記ジェスチャが発生した前記場所の緯度及び経度座標を隠すことを示す情報を含む、請求項4に記載の方法。
  6. 前記位置情報は、前記ジェスチャが発生したときに撮影された背景を更に含む、請求項4又は5に記載の方法。
  7. 前記方法は前記ジェスチャ経路を記録する前に、ブラシのモデルを確立し、前記ブラシの属性を設定することを更に含み、前記属性は、前記ブラシの色、明るさ、及び太さを含み、
    前記端末装置が、識別されたジェスチャ経路に従ってジェスチャ情報を生成することは、前記端末装置が、設定されたブラシ属性を、前記識別されたジェスチャ経路に適用し、前記ジェスチャ情報を生成することを含む、
    請求項1に記載の方法。
  8. 端末装置が、サマリ情報を含むメッセージを受信し、前記サマリ情報を含むメッセージを受信した場合、前記端末装置の位置が、前記サマリ情報に含まれる位置情報に対応する位置と一致するまで、前記端末装置が、前記サマリ情報に含まれるジェスチャ情報に対応するジェスチャ経路を表示しないことを含み、
    前記端末装置が、前記サマリ情報内の前記位置情報と前記ジェスチャ情報とを抽出し、前記サマリ情報は、識別されたジェスチャ経路に従って送信端によって生成された前記ジェスチャ情報と、前記送信端によって記録されたジェスチャが発生した場所の前記位置情報とを含み、
    前記端末装置の現在の位置が前記サマリ情報内の前記位置情報に対応する位置と一致し、かつ、前記端末装置のカメラがスイッチオン状態にあることと判定した場合、前記端末装置が、前記サマリ情報内の前記ジェスチャ情報に従って識別されたジェスチャ経路を取得し、表示すること
    を含む、情報処理方法。
  9. 前記サマリ情報を受信した後、グローバルポジショニングシステムを起動させるようプロンプトし、
    前記グローバルポジショニングシステムが起動された場合、前記グローバルポジショニングシステムを使用することによって、前記端末装置の前記位置の緯度及び経度座標を検出すること
    を更に含む、請求項8に記載の処理方法。
  10. 前記グローバルポジショニングシステムが起動された場合、コンパス又はジャイロスコープを使用することによって前記端末装置の前記位置の方向を検出すること
    を更に含む、請求項9に記載の処理方法。
  11. 前記端末装置の前記位置情報が前記サマリ情報内の前記位置情報に対応する位置と一致した後、前記カメラをスイッチオンするようプロンプトすること
    を更に含む、請求項8〜10のいずれか一項に記載の処理方法。
  12. 前記端末装置が、前記サマリ情報内の前記ジェスチャ情報に従って識別されたジェスチャ経路を取得することは、
    前記ジェスチャ情報に従って識別された前記ジェスチャ経路をネットワークアルバムからダウンロードすることを含み、前記ジェスチャ情報が、前記識別されたジェスチャ経路を記憶するネットワークアルバムに対応するネットワークリンクである、
    請求項8〜10のいずれか一項に記載の処理方法。
  13. 情報処理装置であって、
    サマリ情報を含むメッセージを受信し、前記サマリ情報を含むメッセージを受信した場合、前記情報処理装置の位置が、前記サマリ情報に含まれる位置情報に対応する位置と一致するまで、前記情報処理装置が、前記サマリ情報に含まれるジェスチャ情報に対応するジェスチャ経路を表示しないよう構成され、前記サマリ情報内の前記位置情報と前記ジェスチャ情報とを抽出するように構成され、前記サマリ情報は、識別されたジェスチャ経路に従って送信端によって生成された前記ジェスチャ情報と、前記送信端によって記録されたジェスチャが発生した場所の前記位置情報とを含む、受信処理モジュールと、
    前記情報処理装置の現在の位置情報を検出するように構成された、ロケータモジュールと、
    前記情報処理装置の前記現在の位置情報が前記サマリ情報内の抽出された位置情報と一致するかどうかを判定するように構成された、監視処理モジュールと、
    前記情報処理装置の現在の位置が前記サマリ情報内の前記位置情報に対応する位置と一致し、かつ、カメラがスイッチオン状態にあると判定された場合、前記サマリ情報内の前記ジェスチャ情報に従って前記ジェスチャ経路を取得し、表示するように構成された、画像処理モジュールと
    を備える、情報処理装置。
  14. 前記受信処理モジュールは、前記サマリ情報が受信された後、グローバルポジショニングシステムを起動させるようプロンプトするように更に構成され、
    前記ロケータモジュールは、前記グローバルポジショニングシステムが起動された場合に、前記グローバルポジショニングシステムを使用することによって、前記情報処理装置の前記現在の位置の緯度及び経度座標を検出するように構成された、グローバルポジショニングユニットを備える、
    請求項13に記載の情報処理装置。
  15. 前記ロケータモジュールは、前記グローバルポジショニングシステムが起動された場合に、コンパス又はジャイロスコープを使用することによって、前記情報処理装置の前記現在の位置の方向を検出するように構成された、方向検出ユニットを更に備える、請求項14に記載の情報処理装置。
  16. 前記情報処理装置の前記現在の位置が前記サマリ情報内の前記位置情報に対応する位置と一致した後、前記監視処理モジュールは、前記カメラをスイッチオンするようプロンプトするように更に構成される、請求項13〜15のいずれか一項に記載の情報処理装置。
  17. 前記画像処理モジュールは、
    前記情報処理装置の現在の位置が前記サマリ情報内の前記位置情報に対応する位置と一致し、かつ、カメラがスイッチオン状態にあると判定された場合、
    前記ジェスチャ情報に従って識別された前記ジェスチャ経路をネットワークアルバムからダウンロードするように構成され、前記ジェスチャ情報が、前記識別されたジェスチャ経路を記憶するネットワークアルバムに対応するネットワークリンクである、
    請求項13〜16のいずれか一項に記載の情報処理装置。
JP2014513880A 2011-08-02 2011-08-02 情報生成及び処理のための方法、装置、及び端末機器 Active JP6001057B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/077927 WO2011157239A2 (zh) 2011-08-02 2011-08-02 一种信息生成和处理方法、装置以及终端设备

Publications (2)

Publication Number Publication Date
JP2014519127A JP2014519127A (ja) 2014-08-07
JP6001057B2 true JP6001057B2 (ja) 2016-10-05

Family

ID=45348646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014513880A Active JP6001057B2 (ja) 2011-08-02 2011-08-02 情報生成及び処理のための方法、装置、及び端末機器

Country Status (6)

Country Link
US (1) US9437028B2 (ja)
EP (1) EP2699027B1 (ja)
JP (1) JP6001057B2 (ja)
KR (1) KR101542477B1 (ja)
CN (1) CN102317899B (ja)
WO (1) WO2011157239A2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10400163B2 (en) 2013-02-08 2019-09-03 Universal Display Corporation Organic electroluminescent materials and devices
WO2014183262A1 (en) * 2013-05-14 2014-11-20 Empire Technology Development Llc Detection of user gestures
CN111913606B (zh) * 2015-04-20 2024-06-14 株式会社和冠 传感器控制器、主机处理器、通信方法和系统
CN105260022B (zh) * 2015-10-15 2018-03-23 广东欧珀移动通信有限公司 一种基于手势控制截图的方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0660131A1 (en) * 1993-12-23 1995-06-28 Karl Osen Camera guidance system
US20070139366A1 (en) * 2005-12-21 2007-06-21 Dunko Gregory A Sharing information between devices
US7536201B2 (en) 2006-03-29 2009-05-19 Sony Ericsson Mobile Communications Ab Motion sensor character generation for mobile device
CN101072378A (zh) * 2007-06-07 2007-11-14 龚艳梅 手机寻址及定位的方法
JP5509521B2 (ja) * 2007-11-27 2014-06-04 日本電気株式会社 情報処理装置
CN101482421A (zh) * 2008-01-11 2009-07-15 深圳富泰宏精密工业有限公司 移动设备相片导航系统及方法
US8872767B2 (en) * 2009-07-07 2014-10-28 Microsoft Corporation System and method for converting gestures into digital graffiti
JPWO2011004608A1 (ja) * 2009-07-09 2012-12-20 頓智ドット株式会社 視界情報に仮想情報を付加して表示できるシステム
WO2011038018A1 (en) * 2009-09-23 2011-03-31 Earthsearch Communications International, Inc. Device and process for monitoring secure storage and delivery of items
US8494544B2 (en) 2009-12-03 2013-07-23 Osocad Remote Limited Liability Company Method, apparatus and computer program to perform location specific information retrieval using a gesture-controlled handheld mobile device
CN101882010A (zh) * 2010-01-20 2010-11-10 程宇航 图形用户界面的输入装置和方法
CN101887348A (zh) * 2010-06-29 2010-11-17 深圳桑菲消费通信有限公司 一种在移动终端上实现文字输入的方法
KR101228336B1 (ko) 2011-04-01 2013-01-31 한국과학기술원 모바일 단말기의 사용자 행동패턴을 이용하여 개인화 서비스를 제공하는 방법 및 이를 위한 모바일 단말기

Also Published As

Publication number Publication date
KR101542477B1 (ko) 2015-08-06
US9437028B2 (en) 2016-09-06
EP2699027A2 (en) 2014-02-19
CN102317899B (zh) 2014-01-22
WO2011157239A2 (zh) 2011-12-22
CN102317899A (zh) 2012-01-11
KR20140018341A (ko) 2014-02-12
US20140092131A1 (en) 2014-04-03
EP2699027A4 (en) 2014-08-20
EP2699027B1 (en) 2021-10-06
JP2014519127A (ja) 2014-08-07
WO2011157239A3 (zh) 2012-06-28

Similar Documents

Publication Publication Date Title
EP3713159B1 (en) Gallery of messages with a shared interest
JP6493772B2 (ja) ユーザー編集イメージを用いた拡張現実コンテンツの提供方法及びシステム
WO2019128787A1 (zh) 网络视频直播方法、装置及电子设备
US7844229B2 (en) Mobile virtual and augmented reality system
US7853296B2 (en) Mobile virtual and augmented reality system
US20090054084A1 (en) Mobile virtual and augmented reality system
KR20190103322A (ko) 표면 인식 렌즈
CN104717622B (zh) 信息转发方法和装置、终端和服务器
US20090237328A1 (en) Mobile virtual and augmented reality system
JP2014112302A (ja) 所定領域管理システム、通信方法、及びプログラム
JP6001057B2 (ja) 情報生成及び処理のための方法、装置、及び端末機器
FR2987921A1 (fr) Procede de communication et d'informations en realite augmentee
CN104835105B (zh) 图片处理方法和装置
JP2012165276A (ja) 通信装置、通信システム、通信方法、及び通信プログラム
CN104615743B (zh) 图片显示方法及装置
JPWO2009110276A1 (ja) 利用者情報提示システム、利用者情報提示装置、利用者情報提示方法、及び利用者情報提示用プログラム
US10965915B2 (en) Collection system, program for terminal, and collection method
JP2016133701A (ja) 情報提供システム、及び情報提供方法
CN110300275A (zh) 视频录制、播放方法、装置、终端及存储介质
CN109040584A (zh) 一种互动拍摄的方法和装置
JP6909022B2 (ja) プログラム、情報端末、情報表示方法及び情報表示システム
JP2008135993A (ja) 自動撮影システム、その制御方法及びコンピュータプログラム
JP6869216B2 (ja) 拡張現実端末
US20230334799A1 (en) Information processing system, information processing method, and information processing program
JP6206537B2 (ja) 携帯端末、情報処理装置、およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160609

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160831

R150 Certificate of patent or registration of utility model

Ref document number: 6001057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250