JP6437720B2 - コンテンツ再生を制御するための方法及びその装置 - Google Patents

コンテンツ再生を制御するための方法及びその装置 Download PDF

Info

Publication number
JP6437720B2
JP6437720B2 JP2013256114A JP2013256114A JP6437720B2 JP 6437720 B2 JP6437720 B2 JP 6437720B2 JP 2013256114 A JP2013256114 A JP 2013256114A JP 2013256114 A JP2013256114 A JP 2013256114A JP 6437720 B2 JP6437720 B2 JP 6437720B2
Authority
JP
Japan
Prior art keywords
gesture
content
page
electronic device
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013256114A
Other languages
English (en)
Other versions
JP2014146309A (ja
Inventor
コン,ヒョン−スク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014146309A publication Critical patent/JP2014146309A/ja
Application granted granted Critical
Publication of JP6437720B2 publication Critical patent/JP6437720B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は電子装置におけるコンテンツを表示するための方法及びその装置に関するものであり、特にコンテンツ再生を制御するためのフレキシブルデバイスに関するものである。
近年、電子装置の急速な発達に伴って無線音声通話及び情報交換が可能な電子装置が生活の必需品となった。当該電子装置の普及当初は、単に携帯が可能で無線通話が可能なものとして認識されていたが、その技術の発達と無線インターネットの導入によって、当該電子装置は、単なる通話又はスケジュール管理ばかりでなく、ゲーム、近距離通信を利用したリモコン、搭載されたデジタルカメラによる映像撮影のように、その活用範囲が次第に広がり、ユーザの欲求を充足している。
上述のような電子装置は、マルチメディアサービスの提供によって処理する情報量及び表示すべき情報量が増加しつつある。それによって、空間活用度を向上して表示部のサイズを増加させるタッチスクリーンを具備した電子装置に対する関心が高まっている。
タッチスクリーンは、情報の入力と表示を一つのスクリーンで行う入力/表示装置である。したがって、タッチスクリーンを使用する場合、電子装置は、キーパッドのような別途の入力装置を除くことによって表示面積を増加させることができる。例えば、画面全体がタッチスクリーンに当てられたフルタッチ方式を使用する場合、電子装置の前面を画面として活用して画面のサイズを拡大することができる。
最近では、従来の印刷された本の代わりに、タッチスクリーンにテキストコンテンツを表示する電子書籍が登場している。電子書籍は、テキストコンテンツをフラッシュメモリや内蔵されたハードディスクに記憶してから表示画面を介して、記憶されたテキストコンテンツを示す。電子書籍では、大量の書籍内容を一気に記憶してから読みたい内容を選択して読むことができる。また、電子装置は、実際に印刷された本を表示するような効果を提供する。
一例として、電子装置は、ページがめくられるグラフィック効果とサウンド効果を提供し、実際に印刷された本のページがめくられるような効果を提供する。
更に、近年、電子装置にフレキシブルディスプレー(flexible display)が適用され、電子装置は、電子書籍を利用するユーザに実際に印刷された本を折るか伸ばすような感覚を提供する。
韓国公開特許第10−2012−0002253号
一般に、ユーザは、電子装置によって電子書籍を読むことによって、印刷された本を読む程度に、読書に対する達成感を得ることができない。
印刷された本を読みながら感じられる効果のうちの一つが、ページに対する触感である。
このような効果は本の側面に手を当てて残りのページに対して感じる触感であって、単に電子書籍の内容(テキストデータ)を表示する電子装置は、このような効果を提供することができない。
本発明の目的は、電子装置の表示部を変形してコンテンツの再生を制御するための装置及びその方法を提供することにある。
本発明の他の目的は、電子装置の表示部を変形してコンテンツの再生時点を変更するための装置及びその方法を提供することにある。
本発明のまた他の目的は、電子装置の表示部を変形してコンテンツの再生程度を確認するための装置及びその方法を提供することにある。
本発明の更に他の目的は、電子装置の表示部を変形してコンテンツインデックスを表示するための装置及びその方法を提供することにある。
上述した目的を達成するための本発明の第1見地によると、電子装置においてコンテンツ再生を制御するための方法は、コンテンツの再生中に表示部が変形される場合、ユーザのジェスチャーを感知するジェスチャー感知領域を表示する過程と、ユーザのジェスチャーを感知して再生されるコンテンツを制御する過程を含み、前記ジェスチャー感知領域を表示する過程は、コンテンツの再生程度に応じてジェスチャー感知領域の範囲を調節する過程を含む。
前記再生されるコンテンツを制御する過程は、前記コンテンツの再生区間を変更する過程、コンテンツの再生程度を確認する過程、コンテンツのインデックスを表示する過程のうち少なくとも一つを含む。
前記コンテンツの再生区間を変更する過程は、表示部を変形して電子書籍のページを転換する過程を含む。
前記コンテンツの再生程度を確認する過程は、表示部を変形して電子書籍の残りのページ情報を提供する過程を含む。
前記コンテンツのインデックスを表示する過程は、電子書籍を構成するチャプターが始まるページ、電子書籍の保存されたページ、メモが設定された電子書籍のページのうち少なくともいずれか一つの情報を提供する過程を含む。
前記再生されるコンテンツを制御する過程は、視覚的効果、聴覚的効果、触覚的効果のうち少なくともいずれか一つを利用してコンテンツを制御する過程を含む。
前記ユーザのジェスチャーを感知するジェスチャー感知領域を表示する過程は、再生区間の転換方向を定義した領域、転換速度を定義した領域のうち少なくともいずれか一つの領域を前記ジェスチャー感知領域に設定する過程を含む。
前記電子装置でコンテンツ再生を制御するための方法は、前記コンテンツ再生の途中表示部が変形される場合、再生されるコンテンツを制御する音声コマンドを認識する過程と、前記認識した音声コマンドを利用して再生されるコンテンツを制御する過程を含む。
上述した目的を達成するための本発明の第2見地によると、電子装置は変形可能であり、コンテンツを表示する表示部及び少なくとも一つのプロセッサを含み、前記プロセッサはコンテンツ再生の途中表示部が変形される場合、ユーザのジェスチャーを感知するジェスチャー感知領域を表示し、ユーザのジェスチャーを感知して再生されるコンテンツを制御するように処理するが、前記プログラムはコンテンツの再生程度に応じてジェスチャー感知領域の範囲を調節するように処理する。
前記プロセッサは前記コンテンツの再生区間の変更、コンテンツの再生程度の確認、コンテンツのインデックスの表示のうちいずれか一つの動作を行うように処理する。
前記プロセッサは表示部を変形して電子書籍のページを転換するように処理する。
前記プロセッサは表示部を変形して電子書籍の残りのページ情報を提供するように処理する。
前記プロセッサは電子書籍を構成するチャプターが始まるページ、電子書籍の保存されたページ、メモが設定された電子書籍のページのうち少なくともいずれか一つの情報を提供するように処理する。
前記プロセッサは視覚的効果、聴覚的効果、触覚的効果のうち少なくともいずれか一つを利用してコンテンツを制御するように処理する。
前記プロセッサは再生区間の転換方向を定義した領域、転換速度を定義した領域のうち少なくともいずれか一つの領域を前記ジェスチャー感知領域に設定するように処理する。
前記プロセッサは前記コンテンツ再生の途中表示部が変形される場合、再生されるコンテンツを制御する音声コマンドを認識し、前記認識した音声コマンドを利用して再生されるコンテンツを制御するように処理する。
上述した目的を達成するための本発明の第3見地によると、電子装置によって実行される場合、前記装置のコンテンツ再生の途中表示部が変形される場合、コンテンツの再生程度に応じてユーザのジェスチャーを感知するジェスチャー感知領域の範囲を調節して表示する過程と、ユーザのジェスチャーを感知して再生されるコンテンツを制御する過程を実行させるプログラムを記憶したコンピュータが判読可能な記憶媒体を含む。
本発明によってコンテンツの再生を制御する電子装置の構成を示すブロック図である。 本発明による電子装置でコンテンツの再生を制御する過程を示すフローチャートである。 本発明の好ましい一実施例による電子装置でコンテンツの再生を制御する過程を示すフローチャートである。 本発明の他の実施例による電子装置でコンテンツの再生を制御する過程を示すフローチャートである。 本発明による電子装置において、区間制御領域が表示される過程を示す図である。 本発明による電子装置において、第1方向にページを転換する画面を示す図である。 本発明による電子装置において、第2方向にページを転換する画面を示す図である。 本発明の他の実施例による電子装置でコンテンツの再生区間を制御する画面を示す図である。 本発明のまた他の実施例による電子装置でコンテンツの再生状況を提供する状況を示す図である。 本発明の好ましいまた他の実施例による電子装置で表示する区間制御領域を示す図である。 本発明の他の実施例による電子装置でコンテンツの再生時点を変更する過程を示す図である。 本発明の他の実施例による電子装置でコンテンツの再生時点を変更する過程を示すフローチャートである。
以下、添付の図面を参照して本発明の動作原理を詳しく説明する。以下で本発明を説明するに当たって、関連する公知機能或いは構成に対する具体的な説明が本発明の要旨を不明確にする恐れがあると判定される場合、その詳細な説明を省略する。そして、後述する用語は本発明における機能を考慮して定義されたものであり、これはユーザ、オペレータの意図又は慣例などによって異なることがある。従って、その定義は本明細書全般にかかる内容に基づいて下されるべきである。
以下の説明では、本発明による電子装置で再生されるコンテンツを制御するための方法及びその装置について説明する。
電子装置は外部の力によって形が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、しわが寄る(wrinkled)ように変形することができるフレキシブルディスプレー部を含む。
加えて、電子装置は、携帯用電子装置(portable electronic device)であってもよく、携帯用端末機(portable terminal)、移動端末機(mobile terminal)、メディアプレーヤー(media player)、タブレットコンピュータ(tablet computer)、ハンドヘルドコンピュータ(handheld computer)又はPDA(Personal Digital Assistant)のような装置であってもよい。また、このような装置のうち2つ以上の機能を結合した装置を含む任意の携帯用電子装置であってもよい。
図1は、本発明によってコンテンツの再生を制御する電子装置の構成を示すブロック図である。
図1に示したように、電子装置100はメモリ110、プロセッサユニット(processor unit)120、オーディオ処理部130、通信システム140、入出力制御モジュール150、タッチスクリーン160及び入力装置170を含む。ここで、上述した構成のうち少なくとも一つは複数個存在してもよい。一例によると、電子装置100は複数のメモリ又は複数の通信システムを含む。
メモリ110は、電子装置100の動作を制御するためのプログラムを記憶するプログラム記憶部111及びプログラムを行う途中で発生するデータを記憶するデータ記憶部112を含む。例えば、データ記憶部112は電話帳、発信メッセージ及び受信メッセージのような更新可能な各種保管用データを記憶し、本発明によって表示部162の形の変形を判定するのに使用される基準値を記憶する。
データ記憶部112は再生されるコンテンツを制御するためのユーザのジェスチャーを記憶する。
ユーザのジェスチャーはコンテンツの再生時点を転換するようにするユーザのジェスチャーである。ここて、再生時点を転換することは、電子書籍のページ転換、マルチメディアデータの再生時点を変更することであってもよい。
ユーザのジェスチャーは、再生されるコンテンツのインデックスが表示されるようにするユーザのジェスチャーであってもよい。
ユーザのジェスチャーはコンテンツの再生程度(現在まで再生された量、これから再生される量)を確認するようにするユーザのジェスチャーであってもよい。
プログラム記憶部111は、OS(オペレーティングシステム)プログラム113、ジェスチャー分析プログラム114、コンテンツ分析プログラム115、表示プログラム116及び少なくとも一つの応用プログラム117を含む。ここで、プログラム記憶部111に含まれるプログラムはコマンドの集合であって、コマンドセット(instruction set)と表現されてもよい。
OSプログラム113は、一般的なシステム作動(system operation)を制御する様々なソフトウェア構成要素を含む。このような一般的なシステム作動の制御は、例えばメモリの管理及び制御、記憶ハードウェア(装置)の制御及び管理、電力の制御及び管理などを意味する。このようなOSプログラム113は、様々なハードウェア(装置)とプログラム構成要素(モジュール)と間の通信を円滑にする機能も行う。
ジェスチャー分析プログラム114は、電子装置のタッチスクリーン160上に感知されるユーザのジェスチャーを分析するものであり、再生されるコンテンツを制御するためのユーザのジェスチャーを分析するための様々なソフトウェア構成要素を含む。
ジェスチャーは、電子装置のタッチスクリーンにタッチパターンを成すことを意味する。タッチはユーザの指又はスタイラスペンなど外部の入力手段によって電子装置のタッチスクリーン上で行われ、ジェスチャーはタッチスクリーンにタッチが維持された状態で一定のパターンのドラッグ(drag)が行われることを意味する。場合によっては、ジェスチャーはタッチが維持された状態でのドラッグ及びタッチの解除(release)まで行われることも意味する。
一例に、ジェスチャー分析プログラム114はコンテンツの再生時点を転換するようにするユーザのジェスチャーを分析する。この際、ジェスチャー分析プログラム114はユーザのジェスチャーを分析して転換される再生時点の方向及び範囲を確認する。
ジェスチャー分析プログラム114は再生されるコンテンツのインデックスが表示されるようにするユーザのジェスチャーを分析する。
ジェスチャー分析プログラム114はコンテンツの再生程度(現在まで再生された量、これから再生される量)を確認するようにするユーザのジェスチャーを分析する。
ジェスチャー分析プログラム114は表示される区間制御領域で感知されるユーザのジェスチャーを分析した後、分析結果をコンテンツ分析プログラム115に伝達する。
コンテンツ分析プログラム115はコンテンツの実行を制御するための様々なソフトウェア構成要素を含む。
一例に、コンテンツ分析プログラム115は実行されるコンテンツの再生程度を確認する。一例によると、コンテンツ分析プログラム115は実行されるコンテンツの現在まで再生された量、これから再生される量を確認する。
コンテンツ分析プログラム115は転換されるページ、コンテンツのインデックスなどを確認する。
このようなコンテンツ分析プログラム115は、コンテンツに対する分析結果を表示プログラム116に伝達する。
表示プログラム116は、タッチスクリーン160上にグラフィックを提供し表示するための様々なソフトウェア構成要素を含む。グラフィック(graphics)という用語はテキスト(text)、ウェブページ(web page)、アイコン(icon)、デジタルイメージ(degital image)、ビデオ(video)、アニメーション(animation)などを含む意味で使用される。
表示プログラム116は、本発明によって表示部162の形が変形される場合、実行されるコンテンツの再生を制御するようにするジェスチャーを感知する区間制御領域を表示するように処理する。
表示プログラム116は、本発明によってユーザのジェスチャーによって再生されるコンテンツの再生時点(ページ転換)を変更するか、コンテンツの再生程度を表示するように処理する。
表示プログラム116は、表示された区間制御領域を介して感知されるジェスチャーによって再生されるコンテンツのインデックスを表示するように処理する。
応用プログラム117は、電子装置100に設置された少なくとも一つの応用プログラムに対するソフトウェア構成要素を含む。
プロセッサユニット120は少なくとも一つのプロセッサ(processor)122及びインタフェース124を含む。ここて、プロセッサ112及びインタフェース214は、少なくとも一つの集積化された回路として集積化されるか、別途の構成要素として具現化される。
インタフェース124は、プロセッサ122とメモリ110アクセスを制御するメモリインタフェースの役割を果たす。
加えて、インタフェース124は、電子装置100の入出力周辺装置とプロセッサ122との連結を制御する周辺装置インタフェースの役割を果たす。
プロセッサ122は、少なくとも一つのソフトウェアプログラムを使用して再生されるコンテンツの制御を実行するようにする。この際、プロセッサ122はメモリ110に記憶されている少なくとも一つのプログラムを実行し、該当プログラムに対応する機能を行うように制御する。例えば、プロセッサ122は表示部162の形が変形される場合、再生されるコンテンツの再生時点の変更、再生程度の提供、コンテンツのインデックスの確認などに当たる動作を行うようにするグラフィックプロセッサを含む。
一実施例によると、電子装置100のコンテンツの再生制御機能はメモリ110に記憶されたプログラムのようなソフトウェア又はグラフィックプロセッサのようなハードウェアを利用して行う。電子装置100のコンテンツの再生制御機能は表示部162の形が変形される時点に自動的に実行されるか、又は機能を実行するようにするジェスチャーの入力(タッチ入力、メニュ入力、ボタン入力)が感知される場合に行われる。
オーディオ処理部130は、スピーカ131及びマイクロフォン132を介してユーザと電子装置100との間のオーディオインタフェースを提供する。一例に、オーディオ処理部130はコンテンツの再生制御によるオーディオ効果を出力する。
通信システム140は、電子装置100の音声通信及びデータ通信のための通信機能を行う。この際、通信システムは互いに異なる通信ネットワークをサポートする複数個の通信サブモジュールで区分される。例えば、通信ネットワークはそれらに限らないが、GSM(登録商標)(Global System for Mobile Communication)ネットワーク、EGDE(Enhanced Data GSM(登録商標) Environment)ネットワーク、CDMA(Code Division Multiple Access)ネットワーク、W−CDMA(W−Code Division Multiple Access)ネットワーク、LTE(Long Term Evolution)ネットワーク、OFDMA(Orthogonal Frequency Division Multiple Access)ネットワーク、無線LAN,Bluetooth(登録商標)ネットワーク及びNFC(Near Field Communication)などを含む。
入出力制御モジュール150は、タッチスクリーン160及び入力装置170などの入出力装置とインタフェースとの間にインタフェースを提供する。
タッチスクリーン160は情報の出力及び情報の入力を行う入出力装置であり、タッチ入力部161と表示部162とを含む。
タッチ入力部161は、タッチパネルを介して感知されたタッチ情報を、入出力制御モジュール150を介してプロセッサユニット120に提供する。この際、タッチ入力部161はタッチ情報をタッチダウン(touch_down)、タッチムーブ(touch_move)及びタッチアップ(touch_up)のようなコマンド構造に変更してプロセッサユニット120に提供するものであり、本発明によってコンテンツを制御するようにする入力データを発生する。
表示部162は、電子装置100の状態情報、ユーザの入力する文字、動画(moving picture)及び静画像(still picture)などを表示する。例えば、表示部162は、本発明によって外部の力によって表示部の形が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、しわが寄るように変形される。
加えて、表示部162は、本発明によってユーザのジェスチャーによって制御されるコンテンツを表示する。
入力装置170は、ユーザの選択によって発生する入力データを、入出力制御モジュール150を介してプロセッサユニット120に提供する。例えば、入力装置170は、電子装置100の制御のための制御ボタンのみを含んで構成される。他の例として、入力装置170は、ユーザから入力データを提供されるためのキーパッドで構成される。
このような入力装置170は、本発明によってコンテンツを制御するようにする入力データを発生する。
電子装置100は、電子装置の変形、例えば、伸びる、縮む、撓む、折られる、捻られる、曲げる及び伸ばされることのうちいずれか一つの変形を感知するセンサ部を具備する。このような変形は表示部162の変形に相当する。例えば、センサ部は、表示部162の画面の変形、例えば、伸びる、縮む、撓む、折られる、捻られる、曲げる及び伸ばされることのうちいずれか一つの変形を感知する。それに、センサ部は、撓む、折られる、捻られる、曲げる及び伸ばされるなどの変形の程度を測定する。
このようなセンサ部によって感知された情報は、メモリ110に含まれたプログラムの動作に使用される。
図示していないが、電子装置100は、イメージ又は動画撮影のためのカメラモジュール、放送受信のための放送受信モジュール、MP3モジュールのようなデジタル音源再生モジュール、近距離通信のための近距離無線通信モジュール及び近接センシングのための近接センサモジュールなど、付加機能を提供するための構成要素とそれらの動作のためのソフトウェアを更に含む。
図2は、本発明による電子装置でコンテンツの再生を制御する過程を示すフローチャートである。
図2を参照すると、電子装置とは表示手段としてフレキシブル表示部を具備した電子装置を意味するものであり、フレキシブルデバイスとも呼ばれる。
このような電子装置(フレキシブルデバイス)は、外部の力によって表示部の形が変形される。ここで形が変形されるということは、表示部が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、皺むように外部の力によって形が変化することをいう。
電子装置はステップ201でコンテンツビューアを実行した後、ステップ203に進行して実行されたコンテンツビューアを利用してコンテンツを再生する。ここで、コンテンツとは電子装置で再生可能なデータを意味し、多数のページで構成されたデジタルコンテンツ(電子書籍、文書データなど)であってもよい。
コンテンツは多数のフレームで構成されたデジタルコンテンツ(ビデオデータ、オーディオデータ)であってもよい。
コンテンツはそれぞれのコンテンツをグループ化したコンテンツのアルバム(例えば、イメージアルバム、メディアアルバム)などであってもよい。
よって、コンテンツビューアとはコンテンツを再生するプログラムを意味する。
電子装置はステップ205に進み、表示部の変形が感知されるのかを確認する。
この際、電子装置は表示部の伸びる、縮む、撓む、折られる、捻られる、折られる及び伸ばされるなどの変形の類型と、そのような変形の程度を確認するためにセンサを具備する。このようなセンサは複数個が使用されてもよく、表示部に装着されるか又は表示部と離隔されて装着されてもよい。
このような電子装置は外部の圧力によって変形されるものであり、ユーザが意図していない状況でも微細な変形を感知することができる。よって、電子装置は予め決めた基準以上の変形程度が感知される場合、表示部が変形されたと判定することが好ましい。
ステップ205で表示部の変形が感知されない場合、電子装置はステップ203の処理を再び行い、持続的にコンテンツを再生してコンテンツの再生画面を表示するように処理する。
ステップ205で表示部の変形が感知される場合、電子装置はステップ207に進み、実行されるコンテンツに対する区間制御領域を表示する。ここで、区間制御領域とは実行されるコンテンツの再生を制御するようにするジェスチャーが感知される領域をいい、コンテンツの再生を制御することはコンテンツの再生時点を以前又は以降に変更することであってもよい。
コンテンツの再生を制御することは、再生されるコンテンツのインデックスを表示することであってもよい。一般に、インデックスとはコンテンツに含まれた特定データを確認するために該当データの地点を示すものであり、本発明でのインデックスは電子書籍を構成する各チャプターの開始地点、電子書籍の保存されたページの地点、電子書籍のユーザメモが設定された地点などであってもよい。
一実施例によると、電子装置のユーザは区間制御領域にジェスチャーを発生させ、現在再生されて表示されるコンテンツの再生地点を転換するか又はコンテンツのインデックスを表示するようにする。
電子装置は、本発明の一実施例として区間制御領域の表示地点を表示部が変形される地点に使用するものであり、表示部の変形とは関係なく予め決められたユーザのジェスチャー又は予め決められたメニュの入力を利用して区間制御領域を表示する。
電子装置は、表示部が変形される前に区間制御領域を表示し、表示部が変形される地点でのみ区間制御領域の動作を行ってもよい。
電子装置はステップ209に進み、表示された区間制御領域に対するユーザのジェスチャーが感知されるのかを確認する。
ここて、ユーザのジェスチャーは、コンテンツの再生を制御するためのユーザのジェスチャーであって、コンテンツの再生時点を転換するようにするユーザのジェスチャーである。
ユーザのジェスチャーは、再生されるコンテンツのインデックスが表示されるようにするユーザのジェスチャーである。
ステップ209で区間制御領域に対するジェスチャーが感知されない場合、電子装置は、ステップ213に進み、現在再生中のコンテンツの再生程度(現在まで再生された量、これから再生する量)を出力する。
電子装置は振動効果、オーディオ効果などを利用してコンテンツの再生程度を出力する。
一例に、電子装置は残りの再生区間の量を多数の等級に定義し、等級ごとに振動パターン(振動強度、振動時間)、オーディオ信号を互いに異なるように定義する。
ステップ209で区間制御領域に対するジェスチャーが感知される場合、電子装置はステップ211に進み、ジェスチャーに対応する画面を表示する。
一実施例によると、電子装置はステップ211で表示されたコンテンツの再生時点を変更するか、再生されるコンテンツのインデックスを表示する。
一例に、電子装置が電子書籍を実行した場合、ユーザのジェスチャーに応じて電子書籍のページを前後に転換するか、電子書籍のインデックスを表示する。
他の例として、電子装置がオーディオデータを再生する場合、ユーザのジェスチャーに応じてオーディオデータの再生地点を前後に変更するか、再生されるオーディオデータのメタ情報をインデックス情報として表示する。
また他の例として、電子装置がイメージデータを再生する場合、ユーザのジェスチャーに応じて以前のイメージデータ又は次のイメージデータを再生するか、再生されるイメージデータのメタ情報をインデックス情報として表示する。
上述する説明では、区間制御領域でユーザのジェスチャーが感知されない場合、現在再生中のコンテンツの再生程度を出力したが、本発明による電子装置は予め決められたユーザのジェスチャーを感知して現在再生中のコンテンツの再生程度を出力してもよい。即ち、コンテンツの再生程度を出力することもコンテンツの再生を制御する動作の一種になり得る。
図3は、本発明の好ましい一実施例による電子装置でコンテンツの再生を制御する過程を示すフローチャートである。
図3を参照すると、電子装置は多数のページで構成されたデジタルコンテンツ(例えば、電子書籍アプリケーションの実行画面)を表示した状態でコンテンツ再生を制御するようにするユーザのジェスチャーを感知した状態であると仮定する。この際、電子装置は表示した区間制御領域に対するジェスチャーを感知し、コンテンツの再生地点を変更するか再生されるコンテンツのインデックスを表示するユーザのリクエストを判定する。
ここで、コンテンツの再生地点を変更することは、現在実行中の電子書籍のページを以前のページに変更するか次のページに変更することであり、コンテンツのインデックスを表示することは、電子書籍を構成する各チャプターの開始地点、電子書籍の保存されたページの地点、電子書籍のユーザメモが設定された地点などを表示することであってもよい。
電子装置はステップ301でページ転換のためのユーザのジェスチャーを感知するのかを確認する。
ここで、ページ転換は現在実行中の電子書籍のページを以前のページに変更するか次のページに変更することであって、ユーザは予め決められたジェスチャーを利用して以前のページ又は次のページに変更する。加えて、電子装置はユーザのジェスチャーに応じてページ転換速度及び範囲を調節する。
ステップ301でページ転換のためのジェスチャーを感知した場合、電子装置はステップ303に進行してページ転換方向及び転換速度を確認した後、ステップ305に進行して該当方向及び速度に応じてページを転換するように処理する。
電子装置は区間制御領域に対するユーザのジェスチャーを感知してページ転換方向及び速度を確認するものであり、電子装置は本発明の一実施例によって複数の区間制御領域を設定する。この際、設定される区間制御領域の個数はページ転換が可能な方向の数と同じである。
これはユーザのジェスチャーが感知された区間制御領域に設定された転換方向にのみページが転換されるということで、表示される電子書籍の両側にそれぞれ配置される。一実施例によると、第1方向に配置された第1区間制御領域でユーザのジェスチャーが感知されると電子装置は第1方向にのみページを転換させ、逆に第2方向に配置された第2区間制御領域でユーザのジェスチャーが感知されると電子装置は第2方向にのみページを転換させる。第1区間制御領域は現在表示中のページを基準に以前のページに転換するようにする区間制御領域となり、第2区間制御領域は現在表示中のページを基準に次のページに転換するようにする区間制御領域となる。
それぞれの区間制御領域は複数の領域に分割され、分割された領域に合わせてページ転換速度及び範囲を調節する。一実施例によると、分割される領域を第1領域と第2領域に定義することができ、第1領域でユーザのジェスチャーが感知されると、電子装置はジェスチャーが感知された区間制御領域に当たる方向にページが基準速度で転換されるように処理する。逆に、第2領域でユーザのジェスチャーが感知されると、電子装置はジェスチャーが感知された区間制御領域に当たる方向にページが基準速度より速く転換されるように処理する。
電子装置は本発明の他の実施例によって一つの区間制御領域を設定する。これは、区間制御領域を複数の領域に分割し、ユーザのジェスチャーが感知された領域に当たる方向にページが転換されることである。
分割される領域を第1領域と第2領域に定義することができ、第1領域は現在表示中のページを基準に以前のページに転換するようにする領域となり、第2領域は現在表示中のページを基準に次のページに転換するようにする領域となる。
第1領域と第2領域は細部に区分され、各区分された領域に合わせてページ転換速度及び範囲を調節する。
それによって、電子装置のユーザは区間制御領域の第1領域にジェスチャーを発生させて以前のページに転換されるようにし、第1領域の中でジェスチャーを変更しながらページ転換速度を調節するのである。
複数の区間制御領域を設定することはユーザが両手で電子装置を把持する状況に適合しており、一つの区間制御領域を設定することはユーザが片手で電子装置を把持する状況に適合している。
ステップ301でインデックス表示のためのジェスチャーを感知した場合、電子装置はステップ307に進み、コンテンツに対するインデックスを表示する。ここで、複数のページで構成されたデジタルコンテンツのインデックスは各チャプターの開始地点、電子書籍の保存ページ地点、電子書籍のユーザメモが設定された地点などを意味する。
図4は、本発明の他の実施例による電子装置でコンテンツの再生を制御する過程を示すフローチャートである。
図4を参照すると、電子装置とは表示手段としてフレキシブル表示部を具備した電子装置を意味するものであり、フレキシブルデバイスとも呼ばれる。
このような電子装置(フレキシブルデバイス)は、外部の力によって表示部の形が変形される。ここで形が変形されるということは、表示部の形が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、しわが寄るように外部の力によって形が変化することをいう。
電子装置はステップ401でコンテンツビューアを実行した後、ステップ403に進み、実行されたコンテンツビューアを利用してコンテンツを再生する。ここで、コンテンツとは、電子装置で再生可能なデータを意味するものであって、コンテンツは複数のページで構成されたデジタルコンテンツ(電子書籍、文書データなど)であってもよい。
コンテンツは複数のフレームで構成されたデジタルコンテンツ(ビデオデータ、オーディオデータ)であってもよい。
コンテンツはそれぞれのコンテンツをグループ化したコンテンツのアルバムであってもよい。
よって、コンテンツビューアとはコンテンツを再生するプログラムを意味する。
電子装置はステップ405に進み、表示部の変形が感知されるのかを確認する。
電子装置は表示部の伸びる、縮む、撓む、折られる、捻られる、折られる及び伸ばされるなどの変形の類型と、そのような変形の程度を確認するためにセンサを具備する。このようなセンサは複数個が使用されてもよく、表示部に装着されるか又は表示部と離隔されて装着されてもよい。
前記のような電子装置は外部の圧力によって変形されるものであり、ユーザが意図していない状況でも微細な変形が感知される。よって、電子装置は予め決めた基準以上の変形程度が感知される場合、表示部が変形されたと判定することが好ましい。
ステップ405で表示部の変形が感知されない場合、電子装置はステップ403の過程を再び行い、持続的にコンテンツを再生してコンテンツの再生画面を表示するように処理する。
ステップ405で表示部の変形が感知される場合、電子装置はステップ407に進み、音声認識機能を行った後、ステップ409に進み、コマンドを認識する。
電子装置はステップ411に進み、認識されたコマンドに当たるコンテンツの区間を確認し、ステップ413に進み、確認された区間にページを転換するように処理する。
一例に、電子装置は、ユーザの音声から以前のページに転換するようにするコマンドを認識することができる。
電子装置はユーザの音声から次のページに転換するようにするコマンドを認識することができる。
電子装置はユーザの音声から特定の単語、ページ、内容を検索するようにするコマンドを認識することができる。
電子装置はユーザの音声からコンテンツの再生程度を確認するようにするコマンドを認識することができる。
電子装置はユーザの音声からコンテンツのインデックスを表示するようにするコマンドを認識することができる。
図5は、本発明による電子装置でコンテンツの再生区間を制御する画面を示す図である。
電子装置は、表示手段としてフレキシブルディスプレー部を具備したフレキシブルデバイスである。
電子装置は外部の力によって表示部の形が変形される。ここで形が変形されるということは、表示部の形が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、皺むように外部の力によって形が変化することをいう。
図5Aは、本発明による電子装置における区間制御領域が表示される過程を示す図である。
電子装置500は、複数のページで構成されたデジタルコンテンツ(例えば、電子書籍アプリケーションの実行画面)を再生する(501)。
この際、電子装置は参照符号(a)のように本の形のフレームを利用してデジタルコンテンツを再生し、実際に本を読んでいるような効果を提供する。一実施例によると、電子装置は実際の本と同じ形のフレームをコンテンツディスプレーの枠として使用し、フレームの中ではコンテンツの内容が表示されるようにするものであって、図示した図面では実際の紙本が開かれているような効果を提供する。
このようなデジタルコンテンツはユーザのジェスチャー(例えば、ドラッグ)に応じてページが転換される。一実施例によると、電子装置はコンテンツを再生する状況でユーザのジェスチャーを感知した場合、ページがめくられるような効果を提供しながら以前のページに転換するか次のページに転換する。一般に、ページを転換させるジェスチャーは該当ページに対するドラッグである。
ページが転換される場合、ページがめくられる音が出力されて聴覚的にも実際に本を読んでいるような効果を提供する。
本発明による電子装置は、表示部の形を変形してコンテンツの再生を制御する。ここで、コンテンツの再生を制御することは、ページ転換、残ったページ又は読んだページ量の確認、コンテンツのインデックスの確認、音声コマンドを利用したページ検索などになり得る。
一例に、参照符号(b)のようにユーザが電子装置を変形する(510)場合、電子装置は図示したように区間制御領域512,514を表示する。
図示した図面において、区間制御領域512,514は、本の形のフレームの側面であってもよく、本の形のフレームには第1区間制御領域(左側の区間制御領域)512と第2区間制御領域(右側の空間制御領域)514がある。一例に、第1区間制御領域512は再生されたコンテンツの量を示し、第2区間制御領域514は再生されるコンテンツの量を示す。
第1区間制御領域512は左側面にあるページ(読んだページ)が右側に転換されるようにする領域であり、第2区間制御領域514は右側面にあるページが左側に転換されるようにする領域である。ここで、左側面にあるページ(読んだページ)が右側に転換されることは現在ページを基準に以前ページに転換されることであり、右側面にあるページが左側面に転換されることは現在ページを基準に次のページに転換されることである。
区間制御領域はページ転換速度を制御する。一例に、区間制御領域は予め決めた基準線によって少なくとも2つの領域以上に区分される。区間制御領域が2つの領域に区分された状況を仮定すると、第1領域は基準速度より速くページを転換するようにし、第2領域は基準速度より遅くページを転換するようにする。
よって、電子装置のユーザは区間制御領域でタッチ地点を変更しながらページ転換速度を調節することができる。
図5Bは、本発明による電子装置における第1方向にページを転換する画面を示す図である。
まず、電子装置は上述したようにコンテンツを再生する状況で形が変形されると、区間制御領域を表示する。
それによって、電子装置のユーザは再生されるコンテンツを制御するために表示される区間制御領域のジェスチャーを発生させる。
図示した図面において、区間制御領域は本の形のフレームの側面に区間制御領域でジェスチャーを感知する場合、電子装置は再生されるコンテンツのページを転換するように処理する。
この際、電子装置はユーザのジェスチャーが感知された方向、位置を確認してページ転換速度及び転換方向を確認する。
一例に、参照符号(a)に示したように電子装置が区間制御領域で右側方向から左側方向にページが転換されるようにするジェスチャーを感知する(520)場合、電子装置は参照符号(b)に示したように右側ページを左側にめくってページを転換する(530)ようにする。ここで、右側方向から左側方向にページが転換されるようにするジェスチャーとは、右側面にあるページが左側に転換されるようにする区間制御領域で発生するジェスチャーをいう。
図5Cは、本発明による電子装置における第2方向にページを転換する画面を示す図である。
まず、電子装置は上述したようにコンテンツを再生する状況で形が変形されると、区間制御領域を表示する。
それによって、電子装置のユーザは再生されるコンテンツを制御するために表示される区間制御領域のジェスチャーを発生させる。
一実施例によると、区間制御領域でジェスチャーを感知する場合、電子装置は再生されるコンテンツのページを転換するように処理する。
この際、電子装置はユーザのジェスチャーが感知された方向、位置を確認してページ転換速度及び転換方向を確認する。
一例に、参照符号(a)に示したように電子装置が区間制御領域で左側方向から右側方向にページが転換されるようにするジェスチャーを感知する場合、電子装置は参照符号(b)に示したように左側ページを右側にめくってページを転換するようにする。ここで、左側方向から右側方向にページが転換されるようにするジェスチャーとは、左側面にあるページが右側に転換されるようにする区間制御領域で発生するジェスチャーをいう。
図6は、本発明の他の実施例による電子装置でコンテンツの再生区間を制御する画面を示す図である。
電子装置は、表示手段としてフレキシブルディスプレー部を具備したフレキシブルデバイスである。
電子装置は外部の力によって表示部の形が変形される。ここで形が変形されるということは、表示部の形が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、しわが寄るように外部の力によって形が変化することをいう。
このような電子装置は、表示部の形を変形してコンテンツの再生を制御する。ここで、コンテンツの再生を制御することは、ページ転換、残ったページ又は読んだページ量の確認、コンテンツのインデックスの確認、音声コマンドを利用したページ検索などを意味する。
表示部の形を変形してコンテンツのインデックスを確認することを例に挙げると、ユーザが電子装置を変形する場合、電子装置は図示したように区間制御領域を表示する。
図示した図面において、区間制御領域は開かれた本の形のフレームの側面である。
電子装置のユーザは、再生されるコンテンツ600を制御するために表示される区間制御領域にジェスチャーを発生させる。
一実施例によると、区間制御領域でジェスチャーを感知する場合、電子装置は再生中のコンテンツのチャプターを確認して各チャプターに対するインデックスを表示する。
一例に、参照符号(a)に示したように電子装置が予め決めたユーザのジェスチャーを感知した(601)場合(図示した図面における予め決めたユーザのジェスチャーは、区間制御領域で発生したジェスチャーが上側に変更されることと表現する)、参照符号(b)に示したようにコンテンツに含まれたチャプターに対するインデックスを表示する(610)。表示された各インデックスは各チャプターの開始部分を示すものであり、電子装置のユーザは、インデックスを選択して該当チャプターが始まるページに変更することができる。
一実施例によると、参照符号(c)に示したように表示されたインデックスのうち少なくともいずれか一つのインデックスを選択するジェスチャーを感知する(620)場合、電子装置は参照符号(d)のようにユーザが選択したインデックスに当たるチャプターのページに転換する(630)ように処理する。
図示した図面ではユーザがチャプター7に当たるインデックスを選択することで、電子装置はチャプター7が始まるページに転換して表示した状況を示す。
図7は、本発明のまた他の実施例による電子装置でコンテンツの再生状況を提供する状況を示す図である。
電子装置は、表示手段としてフレキシブルディスプレー部を具備したフレキシブルデバイスである。
電子装置は外部の力によって表示部の形が変形される。ここで形が変形されるということは、表示部の形が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、皺むように外部の力によって形が変化することをいう。
このような電子装置は、表示部の形を変形してコンテンツの再生を制御する。ここで、コンテンツの再生を制御することは、ページ転換、残ったページ又は読んだページ量の確認、コンテンツのインデックスの確認、音声コマンドを利用したページ検索などを意味する。
残ったページ又は読んだページ量の確認はコンテンツの再生程度を示すものであり、ユーザが電子装置を変形する場合、電子装置は図示したように区間制御領域を表示する。
図示した図面において、区間制御領域は開かれた本の形のフレームの側面である。
区間制御領域はコンテンツから再生されていない残ったページの量を示すものであり、区間制御領域の広さはコンテンツの再生状況によって変化される。
一実施例によると、区間制御領域が広いことは再生されていないページが多いということであり、区間制御領域が狭いことは再生されていないページが少ないということである。
電子装置のユーザはコンテンツの再生状況を確認するために、表示される区間制御領域にジェスチャーを発生させる。
一実施例によると、区間制御領域でジェスチャーを感知する場合、電子装置はコンテンツの再生状況を確認して、それを振動パターン(振動強度、振動回数など)、オーディオ信号などを利用して出力する。
一例に、参照符号(a)に示したように再生されていないページが多い状態701でコンテンツの再生程度を確認するようにするジェスチャーを感知する場合、電子装置は残ったページに当たる振動パターンを発生する。
参照符号(b)に示したように再生されていないページが少ない状態(710)でコンテンツの再生程度を確認するようにするジェスチャーを感知する場合、電子装置は残ったページに当たる振動パターンを発生する。
図示した図面では、残ったページが多いほど振動強度が大きく発生することを示している。
図8は、本発明の好ましいまた他の実施例による電子装置で表示する区間制御領域を示す図である。
まず、電子装置は上述したように表示手段としてフレキシブル表示部を具備したフレキシブルデバイスである。
電子装置は外部の力によって表示部の形が変形される。ここで形が変形されるということは、表示部の形が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、皺むように外部の力によって形が変化することをいう。
このような電子装置は、表示部の形を変形してコンテンツのページを転換する。
前記のようにコンテンツのページを転換するために、電子装置は表示領域に区間制御領域を表示する。
図示した図面において、区間制御領域は参照符号(a)のように開かれた本の形のフレームの側面801である。
一実施例によって、区間制御領域はコンテンツのページ転換方向を区分する。
これは、一つの区間制御領域に互いに異なる方向にページが転換されるようにするためである。
一実施例によると、参照符号(b)に示したように区間制御領域は第1方向領域と第2方向領域に区分される。
それぞれの方向領域は第1速度領域と第2速度領域に区分される。
これは、ユーザが第1方向領域でジェスチャーを変更することで第1方向に互いに異なる速度でページが転換されるようにし、第2方向領域でジェスチャーを変更することで第2方向に互いに異なる速度でページが転換されるようにすることをいう。このような区間制御領域は、片手で電子装置を制御するユーザに適合している。
他の例によって、区間制御領域にはページ転換方向が予め定義されてもよい。
これは、各区間制御領域に該当方向にのみページが転換されるようにするためのことであり、電子装置は第1方向及び第2方向に当たる区間制御領域を区分して定義することができる。
一実施例によると、参照符号(c)に示したように区間制御領域(第1方向に当たる区間制御領域)は第1速度領域と第2速度領域にのみ区分される。
これは区間制御領域に転換可能なページの方向が予め決められていることであって、ユーザは区間制御領域でジェスチャーを発生させて予め決められた方向にページを転換するかジェスチャーを変更することでページ転換速度を変更することができる。
このような区間制御領域は、両手で電子装置を制御するユーザに適合している。
これまで本発明による表示される区間制御領域のジェスチャーを感知して再生されるコンテンツを制御する電子装置について説明したが、本発明による電子装置は電子装置の変形、例えば、伸びる、縮む、撓む、折られる、捻られる、折られる及び伸ばされることのうちいずれか一つの変形を感知するセンサ部を具備し、変形程度に応じて再生されるコンテンツを制御することができる。一実施例によると、電子装置は姿勢情報と表示部の変形情報を利用してコンテンツの転換方向を把握する。一例に、電子装置がジャイロセンサ、加速度センサなどを利用して電子装置の左側部分が下端部を向いており、表示部の形が変形されることを確認して実際の紙本のページが転換されるように再生される電子書籍のページが次のページに転換されるようにする。
図9は、本発明の他の実施例による電子装置でコンテンツの再生時点を変更する過程を示す図である。
電子装置は、表示手段としてフレキシブルディスプレー部を具備したフレキシブルデバイスである。
電子装置は外部の力によって表示部の形が変形される。ここで形が変形されるということは、表示部の形が曲がるか、撓むか、折られるか、巻かれるか、伸ばされるか、捻られるか、伸びるか、しわが寄るように外部の力によって形が変化することをいう。
図9を参照すると、電子装置は、複数のページで構成されたデジタルコンテンツ(例えば、電子書籍アプリケーションの実行画面)を再生する(900)。
この際、電子装置は、図9(a)に示したように本の形のフレームを利用してデジタルコンテンツを再生し、実際に本を読んでいるような効果を提供する。即ち、電子装置は実際の本と同じ形のフレームをコンテンツディスプレーの枠として使用し、フレームの中ではコンテンツの内容が表示されるようにするものであって、図示した図面では実際の印刷した本が開かれているような効果を提供する。
このようなデジタルコンテンツはユーザのジェスチャー(例えば、ドラッグ)に応じてページが転換される。即ち、電子装置はコンテンツを再生する状況でユーザのジェスチャーを感知した場合、ページがめくられるような効果を提供しながら以前のページに転換するか次のページに転換する。一般に、ページを転換させるジェスチャーは該当ページに対するドラッグである。
ページが転換される場合、ページがめくられる音が出力されて聴覚的にも実際に本を読んでいるような効果を提供する。
本発明による電子装置は、表示部の形を変形して電子書籍のページ転換、マルチメディアデータの再生地点の変更などのようにコンテンツの再生時点を変更する。
この際、電子装置は再生されるコンテンツの再生時点の変更方向、変更速度などを判定する区間制御領域を表示し、区間制御領域で発生するジェスチャーと表示部の形の変形を感知してコンテンツの再生時点を変更する。
図示した図面において、区間制御領域は本の形のフレームの側面であってもよく、本の形のフレームには第1区間制御領域(左側の区間制御領域)901−1と第2区間制御領域(右側の空間制御領域)901−2がある。一例に、第1区間制御領域901−1は、コンテンツの現在の再生時点を以前に変更するようにするジェスチャーを感知する領域であり、第2区間制御領域901−2はコンテンツの現在の再生時点を以降に変更するようにするジェスチャーを感知する領域である。
一実施例によると、図9(b)に示したように第2区間制御領域でユーザのジェスチャーが感知された状態(912)で表示部の変形が感知される(910)と、電子装置は現在の再生時点を予め決められた方向である次のページに変更するように処理する。この際、電子装置は区間制御領域で感知されるタッチ面積に応じて再生時点の変更速度を調節する。一般に、区間制御領域の枠の近くでジェスチャーが感知される場合のジェスチャーによるタッチ面積は、区間制御領域の中心でジェスチャーが感知される場合より狭いと思われる。
前記のように区間制御領域に対するタッチ面積を区分することができるため、電子装置は区分されたタッチ面積に当たる速度で再生時点を変更することができる。
一例に、ある閾値より狭い面積に対しては基準速度で再生時点を変更し、閾値より広い面積に対しては基準速度より早い速度で再生時点を変更するようにする。このような内容は図9(b)に示したものであり、区間制御領域で感知されたタッチ面積が閾値より広い場合には第2速度で再生区間を調節し、区間制御領域で感知されたタッチ面積が閾値より狭い場合には第1速度で再生区間を調節する。
図9(c)に示したように第1区間制御領域でユーザのジェスチャーが感知された状態(922)で表示部の変形が感知される(920)と、電子装置は現在の再生時点を予め決められた方向である以降のページに変更する(924)ように処理する。この際、電子装置は区間制御領域で感知されるタッチ面積に応じて再生時点の変更速度を調節する。
本発明による電子装置は予め決められた区間制御領域に対するユーザのジェスチャーが感知された状態で表示部の変形が感知されると予め決められた方向、速度などに応じて再生中のコンテンツの再生時点を変更することができるものであり、ユーザは区間制御領域をタッチした状態で実際に本を曲げるように表示部を曲げてコンテンツのページをめくることができる。これは、実際に本の端を跳ねさせてページを変更するモーションを電子装置でも同じく使用することができるということを意味する。
図9(a)(b)では区間制御領域に対するユーザのジェスチャーによって再生時点の変更方向、速度などを決定したが、本発明による電子装置は表示部の変形程度に応じて再生時点の変更方向、速度などを決定する。
図示していないが、電子装置は区間制御領域でユーザのジェスチャーを感知する場合、再生時点を変更するイベントが発生したと判定する。
電子装置は曲がる表示部の領域、曲げ程度を確認する。
表示部は中央を基準に第1領域(左側領域)と第2領域(右側領域)に区分され、ユーザは第1領域を曲げることでコンテンツの現在の再生時点を以前に変更するようにし、第2領域を曲げることでコンテンツの現在の再生時点を以降に変更するようにする。
電子装置は閾値を基準に曲げ程度を区分し、区分された曲げ程度に応じて再生時点の変更速度を互いに異なるように定義する。
これは、区間制御領域に対するタッチ入力を維持した状態で変形される表示部の領域に当たる方向に再生時点を変更することである。
図示していないが、電子装置は区間制御領域でユーザのジェスチャーとは関係なくコンテンツが再生される状況で表示部の変形を感知する場合、再生時点を変更するイベントが発生したと判定する。
電子装置は曲がる表示部の領域、曲げ程度を確認する。
表示部は中央を基準に第1領域(左側領域)と第2領域(右側領域)に区分され、ユーザは第1領域を曲げることでコンテンツの現在の再生時点を以前に変更するようにし、第2領域を曲げることでコンテンツの現在の再生時点を以降に変更するようにする。
この際、電子装置は閾値を基準に曲げ程度を区分し、区分された曲げ程度に応じて再生時点の変更速度を互いに異なるように定義する。
これは、区間制御領域に対するタッチ入力とは関係なく変形される表示部の領域に当たる方向に再生時点を変更することである。
図10は、本発明の他の実施例による電子装置でコンテンツの再生時点を変更する過程を示すフローチャートである。
図10を参照すると、電子装置は上述したように表示手段としてフレキシブルディスプレー部を具備する。
このような電子装置はステップ1001でコンテンツビューアを実行した後、ステップ1003に進み、実行されたコンテンツビューアを利用してコンテンツを再生する。ここで、コンテンツとは、電子装置で再生可能なデータを意味し、複数のページで構成されたデジタルコンテンツ(電子書籍、文書データなど)であってもよい。
加えて、コンテンツは複数のフレームで構成されたデジタルコンテンツ(ビデオデータ、オーディオデータ)であってもよい。
加えて、コンテンツはそれぞれのコンテンツをグループ化したコンテンツのアルバム(例えば、イメージアルバム、メディアアルバム)であってもよい。
よって、コンテンツビューアとはコンテンツを再生するプログラムを意味する。
以下の説明では、電子書籍コンテンツが実行される状況を仮定して説明する。
電子装置はステップ1005に進み、ページ変更のためのジェスチャーが感知されるのかを確認する。電子装置はコンテンツを再生する際に再生される電子書籍コンテンツに対する区間制御領域を表示する。ここで、区間制御領域とは実行されるコンテンツのページを変更するようにするジェスチャーが感知される領域をいい、電子装置は区間制御領域上でジェスチャーを感知して現在の再生ページを以前のページ又は次のページに変更する。
ステップ1005でページ変更のためのジェスチャーが感知されない場合、電子装置はステップ1003の過程を更に行う。
ステップ1005でページ変更のためのジェスチャーが感知される場合、電子装置はステップ1007に進み、ジェスチャー分析して変更方法を確認する。
ここで、ページ変更方法とはページ変更方向、ページ変更速度などのように現在出力中のページを変更する方法をいう。
電子装置はコンテンツを再生する際に第1区間制御領域と第2区間制御領域を表示する。第1区間制御領域はコンテンツの現在の再生時点を以前に変更するようにするジェスチャーを感知する領域であり、第2区間制御領域はコンテンツの現在の再生時点を以降に変更するようにするジェスチャーを感知する領域である。
電子装置はユーザのジェスチャーが感知された区間制御領域を確認し、ページ転換方向を確認する。加えて、電子装置は区間領域に対するタッチ面積を利用してページ変更速度を確認する。
電子装置はステップ1009に進み、ジェスチャーが感知された状態で表示部の変形が感知されるのかを確認する。
ステップ1009で表示部の変形が感知されない場合、電子装置はステップ1009の過程を再び行う。
ステップ1009で表示部の変形が感知される場合、電子装置はステップ1011に進み、ステップ1007で確認したページ変更方法に合わせてページを変更する。
図10の動作を行う電子装置は、予め決められた区間制御領域に対するユーザのジェスチャーが感知された状態で表示部の変形が感知されると、予め決められた方向、速度などに応じて再生中のコンテンツのページを変更可能である。
本発明によるコンテンツの再生を制御するための電子装置及びその方法によると、実際に印刷された本を変形するように電子装置の外形を変形してコンテンツの再生を制御することで、実際に印刷された本を読んでいるような感じを提供する電子書籍機能を提供することができる。
一方、本発明の詳細な説明では具体的な実施例に関して説明したが、本発明の範囲を逸脱しない範囲内で多様な変形が可能である。よって、本発明の範囲は説明された実施例に限って決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものによって決められるべきである。

Claims (13)

  1. 電子装置においてコンテンツの再生を制御するための方法において、
    電子書籍のページを表示する過程と、
    表示部が変形される場合、ユーザのジェスチャーを感知するジェスチャー感知領域を表示する過程と、
    ユーザのジェスチャーを検出する過程と、
    前記ユーザのジェスチャーに基づいて前記電子書籍の機能を制御する過程と、を含み、
    前記電子書籍の機能を制御する過程は、
    前記ユーザのジェスチャーによって前記表示部にタッチされた際に、前記表示部にタッチされた面積全体のうち、前記ジェスチャー感知領域に含まれるタッチ面積の大きさを決定する過程と、
    前記タッチ面積の大きさが閾値以上である場合、前記表示部が変形されると基準速度より早い速度で前記ページをめくる過程と、
    前記タッチ面積の大きさが前記閾値未満である場合、前記表示部が変形されると前記基準速度で前記ページをめくる過程と、
    を含む、方法。
  2. 前記電子書籍の機能を制御する過程は、
    前記電子書籍のインデックスを表示する過程をさらに含む、
    請求項1に記載の方法。
  3. 前記電子書籍の機能を制御する過程は、
    前記電子書籍の残りのページ情報を提供する過程をさらに含む、
    請求項1に記載の方法。
  4. 前記電子書籍の機能を制御する過程は、
    視覚的効果、聴覚的効果、触覚的効果のうち少なくともいずれか一つを利用して、前記電子書籍を制御する過程をさらに含む、
    請求項1に記載の方法。
  5. 前記ユーザのジェスチャーを感知するジェスチャー感知領域を表示する過程は、
    前記ページをめくる方向を定義した領域を、前記ジェスチャー感知領域に設定する過程を含む、
    請求項1に記載の方法。
  6. 前記表示部が変形される場合、前記電子書籍を制御する音声コマンドを認識する過程と、
    前記認識した音声コマンドを利用して、表示された前記電子書籍を制御する過程と、をさらに含む、
    請求項1に記載の方法。
  7. 電子装置において、
    変形可能な表示部と、
    少なくとも一つのプロセッサと、を含み、
    前記プロセッサは、
    電子書籍のページを表示し、
    前記表示部が変形される場合、ユーザのジェスチャーを感知するジェスチャー感知領域を表示し、ユーザのジェスチャーを感知して再生されるコンテンツを制御するように処理し、
    ユーザのジェスチャーを検出し、
    前記ユーザのジェスチャーに基づいて前記電子書籍の機能を制御するように処理し、
    前記プロセッサは、
    前記ユーザのジェスチャーによって前記表示部にタッチされる際、前記表示部にタッチされた面積全体のうち、前記ジェスチャー感知領域に含まれるタッチ面積の大きさを決定し、
    前記タッチ面積の大きさが閾値以上である場合、前記表示部が変形されると基準速度より早い速度で前記ページをめくり、
    前記タッチ面積の大きさが前記閾値未満である場合、前記表示部が変形されると前記基準速度で前記ページをめくるように処理する、
    電子装置。
  8. 前記プロセッサは、
    前記電子書籍のインデックスを表示するように処理する、
    請求項に記載の電子装置。
  9. 前記プロセッサは、
    前記電子書籍の残りのページ情報を提供するように処理する、
    請求項に記載の電子装置。
  10. 前記プロセッサは、
    視覚的効果、聴覚的効果、触覚的効果のうち少なくともいずれか一つを利用して前記電子書籍を制御するように処理する、
    請求項に記載の電子装置。
  11. 前記プロセッサは、
    前記ページをめくる方向を定義した領域を、前記ジェスチャー感知領域に設定するように処理する、
    請求項に記載の電子装置。
  12. 前記プロセッサは、
    前記表示部が変形される場合、前記電子書籍を制御する音声コマンドを認識し、前記認識した音声コマンドを利用して表示された前記電子書籍を制御するように処理する、
    請求項に記載の電子装置。
  13. 電子装置によって実行される場合、前記電子装置で、
    電子書籍のページを表示する過程と、
    表示部が変形される場合、ユーザのジェスチャーを感知するジェスチャー感知領域を表示する過程と、
    ユーザのジェスチャーを検出する過程と、
    前記ユーザのジェスチャーに基づいて前記電子書籍の機能を制御する過程と、を含み、
    前記電子書籍の機能を制御する過程は、
    前記ユーザのジェスチャーによって前記表示部にタッチされた際に、前記表示部にタッチされた面積全体のうち、前記ジェスチャー感知領域に含まれるタッチ面積の大きさを決定する過程と、
    前記タッチ面積の大きさが閾値以上である場合、前記表示部が変形されると基準速度より早い速度で前記ページをめくる過程と、
    前記タッチ面積の大きさが前記閾値未満である場合、前記表示部が変形されると前記基準速度で前記ページをめくる過程と、
    を実行させるプログラムを記憶したコンピュータが判読可能な記憶媒体。
JP2013256114A 2013-01-28 2013-12-11 コンテンツ再生を制御するための方法及びその装置 Active JP6437720B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0009286 2013-01-28
KR1020130009286A KR102134882B1 (ko) 2013-01-28 2013-01-28 컨텐츠 재생을 제어하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2014146309A JP2014146309A (ja) 2014-08-14
JP6437720B2 true JP6437720B2 (ja) 2018-12-12

Family

ID=49989495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013256114A Active JP6437720B2 (ja) 2013-01-28 2013-12-11 コンテンツ再生を制御するための方法及びその装置

Country Status (5)

Country Link
US (1) US9851802B2 (ja)
EP (1) EP2759920B1 (ja)
JP (1) JP6437720B2 (ja)
KR (1) KR102134882B1 (ja)
CN (1) CN103970451B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101692252B1 (ko) * 2012-04-08 2017-01-04 삼성전자주식회사 플렉서블 디스플레이 장치 및 제어 방법
CN105955756A (zh) * 2016-05-18 2016-09-21 广州视睿电子科技有限公司 图像擦除方法和系统
WO2019222887A1 (zh) * 2018-05-21 2019-11-28 华为技术有限公司 一种显示控制方法及终端
US11561683B2 (en) 2018-09-25 2023-01-24 Rovi Guides, Inc. Systems and methods for selecting a region of a flexible screen and controlling video playback
US10867535B2 (en) * 2018-09-25 2020-12-15 Rovi Guides, Inc. Systems and methods for selecting a region of a flexible screen and controlling video playback
US10635288B2 (en) * 2018-09-25 2020-04-28 Rovi Guides, Inc. Systems and methods for selecting a region of a flexible screen and controlling video playback
CN112181269B (zh) * 2020-09-23 2022-06-10 维沃移动通信有限公司 内容显示方法、装置及电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728791A (ja) * 1993-07-09 1995-01-31 Toshiba Corp 情報処理装置及び表示制御方法
JPH08249344A (ja) 1995-03-10 1996-09-27 N T T Data Tsushin Kk 電子書籍装置
JP2003015795A (ja) * 2001-07-04 2003-01-17 Minolta Co Ltd 情報表示装置
US6995745B2 (en) 2001-09-13 2006-02-07 E-Book Systems Pte Ltd. Electromechanical information browsing device
KR100769783B1 (ko) 2002-03-29 2007-10-24 가부시끼가이샤 도시바 표시 입력 장치 및 표시 입력 시스템
JP4115818B2 (ja) * 2002-12-03 2008-07-09 富士フイルム株式会社 表示装置及び表示装置の制御方法
AU2004207347A1 (en) 2003-01-21 2004-08-12 E-Book Systems Pte Ltd. A programmable virtual book system
US7196689B2 (en) 2003-03-31 2007-03-27 Canon Kabushiki Kaisha Information device
JP2008511876A (ja) * 2004-04-23 2008-04-17 サーク・コーポレーション タッチパッド上のスクロールおよびエッジモーションの改良された方法
US20060194181A1 (en) * 2005-02-28 2006-08-31 Outland Research, Llc Method and apparatus for electronic books with enhanced educational features
JP2007058560A (ja) 2005-08-24 2007-03-08 Sharp Corp 入力装置及びそれを備えた表示装置
JP3911515B2 (ja) * 2005-10-13 2007-05-09 パイオニア株式会社 表示制御装置、表示方法、表示プログラムおよび記録媒体
KR20090060040A (ko) * 2007-12-07 2009-06-11 에스이(주) 대화형디지털오디오북 제작시스템 및 그 운영방법
WO2012044363A1 (en) * 2010-09-30 2012-04-05 Georgia Tech Research Corporation Systems and methods to facilitate active reading
JP5618577B2 (ja) 2010-03-10 2014-11-05 キヤノン株式会社 情報処理装置、表示制御方法、及び表示制御プログラム、並びに記録媒体
US9489078B2 (en) 2011-02-10 2016-11-08 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
JP2012190277A (ja) * 2011-03-10 2012-10-04 Sharp Corp 表示装置、表示方法、コンピュータプログラム及び記録媒体
CN102360268A (zh) * 2011-09-30 2012-02-22 中兴通讯股份有限公司 电子书页面转换方法、装置以及移动设备
US20130222416A1 (en) * 2012-02-29 2013-08-29 Pantech Co., Ltd. Apparatus and method for providing a user interface using flexible display

Also Published As

Publication number Publication date
US20140215411A1 (en) 2014-07-31
CN103970451A (zh) 2014-08-06
US9851802B2 (en) 2017-12-26
EP2759920A2 (en) 2014-07-30
KR102134882B1 (ko) 2020-07-16
JP2014146309A (ja) 2014-08-14
CN103970451B (zh) 2018-06-29
EP2759920B1 (en) 2021-11-10
EP2759920A3 (en) 2017-11-01
KR20140096573A (ko) 2014-08-06

Similar Documents

Publication Publication Date Title
US11169698B2 (en) Information processing device, operation input method and operation input program
JP6437720B2 (ja) コンテンツ再生を制御するための方法及びその装置
US9703323B2 (en) Providing adaptive user interface using flexible display
JP5485220B2 (ja) 表示装置、ユーザインタフェース方法及びプログラム
US20190205004A1 (en) Mobile terminal and method of operating the same
EP3011425B1 (en) Portable device and method for controlling the same
EP2500797B1 (en) Information processing apparatus, information processing method and program
US20110154249A1 (en) Mobile device and related control method for external output depending on user interaction based on image sensing module
JP2007312360A (ja) ディスプレイ機能を持つボタンを備えた端末機及びそのためのディスプレイ方法
CN116820289A (zh) 信息展示方法、装置、设备及存储介质
US9817633B2 (en) Information processing apparatus and information processing method
US20170220317A1 (en) Electronic apparatus and control program of electronic apparatus
KR20110108688A (ko) 터치 기반의 텍스트 편집 방법 및 이를 구현한 단말기
TWI681320B (zh) 提供裝置的內容的方法與所述裝置
WO2017159796A1 (ja) 情報処理方法及び情報処理装置
CN110413194A (zh) 一种智能调整字符显示方式的方法、装置及介质

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181115

R150 Certificate of patent or registration of utility model

Ref document number: 6437720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250