JP6452409B2 - 画像表示装置、画像表示方法 - Google Patents

画像表示装置、画像表示方法 Download PDF

Info

Publication number
JP6452409B2
JP6452409B2 JP2014242442A JP2014242442A JP6452409B2 JP 6452409 B2 JP6452409 B2 JP 6452409B2 JP 2014242442 A JP2014242442 A JP 2014242442A JP 2014242442 A JP2014242442 A JP 2014242442A JP 6452409 B2 JP6452409 B2 JP 6452409B2
Authority
JP
Japan
Prior art keywords
marker
display
enlarged
area
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014242442A
Other languages
English (en)
Other versions
JP2016103241A (ja
JP2016103241A5 (ja
Inventor
拓 小笠原
拓 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014242442A priority Critical patent/JP6452409B2/ja
Priority to US14/950,966 priority patent/US20160155212A1/en
Priority to CN201510849986.4A priority patent/CN105653150A/zh
Priority to KR1020150167029A priority patent/KR20160065020A/ko
Priority to DE102015120619.6A priority patent/DE102015120619A1/de
Publication of JP2016103241A publication Critical patent/JP2016103241A/ja
Publication of JP2016103241A5 publication Critical patent/JP2016103241A5/ja
Application granted granted Critical
Publication of JP6452409B2 publication Critical patent/JP6452409B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、ページ画像内の部分領域を表示する技術に関する。
一般的なプレゼンテーションは、1枚のスライドをプロジェクタに投影し、スライドを1枚ずつ説明する。しかし、プレゼン資料の構成に依っては、話し手がスライドのどこを説明しているのかが聴き手にとって分かりにくい場合や、1枚のスライドの表示が変化しないまま長時間説明されることで、聴き手が飽きてしまう場合があった。
一方、ページ画像を表示する画像表示方法において、スマートフォン等の移動端末の小さな画面に表示することを考慮した表示方法がある。特許文献1では、ページ画像に含まれる文字や写真などの文書構成要素に応じてページ画像の部分領域を自動認識する。そして、自動認識した部分領域を、ボタンをタップするなどの簡単な操作で、移動端末の小さな画面に合わせた部分領域毎の拡大率で順に表示することができる。特許文献1の移動端末をプロジェクタと接続し、移動端末に表示される画像をプロジェクタに投影して行うプレゼンテーションに使用すれば、事前に認識された部分領域を、部分領域毎の拡大率で順に表示することで、話し手がスライド内のどの部分領域を説明しているのかを聴き手が理解しやすくなる。また、部分領域毎に順番に拡大表示されて説明されることで、聴き手の飽きを抑制することもできる。
特開2013−190870号公報
しかしながら、特許文献1の表示方法では、ページ画像を自動認識処理した際に設定された部分領域の順に説明を行うことになる。一方、プレゼンテーションでは、聴き手の立場や状況に応じて、話し手が事前に設定した部分領域とは異なる領域を、聴き手の印象に残る様に強調して説明したい場合があった。
この様な場合、特許文献1の方法のように部分領域を予め設定した順番に表示するのではなく、ページ画像を表示中に、ユーザがピンチイン・ピンチアウトなどの拡大・縮小操作や、スワイプなどの移動操作で表示領域を変えながら説明する必要があった。移動端末でのこれらのジェスチャ操作は、ボタンをタップするなどの簡単な操作と比較し煩雑であり、聴き手の印象に強調して説明したい領域であるにも関わらず、操作にもたつくことで、聴き手の注意を逸らしてしまう原因にもなりうる。
上記課題を解決するために、本発明の画像表示装置は、 画像を画面に表示する表示手段と、前記画面に表示されている画像に対し、ユーザの指示に基づいて、マーカーを描画するマーカー描画手段と、前記表示された画像に含まれ、前記マーカー描画手段により描画されたマーカーにより特定された領域を囲む矩形領域のサイズを基に、前記画面に表示されている画像に対する拡大率を決定する決定手段と、前記決定手段により決定された拡大率に基づき、前記画面に表示されている画像を拡大し、前記拡大された画像に含まれる領域であり前記拡大率に基づき拡大された前記矩形領域が、前記画面に表示されるように前記矩形領域の表示位置を調整して表示する拡大表示手段と、前記拡大表示手段により拡大表示された前記矩形領域の画像を、前記拡大表示手段により拡大表示する前のサイズになるように縮小表示する縮小表示手段と、を有する。
画像を表示している際に、画像内の所望の部分を簡単な操作で強調し、さらにその部分を拡大表示することができる。
移動端末のハードウェア構成図 移動端末の処理ブロック図 移動端末の表示部 部分領域の自動認識処理のフローチャート ページ画像と自動認識した部分領域 部分領域の管理処理のフローチャート 部分領域の管理テーブル 部分領域群の表示処理のフローチャート 部分領域の表示範囲決定処理のフローチャート 部分領域の表示処理を実行時の画面遷移 マーカー描画処理のフローチャート マーカー描画の表示例 マーカー領域の特定処理のフローチャート マーカー領域の特定処理例 マーカー領域の拡大表示処理と解除処理のフローチャート マーカー領域の拡大表示処理と解除処理時の画面遷移例 線状のマーカーを描画した際の、マーカー領域の拡大表示処理と解除処理時の画面遷移例 マーカー領域の特定処理のフローチャート(実施例2) マーカー領域の特定処理例(実施例2) マーカー領域の拡大表示処理と解除処理時の画面遷移例(実施例2)
<<実施例1>>
以下、本発明を実施するための形態について図面を用いて説明する。
<移動端末のハードウェア構成>
図1は、本実施例における移動端末(携帯端末等の画像表示装置)100のハードウェア構成例である。移動端末100は、CPU101と、RAM102と、ROM103と、HDD104と、表示部105とから構成される。
CPU101は、ROM103に記憶されているプログラムを実行することにより、移動端末100の各処理部の動作を制御する。RAM102は、CPU101がプログラム実行する際にワークエリアとして利用されるメモリである。HDD104は、表示対象の画像データなどの各種データを記憶する記憶装置であり、ハードディスクまたはフラッシュメモリ等の半導体不揮発性メモリである。ROM103はCPU101が実行する画像表示プログラム等を記憶する。画像表示プログラムは、記録媒体の配布やネットワークからのダウンロードなどによって提供される。表示部105は、CPU101の制御下でページ画像などを表示する。表示部105の画面は、例えば、液晶タッチパネルなどであり、CPU101の制御下で液晶駆動回路が液晶駆動を行うことにより、タッチパネルにページ画像などを表示する。また、表示部105は、ユーザからのタッチ操作(タップ、スワイプなど)を受け付ける。表示部105はユーザから受け付けた操作内容をCPU101に通知する。CPU101は、受け付けた操作内容に応じて、表示部105に表示するページ画像を切り替える。なお、表示部105で表示する映像は、有線または無線を介して接続されたプロジェクタや大型テレビ等の画面にミラーリングして映し出しても良い。そのように構成すれば、話し手は、スマートフォン等の移動端末上で操作をしながら、プロジェクタを用いてプレゼンテーションに使用することもできる。
<移動端末の処理部>
図2(A)は、本実施例における移動端末100がプログラムを実行することにより、各処理部として機能した場合の模式図を示す。移動端末100が実現する処理部は、自動認識処理部201と、部分領域管理部202と、部分領域表示部203と、操作制御部204と、マーカー描画部205と、マーカー領域処理部206とから構成される。すなわち、移動端末100は、ROM103に保存されている画像表示プログラムなどのプログラムをCPU101にて実行することで、自動認識処理部201と、部分領域管理部202と、部分領域表示処理部204と、操作制御部204と、マーカー描画部205と、マーカー領域特定部206として機能する。
自動認識処理部201は、ページ画像に含まれるテキストや図や表などの文書構成要素を識別することにより、ページ画像内の複数の部分領域を自動認識する。部分領域の自動認識処理の手順を図4のフローチャートに示す。
部分領域管理部202は、自動認識処理部201で自動認識された部分領域の座標や、幅・高さ(幅高)などのデータを管理する。部分領域のデータの管理処理の手順を図6のフローチャートに示し、また、部分領域の管理テーブルを図7に示す。
部分領域表示部203は、部分領域管理部202にて管理される部分領域の座標や幅・高さなどから部分領域の表示拡大率を決定し、部分領域毎の拡大率で移動端末100の表示部105に部分領域を表示する。部分領域の表示処理の手順は図8と図9のフローチャートに示し、また、部分領域の表示処理を実行時の画面遷移を図10に示す。
操作制御部204は、移動端末100の表示部105に対するユーザからの操作を受け、操作に応じた制御を行う。ユーザ操作の種類には、タップ、ダブルタップ、スワイプ、ピンチイン・ピンチアウトなどがある。操作制御部204は、これらの操作を受け取った場合は、操作の種類や操作された座標や移動距離などを部分領域表示部203、マーカー描画部205、マーカー領域処理部206に通知する。操作制御部の詳細な処理ブロックは図5(B)に示す。
マーカー描画部205は、マーカー描画モードに設定されているとき、ユーザからのドラッグ操作に応じて、部分領域表示部203が表示中の部分領域の上にマーカーを描画する。実際には、ユーザからのドラッグ操作は、操作制御部204を通じてドラッグイベントとしてマーカー描画部に通知され、ドラッグイベントに含まれる座標に応じてマーカーの描画を行う。マーカー描画処理を図11に示し、マーカー描画の表示例を図12に示す。
マーカー領域処理部206は、マーカー描画部205によって描画されたマーカーを使用し、マーカー領域の特定処理や、マーカー領域の拡大表示、及び、マーカー領域の拡大表示の解除などを実行する。マーカー領域の特定処理を図13に示し、マーカー領域の拡大表示、及び、マーカー領域の拡大表示の解除を図15に示す。また、マーカー領域の拡大表示処理時の画面遷移例を図16に示す。
図2(B)は、操作制御部204を構成する各処理部のブロック図である。操作制御部204は、操作判別部211、操作通知部212、タップ処理部213、ダブルタップ処理部214、ドラッグ処理部215、スワイプ処理部216、ピンチイン・ピンチアウト処理部217から構成される。
操作判別部211は、移動端末100の表示部105に対するユーザからの操作を受けた場合に、その操作の種類を判定し、各処理部213〜217に処理を受け渡す。操作の種類には、タップ操作、ダブルタップ操作、ドラッグ操作、スワイプ操作、ピンチイン・ピンチアウト操作などがある。
タップ処理部213は、操作判別部211がユーザから受け付けた操作をタップ操作と判定した場合に、タップされた座標に応じて処理を行う。タップ処理部213は、タップ座標が、図3に示す「次へボタン301」又は「前へボタン302」又は「マーカーボタン303」のいずれかの表示範囲内にあるかを判定する。タップ処理部213は、タップされたボタンに応じて、操作通知部212を介して部分領域表示部203又はマーカー領域特定部206に通知する。この通知をタップイベントと呼ぶ。タップイベントにはタップされたボタンの種類が含まれる。
タップ処理部213は、次へボタン301又は前へボタン302へのタップ操作が為されたと判定した場合、操作通知部212を介して部分領域表示部203にタップイベントを通知する。部分領域表示部203は、次へボタン301(又は、前へボタン302)のタップイベントを受信した場合、予め設定された表示順序にしたがって、表示中の部分領域の次に表示されるべき部分領域(又は、前に表示されるべき部分領域)の表示を行う。この部分領域群の表示処理の詳細説明は図8にて後述する。
また、タップ処理部213は、マーカーボタン303へのタップ操作が為されたと判定した場合、操作通知部212を介してマーカー描画部205にタップイベントを通知する。マーカーボタンのタップイベントは、マーカー描画モードの有効化または無効化に使用され、マーカーボタンはトグルスイッチである。マーカー描画部205がタップイベントを通知された場合の処理の詳細説明は、図11のマーカー描画処理を用いて後述する。
ダブルタップ処理部214は、操作判別部211がユーザから受け付けた操作をダブルタップ操作と判定した場合に、ダブルタップされた位置に応じて処理を行う。マーカー描画モードが有効であるときにダブルタップ操作が為されたと操作判別部211で判定した場合、ダブルタップ処理部214は、操作通知部212を介してマーカー領域処理部206にダブルタップイベントを通知する。マーカー領域処理部206は、マーカー描画モードが有効のときにタブルタップイベントを通知された場合、マーカーで描画されたマーカー領域の拡大表示処理、または、その解除処理を行う。その詳細は図15のマーカー領域の拡大表示処理にて説明する。
ドラッグ処理部215は、操作判別部211がユーザから受け付けた操作をドラッグ操作と判別した場合に処理を行う。ドラッグ操作が為されたと操作判別部211で判定した場合、ドラッグ処理部215は、操作通知部212を介してマーカー描画部205にドラッグイベントを通知する。ドラッグイベントには、移動端末100の表示部105におけるドラッグ操作がなされた位置の座標が含まれる。マーカー描画部205は、ドラッグイベントを通知された場合、当該ドラッグイベントに含まれる位置座標に応じてマーカー描画を行う。マーカー描画の詳細は、図11のマーカー描画処理を用いて後述する。
スワイプ処理部216は、操作判別部211がユーザから受け付けた操作をスワイプ操作と判別した場合に処理を行う。スワイプ操作が為されたと操作判別部211で判定した場合、スワイプ処理部216は、操作通知部212を介して部分領域表示部203にスワイプイベントを通知する。部分領域表示部203は、スワイプイベントを通知された場合、ページ画像全体を画面内に表示中であれば当該表示中のページ画像をめくる処理(次または前のページ画像を表示する処理)を行ったり、ページ画像を拡大表示中であれば拡大表示している位置を移動させる処理を行ったりする。
ピンチイン・ピンチアウト処理部217は、操作判別部211がユーザから受け付けた操作をピンチイン又はピンチアウト操作と判別した場合に処理を行う。ピンチイン操作又はピンチアウト操作が為されたと操作判別部211で判定した場合、ピンチイン・ピンチアウト処理部は、操作通知部212を介して部分領域表示部203にピンチイン・ピンチアウトイベントを通知する。このイベントには、ピンチイン・ピンチアウト操作の移動距離などが含まれる。部分領域表示部203は、ピンチイン・ピンチアウトイベントを通知された場合は、ピンチインイベント又はピンチアウトイベントで通知された移動距離に応じて表示中の部分領域の縮小表示又は拡大表示を行う。
<移動端末における表示例>
図3は、本実施例における移動端末100の表示部105の構成である。本実施例では、移動端末100の表示部105の幅はW00であり、高さはH00である。なお、移動端末は90度回転して持つことが可能であり、その場合、表示部の幅はH00、高さはW00となる。表示部105ではページ画像が表示され、表示部の端に、次へボタン301、前へボタン302、マーカーボタン303が表示される。
次へボタン301または前へボタン302は、表示中の部分領域の次または前の順序の部分領域を表示するようにユーザからの指示を受けるためのボタンである。部分領域群の表示処理の詳細は図8にて後述する。マーカーボタン303は、マーカー描画モードの有効化または無効化に使用され、その状態はRAM102などの記憶装置に保存される。マーカーボタン303はトグルスイッチであり、マーカー描画モードが無効化状態の時にタップされた場合は、マーカー描画モードを有効にする。また、マーカー描画モードが有効化状態の時にタップされた場合は、マーカー描画モードを無効にする。マーカー描画モードの有効化/無効化に応じて、マーカーボタンの表示状態は変化する(例えば、モードの有効/無効に応じて表示色を変えて表示する)。
<部分領域の自動認識処理>
自動認識処理部201は、図4に示す手順にて、ページ画像に対する部分領域の自動認識処理を行う。なお、自動認識処理部201の処理手順は、ROM103に記憶されている画像表示プログラムに含まれ、CPU101にて実行される。
ステップS401において、自動認識処理部201は、移動端末の記憶装置に保存されているページ画像(またはスキャナを介して読み取ったページ画像)を1ページ読み込む。本実施例では、複数ページのページ画像がある場合、自動認識処理部201は、ページ画像を1ページずつ読み込んで順に自動認識処理する。
ステップS402において、自動認識処理部201は、読み込んだページ画像に対して文書構成要素ごとの部分領域を認識する。文書構成要素は、例えば、図5(A)に示すページ画像500において、文字の領域501と、文字の領域502と、図面の領域503と、写真の領域504と、文字(箇条書き)の領域505である。そして、図5(B)の矩形の点線で囲まれている各領域は、自動認識処理部201が図5(A)のページ画像を自動認識処理した結果、認識された部分領域である。図5(B)において、文字の領域501は部分領域511として自動認識され、文字の領域502は部分領域512として認識され、図面の領域503は部分領域513として認識され、写真の領域504は部分領域514として認識され、文字(箇条書き)の領域505は部分領域515として認識されている。また、ページ画像500は、背景領域を示す部分領域510として認識されている。
自動認識処理部201は、部分領域の位置と構造に応じて、表示順序も決定する。図5(B)の例では、部分領域510の表示順序は1、部分領域511の表示順序は2、部分領域512の表示順序は3、部分領域513の表示順序は4、部分領域514の表示順序は5、部分領域514の表示順序は5、部分領域515の表示順序は6に決定する。
本実施例での背景属性の部分領域500とは、ステップS401にて記憶領域より読み込んだページ画像の全体と同じ範囲を持つ領域である。後述する自動認識した各部分領域の座標は、背景属性の部分領域500における位置を表すものとする。
ステップS403において、自動認識処理部201は、各部分領域に対して属性の種類(文字、写真、グラフィック、背景)を判定し、ステップS404およびS405において、各属性に応じた処理を実行する。部分領域の属性種類は、文字(横書き又は縦書き)、グラフィック(図面、線画、表、ライン)、写真、背景などである。
ステップS404において、自動認識処理部201は、文字またはグラフィックと判定された部分領域に対してベクトル化処理を行って、文字およびグラフィックの輪郭をベクトルデータ化する。ベクトルデータに変換することにより、拡大表示したときも滑らかな表示になる。
ステップS405において、自動認識処理部201は、写真または背景と判定された領域に対してJPEG圧縮などの画像処理を行い、画像データを生成する。なお、背景領域の画像データは、ページ画像全体をJPEG圧縮して作成してもよいし、ページ画像全体を低解像度化してからJPEG圧縮して作成するようにしてもよい。
ステップS406において、自動認識処理部201は、各部分領域に対するメタデータを付与する。メタデータには、部分領域の属性、表示順序、座標、幅や高さ(以降、幅高と記載する)などが含まれる。ページ画像における部分領域の座標と幅高に関して、図5(C)における部分領域513を用いて説明する。座標に関しては、背景属性の領域510(ページ画像全体と同じ範囲の領域)の左上を原点とする。部分領域513の座標は、原点からの部分領域513の左上の座標までのX軸方向の距離X13、及び、原点から部分領域513の左上座標までのY軸方向の距離Y13で表す。幅高に関しては、部分領域503のX軸方向の長さW13、及び、Y軸方向の長さH13で表す。他の各部分領域に関しても、同様に座標と幅高を表す。
ステップS407において、自動認識処理部201は、前ステップで取得した各部分領域のメタデータと画像データとを、1つのファイルにまとめる(アーカイブする)。1つのファイルにまとめたものを部分領域の自動認識データと呼ぶ。
ステップS408において、自動認識処理部201は、次ページのページ画像があるかどうか判定する。自動認識処理部201は、次ページのページ画像が有ると判定した場合は、ステップS401に戻り、次ページのページ画像に対して同様の処理を行う。一方、次ページのページ画像が無いと判定した場合は、ステップS408に進む。
ステップS408において、自動認識処理部201は、全ページのページ画像に対して処理を行った結果得られた部分領域の自動認識データを部分領域管理部202に渡し、自動認識処理を終了する。
<部分領域の管理>
部分領域管理部202は、図6に示す手順で部分領域を管理する。部分領域管理部202は、部分領域管理部202は図7に示す部分領域管理テーブルを使用する。なお、部分領域管理部202の処理手順は、ROM103に記憶されている画像表示プログラムに含まれ、CPU101にて実行される。部分領域の管理テーブルは、移動端末のRAM202やHDD204などの記憶領域に保存される。
ステップS601において、部分領域管理部202は、自動認識処理部201から自動認識処理結果の自動認識データを受信する。
ステップS602において、部分領域管理部202は、受信した部分領域の自動認識データより、部分領域毎のメタデータ(座標、幅高、属性、ページ番号、表示順序など)と画像データとを取り出し、図7のような部分領域管理テーブルに保存する。
図7は、部分領域管理テーブルに保存されるデータの例である。部分領域管理テーブルの列方向には部分領域毎のレコードが並ぶ。すなわち、部分領域管理テーブルの各行は、各部分領域のレコード(部分領域レコード)を示す。また、図7の部分領域管理テーブルにおいて、行方向にはデータ項目が並ぶ。データ項目は、ページ番号701、部分領域の識別子702と、座標703と、幅高704と、属性705と、表示順序706とから構成される。
ページ番号701には、受け取った自動認識データに含まれるページ番号を保存する。識別子702は、1ページ内における自動認識された部分領域を識別するためのIDであり、部分領域管理部202が自動認識データを受け取り、部分領域管理テーブルに保存する際に付与される。ページ番号と識別子とによって、部分領域レコードは一意に識別可能となる。例えば、図5(B)のように、1ページ目のページ画像を自動認識処理した結果、部分領域510〜515の6つが認識された場合、部分領域管理部204は、図7の部分領域テーブルのように、ページ番号1で識別子ID01〜ID06の6つの部分領域レコードを保存する。
座標703には、受け取った自動認識データに含まれる部分領域のXY座標を保存する。幅高704は、自動認識データに含まれる部分領域の幅と高さを保存する。属性705には、受け取った自動認識データに含まれる部分領域の属性を保存する。表示順序706には、受け取った自動認識データに含まれる表示順序を保存する。
<部分領域群の表示処理>
部分領域表示部203は、図8に示す手順で部分領域群の表示処理を行う。部分領域群とは、図7などの部分領域管理テーブルに保存される複数の部分領域レコードである。部分領域群の表示処理とは、部分領域レコードに対応する各部分領域を、部分領域毎の拡大率で順に表示する処理である。例えば、図7の部分領域管理テーブルにおいて、ページ1の部分領域群とは、ページ番号1の識別子ID01〜ID06の6つの部分領域レコードである。なお、部分領域表示部203の処理手順は、ROM103に記憶されている画像表示プログラムに含まれ、CPU101にて実行される。
ステップS801において、部分領域表示部203は、部分領域管理テーブルから、部分領域レコードを取得する。最初はページ先頭の部分領域レコードを取得する。例えば、図7の部分領域管理テーブルに保存されている1ページ目の場合は、表示順序が1である識別子ID01の部分領域レコードを処理対象レコードとして読み込む。
ステップS802において、部分領域表示部203は、当該処理対象の部分領域レコードに含まれるデータを正しく読み込めたかを判定する。正しく読み込めた場合は、ステップS803に進む。正しく読み込めなかった場合は、部分領域群の表示処理を終了する。例えば、画像データを読み込めなかった場合は部分領域を表示できないため、部分領域群の表示処理を終了する。
ステップS803において、部分領域表示部203は、図9のフローチャートに示す部分領域の表示範囲決定処理の手順に従い、表示対象の部分領域の拡大率や座標を決定する。この図9のフローチャートの説明に関しては後述する。
ステップS804において、部分領域表示部203は、移動端末100の表示部205の表示状態を更新し、ステップS803にて決定した部分領域の座標と表示拡大率に基づいて当該表示対象の部分領域を表示する。
ステップS805において、操作制御部204は、ユーザの操作に応じて次へボタン301や前へボタン302に対するタップイベントを受け付けた場合は、ステップS801に戻り、次または前の部分領域レコードを読み込む。例えば、図7の1ページ目における識別子ID01の表示順序が1(先頭)の部分領域を表示時に、次へボタン301に対するタップイベントを受け付けた場合、部分領域表示部203は、表示順序が次(2)の識別子ID02の部分領域レコードを読み込む。なお、図7の1ページ目における識別子ID01の表示順序が1(先頭)の部分領域を表示時に、前へボタン302に対するタップイベントを受け付けた場合は、それより前の部分領域レコードが無いため、ステップS802で部分領域レコードを読み込めなかったと判定して、部分領域群の表示処理を終了する。
図7に示した部分領域管理テーブルにおけるページ1の部分領域群の表示処理を行った場合の表示部105の画面遷移の説明は、図10を用いて後述する。
<部分領域の表示範囲決定処理(S803)>
図9は、上述した図8のステップS803で実行される処理の詳細を示すフローチャートである。なお、図9に示す処理手順は、ROM103に記憶されている画像表示プログラムに含まれ、CPU101にて実行される。
ステップS901において、部分領域表示部203は、移動端末100の表示部105の幅高を取得する。図3に示した様に、移動端末の表示部105における表示領域の幅高は(W00、H00)である。
ステップS902において、部分領域表示部203は、表示対象として図8のステップS801で読み込んだ部分領域レコードに含まれる属性を判定する。属性が文字の場合はステップS903に進み、属性が背景や手動特定の場合はステップS912に進む。
ステップS903において、部分領域表示部203は、文字属性であった部分領域が箇条書きであるかを判定する。ここでの箇条書きとは、各文字列もしくは行の先頭に点や数字といった行頭文字が存在する文字列である。箇条書きでないと判定した場合はステップS904に進み、箇条書きであると判定した場合は、ステップS912に進む。
ステップS904において、部分領域表示部203は、表示対象の部分領域レコードに含まれる文字の組み方向を取得し、ステップS905において、文字の組み方向を判定する。文字の組み方向が横書きである場合にはステップS906に進み、文字の組み方向が縦書きである場合にはステップS907に進む。
ステップS906において、部分領域表示部203は、部分領域内の文字の組み方向が横書きであるため、読み込んだ部分領域レコードに含まれる幅が、移動端末の表示部105の幅に入るように部分領域の表示拡大率を設定する。すなわち、横書きの文字行方向が表示領域からはみ出ないように表示拡大率が決定される。例えば、部分領域レコードに含まれる幅がW10で、移動端末の表示部の幅がW00の場合は、部分領域の表示拡大率はW00/W10(W00をW10で割った商)となる。
ステップS907において、部分領域表示部203は、部分領域内の文字の組み方向で縦書きであるため、読み込んだ部分領域レコードに含まれる高さが、移動端末の表示部105の高さに入るように部分領域の表示拡大率を設定する。すなわち、縦書きの文字行方向が表示領域からはみ出ないように表示拡大率が決定される。例えば、部分領域レコードに含まれる高さがH10で、移動端末の表示部の幅がH00の場合は、部分領域の表示拡大率はH00/H10(H00をH10で割った商)となる。
ステップS908において、部分領域表示部203は、ステップS906またはS907で設定した表示拡大率にしたがって拡縮した部分領域のサイズが移動端末の表示部105のサイズより大きいか判定する。すなわち、表示拡大率にしたがって拡縮した部分領域の文字行と垂直な方向が、移動端末の表示部105からはみ出るかどうか判定する。拡縮した部分領域のサイズが移動端末の表示部105よりも大きく、部分領域全体を表示できないと判定した場合には、ステップS909に進む。一方、拡縮した部分領域のサイズが移動端末の表示部105よりも小さく、部分領域全体を一度に表示できる場合にはステップS913に進む。
ステップS909において、部分領域表示部203は、部分領域における文字の組み方向を判定し、横書きであると判定した場合はステップS910に進み、縦書きであると判定した場合はステップS911に進む。
ステップS910において、部分領域表示部203は、拡縮後の部分領域が表示部105内に収まらないため、部分領域の横書きの先頭行が表示部105に表示されるように、表示位置を設定する。本実施例では、横書きの部分領域の左上端が移動端末の表示部105の左上端に合う様に、部分領域の表示位置の座標を決定する。
ステップS911において、部分領域表示部203は、拡縮後の部分領域が表示部105内に収まらないため、部分領域の縦書きの先頭行が表示部105に表示されるように、表示位置を設定する。本実施例では、縦書きの部分領域の右上端が移動端末の表示部105の右上端に合う様に部分領域の表示位置の座標を決定する。
ステップS912において、部分領域表示部203は、属性が文字以外であった場合(背景、図、表、手動特定など)は、部分領域レコードで指定される部分領域の幅と高さの両方が、移動端末100の表示部105のサイズ内に収まる様に、表示拡大率を決定する。すなわち、部分領域の幅と高さを、表示部の幅と高さと比較することにより、幅と高さそれぞれの拡大率を取得し、値の小さい方を表示拡大率として決定する。例えば、部分領域レコードで指定される幅高が(W10,H10)で、移動端末の表示部の幅高が(W00,H00)の場合は、幅の拡大率W00/W10(W00をW10で割った商)と、高さの拡大率H00/H10(H00をH10で割った商)を比較し、値の小さい方を当該表示対象の部分領域の表示拡大率として決定する。
ステップS913において、部分領域表示部203は、拡縮後の部分領域の中心が、表示部105の中心に合う様に部分領域の表示位置の座標を決定する。
以上に説明した様に、部分領域表示部203は、図9の処理により、当該表示対象の部分領域の表示拡大率と表示位置座標とを決定し、図8のステップS804に進む。
<部分領域群の表示例>
以下では、図8と図9の処理によって移動端末の表示部105に表示される画面の遷移例を説明する。ここでは、図10を用いて、図7の部分領域管理テーブルの1ページ目の例を読み込んだ場合の画面遷移を説明する。図10において、移動端末の画面は、(A)〜(F)の順で遷移する。
部分領域表示部203は、ステップS801において、1ページ目の表示順序が先頭である部分領域レコードID01を図7の部分領域管理テーブルから読み込み、ステップS803において部分領域の表示範囲決定処理を行う。ID01の部分領域レコードの属性は背景であるため、ステップS912において、部分領域の全体が移動端末の表示部105に収まる様に表示拡大率を決定する。さらに、ステップS913において、部分領域の中心が移動端末の表示部105の中心に合う様に部分領域の表示位置座標を決定する。そして、当該決定された表示拡大率と表示位置座標とに応じて、ステップS804において当該表示対象のID01の部分領域を移動端末の表示部105に表示する。この表示状態を図10(A)に示す。
部分領域表示部203は、図10(A)の表示状態において、次へボタン301がユーザによりタップされた場合(S805)は、識別子ID01の表示順序(1)の次の表示順序(2)である識別子ID02の部分領域レコードを図7の部分領域管理テーブルから読み込む(S801)。ID02の部分領域レコードの属性は文字・横書きであるため、ステップS906において、部分領域の幅が移動端末の表示部の幅に収まる様に表示拡大率を決定する。当該決定された表示拡大率で拡縮した後の識別子ID02の部分領域の幅高は、移動端末の表示部の幅高より小さいため、ステップS913において部分領域の中心が移動端末の表示部105の中心に合う様に部分領域の表示位置座標を決定する。そして、当該決定された表示拡大率と表示位置座標とに応じて、ステップS804において、当該表示対象のID02の部分領域を移動端末の表示部105に表示する。この表示状態を図10(B)に示す。
部分領域表示部203は、図10(B)の表示状態において、次へボタン301がユーザによりタップされた場合(S805)は、識別子ID02の表示順序(2)の次の表示順序(3)である識別子ID03の部分領域レコードを図7の部分領域管理テーブルから読み込む(S801)。ID03の部分領域レコードの属性は文字・横書きであるため、ステップS906において、部分領域の幅が移動端末の表示部の幅に収まる様に表示拡大率を決定する。当該決定された表示拡大率で拡縮した後の識別子ID03の部分領域の幅高は、移動端末の表示部の幅高より小さいため、ステップS913において部分領域の中心が移動端末の表示部105の中心に合う様に部分領域の表示位置座標を決定する。そして、当該決定された表示拡大率と表示位置座標とに応じて、ステップS804において、当該表示対象のID03の部分領域を移動端末の表示部105に表示する。この表示状態を図10(C)に示す。
部分領域表示部203は、図10(C)の表示状態において、次へボタン301がユーザによりタップされた場合(S805)は、識別子ID03の表示順序(3)の次の表示順序(4)である識別子ID04の部分領域レコードを図7の部分領域管理テーブルから読み込む(S801)。ID04の部分領域レコードの属性は図であるため、ステップS912において、部分領域の全体が移動端末の表示部105に収まる様に表示拡大率を決定する。当該決定された表示拡大率で拡縮した後の識別子ID04の部分領域の中心が、移動端末の表示部105の中心に合う様に部分領域の座標を決定する。そして、当該決定された表示拡大率と表示位置座標とに応じて、ステップS804において、当該表示対象のID04の部分領域を移動端末の表示部105に表示する。この表示状態を図10(D)に示す。
部分領域表示部203は、図10(D)の表示状態において、次へボタン301がユーザによりタップされた場合(S805)は、識別子ID04の表示順序(4)の次の表示順序(5)である識別子ID05の部分領域レコードを図7の部分領域管理テーブルから読み込む(S801)。ID05の部分領域レコードの属性は写真であるため、ステップS912において、部分領域の全体が移動端末の表示部105に収まる様に表示拡大率を決定する。当該決定された表示拡大率で拡縮した後の識別子ID05の部分領域の中心が、移動端末の表示部105の中心に合う様に部分領域の座標を決定する。そして、当該決定された表示拡大率と表示位置座標とに応じて、ステップS804において、当該表示対象のID05の部分領域を移動端末の表示部105に表示する。この表示状態を図10(E)に示す。
部分領域表示部203は、図10(E)の表示状態において、次へボタン301がユーザによりタップされた場合(S805)は、識別子ID05の表示順序(5)の次の表示順序(6)である識別子ID06の部分領域レコードを図7の部分領域管理テーブルから読み込む(S801)。ID06の部分領域レコードの属性は文字(箇条書き)であるため、ステップS912において、部分領域の全体が移動端末の表示部105に収まる様に表示拡大率を決定する。当該決定された表示拡大率で拡縮した後の識別子ID06の部分領域の中心が、移動端末の表示部105の中心に合う様に部分領域の座標を決定する。そして、当該決定された表示拡大率と表示位置座標とに応じて、ステップS804において、当該表示対象のID06の部分領域を移動端末の表示部105に表示する。この表示状態を図10(F)に示す。
以上に示した処理を実行することで、ページ画像の文字や画像などの文書構成要素に応じて部分領域を認識し、部分領域毎の表示拡大率で部分領域を順番に、簡単な操作で表示することができる。
以下では、上述した部分領域表示部がページ画像全体または部分領域を表示している最中に、ユーザの指示に基づいてマーカー描画部がマーカー描画処理を行い、更に、そのマーカー描画領域を拡大表示する処理について説明する。
<マーカー描画処理>
図11に示す手順にて、マーカー描画部205とマーカー領域処理部206は、マーカー描画処理を行う。なお、マーカー描画処理は、ROM103に記憶されている画像表示プログラムに含まれ、CPU101にて実行される。
ステップS1101において、マーカー描画部205は、RAM102などの記憶領域に保存されているマーカー描画モードが有効化されているかどうかを示すフラグを判定する。マーカー描画モードは、マーカーボタン303がタップされるのに応じて、有効化/無効化が切り換わる。マーカー描画モードが有効化されている場合、マーカー描画部205は、ステップS1102に進む。マーカー描画モードが有効化されていない場合は、ステップS1112に進む。
ステップS1102において、マーカー描画部205は、ユーザのドラッグ操作に応じて操作制御部204から受信したドラッグイベントに含まれる座標位置に基づき、表示部105に表示中の部分領域画像の上にマーカーを描画する。すなわち、ユーザが所望の形のマーカーを描画したい位置を指先でなぞることにより、当該位置にマーカーが描画されることになる。
ステップS1103において、マーカー描画部205は、操作制御部204から通知されるドラッグイベントが終了したかを判断する。終了していない場合は、ステップS1102に戻り、マーカー描画を継続する。終了した場合は、マーカー描画部205は、マーカー領域処理部206に処理を受け渡し、ステップS1104に進む。
ステップS1104において、マーカー領域制御部205は、RAM102などの記憶領域に保存されているマーカー表示時間の上限値を取得する。マーカー表示時間の上限値とは、描画されたマーカーを継続して表示する時間の上限であり、例えば、10.0秒などが設定される。本実施形態のマーカーは、一時的に表示する強調マークとして書き込むことを想定し、一定時間表示した後に自動的に消すようにしている。そこで、描画されたマーカーを一定時間表示した後に、除々に薄くして最後は削除するという処理を行うために、この上限値を使用する。続いて、マーカー領域制御部206はステップS1105に進む。
ステップS1105において、マーカー描画部205は、当該書き込んだマーカーの表示時間の計測を開始する。続いて、マーカー領域制御部206はステップS1106に進む。
ステップS1106において、マーカー領域処理部206は、操作制御部204から、次へボタン301や前ボタン302やマーカーボタン303のタップイベントを受け付けたかを判定する。これらのボタンへのイベントを受け付けた場合は、ステップS1111に進む。これらのボタンへのイベントを受け付けなかった場合は、ステップS1107に進む。
ステップS1107において、マーカー領域処理部206は、計測しているマーカー表示時間が、S1104で取得した上限値を経過したかを判定する。マーカー表示時間が上限値を経過したと判断した場合は、マーカー領域処理部206はステップS1108に進む。マーカー表示時間が上限値を経過していない場合は、ステップS1106に戻る。
ステップS1108において、マーカー領域処理部206は、マーカー領域解除の遷移時間をRAM102などの記憶領域から取得する。マーカー領域解除の遷移時間とは、消去対象のマーカーを即時に削除せずに、描画したマーカーの色を徐々に薄くしていく処理を行う時間として使用する。続いて、マーカー描画部205はステップS1109に進む。
ステップS1109において、マーカー領域処理部206は、ステップS1108で取得したマーカー領域解除の遷移時間をかけて、マーカー色を徐々に薄くしていき、当該遷移時間が経過した後に削除する。マーカー領域処理部206は、マーカーを削除した後にマーカーの描画処理を完了する。
ステップS1111において、マーカー領域処理部206は、描画中のマーカーを即時に削除する。これは、次へボタン301又は前ボタン302がタップされた場合は、別の部分領域の表示に遷移し、当該描画中のマーカーが不要となるためである。また、マーカーボタンがタップされた場合は、マーカー描画を無効化するため、同様にマーカーを即時削除する。
ステップS1112において、マーカー領域処理部206は、部分領域表示部203に処理を渡し、部分領域表示部203は図8に示す通常の部分領域群の表示処理を継続する。
<マーカー描画例>
図12を用いて、図11のマーカー描画処理を行った場合の、移動端末100の表示部105の画面遷移の例を説明する。図12において、移動体端末100の画面は(A)〜(D)の順に遷移する。ここでは、例として図10(D)の表示状態において、マーカーボタン303がタップされてマーカー描画モードが有効化されて、マーカー描画処理を行う場合を説明する。
図12(A)は、図10(D)の表示状態から、移動端末100の表示部105に対するユーザからマーカーボタン303のタップを受け付けた状態を示す。マーカーボタン303のタップを受け付けた場合(1201)、ボタンの色を変化させ、マーカー描画モードが有効化されたことを示す(S1101)。マーカーボタン303は図3にて説明した様にトグルスイッチである。マーカー描画モードが無効化状態の時にタップされた場合は、マーカー描画モードは有効化される。また、マーカー描画モードが有効化状態の時にタップされた場合は、マーカー描画モードは無効化される。
図12(B)は、図12(A)の表示状態において、移動端末の表示部105に対するユーザからのドラッグ操作を受け付け(1202)、マーカー描画部205がマーカー描画を行った状態である(S1102)。例では、表示中の円グラフの一部を楕円形に囲う様なドラッグ操作を受け付け(1202)、その座標に応じたマーカー描画を行ったものである。マーカー領域処理部206は、マーカー表示時間が上限値を経過するまで、この表示状態を維持する。
図12(C)は、図12(B)の表示状態から、マーカー表示時間が上限値を経過した後に、マーカー領域処理部206がマーカー領域を徐々に薄くする処理を実行している遷移時間中の状態である(S1108〜S1109)。設定されたマーカー解除の遷移時間の内、半分程度が経過した状態である。
図12(D)は、遷移時間が経過し、図12(C)の表示状態から、マーカー描画の削除が実行され、当該マーカーを削除した状態を示す。
<マーカー領域の特定処理>
マーカー領域処理部206は、図13に示す手順にて、マーカー描画部205のマーカー描画処理(図11)によって描画されたマーカーが含まれる領域を特定して、拡大表示位置を決定する。図13に示すマーカー領域の特定処理の処理手順は、ROM103に記憶されている画像表示プログラムに含まれ、CPU101にて実行される。
マーカー領域の特定処理の例として、図14を用いて説明する。処理対象のマーカーは、図12(B)で描画されたマーカーと同じであり、表示中のグラフの一部を楕円形に囲むように描画されたマーカーである。なお、図14では、マーカー領域の特定処理の説明を分かりやすくするため、ページ画像の部分領域を薄く記載している。
ステップS1301において、マーカー領域処理部206は、図11のマーカー描画処理によって描画されたマーカーの上端と下端と左端と右端との各座標を取得する。図14において、上端の座標が(X1401,Y1401)、左端の座標が(X1402,Y1402)、下端の座標が(X1403,Y1403)、右端の座標が(X1404,Y1404)であったとする。これを図14(A)に示す。
ステップS1302において、マーカー領域処理部206は、ステップS1301で取得した4点の座標を含む矩形領域1400を特定する。図14(A)に示した様に、矩形領域1400は、その上辺にステップS1301で取得した上端の座標を含み、下辺にステップS1301で取得した下端の座標を含み、左辺にステップS1301で取得した左端の座標を含み、右辺にステップS1301で取得した右端の座標を含むように特定する。続いて、マーカー領域処理部206はステップS1303に進む。
ステップS1303において、マーカー領域処理部206は、前ステップで特定した矩形領域1400に対して、縦方向及び横方向にマージン1415を付与して矩形領域を更新し、更新した矩形領域1410をマーカー領域とする。これを図14(B)に示す。
なお、図14(B)において、マージン1415を付与した後の各座標は次の様になる。上端の座標は(X1411,Y1411)=(X1401,Y1401−1415)、左端の座標は(X1412,Y1412)=(X1402−1415,Y1402)、下端の座標は(X1413,Y1413)=(X1403,Y1403+1415)、右端の座標は(X1414,Y1414)=(X1404+1415,Y1404)である。これらの座標を各辺に含む矩形領域がマーカー領域1410となる。そして、マーカー領域処理部206は、マーカー領域1410の幅と高さを計算する。矩形領域1410の幅をW1420、高さをH1420とすると、幅W1420=(X1404+1415)−(X1402−1415)=(X1404−X1402+2×1415)、高さH1420=(Y1403+1415)−(Y1401−1415)=(Y1403−Y1401+2×1415)となる。これを図14(C)に示す。
上記のマージンは、マーカー領域を拡大表示した場合にマーカー描画を見やすくするために付与される。マーカー領域処理部206は、マージンを含むマーカー領域1410を特定した後にステップS1304に進む。
ステップS1304において、マーカー領域処理部206は、移動端末100の表示部105の幅高を取得し、ステップS1305に進む。図3に示した様に、移動端末の表示部105の幅高は(W00、H00)である。
ステップS1305において、マーカー領域処理部206は、ステップS1303で特定したマーカー領域1410の全体が移動端末100の表示部105に入るように、表示拡大率を決定する。そのために、マーカー領域1410の幅と高さを、表示部105の幅と高さと比較して、幅方向と高さ方向それぞれの拡大率を取得し、値の小さい方を表示拡大率として決定する。例えば、マーカー領域1410の幅高が(W1420,H1420)で、移動端末の表示部の幅高が(W00,H00)の場合は、幅の拡大率W00/W1420(W00をW1420で割った商)と、高さの拡大率H00/H1420(H00をH1420で割った商)とを比較して、小さい方の値を表示拡大率として決定する。マーカー領域処理部206は、マーカー領域1410の表示拡大率を特定した後にステップS1306に進む。
ステップS1306において、マーカー領域処理部206は、マーカー領域1410の中心座標(X1430,Y1430)を計算する。マーカー領域1410の中心座標は図14(D)に示す。なお、中心座標は(X1430,Y1430)=(((X1412+X1414)/2),((Y1411+Y1413)/2))となる。マーカー領域を拡大表示する際に、この中心座標が表示部105の中心に合うようにすることで、マーカー領域が表示部105の中央に表示されることになる。
上述した図13の処理により、マーカー領域処理部206は、マーカー領域を特定し、マーカー領域の表示拡大率と中心座標とを決定する。次に、このようにして特定したマーカー領域の拡大表示方法と画面遷移の例について、図15と図16を用いて説明する。
<マーカー領域の拡大表示処理と解除処理>
図15に示す手順にて、マーカー描画部205とマーカー領域処理部206は、図13で説明したマーカー描画処理に加えて、マーカー領域の拡大表示処理を行う。なお、マーカー領域の拡大表示処理は、ROM103に記憶されている画像表示プログラムに含まれ、CPU101にて実行される。
ステップS1501において、マーカー描画部205は、RAM102などの記憶領域に保存されているマーカー描画モードが有効化されているかどうかを示すフラグを判定する。マーカー描画モードが有効化されている場合、ステップS1502に進む。マーカー描画モードが有効化されていない場合は、ステップS1532に進む。
ステップS1502において、マーカー描画部205は、操作制御部204から受け付けたドラッグイベントに含まれる座標位置に基づき、表示部105に表示中の部分領域画像の上にマーカーを描画する。すなわち、ユーザが所望の形のマーカーを描画したい位置を指先でなぞることにより、当該位置にマーカーが描画される。
ステップS1503において、マーカー描画部205は、操作制御部204から通知されるドラッグイベントが終了したかを判断する。終了していない場合は、ステップS1502に戻り、マーカー描画を継続する。終了した場合は、マーカー描画部205は、マーカー領域処理部206に処理を受け渡し、ステップS1504に進む。
ステップS1504において、マーカー領域制御部205は、RAM102などの記憶領域に保存されているマーカー表示時間の上限値を取得する。マーカー表示時間の上限値とは、描画されたマーカーを継続して表示する時間の上限であり、例えば、10.0秒などが設定される。本実施形態のマーカーは、一時的に表示する強調マークとして書き込むことを想定し、一定時間表示した後に自動的に消すようにしている。そこで、描画されたマーカーを一定時間表示した後に、除々に薄くして最後は削除するという処理を行うために、この上限値を使用する。
ステップS1505において、マーカー描画部205は、当該書き込んだマーカーの表示時間の計測を開始する。
ステップS1506において、マーカー領域処理部206は、操作制御部204よりダブルタップイベントを受け付けたかを判定する。マーカー領域処理部206は、マーカーが描画された後のダブルタップイベントを、当該マーカー領域に対する拡大表示指示として処理する。なお、マーカー領域の拡大表示指示としてダブルタップは一例であり、その他のジェスチャ操作であっても良い。拡大表示指示が為されたと判断した場合は、マーカー領域処理部206はステップS1507に進む。ダブルタップイベントを受け取らなかった(すなわち、拡大表示指示が為されなかった)と判断した場合は、マーカー領域処理部206はステップS1521に進む。
ステップS1507において、マーカー領域処理部206は、図13で説明したマーカー領域の特定処理を行う。すなわち、マーカーが描画された領域を含む矩形領域を特定し、その表示拡大率と中心座標と範囲を特定する処理が行われる。
ステップS1508において、マーカー領域処理部206は、マーカー領域の拡大表示処理を行う前に、現在表示中の部分領域の表示拡大率と座標を保存しておく。
ステップS1509において、マーカー領域処理部206は、RAM102などの記憶領域に保存されているマーカー領域の拡大表示の遷移時間(例えば、1秒)を取得する。続いて、マーカー領域制御部206はステップS1510に進む。
ステップS1510において、マーカー領域処理部206は、ステップS1507のマーカー領域の特定処理において取得したマーカー領域が画面に拡大して表示されるように、ステップS1509で取得した遷移時間を掛けて徐々に拡大表示を行う。ここでは、現在表示中の部分領域の表示拡大率から、図13のマーカー領域の特定処理のステップS1305で決定したマーカー領域の表示拡大率になるように徐々に拡大率を変更するとともに、ステップS1306で決定したマーカー領域の中心座標が、表示部の中央に合うように徐々に表示位置を移動させればよい。
ステップS1511において、マーカー領域処理部206は、マーカー表示時間をリセットし再計測を開始する。
ステップS1512において、マーカー領域処理部206は、マーカー領域の拡大表示中に、次へボタン301や前ボタン302やマーカーボタン303に対するタップイベントを操作制御部204から受け付けたかを判定する。これらのボタンに対するタップイベントを受け付けたと判定した場合は、ステップS1531に進む。一方、これらのボタンへのタップイベントを受け付けていないと判定した場合は、ステップS1513に進む。
ステップS1513において、マーカー領域処理部206は、マーカー領域の拡大表示中に、マーカー領域に対するタップイベントを操作制御部204から受け付けたかを判定する。マーカー領域に対するタップイベントを受け付けたと判定した場合は、マーカー領域処理部206は、マーカー領域へのタップイベントをマーカー領域の拡大表示時間の延長指示として処理する。マーカー領域処理部206は、マーカー領域の拡大表示時間の延長指示を受け付けたと判定した場合は、ステップS1511に戻り、マーカー表示時間の再計測を開始する。つまり、ユーザは、マーカー領域の拡大表示中にマーカー領域をタップすれば、マーカー領域の拡大表示時間を延長することができる。マーカー領域処理部206は、マーカー領域に対するタップイベントを受け付けなかった場合は、ステップS1514に進む。
ステップS1514において、マーカー領域処理部206は、マーカー領域の拡大表示後に、操作制御部204からのダブルタップイベントを受け付けたかを判定する。受け付けた場合は、S1518に進んで、マーカー領域処理部206は、ダブルタップイベントを当該マーカー領域の拡大表示の解除指示として処理する。なお、マーカー領域の拡大表示の解除指示としてタブルタップは一例であり、その他のジェスチャ操作であっても良い。マーカー領域の拡大表示の解除指示を受け付けた場合は、マーカー領域処理部206はステップS1518に進み、マーカー領域の拡大表示を解除する際の遷移時間を取得する。拡大表示の解除指示を受け付けなかった場合は、マーカー領域処理部206はステップS1515に進む。
ステップS1515において、マーカー領域処理部206は、マーカー表示時間がステップS1504で取得した上限値を経過したかを判定する。マーカー表示時間が上限値を経過した場合は、マーカー領域処理部206はステップS1516に進み、マーカー領域の拡大表示を解除する際の遷移時間を取得する。マーカー表示時間が上限値を経過していない場合は、ステップS1512に戻る。
ステップS1516において、マーカー領域処理部206は、RAM102などの記憶領域に保存されているマーカー領域解除の遷移時間Aを取得する。マーカー領域解除の遷移時間Aは、例えば5.0秒などである。
ステップS1518において、マーカー領域処理部206は、RAM102などの記憶領域に保存されているマーカー領域解除の遷移時間Bを取得する。マーカー領域解除の遷移時間Bは、例えば2.5秒などである。
ステップS1517において、マーカー領域処理部206は、ステップS1516またはステップS1518で取得したマーカー領域解除の遷移時間AまたはBをかけて、マーカーを徐々に薄くしていくとともに、ステップS1508で保存しておいた元の表示拡大率と座標にしたがって、元の部分領域の表示サイズに徐々に変更する。遷移時間AまたはB経過後、薄くされていったマーカーは最後に削除される。
なお、マーカー領域の拡大表示の解除処理における遷移時間に関しては、マーカー表示時間が上限値に達した場合にステップS1516で取得されるマーカー領域解除の遷移時間Aの値と、ダブルタップを受け付けた場合にステップS1518で取得されるマーカー領域解除の遷移時間Bとは、異なる値を設定することができる。異なる値を設定しておくことで、マーカー領域を拡大表示した後に、ダブルタップ操作を受け付けた場合と、操作を受け付けずにマーカー表示時間の上限値が経過した場合とで、マーカー領域の拡大表示の解除処理における画面遷移に掛ける時間を切り替えることができる。例えば、先述の様に、遷移時間A=5.0秒、遷移時間B=2.5秒と設定しておいた場合、マーカー領域処理部206は、ダブルタップを受け付けた時は、マーカー表示時間の上限値に達した場合よりも速い遷移で、マーカー領域の拡大表示の解除処理を行える。
ユーザは、マーカー表示時間と、ステップS1513のタップ操作やステップS1514のタブルタップ操作などの簡単な操作を組み合わせることで、マーカー領域の拡大表示の表示時間を柔軟に制御することができる。
なお、ステップS1517のマーカー領域の拡大表示の解除処理中に、S1513と同様にマーカー領域へのタップ処理を受け付けた場合は、ステップS1510に戻り、再度マーカー領域の拡大表示処理を行うように構成してもよい。
マーカー領域制御部206は、マーカー領域の拡大表示の解除処理を完了し、元の部分領域の表示位置と表示拡大率に表示状態を戻した場合に、マーカー領域の拡大表示処理を終了する。
ステップS1521において、マーカー領域処理部206は、マーカーを描画した後に、次へボタン301や前ボタン302やマーカーボタン303に対するタップイベントを操作制御部204から受け付けたかを判定する。これらのボタンに対するタップイベントを受け付けたと判定した場合は、ステップS1531に進む。一方、これらのボタンに対するタップイベントを受け付けなかった場合は、ステップS1522に進む。
ステップS1522において、マーカー領域処理部206は、マーカー描画を行った後に、次へボタン301と前ボタン302とマーカーボタン303以外の表示領域に対するタップイベントを操作制御部204から受け付けたかを判定する。受け付けた場合は、マーカー領域処理部206は、ボタン以外の表示領域へのタップイベントをマーカー描画の表示時間の延長指示として処理する。マーカー領域処理部206は、マーカー描画の表示時間の延長指示を受け付けた場合は、ステップS1505に戻り、マーカー表示時間の再計測を開始する。つまり、ユーザは、マーカー描画後にボタン以外の表示領域をタップすれば、マーカー描画の表示時間を延長することができる。マーカー領域処理部206は、ボタン以外の表示領域へのタップイベントを受け付けなかった場合は、ステップS1523に進む。
ステップS1523において、マーカー領域処理部206は、マーカー表示時間がステップS1504で取得した上限値を経過したかを判定する。マーカー表示時間が上限値を経過した場合は、マーカー領域処理部206はステップS1524に進み、マーカー領域の拡大表示を解除する際の遷移時間Aを取得する。一方、マーカー表示時間が上限値を経過していない場合は、ステップS1521に戻る。
ステップS1524において、マーカー領域処理部206は、RAM102などの記憶領域に保存されたマーカー領域解除の遷移時間Aを取得する。マーカー領域解除の遷移時間Aは、例えば5.0秒などである。
ステップS1525において、マーカー領域処理部206は、ステップS1524で取得したマーカー領域解除の遷移時間Aをかけて、マーカー色を徐々に薄くしていき、遷移時間A経過すると当該マーカーを削除する。なお、ステップS1525のマーカー描画の削除処理中にタップ処理を受け付けた場合は、S1522でタップ処理を受け付けた場合と同様に、ステップS1505に戻り、マーカー色を当初の濃さに戻し、マーカー表示時間をクリアし再計測を行ってもよい。
ステップS1531において、マーカー領域処理部206は、マーカー領域処理部206は、マーカー描画を削除する。ここでは、ステップS1517やステップS1525におけるマーカー描画を徐々に薄くする処理とは異なり、マーカー描画を即時削除する。これは、次へボタン301や前へボタン302がタップされた場合は、別の部分領域の表示に遷移し、当該描画中のマーカーが不要となるためである。また、マーカーボタン303がタップされた場合は、マーカー描画を無効化するため、同様にマーカーを即時削除する。
ステップS1532において、マーカー領域処理部206は、部分領域表示部203に処理を渡し、部分領域表示部203は図8に示す通常の部分領域群の表示処理を継続する。
<マーカー領域の拡大表示処理と解除処理時の画面遷移例>
図15を用いて説明した、マーカー描画処理と、マーカー領域の拡大表示処理と解除処理とを実行した場合の移動端末100の表示部105の画面遷移を、図16の(A)〜(G)を用いて説明する。ここでは、例として図10(D)の表示状態において、マーカー描画を行い、そのマーカー領域の拡大表示を行う場合を説明する。
図16(A)は、図10(D)の表示状態から、移動端末100の表示部105に対するユーザからマーカーボタン303のタップを受けつけた状態を示す。マーカーボタン303のタップを受け付けた場合(1601)、ボタンの色を変化させ、マーカー描画モードが有効化されたことを示す(S1501)。マーカーボタン303は図3にて説明した様にトグルスイッチである。マーカー描画モードが無効化状態の時にタップされた場合は、マーカー描画モードは有効化さる。また、マーカー描画モードが有効化状態の時にタップされた場合は、マーカー描画モードは無効化される。
図16(B)は、図16(A)の表示状態において、移動端末の表示部105に対するユーザからのドラッグ操作を受け付け(1602)、マーカー描画部205がマーカー描画を行った状態である(S1502)。例では、表示中の円グラフの一部を楕円形に囲う様なドラッグ操作を受け付け(1602)、その座標に応じたマーカー描画を行ったものである。
図16(C)は、図16(B)の表示状態から、タブルタップを受け付けた状態を示す。図15のステップS1506〜S1507に示した様に、マーカー領域処理部206は、操作処理部204からダブルタップイベントを受け付けた場合(1603)、図13と図14に示したマーカー領域の特定処理を行い、マーカー領域の表示拡大率と中心座標と範囲を特定する。また、マーカー領域を拡大表示する前に、現在表示中の部分領域の表示拡大率と座標とを記憶しておく。この後、マーカー領域処理部206は、設定された拡大表示の遷移時間を掛けて、マーカー領域を表示部105に合う様に拡大表示を行う。
図16(D)は、図16(C)でダブルタップを受け付けた結果、マーカー領域を徐々に拡大表示している途中の状態を示す。設定された拡大表示の遷移時間のうち、半分程度が経過した状態である。この状態は、図15に示すマーカー描画の拡大表示処理におけるステップS1510の処理の実行途中である。
図16(E)は、図16(D)の表示状態から、マーカー領域の拡大表示が完了した状態を示す。この状態は、図15に示すマーカー描画の拡大表示処理におけるステップS1510の処理が完了した結果である。この後、ステップS1511に示した様に、マーカー領域処理部206は、マーカー表示時間をリセットし再計測を開始する。マーカー領域処理部206は、マーカー表示時間が上限値を経過するまで、この表示状態を維持するが、図15のステップS1513に示した様に、マーカー領域へのタップ操作を受け付けた場合は、マーカー表示時間をクリアし、マーカー領域の拡大表示を延長することもできる。
マーカー領域処理部206は、マーカー表示時間が所定時間を経過した後に、マーカー領域の拡大表示の解除処理を開始する。図16(F)は、図16(E)の表示状態から、徐々に拡大表示が解除されている途中の状態を示す。設定された拡大表示解除の遷移時間のうち、半分程度が経過した状態であり、マーカーが徐々に薄くなるとともに、拡大表示が元のサイズに戻っていく途中の状態である。
図16(G)は、図16(F)の表示状態の後、図15のステップS1517のマーカー領域の拡大表示の解除処理が完了した状態を示す。
なお、図16では、マーカー描画の例として、円形で強調部分を囲むようなマーカー(1602)を描画した場合の例について説明したが、マーカーの形状はこれに限るものではない。例えば、線や矢印等のマーカーであってもよいし、文字や記号を示すようなマーカーであってもよい。図17(A)〜(G)では、文字領域内のテキストに下線を引いたような線状のマーカーを描画した場合の画面遷移例を示す。
図17(A)は、図10(F)の表示状態から、移動端末100の表示部105に対するユーザからマーカーボタン303のタップを受け付けた状態を示す。マーカーボタン303のタップを受け付けた場合、ボタンの色を変化させ、マーカー描画モードが有効化されたことを示す。
図17(B)は、図17(A)の表示状態において、移動端末の表示部105に対するユーザからのドラッグ操作を受け付け、マーカー描画部205がマーカー描画を行った状態である。例では、表示中の文字列に下線を引くようなドラッグ操作を受け付け、その座標に応じたマーカー描画を行ったものである。
図17(C)は、図17(B)の表示状態から、タブルタップを受け付けた状態を示す。図15のステップS1506〜S1507に示した様に、マーカー領域処理部206は、操作処理部204からダブルタップイベントを受け付けた場合に、マーカー領域の特定処理を行い、マーカー領域の表示拡大率と中心座標と範囲を特定する。また、マーカー領域を拡大表示する前に、現在表示中の部分領域の表示拡大率と座標とを記憶しておく。この後、マーカー領域処理部206は、設定された拡大表示の遷移時間を掛けて、マーカー領域を表示部105に合う様に拡大表示を行う。
図17(D)は、図17(C)でダブルタップを受け付けた結果、マーカー領域を徐々に拡大表示している途中の状態を示す。設定された拡大表示の遷移時間のうち、半分程度が経過した状態である。この状態は、図15に示すマーカー描画の拡大表示処理におけるステップS1510の処理の実行途中である。
図17(E)は、図17(D)の表示状態から、マーカー領域の拡大表示が完了した状態を示す。
マーカー領域処理部206は、マーカー表示時間が所定時間を経過した後に、マーカー領域の拡大表示の解除処理を開始する。図17(F)は、図17(E)の表示状態から、徐々に拡大表示が解除されている途中の状態を示す。設定された拡大表示解除の遷移時間のうち、半分程度が経過した状態であり、マーカーが徐々に薄くなるとともに、拡大表示が元のサイズに戻っていく途中の状態である。
図17(G)は、図17(F)の表示状態の後、図15のステップS1517のマーカー領域の拡大表示の解除処理が完了した状態を示す。
以上説明した様に、本実施例では、ページ画像中の部分領域を表示しているときに、必要に応じて、強調したい部分をマーカー描画し、更に当該マーカー描画した部分(マーカー領域)を、ダブルタップなどの簡単な操作で拡大表示することができる。また、マーカー領域を拡大表示後に一定時間が経過した場合、又は再度ダブルタップによる簡単な操作を受け付けた場合、マーカー領域を拡大表示する前の部分領域の表示拡大率に戻ることができる。
本実施例では、ページ画像を表示するシステムにおいて、事前に認識していないページ画像中の部分を、マーカーで即興的に特定し、かつ、そのマーカー領域を聴き手の印象に残る様に効果的に強調表示することができる。
<<実施例2>>
実施例2は、マーカー領域の特定処理が実施例1と異なる。本実施例では、マーカー領域の特定処理において、描画されたマーカーを含む矩形領域に加えて、拡大表示指示となるダブルタップの位置座標も考慮して、マーカー領域の表示拡大率と表示位置とを特定する方法を説明する。本実施例では、マーカー領域の特定処理と、マーカー領域の拡大表示処理及び解除処理の画面遷移以外に関しては実施例1と同様であるため説明を省略する。
<マーカー領域の特定処理>
実施例2では、マーカー領域処理部206は、図18に示す手順にて、マーカー領域の特定処理を行う。図18に示すマーカー領域の特定処理の処理手順は、ROM103に記憶されている画像表示プログラムに含まれ、CPU101にて実行される。本実施例では、マーカー領域の特定処理の例として、図19を用いて説明する。なお、図19ではマーカー領域の特定処理の説明のため、ページ画像の部分領域の表示を薄く記載している。
ステップS1801において、マーカー領域処理部206は、図15のステップS1506でダブルタップされた位置の座標を取得する。このダブルタップ位置座標を(X1940,Y1940)とする。
ステップS1802において、マーカー領域処理部206は、図11のマーカー描画処理によって描画されたマーカーの上端と下端と左端と右端との各座標を取得する。図14において、上端の座標を(X2101,Y2101)、左端の座標を(X2102,Y2102)、下端の座標を(X2103,Y2103)、右端の座標を(X2104,Y2104)とする。
ステップS1803において、マーカー領域処理部206は、ステップS1801で取得したダブルタップ座標とステップS1802で取得したマーカーの4点の座標とを含む矩形領域1900を特定する。図19(A)のように、マーカーより少し上の位置でダブルタップが為された場合、矩形領域1900は、その上辺にステップS1801で取得したダブルタップの座標を含み、その左辺・下辺・右辺のそれぞれにステップS1802で取得した左端・下端・右端の座標を含むように特定する。
ステップS1804において、マーカー領域処理部206は、ステップS1803で特定した矩形領域1900に対して、縦方向及び横方向にマージン1915を付与して矩形領域を更新し、更新した矩形領域を1910をマーカー領域とする。これを図21(B)に示す。
なお、図21(B)において、マージン1915を付与した後の各座標は次の様になる。矩形領域の上端の座標は(X1911,Y1911)=(X1940,Y1940−1915)、左端の座標は(X1912,Y1912)=(X1902−1915,Y1902)、下端の座標は(X1913,Y1913)=(X1903,Y1903+1915)、右端の座標は(X1914,Y1914)=(X1904+1915,Y1904)である。これらの座標を各辺に含む矩形領域が1910となる。さらに、マーカー領域処理部206は、マージン2115を付与し更新した後の矩形領域1910の幅と高さを計算する。矩形領域1910の幅をW1910、高さをH1910とすると、幅W1910==(X1904−X1902+2×1915)、高さH1910=(Y1903−Y1901−2×1915)となる。上記のマージンは、後に特定するマーカー領域を拡大表示した場合に見やすくするために付与される。
ステップS1805において、マーカー領域処理部206は、移動端末100の表示部105の幅高を取得し、ステップS1806に進む。図3に示した様に、移動端末の表示部105の幅高は(W00、H00)である。
ステップS1806において、マーカー領域処理部206は、ステップS1804で特定した矩形領域1910の全体が移動端末100の表示部105に入る様に、表示拡大率を決定する。そのために、矩形領域1910の幅と高さ方向のそれぞれの拡大率を取得し、値の小さい方を表示拡大率として決定する。例えば、矩形領域1910の幅高が(W1910,H1910)で、移動端末の表示部の幅高が(W00,H00)の場合は、幅の拡大率W00/W1910(W00をW1910で割った商)と、高さの拡大率H00/H1910(H00をH1910で割った商)を比較し、小さい値を表示拡大率として決定する。
ステップS1807において、マーカー領域処理部206は、ステップS1801で取得したダブルタップ座標を、マーカー領域1910を拡大表示する際の基準となる中心座標として決定する。この中心座標(ダブルタップの位置座標)は、マーカー領域を拡大表示する際に、その座標が画面の中央に合うように制御するための座標である。
マーカー領域処理部206は、マーカー領域の表示拡大率と中心座標とを決定し、マーカー領域の特定処理を完了する。
<マーカー領域の拡大表示処理と解除処理時の画面遷移例)
図20は、図18で説明したマーカー領域の特定処理を用いて、マーカー領域拡大表示処理と解除処理(図15)を行った場合の、移動端末100の表示部105の画面遷移の例を示す。図20では、例として図10(F)の表示状態からマーカー描画を行い、その拡大表示を行う場合を(A)〜(G)の順で画面遷移する。
図20(A)は、図10(F)の表示状態から、移動端末100の表示部105に対するユーザからマーカーボタン303の押下を受け付けた状態を示す。マーカーボタン303のタップを受け付けた場合(2201)、ボタンの色を変化させ、マーカー描画が有効化されたことを示す。
図20(B)は、図20(A)の表示状態において、移動端末の表示部105に対するユーザからのドラッグ操作を受け付け(2202)、マーカー描画部205がマーカー描画を行った状態である。例では、表示中の文字列に下線を引くようなドラッグ操作を受け付け、その座標に応じたマーカー描画を行ったものである。
図20(C)は、図20(B)の表示状態から、タブルタップを受け付けた状態を示す。図15のステップS1506〜S1507に示した様に、マーカー領域処理部206は、操作処理部204からダブルタップイベントを受け付けた場合に(2203)、マーカー領域の特定処理を行い、マーカー領域の表示拡大率と中心座標と範囲を特定する。また、マーカー領域を拡大表示する前に、現在表示中の部分領域の表示拡大率と座標とを記憶しておく。この後、マーカー領域処理部206は、設定された拡大表示の遷移時間を掛けて、マーカー領域を表示部105に合う様に拡大表示を行う。
図20(D)は、図20(C)でダブルタップを受け付けた結果、マーカー領域を徐々に拡大表示している途中の状態を示す。設定された拡大表示の遷移時間のうち、半分程度が経過した状態である。この状態は、図15に示すマーカー描画の拡大表示処理におけるステップS1510の処理の実行途中である。
図20(E)は、図20(D)の表示状態から、マーカー領域の拡大表示が完了した状態を示す。この後、マーカー領域処理部206は、マーカー表示時間をリセットし再計測を開始する。
マーカー領域処理部206は、マーカー表示時間が所定時間を経過した後に、マーカー領域の拡大表示の解除処理を開始する。図20(F)は、図20(E)の表示状態から、徐々に拡大表示が解除されている途中の状態を示す。設定された拡大表示解除の遷移時間のうち、半分程度が経過した状態であり、マーカーが徐々に薄くなるとともに、拡大表示が元のサイズに戻っていく途中の状態である。
図20(G)は、図20(F)の表示状態の後、図15のステップS1517のマーカー領域の拡大表示の解除処理が完了した状態を示す。
本実施例3では、マーカーを描画した座標位置に加えて、ユーザからの拡大表示指示となるダブルタップした位置の座標を基準にして、マーカー領域の拡大表示を行うことにより、ユーザの意図を反映した拡大表示処理が可能となる。
<<その他の実施例>>
また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (13)

  1. 画像を画面に表示する表示手段と、
    前記画面に表示されている画像に対し、ユーザの指示に基づいて、マーカーを描画するマーカー描画手段と、
    前記表示された画像に含まれ、前記マーカー描画手段により描画されたマーカーにより特定された領域を囲む矩形領域のサイズを基に、前記画面に表示されている画像に対する拡大率を決定する決定手段と、
    前記決定手段により決定された拡大率に基づき、前記画面に表示されている画像を拡大し、前記拡大された画像に含まれる領域であり前記拡大率に基づき拡大された前記矩形領域が、前記画面に表示されるように前記矩形領域の表示位置を調整して表示する拡大表示手段と、
    前記拡大表示手段により拡大表示された前記矩形領域の画像を、前記拡大表示手段により拡大表示する前のサイズになるように縮小表示する縮小表示手段と、
    を有することを特徴とする画像表示装置。
  2. 前記縮小表示手段は、前記拡大表示手段により前記矩形領域が拡大表示されて所定の時間が経過したと判断した場合、前記画面に表示されている画像を、前記拡大表示手段により拡大表示する前の拡大率になるように縮小表示することを特徴とする請求項1に記載の画像表示装置。
  3. 前記縮小表示手段は、前記拡大表示手段により前記矩形領域が拡大表示されて所定の時間が経過したと判断した場合、前記画面に表示されている画像を、前記拡大表示手段により拡大表示する前の拡大率になるまで、所定の遷移時間をかけて徐々に縮小表示していくことを特徴とする請求項1に記載の画像表示装置。
  4. 前記縮小表示手段は、前記画面に表示されている画像を前記所定の遷移時間をかけて縮小表示する際に、前記矩形領域に含まれ、前記マーカー描画手段により前記画像に対して描画されたマーカーを徐々に薄くすることを特徴とする請求項3に記載の画像表示装置。
  5. 前記縮小表示手段は、前記拡大表示手段により前記矩形領域が拡大表示されているときに、ユーザにより拡大表示の解除指示が為されたと判断した場合、前記画面に表示されている画像を、前記拡大表示手段により拡大表示する前の拡大率になるように縮小表示することを特徴とする請求項1に記載の画像表示装置。
  6. 前記縮小表示手段は、前記拡大表示手段により前記矩形領域が拡大表示されているときに、前記ユーザにより拡大表示の解除指示が為されたと判断した場合、前記画面に表示されている画像を、前記拡大表示手段により拡大表示する前の拡大率になるまで、所定の遷移時間をかけて徐々に縮小表示していくことを特徴とする請求項1に記載の画像表示装置。
  7. 前記縮小表示手段は、前記画面に表示されている画像を前記所定の遷移時間をかけて縮小表示する際に、前記マーカーを徐々に薄くすることを特徴とする請求項6に記載の画像表示装置。
  8. 前記ユーザの指示が為されて、所定の表示時間が経過した場合、前記マーカー描画手段により前記画像に対して描画されたマーカーを徐々に薄くしていった後、当該マーカーを削除する削除手段を、更に有することを特徴とする請求項1乃至のいずれか1項に記載の画像表示装置。
  9. 前記画面は、有線または無線を介して接続された画面であることを特徴とする請求項1乃至のいずれか1項に記載の画像表示装置。
  10. 前記画像表示装置は、移動端末であることを特徴とする請求項1乃至のいずれか1項に記載の画像表示装置。
  11. コンピュータを、請求項1乃至のいずれか1項に記載の画像表示装置の各手段として機能させるためのプログラム。
  12. 請求項11に記載のプログラムを記憶した、コンピュータ読み出し可能な記憶媒体。
  13. 画像を画面に表示する表示ステップと、
    前記画面に表示されている画像に対し、ユーザの指示に基づいて、マーカーを描画するマーカー描画ステップと、
    前記表示された画像に含まれ、前記マーカー描画ステップで前記描画されたマーカーにより特定された領域を囲む矩形領域のサイズを基に、前記画面に表示されている画像に対する拡大率を決定する決定手段と、
    前記決定手段により決定された拡大率に基づき、前記画面に表示されている画像を拡大し、前記拡大された画像に含まれる領域であり前記拡大率に基づき拡大された前記矩形領域が、を前記画面に表示されるように前記矩形領域の表示位置を調整して表示する拡大表示ステップと、
    前記拡大表示ステップで拡大表示された前記矩形領域の画像を、前記拡大表示ステップで拡大表示する前のサイズになるように縮小表示する縮小表示ステップと、
    を有することを特徴とする画像表示方法。
JP2014242442A 2014-11-28 2014-11-28 画像表示装置、画像表示方法 Expired - Fee Related JP6452409B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014242442A JP6452409B2 (ja) 2014-11-28 2014-11-28 画像表示装置、画像表示方法
US14/950,966 US20160155212A1 (en) 2014-11-28 2015-11-24 Image display apparatus and image display method
CN201510849986.4A CN105653150A (zh) 2014-11-28 2015-11-27 图像显示设备和图像显示方法
KR1020150167029A KR20160065020A (ko) 2014-11-28 2015-11-27 화상 표시 장치 및 화상 표시 방법
DE102015120619.6A DE102015120619A1 (de) 2014-11-28 2015-11-27 Bildanzeigevorrichtung und Bildanzeigeverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014242442A JP6452409B2 (ja) 2014-11-28 2014-11-28 画像表示装置、画像表示方法

Publications (3)

Publication Number Publication Date
JP2016103241A JP2016103241A (ja) 2016-06-02
JP2016103241A5 JP2016103241A5 (ja) 2018-01-11
JP6452409B2 true JP6452409B2 (ja) 2019-01-16

Family

ID=55967930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014242442A Expired - Fee Related JP6452409B2 (ja) 2014-11-28 2014-11-28 画像表示装置、画像表示方法

Country Status (5)

Country Link
US (1) US20160155212A1 (ja)
JP (1) JP6452409B2 (ja)
KR (1) KR20160065020A (ja)
CN (1) CN105653150A (ja)
DE (1) DE102015120619A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6579905B2 (ja) * 2015-01-29 2019-09-25 キヤノン株式会社 情報処理装置、情報処理装置の表示制御方法、及びプログラム
US11513678B2 (en) * 2017-06-06 2022-11-29 Polycom, Inc. Context based annotating in an electronic presentation system
JP7260080B2 (ja) * 2018-03-15 2023-04-18 Fcnt株式会社 表示装置、表示制御プログラムおよび表示制御方法
JP7017739B2 (ja) * 2018-05-29 2022-02-09 株式会社売れるネット広告社 ウェブページ提供装置およびウェブページ提供プログラム
CN108803994B (zh) * 2018-06-14 2022-10-14 四川和生视界医药技术开发有限公司 视网膜血管的管理方法及视网膜血管的管理装置
CN109782924B (zh) * 2019-01-09 2022-09-06 深圳腾千里科技有限公司 复合码书写页面生成方法、设备、存储介质及装置
KR20210058575A (ko) 2019-11-14 2021-05-24 무함마드 파라스 바리제인 음식물 공유 서버 및 방법
DE102022120715A1 (de) 2022-08-17 2024-02-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Anzeigeeinrichtung in einem Kraftfahrzeug
TWI825951B (zh) * 2022-08-26 2023-12-11 瑞昱半導體股份有限公司 顯示裝置及影像顯示方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286808A (ja) * 1995-04-18 1996-11-01 Canon Inc 軌跡入出力電子装置及びその表示制御方法
JP4044255B2 (ja) * 1999-10-14 2008-02-06 富士通株式会社 情報処理装置、及び画面表示方法
JP2003189177A (ja) * 2001-12-18 2003-07-04 Sharp Corp 端末装置
US20050285880A1 (en) * 2004-06-23 2005-12-29 Inventec Appliances Corporation Method of magnifying a portion of display
JP2006350867A (ja) * 2005-06-17 2006-12-28 Ricoh Co Ltd 文書処理装置、文書処理方法、プログラム及び情報記録媒体
JP4765808B2 (ja) * 2006-07-19 2011-09-07 カシオ計算機株式会社 プレゼンテーションシステム
US8935624B2 (en) * 2006-12-18 2015-01-13 Voyant Health Ltd. Method for copying images
JP5171387B2 (ja) * 2008-05-19 2013-03-27 キヤノン株式会社 画像処理装置およびその制御方法およびプログラム
US8711265B2 (en) * 2008-04-24 2014-04-29 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, and storage medium
DE112009003521T5 (de) * 2008-12-04 2013-10-10 Mitsubishi Electric Corp. Anzeigeeingabevorrichtung
JP5282627B2 (ja) * 2009-03-30 2013-09-04 ソニー株式会社 電子機器、表示制御方法およびプログラム
US20100302176A1 (en) * 2009-05-29 2010-12-02 Nokia Corporation Zoom-in functionality
JP2011060111A (ja) * 2009-09-11 2011-03-24 Hoya Corp 表示装置
JP5573487B2 (ja) * 2010-08-20 2014-08-20 ソニー株式会社 情報処理装置、プログラム及び操作制御方法
US8769444B2 (en) * 2010-11-05 2014-07-01 Sap Ag Multi-input gesture control for a display screen
JP2012252637A (ja) * 2011-06-06 2012-12-20 Dainippon Printing Co Ltd 電子ペン、端末装置、及びプログラム
US9207096B2 (en) * 2011-06-09 2015-12-08 Blackberry Limited Map magnifier
KR101861377B1 (ko) * 2012-03-09 2018-05-28 삼성전자주식회사 이동 단말에서 모션 기반의 화면 제어 방법 및 이를 위한 이동 단말
JP5984439B2 (ja) 2012-03-12 2016-09-06 キヤノン株式会社 画像表示装置、画像表示方法
US9323367B2 (en) * 2012-06-22 2016-04-26 Smart Technologies Ulc Automatic annotation de-emphasis
KR102053315B1 (ko) * 2012-06-29 2019-12-06 삼성전자주식회사 콘텐트를 표시하는 방법 및 그 장치
JP2014102669A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
US9575653B2 (en) * 2013-01-15 2017-02-21 Blackberry Limited Enhanced display of interactive elements in a browser
JP2014146233A (ja) * 2013-01-30 2014-08-14 Brother Ind Ltd 資料共有プログラム、端末装置、資料共有方法
US9262239B2 (en) * 2013-05-10 2016-02-16 Adobe Systems Incorporated User-creatable custom workflows
JP6160224B2 (ja) * 2013-05-14 2017-07-12 富士通株式会社 表示制御装置、システム及び表示制御プログラム
JP6399744B2 (ja) * 2013-12-04 2018-10-03 キヤノン株式会社 表示装置、表示方法
KR102324083B1 (ko) * 2014-09-01 2021-11-09 삼성전자주식회사 화면 확대 제공 방법 및 그 전자 장치

Also Published As

Publication number Publication date
DE102015120619A1 (de) 2016-06-02
KR20160065020A (ko) 2016-06-08
JP2016103241A (ja) 2016-06-02
US20160155212A1 (en) 2016-06-02
CN105653150A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
JP6452409B2 (ja) 画像表示装置、画像表示方法
US20210026886A1 (en) Method and apparatus for determining background music of a video, terminal device and storage medium
US11044420B2 (en) Real time video special effects system and method
US20210160435A1 (en) Fast and/or slow motion compensating timer display
US10516830B2 (en) Guided image composition on mobile devices
US9110579B2 (en) Information processing apparatus, information processing method and information processing program
JP6036807B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20100028344A (ko) 휴대단말의 영상 편집 방법 및 장치
US20170024110A1 (en) Video editing on mobile platform
US20120030635A1 (en) Information processing apparatus, information processing method and information processing program
US20150007024A1 (en) Method and apparatus for generating image file
US9449584B2 (en) Display control apparatus, method for controlling the same, and storage medium
EP2690541B1 (en) Method of displaying status bar
WO2022040308A1 (en) Real time video special effects system and method
JP2019008668A (ja) クライアントデバイス、画像処理システム、画像の表示方法および、プログラム
US9753548B2 (en) Image display apparatus, control method of image display apparatus, and program
JP4952275B2 (ja) 情報処理装置、画像表示装置、情報処理装置の制御方法およびプログラム
JP6442266B2 (ja) 撮像制御装置、その制御方法、プログラム、及び記憶媒体
JP6808424B2 (ja) 画像記録装置およびその制御方法
JP6120541B2 (ja) 表示制御装置及びその制御方法
JP5806416B1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6779778B2 (ja) 表示制御装置およびその制御方法
JP2017134469A (ja) 画像表示装置、画像表示方法、およびプログラム
RU2791980C2 (ru) Способ и устройство для исполнения объекта на дисплее
WO2023045963A1 (zh) 一种视频生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181211

R151 Written notification of patent or utility model registration

Ref document number: 6452409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees