JP6868427B2 - 入力機能付き表示装置 - Google Patents

入力機能付き表示装置 Download PDF

Info

Publication number
JP6868427B2
JP6868427B2 JP2017057501A JP2017057501A JP6868427B2 JP 6868427 B2 JP6868427 B2 JP 6868427B2 JP 2017057501 A JP2017057501 A JP 2017057501A JP 2017057501 A JP2017057501 A JP 2017057501A JP 6868427 B2 JP6868427 B2 JP 6868427B2
Authority
JP
Japan
Prior art keywords
display
information
contact
screen
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017057501A
Other languages
English (en)
Other versions
JP2018159843A (ja
Inventor
哲平 細川
哲平 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2017057501A priority Critical patent/JP6868427B2/ja
Priority to US15/923,882 priority patent/US10394376B2/en
Priority to CN201810240139.1A priority patent/CN108628402B/zh
Publication of JP2018159843A publication Critical patent/JP2018159843A/ja
Priority to US16/509,870 priority patent/US10635233B2/en
Application granted granted Critical
Publication of JP6868427B2 publication Critical patent/JP6868427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1601Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Description

この発明は、入力機能付き表示装置に関し、特に、1つの表示装置に複数の表示画面を表示するマルチウインドウ表示機能を有し、指やペン等で表示画面に接触することにより、文字等の入力および表示が可能な入力機能付き表示装置に関する。
従来から、1つの表示装置の表示パネルに、異なる画像をそれぞれ表示した複数の表示画面を、同時に一部を重畳させて表示させる画像表示技術(ピクチャーインピクチャー機能)が利用されている。たとえば、表示パネルのメイン画面全体に、1つの画像Aを表示させ、表示された画像Aの一部分の表示領域の上に重ねて、別の画像Bを表示したサブ画面を表示させる。
また、ペンや指で接触された位置を検出する位置入力装置であるタッチパネルと表示画面とを重ねて配置し、接触された位置の表示画面に、接触入力された文字や図形等を表示させる入力機能付き表示装置も利用されている。
このようなピクチャーインピクチャー機能を有し、タッチパネルを備えた表示装置において、複数の表示画面が表示された状態で、ユーザがペンを用いて文字等をメイン画面に入力している場合、メイン画面の一部に重ねて表示されているサブ画面が邪魔になる場合がある。
サブ画面が表示されている表示領域に入力をしたい場合は、ユーザは、ペンによる入力を中断し、所定の操作をしてサブ画面を移動または消去させて、サブ画面が表示されていた部分の領域が見えるようにした後、中断した位置からペンによる入力を再開するという一連の処理をする必要があった。
上記のユーザが行う一連の処理は時間がかかり操作も面倒であるため、座標入力ペンの指示位置がサブ画面である画像B内に入った場合に、そのサブ画面を、自動的に透明化または半透明化する装置が提案されている(特許文献1参照)
また、表示画面に表示されているカーソルやポインタの位置が、サブ画面(サブウインドウ)の存在するセグメント位置に重なった場合や、サブ画面(第2画像)の表示位置とカーソル位置との距離が所定の閾値未満となった場合に、自動的に、サブ画面の表示位置を移動させたり、サブ画面を消去したり、サブ画面を透明化したりする装置が提案されている(特許文献2,3参照)。
特開2006−244078号公報 特開2012−8628号公報 特開平8−314681号公報
しかし、従来のように、サブ画面を移動等するのに、面倒な一連の処理が必要な場合は、文字等の入力操作が一旦中断されるので、たとえば、表示内容に文字等を書き加えながらプレゼンテーションを行っている場合には、プレゼンテーションをしているユーザの操作負担が大きく、円滑な文字等の入力や表示内容の説明をすることができない。
また、自動的にサブ画面を移動等するものでは、それまで接触入力された文字等の表示位置や接触入力された線分の軌跡や接触方向が考慮されていないので、サブ画面の移動先が適切な位置でない場合もあり、カーソルやペン等の位置がサブ画面に重なることによって、いきなりサブ画面を別の位置に移動したり、透明化したりすることが、入力操作をしている者や表示画面を見ている者にとって、適切でない場合もある。
そこで、この発明は、以上のような事情を考慮してなされたものであり、過去に入力された接触位置の履歴を利用して、サブ画面を表示する大きさと位置を決定し、ユーザが、表示された内容を見ながら、より円滑に文字等の入力を継続することのできる入力機能付き表示装置を提供することを課題とする。
この発明は、接触された位置の情報を入力する位置入力装置と、情報を表示する情報表示装置とからなり、前記位置入力装置と前記情報表示装置とが重ね合わせて配置された入力機能付き表示装置であって、前記情報表示装置が、第1表示画面を表示し、前記第1表示画面の表示領域内に第2表示画面を表示する表示パネルと、第2表示画面の表示位置と、第2表示画面を含み第2表示画面よりも大きな領域を持つ近傍領域の情報とを含む表示情報を記憶した第1記憶部と、第2表示画面を縮小させる縮小処理部と、第2表示画面を移動させる移動処理部とを備え、前記位置入力装置が、接触された位置の情報を取得する接触検出部と、取得された複数の接触位置の情報を含む接触履歴情報を記憶した第2記憶部と、前記取得された接触位置が、前記表示情報によって特定される近傍領域の中に存在するか否かを判定する接触位置判定部と、前記接触位置判定部によって、新たに取得された接触位置が、前記近傍領域の中に存在すると判定された場合に、前記接触履歴情報を利用して、前記第2表示画面を縮小および移動する位置を決定する表示位置決定部とを備え、前記第2表示画面が縮小されたことがない場合は、前記縮小処理部が、前記決定された縮小位置に、第2表示画面を縮小させて表示させ、前記第2表示画面が縮小されたことがある場合は、前記移動処理部が、前記決定された移動位置に、第2表示画面を移動させて表示させることを特徴とする入力機能付き表示装置を提供するものである。
また、前記情報表示装置が、前記第1記憶部に記憶された表示情報を、前記位置入力装置に送信する第1通信部を備え、前記位置入力装置が、前記表示情報を受信する第2通信部を備え、前記第2通信部が、前記表示位置決定部によって決定された第2表示画面を縮小する位置の情報および移動する位置の情報のうち、少なくともいずれか一方を、前記情報表示装置に送信することを特徴とする。
また、前記表示位置決定部は、前記接触履歴情報に含まれる複数の接触位置の情報から、今後接触される位置の進行方向を予測し、接触位置の進行方向とは異なる位置を、所定の大きさに縮小した第2表示画面を表示する位置に決定することを特徴とする。
また、前記縮小処理部は、前記決定された縮小位置に、第2表示画面を、段階的に、複数回縮小させて表示させることを特徴とする。
また、前記表示位置決定部は、前記接触履歴情報に含まれる複数の接触位置の情報から、今後接触される位置の進行方向を予測し、接触位置の進行方向とは異なる位置を、第2表示画面を移動する位置に決定することを特徴とする。
また、前記表示位置決定部は、前記接触履歴情報に含まれる複数の接触位置の情報を利用して、第1表示画面の表示領域のうち、接触が開始された後今までに接触されたことのない領域が存在することを確認した場合は、前記接触されたことのない領域を、第2表示画面を移動する位置に決定することを特徴とする。
また、前記近傍領域は、前記第2表示画面の表示領域の周囲に、所定の距離だけ大きな幅を有する領域であることを特徴とする。
また、前記第1記憶部に、前記第2表示画面が最初に表示された表示位置を示す初期位置情報を記憶し、前記第2表示画面が縮小または移動された後に、所定時間以上、前記接触検出部によって、接触位置の情報が取得されなくなった場合に、前記第2表示画面を、前記初期位置情報を利用して、前記第2表示画面が最初に表示されていた表示位置に戻すことを特徴とする。
この発明によれば、接触位置判定部によって、新たに取得された接触位置が近傍領域の中に存在すると判定された場合に、接触履歴情報を利用して、表示位置決定部が、第2表示画面を縮小または移動する位置を決定し、第2表示画面が縮小されたことがない場合は、縮小処理部が決定された縮小位置に第2表示画面を縮小させて表示させ、第2表示画面が縮小されたことがある場合は、移動処理部が決定された移動位置に第2表示画面を移動させて表示させるので、第2表示画面を表示させた状態で、ユーザが接触入力する場合に、第2表示画面がユーザの入力操作の邪魔になる可能性を減らし、ユーザの情報の入力作業の迅速化を図り、ユーザの入力操作を中断することがなく、ユーザの接触入力を円滑に継続させ、ユーザの操作負担を軽減させることができる。
この発明の入力機能付き表示装置の一実施例の概略構成図である。 この発明の入力機能付き表示装置における位置入力装置(タッチパネル)の一実施例の構成ブロック図である。 この発明の情報表示装置の一実施例の構成ブロック図である。 この発明の入力機能付き表示装置における表示画面と接触位置の概略説明図である。 第2表示画面(サブ画面)の表示位置と接触履歴との関係に基づく第2表示画面の縮小処理の一実施例の説明図である。 第2表示画面(サブ画面)の表示位置と接触履歴との関係に基づく第2表示画面の移動処理の一実施例の説明図である。 接触履歴に基づいて、第2表示画面(サブ画面)を縮小した後の表示位置の一実施例の説明図である。 接触履歴に基づいて、第2表示画面(サブ画面)を縮小した後の表示位置の一実施例の説明図である。 接触履歴に基づいて、第2表示画面(サブ画面)を縮小した後の表示位置の一実施例の説明図である。 接触履歴に基づいて、第2表示画面(サブ画面)を移動した後の表示位置の一実施例の説明図である。 接触履歴に基づいて、第2表示画面(サブ画面)を移動した後の表示位置の一実施例の説明図である。 この発明の位置入力装置(タッチパネル)におけるサブ画面の縮小処理等の一実施例のフローチャートである。 この発明の位置入力装置(タッチパネル)におけるサブ画面の縮小処理等の一実施例のフローチャートである。 この発明の情報表示装置におけるサブ画面の縮小処理等の一実施例のフローチャートである。
以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。
<入力機能付き表示装置の概略構成>
図1に、この発明の入力機能付き表示装置の一実施例の概略構成図を示す。
図1において、この発明の入力機能付き表示装置1は、主として、位置入力装置20と、情報表示装置50とから構成される。また、位置入力装置20と情報表示装置50とは重ね合わせて配置される。たとえば、タブレット端末、スマートフォン、電子黒板、ノートPCなどが、入力機能付き表示装置に相当する。
また、図1(a)に示すように、入力機能付き表示装置1は、パソコンなどの情報処理装置2(以下、PCとも呼ぶ)と接続され、情報処理装置2からの要求に基づいて、情報処理装置2から与えられる画像情報を情報表示装置50に表示し、入力ペンや指などによって接触された位置の情報を、位置入力装置20から情報処理装置2に送信する。
位置入力装置20は、入力ペンや指などによって接触された位置の情報を入力する装置であり、以下、タッチパネルTPとも呼ぶ。
タッチパネルTPは、図1(b)に示すように、情報表示装置50に重ねて配置され、かつ入力ペン等によって接触された位置の情報を入力するものであり、接触位置の座標を示す信号が出力される。
この接触位置の座標を示す信号に基づいて、後述するような接触位置の履歴を示す情報(接触履歴情報)が記憶される。
また、接触位置の座標を示す信号は、情報処理装置2に与えられる。
接触された位置を検出する方法としては、たとえば、静電容量方式、赤外線遮断方式、赤外線カメラ方式、電磁誘導方式、表面弾性波方式、抵抗膜方式などがあるが、いずれの方式を用いてもよい。
情報表示装置50は、情報を表示する装置(以下、単に、表示装置、又はDSとも呼ぶ)であり、主として、情報を表示する表示パネルと、情報処理装置2から画像の表示要求信号を受信して、画像の表示要求信号に基づいて表示パネルに表示させる情報を生成する制御装置とからなる。表示パネルとしては、たとえば、液晶パネルや、有機ELパネルなどが用いられる。
入力機能付き表示装置1は、別々の構成部品である表示パネルとタッチパネルとを重ね合わせて製造するか、あるいは、表示パネルとタッチパネルとを一体成形して製造する。
入力機能付き表示装置1において、入力ペンでタッチパネルTPに接触して線分を引く操作をしたとすると、接触された位置の情報が情報処理装置PCに送信され、PCにおいて、受信した接触位置の情報に基づいて、接触された位置に線分を表示するための表示要求信号が、表示装置DSに送信され、線分を引いた位置と対応する表示画面に、その線分が表示される。
また、図1(c)に示すように、入力機能付き表示装置1は、いわゆるマルチウインドウ表示機能を有する。
表示装置DS50の表示画面全体を意味する第1表示画面MD(メイン画面)11に、所定の第1画像を表示するとともに、第1表示画面MD(メイン画面)11の一部分の表示領域に重ねて、やや小さな表示領域を持つ第2表示画面PIP(サブ画面)12を同時に表示する。この第2表示画面PIP(サブ画面)12には、主として、メイン画面MDに表示される第1画像とは異なる第2画像が表示される。ただし、第2表示画面PIP(サブ画面)が表示されている表示領域には、第1表示画面MD(メイン画面)に表示されている第1画像の一部分が表示されない。
第1表示画面MD11と、第2表示画面PIP12に表示される画像は、情報処理装置PCから、表示装置DS50に与えられる。
情報処理装置PCは、1台でもよいが、複数台の情報処理装置PCを、入力機能付き表示装置1に接続してもよい。
たとえば、2台の情報処理装置PCを、入力機能付き表示装置1に接続した場合、1台目の情報処理装置PCから与えられる第1画像を、第1表示画面MD(メイン画面)に表示し、2台目の情報処理装置PCから与えられる第2画像を、第2表示画面PIP(サブ画面)に表示してもよい。
また、小さな表示領域を持つ第2表示画面PIP(サブ画面)は、1つに限るものではなく、複数の第2表示画面PIP(サブ画面)を、同時に表示してもよい。
なお、第2表示画面PIP(サブ画面)の表示位置は、図1(c)に示す位置に固定されるものではなく、表示装置DS50の表示画面の中であれば、任意の位置に設定できるものとする。また、第2表示画面PIP(サブ画面)の表示位置は、情報処理装置PCにより設定されるか、またはユーザの接触入力により、自由に移動できるようにしてもよい。
また、この発明では、後述するように、ユーザが、第1表示画面MD(メイン画面)の表示領域に対応するタッチパネルTPに対して、入力ペン等を接触して、文字等を入力しているときに、第2表示画面PIP(サブ画面)が邪魔になる可能性がある場合に、ユーザの接触入力の位置を記憶した接触履歴情報に基づいて、自動的に、第2表示画面PIP(サブ画面)を縮小した後、ユーザのその後の接触入力の妨げとならないような位置に、第2表示画面PIP(サブ画面)を移動させることを特徴とする。
ただし、第2表示画面PIP(サブ画面)を縮小した状態で、その後の接触入力の妨げとならない場合は、必ずしも、第2表示画面PIP(サブ画面)を移動させる必要はない。
すなわち、この発明では、接触履歴情報に基づいて、第2表示画面PIP(サブ画面)の縮小処理と移動処理とを、2段階で実行することにより、複数の表示画面(マルチウインドウ)を表示している状態でのタッチパネルに対するユーザの入力操作を円滑に継続できるようにし、ユーザの入力操作の負担を軽減させる。
<位置入力装置(タッチパネル)の構成>
図2に、この発明の入力機能付き表示装置における位置入力装置(タッチパネル)の一実施例の構成ブロック図を示す。
図2において、この発明の位置入力装置20(タッチパネルTP)は、主として、入力制御部21,接触情報送信部22、通信部23、表示情報取得部24、接触検出部25、接触位置判定部26、表示位置決定部27、縮小情報通知部28、移動情報通知部29、記憶部30を備える。
入力制御部21は、接触検出部などの各構成要素の動作を制御する部分であり、主として、CPU、ROM、RAM、I/Oコントローラ、タイマー等からなるマイクロコンピュータによって実現される。
CPUは、ROM等に予め格納された制御プログラムに基づいて、各種ハードウェアを有機的に動作させて、この発明の位置入力装置20(タッチパネルTP)の接触検出機能、通信機能などを実行する。
接触情報送信部22は、入力ペン等によって接触された位置の情報を、PCに送信する部分である。
タッチパネルTP上の位置が、直交するXY座標で表される場合、接触された位置の座標(x、y)が、PCに送信される。
通信部23は、上記した第2通信部に相当し、表示装置DSと通信する部分である。タッチパネルTPで取得した情報や、生成した情報を表示装置DSに送信し、表示装置DSから表示情報を受信する。
たとえば、後述する表示位置決定部27によって決定されたサブ画面PIPを縮小する位置の情報および移動する位置の情報のうち、少なくともいずれか一方または両方を、表示装置DSに送信する。ただし、サブ画面PIPを縮小する場合は、縮小する大きさや位置に関する情報(縮小情報)だけを、表示装置DSに送信してもよい。
表示情報取得部24は、表示装置DSから送られてきた表示情報を取得する部分である。たとえば、受信した表示情報に含まれるサブ画面位置と近傍領域情報を取得し、記憶部30に記憶する。
接触検出部25は、入力ペンや指等によってタッチパネルTPが接触されたことを検出し、接触された位置の情報(接触位置座標)を取得する部分である。取得された接触位置の情報は、接触情報送信部22によってPCに送信され、所定の時間間隔で、記憶部30に、接触履歴情報31として記憶される。
接触位置判定部26は、取得された接触位置が、後述する表示情報によって特定される近傍領域やサブ画面PIPの表示位置の中に存在するか否かを判定する部分である。
近傍領域は、後述する図4に示すような領域である。
たとえば、接触位置の情報(接触位置座標)が、タッチパネルTPに対応するサブ画面PIPの表示領域を示す表示座標の範囲内に含まれる場合、接触位置が、サブ画面PIPの表示位置の中に存在すると判断する。また、接触位置の情報(接触位置座標)が、タッチパネルTPに対応する近傍領域を示す表示座標の範囲内に含まれる場合、接触位置が、近傍領域の中に存在すると判断する。
取得された接触位置が、近傍領域またはサブ画面PIPの表示位置の中に存在すると判定された場合、後述するする表示位置決定部27によって、サブ画面PIPの縮小する位置とサブ画面PIPを移動する位置を決定する。
また、記憶部30に記憶されている接触履歴情報31に基づいて、時間の経過とともに、接触位置が、近傍領域やサブ画面PIPの表示位置に近づいている場合、接触位置と近傍領域等との距離や、近傍領域等に近づいてくる方向(接触位置の移動方向)を検出してもよい。
表示位置決定部27は、接触位置判定部26によって新たに取得された接触位置が、近傍領域またはサブ画面PIPの表示位置の中に存在すると判定された場合に、記憶部30に記憶されている接触履歴情報31を利用して、サブ画面PIPを縮小する位置と、サブ画面PIPを移動する位置を決定する部分である。
また、サブ画面PIPを縮小する大きさおよび表示位置と、サブ画面PIPを移動する表示位置を直接決定するのではなく、表示装置DSの表示画面全体に対するサブ画面PIPの配置エリアや移動方向を決定するだけでもよい。
この発明において、サブ画面PIPの表示位置が、ユーザの接触入力に影響を与える可能性がある場合に、サブ画面PIPの縮小処理をまず行った後に、サブ画面PIPの移動処理を行うという2段階の処理をするものとすると、サブ画面PIPがまだ縮小されたことがない場合は、まず、決定された縮小位置に、サブ画面PIPを縮小する。すなわち、縮小後のサブ画面PIPの大きさと、表示位置を決める。
縮小の基準は、予め設定しておけばよいが、たとえば、面積比で最初のサブ画面PIPの1/4程度に縮小してもよい。あるいは、いくつかの縮小率を予め設定しておき、段階的にサブ画面PIPを小さくしてもよい。また、縮小率は、ユーザが設定変更できるようにしてもよい。
また、縮小後のサブ画面PIPを表示する位置は、後述するような基準により、サブ画面PIPを縮小した後の接触入力に影響を与えないような位置に、決定すればよい。
決定された縮小後のサブ画面PIPの表示位置と大きさの情報は、後述する縮小情報通知部28が、縮小情報として、表示装置DSに送信する。
次に、たとえば、サブ画面PIPが一度縮小されたことがある場合は、決定された移動位置に、サブ画面PIPを移動する。すなわち、移動後のサブ画面PIPの表示位置を決める。
また、縮小回数や最大縮小率を予め設定しておき、設定された縮小回数だけ縮小処理をした場合や、最大縮小率の縮小をすでに行っている場合に、サブ画面PIPを移動するようにしてもよい。
サブ画面PIPを移動する基準は、予め設定しておけばよいが、後述するような基準により、その後の接触入力に影響を与える可能性が少ない位置に、決定すればよい。
たとえば、表示装置DSの表示画面全体をいくつかの分割領域に分割した場合に、接触履歴情報として記憶されているすべての接触位置が含まれていない分割領域がある場合、その分割領域の中に、サブ画面PIPを移動するように決定してもよい。
あるいは、接触履歴情報として記憶されている最近のいくつかの接触位置から、現在までの接触位置の移動軌跡や移動方向を算出して、移動軌跡等に基づいて、今後接触される位置の移動方向を予測し、予測した移動方向にない分割領域の中に、サブ画面PIPを移動するように決定してもよい。
決定された移動後のサブ画面PIPの表示位置の情報は、後述する移動情報通知部29が、移動情報として、表示装置DSに送信する。
また、移動後のサブ画面PIPの大きさは、縮小後のサブ画面PIPの大きさと同じ大きさとすればよい。ただし、最初のサブ画面PIPと同じ大きさに戻してもよい。
なお、タッチパネルTPでは、表示位置決定部27が、接触履歴情報に基づいて、縮小判定処理と移動判定処理の両方を実行し、決定した縮小情報と移動情報を表示装置DSに送信してもよい。この場合は、表示装置DSにおいて、サブ画面PIPの縮小処理をするか、あるいは移動処理をするかを判断する。
縮小情報通知部28は、表示位置決定部27によって決定されたサブ画面PIPの縮小情報を、表示装置DSに送信する部分である。
移動情報通知部29は、表示位置決定部27によって決定されたサブ画面PIPの移動情報を、表示装置DSに送信する部分である。
タッチパネルTP側で、サブ画面PIPの縮小と移動のどちらをするかを決定する場合は、たとえば、縮小判定をしたことのない場合に、縮小後の位置を決める縮小判定処理をして、サブ画面PIPの縮小情報のみを表示装置DSに送信し、一度縮小判定をした後は、移動後の位置を決める移動判定処理をして、サブ画面PIPの移動情報のみを表示装置DSに送信すればよい。
一方、表示装置DS側で、サブ画面PIPの縮小と移動のどちらをするかを決定する場合は、タッチパネルTPにおいて縮小判定処理と移動判定処理の両方を実行し、サブ画面PIPの縮小後の位置を設定した縮小情報と、サブ画面PIPの移動後の位置を設定した移動情報とを、表示装置DSに送信すればよい。
記憶部30は、上記した第2記憶部に相当し、タッチパネルTPの各機能を実行するために必要な情報やプログラムを記憶する部分であり、ROM、RAM、フラッシュメモリなどの半導体記憶素子、HDD、SSDなどの記憶装置、その他の記憶媒体が用いられる。
ROMには、プログラムが記憶され、RAMには、一時的に利用される情報が記憶され、フラッシュメモリなどの不揮発性の書き替え可能な記憶素子には、予め設定される情報が記憶される。
記憶部30には、たとえば、接触履歴情報31、縮小情報32、移動情報33、表示情報34が記憶される。
表示情報34は、表示装置DSから取得されるサブ画面PIPに関する情報であり、サブ画面位置35と、近傍領域情報36を含む情報である。
接触履歴情報31は、接触検出部25によって取得された複数の接触位置の情報を含むものであり、タッチパネルTPに接触された位置を示す情報(接触位置座標)を、所定期間分だけ記憶したものである。たとえば、100ミリ秒ごとに取得された接触位置座標を、10秒前の時刻から現在時刻のまでの期間、履歴として記憶する。あるいは、タッチパネルTPに入力ペンが最初に接触された(タッチダウンされた)位置から、タッチパネルTPから入力ペンが離された(タッチアップされた)位置までの接触位置座標を、100ミリ秒間隔で、履歴として記憶してもよい。
縮小情報32は、サブ画面PIPを縮小させる場合のサブ画面PIPに関する情報であり、たとえば、縮小後のサブ画面PIPの表示位置の情報や、縮小後のサブ画面PIPに対応した近傍領域の情報が含まれる。
縮小後のサブ画面PIPの表示位置の情報としては、サブ画面PIPの表示位置と大きさを特定する座標情報でもよく、表示装置DSの表示画面をいくつかに分割した場合に、縮小後のサブ画面PIPを表示すべき分割領域を指定するものであってもよい。
近傍領域は、サブ画面PIPを含みサブ画面PIPよりも大きな領域である。サブ画面PIPが、横方向の長さがW0で、縦方向の長さがL0の長方形形状であった場合、近傍領域は、その中にサブ画面PIPを含み、サブ画面PIPの表示領域の周囲に、所定の距離だけ大きな幅を有する長方形形状の領域である。後述する図4(b)に示すように、近傍領域の大きさを横方向の長さがW1で、縦方向の長さがL1であるとすると、W1>W0、L1>L0である。
この近傍領域は、入力ペン等の接触位置や接触履歴が、サブ画面PIPの表示位置に近づいてきたことを検出するための領域である。
たとえば、接触検出部25によって検出された接触位置が、近傍領域内であってサブ画面PIPの領域の外側であった場合、サブ画面PIPを縮小する大きさや表示位置が決定され、縮小情報32が生成される。サブ画面PIPを縮小する場合、この生成された縮小情報32に基づいて、縮小されたサブ画面PIPが、決定された位置に表示される。
移動情報33は、サブ画面PIPを移動させる場合のサブ画面PIPに関する情報であり、たとえば、移動後のサブ画面PIPの表示位置の情報や、移動後のサブ画面PIPに対応した近傍領域の情報が含まれる。
移動後のサブ画面PIPの表示位置の情報としては、サブ画面PIPの表示位置と大きさを特定する座標情報でもよく、表示装置DSの表示画面をいくつかに分割した場合に、移動後のサブ画面PIPを表示すべき分割領域を指定するものであってもよい。
接触検出部25によって検出された接触位置が、近傍領域内であってサブ画面PIPの領域の外側であった場合、サブ画面PIPを移動する表示位置が決定され、移動情報33が生成される。あるいは、記憶された接触位置の履歴が、近傍領域内であってさらにサブ画面PIPの領域内に入ってきた場合、移動情報33を生成してもよい。
サブ画面PIPを移動する場合、この生成された移動情報33に基づいて、サブ画面PIPが、決定された移動すべき位置に表示される。
表示情報34は、上記したように、サブ画面位置35と、近傍領域情報36を含む情報である。
サブ画面位置35は、表示装置DSの表示画面に現在表示されているサブ画面PIPの表示位置を示す情報(位置座標)である。
近傍領域情報36は、現在表示されているサブ画面PIPに対応する近傍領域の位置を示す情報である。
また、現在のサブ画面PIPの表示位置は、表示装置DSが記憶しているので、表示情報34は、サブ画面PIPの縮小または移動など、サブ画面PIPの大きさや表示位置が変更された場合に、表示装置DSから送信されるものである。ただし、定期的に、表示装置DSから表示情報34を送信するようにしてもよい。
なお、表示装置DSから送信される表示情報34には、近傍領域情報36を含めるものとするが、近傍領域の大きさをタッチパネルTPで管理する場合は、近傍領域情報36を、表示装置DSから送信されてくる表示情報34に含めなくてもよい。この場合は、タッチパネルTPにおいて、表示装置DSから送信されてくるサブ画面位置35から、近傍領域情報36を算出すればよい。
図4に、この発明の入力機能付き表示装置における表示画面と接触位置の概略説明図を示す。
図4(a)には、表示装置DSの表示パネル全体に表示される第1表示画面(メイン画面)MDと、第1表示画面(メイン画面)MDに重ねられたタッチパネルTPに接触入力された線分の表示例を示している。
図4(a)において、第1表示画面(メイン画面)MDを長方形形状とし、第1表示画面(メイン画面)MDの表示位置を特定するために、メイン画面MDの左下位置を原点とし、横方向をX軸、縦方向をY軸とするXY座標を設定するものとする。
XY座標の原点を、A0(0,0)とし、X軸方向の画素数をXn、Y軸方向の画素数をYmとすると、メイン画面MDの右下位置は、A1(Xn,0)、メイン画面MDの右上位置は、A2(Xn,Ym)、メイン画面MDの左上位置は、A3(0,Ym)で表される。
サブ画面PIPを表示する場合、サブ画面PIPの表示位置は、このXY座標で表される。
また、図4(a)において、第1表示画面(メイン画面)MDに重ねられたタッチパネルTPに対して、ユーザが入力ペンを接触させて、線分を入力した場合の接触履歴14を示している。接触履歴14は、表示されたペンの軌跡でもある。
入力ペンの移動方向(接触移動方向)を矢印の方向とすると、たとえば、現在の接触位置Ptiの座標は、(Xi,Yi)で表される。
ここで、タッチパネルTPの接触位置の座標と、メイン画面MDの表示位置の座標とが一対一に対応するとすれば、入力ペンの接触位置Pti(Xi,Yi)は、表示位置の座標でもある。
図4(b)には、第1表示画面(メイン画面)MDの一部分に表示された第2表示画面(サブ画面)PIP12および近傍領域NF13と、第1表示画面(メイン画面)MDに対して入力された線分の接触履歴14の表示例を示している。
第2表示画面(サブ画面)PIP12を長方形形状とした場合、近傍領域NF13は、サブ画面PIPよりもやや大きい長方形形状とする。
サブ画面PIPに対応する近傍領域NFの位置も、図4(a)に示したXY座標で表される。
また、図4(b)では、接触履歴14が示す線分と、現在の接触位置Pti(Xi,Yi)は、近傍領域NFの外側にあり、この図のようにサブ画面PIPが入力ペンによる接触入力の邪魔にならない状態では、サブ画面PIPは、縮小も移動もする必要はない。
図4(c)には、第2表示画面(サブ画面)PIP12および近傍領域NF13の位置関係の例を示している。
サブ画面PIPは、4つの頂点(P0,P1,P2,P3)で囲まれた長方形領域であり、近傍領域NFは、4つの頂点(K0,K1,K2,K3)で囲まれた長方形領域とする。
ここで、サブ画面PIPの横方向の長さをW0、縦方向の長さをL0とし、近傍領域NFの横方向の長さをW1、縦方向の長さをL1とすると、W1>W0、L1>L0である。
また、たとえば、サブ画面位置35と近傍領域情報36は、それぞれの長方形領域の4つの頂点のXY座標によって特定される。
表示されるサブ画面PIPの大きさとその表示位置は、たとえば、表示装置DSに対するユーザの設定より決定される。
また、近傍領域NFの横方向および縦方向の長さは、サブ画面PIPの横方向および縦方向の長さよりも、たとえば、20〜40%程度大きく設定すればよい。ただし、近傍領域NFの横方向および縦方向の長さは、予め固定的に設定してもよいが、メイン画面MDとサブ画面PIPの大きさやメイン画面MDに入力されている信号の解像度などによっても適正値は異なるので、ユーザが、設定変更できるようにしてもよい。
<情報表示装置の構成>
図3に、この発明の情報表示装置の一実施例の構成ブロック図を示す。
図3において、この発明の情報表示装置50DSは、主として、表示制御部51,表示パネル52、操作入力部53、画像入力部54、画像処理部55、通信部56、表示位置取得部57、縮小処理部58、移動処理部59、記憶部60を備える。
表示制御部51は、画像入力部や通信部などの各構成要素の動作を制御する部分であり、主として、CPU、ROM、RAM、I/Oコントローラ、タイマー等からなるマイクロコンピュータによって実現される。
CPUは、ROM等に予め格納された制御プログラムに基づいて、各種ハードウェアを有機的に動作させて、表示装置DSの表示機能、サブ画面PIPの縮小機能、移動機能、通信機能などを実行する。
表示パネル52は、画像を表示する部分であり、特にこの発明では、パネル全体に、第1表示画面(メイン画面MD)を表示し、第1表示画面(メイン画面MD)の表示領域内に第2表示画面(サブ画面PIP)を表示する。
また、表示制御部51から与えられる表示信号に基づいて、メイン画面MDとサブ画面PIPの中に、所定の画像を表示する。
表示パネル52としては、たとえば、液晶パネルや、有機ELパネルが用いられる。
操作入力部53は、ユーザが、表示パネル52に表示される画像に対して所定の機能を実行させる操作をする部分であり、たとえば、キーボードやリモコンが用いられる。
画像入力部54は、パソコンなどの情報処理装置PCから与えられる画像を表示するための映像信号を入力する部分であり、アナログRGB、DVI、HDMI(登録商標)など、所定の映像規格に準拠したインタフェースを持つ。入力される映像信号は、アナログでもデジタルでもよい。
画像処理部55は、入力された映像信号を、表示パネル52に表示することのできる信号に変換する部分である。たとえば、サブ画面PIPに表示すべき画像の映像信号は、予め決められたサブ画面PIPの表示位置にその画像が表示されるように、調整される。
通信部56は、上記した第1通信部に相当し、タッチパネルTPと通信する部分である。たとえば、記憶部60に記憶された表示情報62を、タッチパネルTPに送信する。
表示情報62は、現在表示装置DSに表示されているサブ画面PIPの表示位置や近傍領域に関する情報である。
また、タッチパネルTPから送られてくるサブ画面PIPの表示位置に関する情報(表示位置取得情報)を受信する。表示位置取得情報は、タッチパネルTPで生成された縮小情報や移動情報に相当する。
表示位置取得部57は、タッチパネルTPから送られてくるサブ画面PIPの表示位置に関する情報(表示位置取得情報)を取得し、記憶部50に記憶する部分である。
表示位置取得情報には、サブ画面PIPの縮小後の表示位置に関する情報(縮小情報)や、サブ画面PIPの移動後の表示位置に関する情報(移動情報)が含まれる。
縮小処理部58は、取得したサブ画面PIPの縮小後の表示位置に関する情報(縮小情報)に基づいて、サブ画面PIPを縮小させる部分である。たとえば、サブ画面PIPが一度も縮小されたことがない場合は、縮小情報を利用して、サブ画面PIPの大きさと表示位置を決め、決定された縮小位置に、サブ画面PIPを縮小させて表示させる。
移動処理部59は、取得したサブ画面PIPの移動後の表示位置に関する情報(移動情報)に基づいて、サブ画面PIPを移動させる部分である。たとえば、サブ画面PIPが縮小されたことがある場合は、移動情報を利用して、サブ画面PIPを移動させる表示位置を決め、決定された移動位置に、サブ画面PIPを移動させて表示させる。
記憶部60は、上記した第1記憶部に相当し、表示装置DSの各機能を実行するために必要な情報やプログラムを記憶する部分であり、ROM、RAM、フラッシュメモリなどの半導体記憶素子、HDD、SSDなどの記憶装置、その他の記憶媒体が用いられる。
ROMには、プログラムが記憶され、RAMには、一時的に利用される情報が記憶され、フラッシュメモリなどの不揮発性の書き替え可能な記憶素子には、予め設定される情報が記憶される。
記憶部60には、たとえば、サブ画面初期位置情報61、表示情報62、表示位置取得情報65が記憶される。
また、表示情報62には、上記したような第2表示画面(サブ画面PIP)の表示位置を示すサブ画面位置63と、近傍領域情報64とが含まれる。表示位置取得情報65には、上記したような縮小情報66、移動情報67が含まれる。
サブ画面初期位置情報61は、サブ画面PIPが最初に表示されたときの表示位置を示す情報である。
サブ画面初期位置情報61は、サブ画面PIPを縮小または移動した後、入力ペンの接触入力がされなくなった場合や、ユーザの指示入力などによって、サブ画面PIPを最初に表示したときの初期状態に戻すときに利用される。
表示情報62に含まれるサブ画面位置63と、近傍領域情報64とは、現在表示装置DSに表示されているサブ画面PIPに関する情報である。
また、表示位置取得情報65に含まれる縮小情報66と移動情報67は、上記したタッチパネルTPで生成される縮小情報32と移動情報33に相当する。
<第2表示画面(サブ画面)の縮小と、表示位置の移動の説明>
この発明では、上記したような入力ペンの接触履歴14を利用して、サブ画面PIPの表示位置および近傍領域と、タッチパネルTPの接触位置と接触移動方向との関係から、サブ画面PIPを縮小させ、さらにサブ画面PIPを移動させる。
図5に、第2表示画面(サブ画面)の表示位置と接触履歴との関係に基づく第2表示画面の縮小処理の一実施例の説明図を示す。
図6に、第2表示画面(サブ画面)の表示位置と接触履歴との関係に基づく第2表示画面の移動処理の一実施例の説明図を示す。
この実施例では、サブ画面PIPを縮小させた後に、サブ画面PIPを移動させるものとするが、図5(c)と図6(a)は、サブ画面PIPを縮小させた後の同じ状態の説明図を示している。
図5(a)は、表示装置DS50の表示画面全体にメイン画面MD11を表示し、メイン画面MDの右下領域に、サブ画面PIP12を表示している状態を示している。
また、サブ画面PIPの表示領域よりもやや大きい近傍領域NF13を破線で示している。さらに、メイン画面MDの表示領域の左上部分に入力ペンが接触されて入力が開始され、矢印で示す方向に、入力ペンが接触したまま移動されたとする。線分は、入力ペンの接触履歴14を示している。
図5(a)では、入力ペンの接触履歴14は、近傍領域NFのある方向に近づきつつあるが、まだ近傍領域NFの中に入っていないので、サブ画面PIPは変化なく表示されたままである。
図5(b)は、入力ペンの接触入力が継続され、近傍領域NF内の左上部分に、接触された状態を示している。この場合、接触位置判定部26が、接触検出部25によって取得された接触位置が、近傍領域NFの中に存在すると判定する。
また、表示位置決定部27が、取得された接触位置が近傍領域NFの中に存在すると判定されたので、接触履歴14を利用して、サブ画面PIPを表示する位置を決定する。具体的には、サブ画面PIPを縮小すべき位置と、移動すべき位置を決定する。ただし、サブ画面PIPを初期表示した後、まだ一度もサブ画面PIPを縮小したことがない場合は、サブ画面PIPを縮小すべき位置だけを決定してもよい。
たとえば、図5(c)に示すように、現在の接触位置から遠ざかる方向であるメイン画面MDの表示領域の右下方向に縮小させるように、サブ画面PIPの表示位置を決定する。
図7、図8、図9に、接触履歴に基づいて、第2表示画面(サブ画面PIP)を縮小した後の表示位置の一実施例の説明図を示す。
ここでは、縮小した後のサブ画面PIPの3通りの表示位置を示している。
図7(a)に、サブ画面PIPおよび近傍領域NFを、上下左右方向に4分割した4つの分割領域(BA1からBA4)を示している。
縮小した後のサブ画面PIPの表示位置を決める1つの方法として、接触入力された位置が最初に近傍領域NF内に入ったときに、その接触位置が、近傍領域NFのどの分割領域であるかをチェックし、その接触位置が存在する分割領域の対角方向に縮小する。
たとえば、図7(b)に示すように、接触履歴14が移動し、近傍領域NFの4つの分割領域のうち、左上の分割領域BA1に接触位置が入ってきた場合、図7(c)に示すように、分割領域BA1の対角方向にある分割領域BA4の方向にサブ画面PIPを縮小表示する。
また、図8(a)には、接触履歴14が左方向から移動し、近傍領域NFの4つの分割領域のうち、左下の分割領域BA3に接触位置が入ってきた場合を示している。
この場合は、分割領域BA3の対角方向は分割領域BA2なので、図8(b)に示すように、分割領域BA2の方向にサブ画面PIPを縮小表示する。
このように、接触位置が進入した近傍領域NFの分割領域の対角方向にサブ画面PIPを縮小すれば、接触履歴14が、もとのサブ画面PIPが表示されていた領域の内部方向にさらに移動されたとしても、縮小後のサブ画面PIPは、接触入力の邪魔にはならず、ユーザは特別な操作をすることがなく、入力を継続させることができる。
また、縮小した後のサブ画面PIPの表示位置を決める他の方法として、接触履歴情報に含まれる複数の接触位置の情報から、今後接触される位置の進行方向を予測して、接触位置の進行方向とは異なる位置を、所定の大きさに縮小した後のサブ画面PIPを表示する位置に決定してもよい。
接触履歴情報に含まれる複数の接触位置の情報を時系列的に並べれば、今までの接触履歴14の進行方向がわかるので、接触履歴14の今後の進行方向を予測できる。
図9(a)には、接触履歴14が左上方向から移動し、近傍領域NFの4つの分割領域のうち、左上の分割領域BA1に接触位置が入ってきた場合を示している。
この場合、接触位置の進入位置は、分割領域BA1の中であっても、右隣の分割領域BA2に近い部分であり、接触履歴14の移動方向が、右斜め下方向なので、接触履歴14の今後の進行方向は、分割領域BA2の領域内であると予測できる。
そこで、図9(b)に示すように、接触履歴14が今後進行する可能性が少ないと考えられる左下の分割領域BA3の方向に、自動的に、サブ画面PIPを縮小させる。
このように、接触位置が進入した近傍領域NFの分割領域位置と、接触履歴14の移動方向をチェックして、接触履歴14の今後の進行方向を予測することによって、接触履歴14が今後進行する可能性が少ないと考えられる方向に、サブ画面PIPを縮小すれば、接触履歴14が、もとのサブ画面PIPが表示されていた領域の内部方向にさらに移動されたとしても、縮小後のサブ画面PIPは、接触入力の邪魔にはならず、ユーザは特別な操作をすることがなく、入力を継続させることができる。
上記した図5(c)に示すように、メイン画面MDの表示領域の右下方向に、自動的にサブ画面PIPを縮小させることによって、しばらくは、縮小後のサブ画面PIPに重ならない位置に、入力ペンによる入力操作を継続させることができる。
また、サブ画面PIPをさらに縮小させることが可能な場合は、図5(c)に示した近傍領域NFに接触位置が入った場合、図5(d)に示すように、メイン画面MDの表示領域のさらに右下方向に、自動的にサブ画面PIPを縮小させればよい。図5(d)の場合は、図5(a)の初期位置のサブ画面PIPに対して、2段階の縮小をしたことになる。すなわち、サブ画面PIPの縮小処理をする場合、決定された縮小位置に、サブ画面PIPを、段階的に、複数回縮小させて表示してもよい。
ただし、サブ画面PIPを一度縮小させた後、サブ画面PIPをさらに縮小させることができないなどの場合は、図6に示すように、サブ画面PIPを移動させる。
図6(a)は、図5(c)と同様に、サブ画面PIPを縮小させた後の状態を示している。
この状態からさらに接触履歴14が右下方向に進行し、図6(a)に示した近傍領域NFに接触位置が入った場合、図6(b)に示すように、今までの接触履歴14がない領域の方向に、サブ画面PIPを移動させる。
図10と図11に、接触履歴に基づいて、第2表示画面(サブ画面)を移動した後の表示位置の一実施例の説明図を示す。
ここでは、移動後のサブ画面PIPの2通りの表示位置を示している。
図10(a)に、メイン画面MDを、上下左右方向に4分割した4つの分割領域(BM1からBM4)を示している。
また、サブ画面PIPを、4つの分割領域のうち、右下の分割領域BM4に表示し、近傍領域NFもこの分割領域BM4に含まれる状態を示している。
移動後のサブ画面PIPの表示位置を決める1つの方法としては、接触履歴14が進入した分割領域を時系列的に記憶しておき、接触履歴14が進入したことがない分割領域にサブ画面PIPを移動させる。すなわち、接触履歴情報に含まれる複数の接触位置の情報を利用して、第1表示画面(メイン画面)の表示領域のうち、接触が開始された後今までに接触されたことのない分割領域が存在することを確認した場合は、接触されたことのない分割領域を、サブ画面PIPを移動する領域に決定する。
あるいは、接触されたことのない分割領域が存在しない場合は、接触された時刻が最も古い分割領域にサブ画面PIPを移動させればよい。
図10(a)のように、右下の分割領域BM4にサブ画面PIPを表示した状態で、図10(b)に示すように、メイン画面MDの左上の分割領域BM1において接触入力が開始され、接触履歴14が分割領域BM1から分割領域BM2に入り、さらに、分割領域BM4内の近傍領域NFに進入したとする。
この場合、接触履歴14は、3つの分割領域(BM1、BM2、BM4)を移動しているが、左下の分割領域BM3には、まだ入ったことがない。
そこで、図10(c)に示すように、サブ画面PIPを、接触入力がされたことがない左下の分割領域BM3に移動させる。このとき、サブ画面PIPの大きさは変更しない。
このように、接触履歴14がサブ画面PIPの近傍領域NFに進入した場合に、接触入力の開始後、まだ接触入力がされたことがない分割領域がある場合は、その分割領域にサブ画面PIPを移動すれば、接触履歴14が、もとのサブ画面PIPが表示されていた分割領域の内部方向にさらに移動されたとしても、移動後のサブ画面PIPは、接触入力の邪魔にはならず、ユーザは特別な操作をすることがなく、入力を継続させることができる。
また、接触入力の開始後、接触入力がされたことのない分割領域がない場合は、接触履歴14を時系列的に見て、接触された時刻が最も古い分割領域に、サブ画面PIPを移動する。これにより、最近接触入力された分割領域から遠ざかり、今後接触入力される可能性が低いと考えられる分割領域に、サブ画面PIPを移動することができる。
また、移動後のサブ画面PIPの表示位置を決める他の方法として、接触履歴情報に含まれる複数の接触位置の情報から、今後接触される位置の進行方向を予測して、接触位置の進行方向とは異なる位置を、サブ画面PIPを移動する位置に決定してもよい。
接触履歴情報に含まれる複数の接触位置の情報を時系列的に並べれば、今までの接触履歴14の進行方向がわかるので、接触履歴14の今後の進行方向を予測できる。
図11(a)には、接触履歴14が右上の分割領域BM2内を移動し、右下の分割領域BM4の上方向から、分割領域BM4に進入し、分割領域BM4内の近傍領域NFに接触位置が入ってきた場合を示している。
この場合、接触履歴14の時系列的な移動方向は、左斜め下方向であるので、接触履歴14の今後の進行方向も、同様に左斜め下方向であると予測できる。
すなわち、今後、接触履歴14は、分割領域BM4から、左下の分割領域BM3に移動する可能性が高く、左上の分割領域BM1に移動する可能性は低いと予測される。
したがって、左側の2つの分割領域(BM1、BM3)は、どちらもまだ接触入力がされたことがない分割領域であるが、図11(b)に示すように、左上の分割領域BM1に、サブ画面PIPを移動させる。
このように、接触履歴14がサブ画面PIPの近傍領域NFに進入した場合に、接触履歴14の今後の移動方向を予測し、今後の移動方向にはないと考えられる分割領域にサブ画面PIPを移動すれば、接触履歴14が、もとのサブ画面PIPが表示されていた分割領域の内部方向にさらに移動されたとしても、移動後のサブ画面PIPは、接触入力の邪魔にはならず、ユーザは特別な操作をすることがなく、入力を継続させることができる。
上記した図6(b)に示す場合は、接触開始位置が、メイン画面MDの左上の分割領域であり、今までの接触履歴14の移動方向は右下方向であり、左下の分割領域にはまだ接触入力がされたことがないので、サブ画面PIPを、接触入力がされたことがない左下の分割領域に移動させる。
この図6(b)に示すように、メイン画面MDの表示領域の左下方向に、自動的にサブ画面PIPを移動させることによって、しばらくは、移動後のサブ画面PIPに重ならない位置に、入力ペンによる入力操作を継続させることができる。
図6(c)および図6(d)は、サブ画面PIPを、図5(a)の初期位置に、戻す場合を示している。
入力ペンの接触が終了(タッチアップ)した場合は、サブ画面PIPの表示内容を確認するために、サブ画面PIPを初期位置に戻したほうが好ましい場合がある。
そこで、サブ画面PIPが縮小または移動された後に、所定時間以上、接触検出部25によって、接触位置の情報が取得されなくなった場合に、サブ画面PIPを、初期位置情報61を利用して、サブ画面PIPが最初に表示されていた表示位置に戻す。
たとえば、図6(b)に示す状態で入力ペンの接触が終了(タッチアップ)され、図6(c)に示すように、入力ペンによって入力された線分が表示された状態で、所定の時間(たとえば、5秒)が経過したとする。
このとき、入力ペンの接触が今後もないと判断し、図6(d)に示すように、サブ画面PIPを、自動的に、図5(a)の初期位置に戻す。また、サブ画面PIPの大きさを、図5(a)の初期位置と同じ大きさに戻す。
このように、入力ペンによる接触入力がなくなった場合は、ユーザが特別な操作をすることなく、入力された情報をメイン画面MDに表示したまま、サブ画面PIPを初期位置に戻す。
これにより、メイン画面MDに入力された情報の一部がサブ画面PIPに重なっている場合は、その重なった位置の情報は見ることができなくなるが、サブ画面PIPに表示されている情報をもとの大きさで確認することができる。
また、サブ画面PIPを初期位置に戻す場合に、メイン画面MDに入力された情報の一部がサブ画面PIPに重なってしまう場合は、ユーザに、入力情報の一部がサブ画面PIPに重なることを示す警告表示をした後、所定時間が経過した後に、サブ画面PIPを初期位置に戻すようにしてもよい。警告表示をしている時に、ユーザによって、サブ画面PIPを初期位置に戻すことを中止する入力がされた場合は、サブ画面PIPを初期位置に戻さずに、図6(c)の表示のままとしてもよい。
あるいは、メイン画面MDに入力されたすべての情報と、初期位置のサブ画面PIPとが重ならない場合に、サブ画面PIPを初期位置に戻すようにしてもよい。
さらに、メイン画面MDに入力された情報の一部がサブ画面PIPの初期位置に重なってしまう場合は、メイン画面MDに入力された情報と、もとの大きさのサブ画面PIPとが重ならない領域が、メイン画面MD上に存在する場合は、その領域に、サブ画面PIPを移動してもよい。
<位置入力装置(タッチパネル)におけるサブ画面の縮小および移動処理>
図12と図13に、この発明の位置入力装置(タッチパネル)におけるサブ画面の縮小処理等の一実施例のフローチャートを示す。
ここでは、接触位置が、サブ画面PIPの近傍領域内に存在する場合は、サブ画面PIPの表示領域の縮小判定処理と移動判定処理の両方をして、縮小情報と移動情報を作成する実施例を示す。ただし、まず、縮小判定処理をして縮小情報を作成し、サブ画面PIPを縮小した後に、移動判定処理をして移動情報を作成してもよい。
図12のステップS1において、入力制御部21が、接触保存間隔タイマーT1を、タイムアウト状態に設定する。
接触保存間隔タイマーT1は、接触位置を接触履歴情報31に記憶する期間間隔を計測するタイマーである。接触保存間隔タイマーT1が、タイムアウトするごとに、取得した接触位置の座標情報を、接触履歴情報31に記憶する。接触保存間隔タイマーT1によって計測する時間は、たとえば、100ミリ秒である。
ステップS2において、入力制御部21が、未接触検出タイマーT2を、停止状態に設定する。
未接触検出タイマーT2は、タッチパネルTPに接触されていない継続時間を計測するタイマーである。未接触検出タイマーT2が、タイムアウトした場合に、接触解除情報を表示装置DSに送信し、未接触検出タイマーT2を停止状態に設定する。
ステップS3において、通信部23が、表示装置DSから送信される表示情報が受信されるか否かをチェックする。表示情報は、上記したように、サブ画面位置35と、近傍領域情報36とを含む情報である。
ステップS4において、表示情報が受信された場合は、ステップS5に進み、そうでない場合は、ステップS6に進む。
ステップS5において、表示情報取得部24が、受信した表示情報から、サブ画面位置35と、近傍領域情報36とを取得し、記憶部30に記憶する。
これにより、タッチパネルTPは、表示装置DSに現在表示されているサブ画面PIPの表示位置と大きさと、近傍領域の位置と大きさを、認識する。
ステップS6において、接触検出部25が、タッチパネルへの接触の有無をチェックする。
ステップS7において、タッチパネルへの接触がある場合は、ステップS8に進み、接触がない場合は、図13のステップS21に進む。
ステップS8において、入力制御部21が、接触された位置の座標情報を取得する。
ステップS9において、接触情報送信部22が、接触された位置の座標情報を、情報処理装置PCに送信する。
ステップS10において、未接触検出タイマーT2に計測時間の初期値を設定し、起動させる。
ステップS11において、接触保存間隔タイマーT1が、タイムアウト状態か否かをチェックする。
接触保存間隔タイマーT1が、タイムアウトしている場合は、ステップS12に進み、そうでない場合は、ステップS14に進む。
ステップS12において、取得した接触位置座標情報を、接触履歴情報31に記憶する。
ステップS13において、接触保存間隔タイマーT1に、計測時間の初期値を設定し、起動させる。
ステップS14において、接触位置判定部26が、接触された位置が、記憶されている近傍領域情報36が示す近傍領域の中にあるか否かをチェックする。
ステップS15において、接触された位置が、近傍領域の中にある場合は、ステップS16に進み、そうでない場合は、ステップS3に戻る。
ステップS16において、表示位置決定部27が、サブ画面PIPの表示領域の縮小判定処理を行い、縮小情報を作成する。ここでは、記憶された接触履歴情報31を利用して、図7、図8および図9に示したように、サブ画面PIPを縮小する場合の表示領域を決定し、縮小情報を作成する。縮小情報は、縮小後のサブ画面PIPの表示位置と近傍領域に関する情報である。
ステップS17において、表示位置決定部27が、サブ画面PIPの表示領域の移動判定処理を行い、移動情報を作成する。ここでは、記憶された接触履歴情報31を利用して、図10および図11に示したように、サブ画面PIPを移動する場合の表示領域を決定し、移動情報を作成する。移動情報は、移動後のサブ画面PIPの表示位置と近傍領域に関する情報である。
ステップS18において、縮小情報通知部と28と移動情報通知部29とが、作成された縮小情報と移動情報を、それぞれ表示装置DSに送信する。
その後、ステップS3に戻り、同様の処理を繰り返す。
図13のステップS21において、未接触検出タイマーT2が、停止状態か否かをチェックする。
未接触検出タイマーT2が、停止状態でない場合、ステップS22に進み、停止状態の場合、図12のステップS3に戻る。
ステップS22において、未接触検出タイマーT2が、タイムアウト状態か否かをチェックする。
未接触検出タイマーT2が、タイムアウト状態の場合、ステップS23に進み、そうでない場合、図12のステップS3に戻る。
ステップS23において、接触の未接触状態が、所定時間以上継続したことが検出されたので、接触が解除(タッチアップ)されたことを示す接触解除情報を、表示装置DSに送信する。
ステップS24において、未接触検出タイマーT2を、停止状態に設定する。
ステップS25において、接触保存間隔タイマーT1を、タイムアウト状態に設定する。
その後、図12のステップS3に戻り、同様の処理を繰り返す。
このように、接触位置を一定時間毎に取得して接触履歴情報31として記憶し、接触位置がサブ画面PIPの近傍領域内にあると判断された場合は、接触履歴情報31を利用して、縮小判定処理と移動判定処理をして、縮小すべき位置および大きさと、移動すべき位置とを決定し、縮小情報と移動情報とを表示装置DSに通知する。
これにより、接触履歴がサブ画面PIPに近づいてきた場合に、サブ画面PIPを縮小する場合の縮小すべき位置と、移動すべき位置とが表示装置DSに通知されるので、表示装置DSにおいて、サブ画面PIPの縮小、あるいは移動が実行される。したがって、ユーザは、入力ペンによる接触入力以外に特別な操作をしなくても、サブ画面PIPによって入力操作が邪魔されることがなく、入力を継続させることができる。
<情報表示装置におけるサブ画面の縮小および移動処理>
図14に、この発明の情報表示装置におけるサブ画面の縮小処理等の一実施例のフローチャートを示す。
ここでは、リモコン等を用いたユーザの所定の入力操作によって、表示装置DSに、サブ画面PIPを、メイン画面MDの一部に表示させる要求が送信されるものとする。
表示装置DSに、サブ画面PIPを表示している場合において、タッチパネルTPから縮小情報と移動情報とが送信されてきた場合に、まず、縮小情報に基づいてサブ画面PIPを縮小し、サブ画面PIPがすでに縮小されている場合は、移動情報に基づいてサブ画面PIPを移動させる。
また、接触が解除(タッチアップ)された場合は、サブ画面PIPの表示位置を、初期位置に戻す。
ステップS41において、表示制御部51が、表示パネル52の第1表示画面(メイン画面MD)に、所定の画像を表示させる。この画像は、たとえば、情報処理装置PCから与えられ画像入力部54から入力される画像信号に基づき、画像処理部55によって生成される画像である。
ステップS42において、表示制御部51が、ユーザの所定の入力操作によって、サブ画面PIPを表示する要求があるか否かをチェックする。サブ画面PIPの表示要求には、たとえば、サブ画面PIPの表示位置と大きさに関する情報と、サブ画面PIPに表示させる画像データが含まれる。
サブ画面PIPの表示要求が受信された場合は、ステップS43に進み、そうでない場合は、ステップS41に戻る。
ステップS43において、サブ画面PIPの表示位置(初期位置情報61)を、記憶部60に記憶する。
ステップS44において、サブ画面PIPの初期位置情報61を利用して、サブ画面PIPの近傍領域NFを設定し、近傍領域情報64として、記憶部60に記憶する。
ステップS45において、表示制御部51が、サブ画面PIPを、表示パネル52に表示する。
表示されたサブ画面PIPの現在の表示位置は、サブ画面位置63として、記憶部60に記憶される。このサブ画面位置63と近傍領域情報64とが、表示情報62に相当する。
ステップS46において、縮小モードフラグを、OFF(未縮小)に設定する。
縮小モードフラグは、サブ画面PIPが、縮小されたことがあるか否かを示す情報である。たとえば、サブ画面PIPが縮小されたことがある場合は、ON(縮小)を示す情報が設定され、サブ画面PIPが縮小されたことがまだない場合は、OFF(未縮小)を示す情報が設定される。
ステップS47において、通信部56が、記憶された表示情報62を、タッチパネルTPに送信する。
ここでは、サブ画面PIPの初期位置情報61に相当するサブ画面位置63と近傍領域情報64とが、タッチパネルTPに送信される。
ステップS48において、タッチパネルTPから、接触解除情報を受信したか否かをチェックする。
接触解除情報を受信した場合は、ステップS56に進み、受信しない場合は、ステップS49に進む。
ステップS49において、表示位置取得部57が、タッチパネルTPから、縮小情報および移動情報を受信したか否かをチェックする。受信した場合は、ステップS50に進み、受信した縮小情報および移動情報を、表示位置取得情報65として、記憶部60に記憶する。一方、受信しない場合は、ステップS48に戻る。
ステップS51において、縮小モードフラグが、ON(縮小)か否かをチェックする。
縮小モードフラグが、ON(縮小)の場合は、ステップS52に進み、OFF(未縮小)の場合は、ステップS54に進む。
ステップS52において、縮小モードフラグがON(縮小)であり、すでにサブ画面PIPを縮小したことがあるので、移動処理部59が、受信した移動情報に基づいて、サブ画面PIPを移動させ表示させる。
ステップS53において、移動後のサブ画面PIPの表示位置63と、近傍領域情報64とを含む表示情報62を、記憶部60に記憶する。
その後、ステップS60に進み、記憶された表示情報62を、タッチパネルTPに送信する。その後、ステップS48に戻り、同様の処理を繰り返す。
ステップS54において、縮小モードフラグがOFF(未縮小)であり、サブ画面PIPを縮小したことがまだないので、縮小処理部58が、受信した縮小情報に基づいて、サブ画面PIPを縮小させ表示させる。
ステップS55において、縮小後のサブ画面PIPの表示位置63と、近傍領域情報64とを含む表示情報62を、記憶部60に記憶する。
ステップS56において、縮小モードフラグを、ON(縮小)に設定する。
その後、ステップS60に進み、記憶された表示情報62を、タッチパネルTPに送信する。その後、ステップS48に戻り、同様の処理を繰り返す。
ステップS57において、接触解除情報を受信したので、サブ画面PIPを初期の表示状態に戻す。すなわち、記憶されているサブ画面PIPの初期位置情報61に基づいて、サブ画面PIPを表示する。
ステップS58において、初期の表示状態に戻した後のサブ画面PIPの表示位置63と、近傍領域情報64とを含む表示情報62を、記憶部60に記憶する。
ステップS59において、縮小モードフラグを、OFF(未縮小)に設定する。
その後、ステップS60に進み、記憶された表示情報62を、タッチパネルTPに送信する。その後、ステップS48に戻り、同様の処理を繰り返す。
<その他の実施形態>
(その他の実施形態1)
上記実施例では、主として、第2表示画面(サブ画面PIP)を縮小した後、移動することによって、ユーザの接触入力操作を中断することなく、メイン画面MDに対する接触入力を円滑に継続させるものを示した。
ただし、サブ画面PIPが表示されていても、メイン画面MDに対する接触入力を円滑に継続することができればよく、上記実施例に限るものではない。
たとえば、複数回の段階的な縮小処理のみを行って、徐々にサブ画面PIPを小さくするようにしてもよい。また、予め設定された最大縮小率を用いてサブ画面PIPを縮小してしまった後に、はじめて移動処理をしてもよい。
また、まず先にサブ画面PIPの移動を行い、その後、移動した位置で縮小するようにしてもよい。
さらに、サブ画面PIPに対する縮小処理と移動処理を交互に複数回行ってもよく、また、縮小処理と移動処理の順序は問わずに、複数回の縮小処理と移動処理を適宜組み合わせてもよい。
また、上記のサブ画面PIPに対する処理方法について、どの処理方法を利用するかについては、予め設定しておけばよいが、ユーザが、使用する処理方法を、自由に設定変更できるようにしてもよい。
(その他の実施形態2)
上記実施例では、サブ画面PIPを縮小した後、移動する実施例を示したが、サブ画面PIPに対する処理はこれに限るものではない。サブ画面PIPの表示色を薄くするサブ画面PIPの透明化処理や、サブ画面PIPの一時消去処理を組み合わせてもよい。
たとえば、縮小処理、移動処理、透明化処理、および一時消去処理を、この順序で行ってもよい。
(その他の実施形態3)
上記実施例の図12,図13,図14に示したフローでは、タッチパネルTP側で、縮小位置と移動位置を決定した後、縮小位置と移動位置の両方を、表示装置DSに送信し、表示装置DS側で、先に縮小処理を行って、その後移動処理を行うものを示したが、これに限るものではない。
たとえば、タッチパネルTP側で、縮小処理と移動処理のうちどちらを行うかを判断し、縮小処理を行うと決めた場合は、縮小位置の情報のみを表示装置DSに送信し、一方、移動処理を行うと決めた場合は、移動位置の情報のみを表示装置DSに送信し、表示装置DSでは、受信した縮小位置の情報または移動位置の情報に基づいて、縮小処理または移動処理を実行すればよい。
(その他の実施形態4)
上記実施例では、サブ画面PIPを縮小した後、移動するので、図6(b)に示すように、移動後のサブ画面PIPの大きさは、縮小したサブ画面PIPと同じ大きさのものを示したが、これに限るものではない。
たとえば、移動後のサブ画面PIPの大きさは、サブ画面PIPが初期位置に表示されていたときと同じ大きさに戻してもよい。また、移動後のサブ画面PIPの表示位置の周囲の画像等を考慮して、移動後のサブ画面PIPの大きさを調整してもよい。
(その他の実施形態5)
上記実施例では、第1表示画面(メイン画面MD)を、4つの分割領域に分けて、サブ画面PIPを、4つの分割領域のいずれかに移動させるものを示したが、これに限るものではない。
たとえば、分割領域の数nを、5つ以上に設定して、接触履歴情報を利用して、n(>4)個の分割領域のうち、接触入力を円滑に継続させることのできる分割領域を抽出して、抽出された分割領域に、サブ画面PIPを移動してもよい。
(その他の実施形態6)
上記実施例では、所定時間以上、接触入力がなくなった場合に、サブ画面PIPを、初期表示状態に戻すものを示した。ただし、サブ画面PIPを、初期表示状態に戻すとき、サブ画面PIPの初期表示位置に、すでに接触入力によって線分や画像が表示されている場合がある。この場合、初期表示状態に戻す方法としては、たとえば次のような対応のうち、いずれかを行えばよい。
まず、サブ画面PIPの初期表示位置に、すでに線分や画像が表示されていたとしても、その線分等に重ねて、サブ画面PIPを表示させる。
また、サブ画面PIPを初期表示状態に戻したとすれば、すでに接触入力された線分や画像が重なる場合は、サブ画面PIPを初期表示状態に戻す前に、ユーザに対して、警告表示や警告音声を用いて、サブ画面PIPに重なる線分等があることを通知してもよい。
その後、ユーザにより、サブ画面PIPを初期表示状態に戻すことを許可しないことを意味する入力があった場合は、サブ画面PIPを初期表示状態に戻さないようにする。
一方、ユーザにより、サブ画面PIPを初期表示状態に戻すことを許可することを意味する入力があった場合は、サブ画面PIPを初期表示状態に戻せばよい。
また、サブ画面PIPを初期表示状態に戻したとすれば、すでに接触入力された線分や画像が重なる場合において、メイン画面MDに表示された情報と、初期表示状態の大きさのサブ画面PIPとが重ならない領域が、メイン画面MD上に存在する場合は、その領域に、サブ画面PIPを移動してもよい。
また、サブ画面PIPを初期表示状態に戻したとすれば、すでに接触入力された線分や画像と重ならない場合のみ、サブ画面PIPを初期表示状態に戻すようにしてもよい。
1 入力機能付き表示装置、
2 情報処理装置、
11 第1表示画面(メイン画面)、
12 第2表示画面(サブ画面)、
13 近傍領域、
14 接触履歴、
20 位置入力装置(タッチパネル)、
21 入力制御部、
22 接触情報送信部、
23 通信部、
24 表示情報取得部、
25 接触検出部、
26 接触位置判定部、
27 表示位置決定部、
28 縮小情報通知部、
29 移動情報通知部、
30 記憶部、
31 接触履歴情報、
32 縮小情報、
33 移動情報、
34 表示情報、
35 サブ画面位置、
36 近傍領域情報、
50 情報表示装置、
51 表示制御部、
52 表示パネル、
53 操作入力部、
54 画像入力部、
55 画像処理部、
56 通信部、
57 表示位置取得部、
58 縮小処理部、
59 移動処理部、
60 記憶部、
61 サブ画面初期位置情報、
62 表示情報、
63 サブ画面位置、
64 近傍領域情報、
65 表示位置取得情報
66 縮小情報、
67 移動情報

Claims (6)

  1. 接触された位置の情報を入力する位置入力装置と、情報を表示する情報表示装置とからなり、前記位置入力装置と前記情報表示装置とが重ね合わせて配置された入力機能付き表示装置であって、
    前記情報表示装置が、
    第1表示画面を表示し、前記第1表示画面の表示領域内に第2表示画面を表示する表示パネルと、
    第2表示画面の表示位置と、第2表示画面を含み第2表示画面よりも大きな領域を持つ近傍領域の情報とを含む表示情報を記憶した第1記憶部と、
    第2表示画面を縮小させる縮小処理部と、
    第2表示画面を移動させる移動処理部とを備え、
    前記位置入力装置が、
    接触された位置の情報を取得する接触検出部と、
    取得された複数の接触位置の情報を含む接触履歴情報を記憶した第2記憶部と、
    前記取得された接触位置が、前記表示情報によって特定される近傍領域の中に存在するか否かを判定する接触位置判定部と、
    前記接触位置判定部によって、新たに取得された接触位置が、前記近傍領域の中に存在すると判定された場合に、前記接触履歴情報を利用して、前記第2表示画面を縮小させて表示させる位置である縮小位置、および、前記第2表示画面を移動させて表示させる位置である移動位置を決定する表示位置決定部とを備え、
    前記表示位置決定部は、前記接触履歴情報に含まれる複数の接触位置の情報から、今後接触される位置の進行方向を予測し、接触位置の進行方向と同一方向に遠ざかる位置を前記縮小位置として決定し、さらに、接触位置の進行方向とは異なる方向に遠ざかる位置を前記移動位置として決定し、
    前記第2表示画面が縮小されたことがない場合は、前記縮小処理部が、前記縮小位置に、第2表示画面を縮小させて表示させ、
    前記第2表示画面が縮小されたことがある場合は、前記移動処理部が、前記移動位置に、第2表示画面を移動させて表示させることを特徴とする入力機能付き表示装置。
  2. 前記情報表示装置が、前記第1記憶部に記憶された表示情報を、前記位置入力装置に送信する第1通信部を備え、
    前記位置入力装置が、前記表示情報を受信する第2通信部を備え、
    前記第2通信部が、前記縮小位置の情報および前記移動位置の情報のうち、少なくともいずれか一方を、前記情報表示装置に送信することを特徴とする請求項1に記載の入力機能付き表示装置。
  3. 前記縮小処理部は、前記縮小位置に、第2表示画面を、段階的に、複数回縮小させて表示させることを特徴とする請求項1または2に記載の入力機能付き表示装置。
  4. 前記表示位置決定部は、前記接触履歴情報に含まれる複数の接触位置の情報を利用して、第1表示画面の表示領域のうち、接触が開始された後今までに接触されたことのない領域が存在することを確認した場合は、前記接触されたことのない領域を、前記移動位置に決定することを特徴とする請求項1から3のいずれか一項に記載の入力機能付き表示装置。
  5. 前記近傍領域は、前記第2表示画面の表示領域の周囲に、所定の距離だけ大きな幅を有する領域であることを特徴とする請求項1から4のいずれか一項に記載の入力機能付き表示装置。
  6. 前記第1記憶部に、前記第2表示画面が最初に表示された表示位置を示す初期位置情報を記憶し、
    前記第2表示画面が縮小または移動された後に、所定時間以上、前記接触検出部によって、接触位置の情報が取得されなくなった場合に、前記第2表示画面を、前記初期位置情報を利用して、前記第2表示画面が最初に表示されていた表示位置に戻すことを特徴とする請求項1から5のいずれか一項に記載の入力機能付き表示装置。
JP2017057501A 2017-03-23 2017-03-23 入力機能付き表示装置 Active JP6868427B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017057501A JP6868427B2 (ja) 2017-03-23 2017-03-23 入力機能付き表示装置
US15/923,882 US10394376B2 (en) 2017-03-23 2018-03-16 Display apparatus with input function
CN201810240139.1A CN108628402B (zh) 2017-03-23 2018-03-22 带输入功能的显示装置
US16/509,870 US10635233B2 (en) 2017-03-23 2019-07-12 Display apparatus with input function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017057501A JP6868427B2 (ja) 2017-03-23 2017-03-23 入力機能付き表示装置

Publications (2)

Publication Number Publication Date
JP2018159843A JP2018159843A (ja) 2018-10-11
JP6868427B2 true JP6868427B2 (ja) 2021-05-12

Family

ID=63582532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017057501A Active JP6868427B2 (ja) 2017-03-23 2017-03-23 入力機能付き表示装置

Country Status (3)

Country Link
US (2) US10394376B2 (ja)
JP (1) JP6868427B2 (ja)
CN (1) CN108628402B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210833B2 (en) * 2017-03-31 2019-02-19 Panasonic Liquid Crystal Display Co., Ltd. Display device
TWI749305B (zh) * 2019-03-20 2021-12-11 緯創資通股份有限公司 顯示裝置及其運作方法
CN110243386B (zh) * 2019-07-15 2023-11-24 腾讯科技(深圳)有限公司 导航信息显示方法、装置、终端及存储介质
JP7363235B2 (ja) * 2019-09-10 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2021117766A (ja) * 2020-01-27 2021-08-10 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置
CN114063805A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 显示控制方法和装置、电子设备、存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5565888A (en) * 1995-02-17 1996-10-15 International Business Machines Corporation Method and apparatus for improving visibility and selectability of icons
JPH08314681A (ja) 1995-05-12 1996-11-29 Fujitsu Ltd 情報処理装置
US5712995A (en) * 1995-09-20 1998-01-27 Galileo Frames, Inc. Non-overlapping tiling apparatus and method for multiple window displays
JP4102045B2 (ja) * 2001-09-28 2008-06-18 富士フイルム株式会社 デスクトップ上の隠蔽ウインドウの表示制御方法および表示制御処理装置
US8127248B2 (en) * 2003-06-20 2012-02-28 Apple Inc. Computer interface having a virtual single-layer mode for viewing overlapping objects
JP2006244078A (ja) 2005-03-02 2006-09-14 Canon Inc 表示制御装置及びその制御方法
EP1847924A1 (en) * 2006-04-20 2007-10-24 International Business Machines Corporation Optimal display of multiple windows within a computer display
US8959446B2 (en) * 2008-11-20 2015-02-17 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP2010250703A (ja) * 2009-04-17 2010-11-04 Canon Inc オペレーティングシステム、プログラム、情報処理装置および制御方法
JP5617375B2 (ja) 2010-06-22 2014-11-05 ソニー株式会社 画像表示装置、表示制御方法及びプログラム
JP5505807B2 (ja) * 2011-06-20 2014-05-28 コニカミノルタ株式会社 情報入力表示装置及び制御プログラム
US20130227472A1 (en) * 2012-02-29 2013-08-29 Joseph W. Sosinski Device, Method, and Graphical User Interface for Managing Windows
WO2013175770A1 (ja) * 2012-05-25 2013-11-28 パナソニック株式会社 情報処理装置、情報処理方法、および情報処理プログラム
EP2905685A4 (en) * 2012-10-01 2016-05-11 Nec Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
KR102120101B1 (ko) * 2013-04-03 2020-06-09 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
KR102105959B1 (ko) * 2013-07-22 2020-04-29 엘지전자 주식회사 이미지 레이어를 제공하는 폴더블 디스플레이 디바이스 및 그 제어 방법
KR102561200B1 (ko) * 2014-02-10 2023-07-28 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
US9648062B2 (en) * 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
CN106462340B (zh) * 2014-06-27 2019-09-13 苹果公司 尺寸减小的用户界面

Also Published As

Publication number Publication date
CN108628402A (zh) 2018-10-09
JP2018159843A (ja) 2018-10-11
US10394376B2 (en) 2019-08-27
US20180275814A1 (en) 2018-09-27
CN108628402B (zh) 2021-06-22
US10635233B2 (en) 2020-04-28
US20190332221A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
JP6868427B2 (ja) 入力機能付き表示装置
JP4904375B2 (ja) ユーザインタフェース装置及び携帯端末装置
US10929013B2 (en) Method for adjusting input virtual keyboard and input apparatus
US8436832B2 (en) Multi-touch system and driving method thereof
US10282067B2 (en) Method and apparatus of controlling an interface based on touch operations
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
US20120013645A1 (en) Display and method of displaying icon image
EP2720131B1 (en) Image processing device, non-transitory computer readable recording medium and operational event determining method
US8866772B2 (en) Information processing terminal and method, program, and recording medium
US9619141B2 (en) Information processing terminal and method, program, and recording medium
US20100060597A1 (en) Method and apparatus for displaying and selecting icons on a touch screen
US20130328804A1 (en) Information processing apparatus, method of controlling the same and storage medium
KR101929316B1 (ko) 터치스크린을 구비한 단말기에서 키패드 표시 방법 및 장치
TW201329807A (zh) 觸控面板系統及電子機器
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
EP2584436A1 (en) Information display device and method for moving operation of onscreen button
US20150149954A1 (en) Method for operating user interface and electronic device thereof
US10108257B2 (en) Electronic device, control method thereof, and storage medium
US20200356226A1 (en) Electronic apparatus and display method for touch proximity detection
JP2015138360A (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
KR101151300B1 (ko) 터치기구의 접근 인지를 이용한 휴대단말 및 그의 객체 표시 방법
JP5492627B2 (ja) 情報表示装置および情報表示方法
US9348443B2 (en) Information processing apparatus, method of controlling the same, program and storage medium
US10338808B2 (en) Information processing apparatus and storage medium
KR102138501B1 (ko) 디지털 컨텐츠를 캡쳐하는 디스플레이 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6868427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150