JP6520227B2 - 表示装置および表示制御方法 - Google Patents

表示装置および表示制御方法 Download PDF

Info

Publication number
JP6520227B2
JP6520227B2 JP2015042482A JP2015042482A JP6520227B2 JP 6520227 B2 JP6520227 B2 JP 6520227B2 JP 2015042482 A JP2015042482 A JP 2015042482A JP 2015042482 A JP2015042482 A JP 2015042482A JP 6520227 B2 JP6520227 B2 JP 6520227B2
Authority
JP
Japan
Prior art keywords
screen
locus
image
display
supply device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015042482A
Other languages
English (en)
Other versions
JP2016161866A5 (ja
JP2016161866A (ja
Inventor
壱星 横山
壱星 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015042482A priority Critical patent/JP6520227B2/ja
Priority to CN201610086857.9A priority patent/CN105939467A/zh
Priority to US15/049,479 priority patent/US20160259490A1/en
Publication of JP2016161866A publication Critical patent/JP2016161866A/ja
Publication of JP2016161866A5 publication Critical patent/JP2016161866A5/ja
Application granted granted Critical
Publication of JP6520227B2 publication Critical patent/JP6520227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Description

本発明は、画面を複数の領域に分割して画像を表示する技術に関する。
プロジェクター等の表示装置において、画面を複数の領域に分割して、一画面に複数の画像を表示する技術が知られている。例えば特許文献1には、あらかじめ決められた分割レイアウトの中からユーザーが所望のレイアウトを選択する技術が記載されている。特許文献2には、分割ウインドウの大きさをユーザーの操作によって変更する技術が記載されている。
特開2009−133985号公報 特開2011−158844号公報
特許文献1および2に記載された技術においては、画面の分割位置をユーザーが自由に選択できないという問題があった。
これに対し本発明は、ユーザーが、簡単な操作で、より自由に画面の分割位置を決めることができる技術を提供する。
本発明は、画面に画像を表示する表示手段と、前記画面上における指示体の位置を検知する検知手段と、前記検知手段により検知された前記指示体の位置の軌跡の始点または終点が前記画面の端または外にあり、かつ当該軌跡の少なくとも一部が当該画面の内部領域に存在するという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定する決定手段と、前記決定手段により決定された分割位置で前記画面を複数の領域に分割し、当該複数の領域に異なる画像を表示するように前記表示手段を制御する制御手段とを有する表示装置を提供する。
この表示装置によれば、ユーザーが指示体を移動させた軌跡に応じて画面の分割位置を決めることができる。
前記指示体の位置の軌跡の始点または終点が前記画面の端または外にあり、当該軌跡の少なくとも一部が当該画面の内部領域に存在しており、かつ当該軌跡の長さが所定の長さ以上であるという条件が満たされた場合、前記決定手段は、前記画面の分割位置を決定してもよい。
この表示装置によれば、ユーザーが指示体を移動させた特定の軌跡に応じて画面の分割位置を決めることができる。
前記画面の端は、前記画面の上辺または下辺であり、前記決定手段は前記画面を左右に分割するように前記分割位置を決定してもよい。
この表示装置によれば、画面の上辺または下辺から内部領域を経由する軌跡を描くことにより画面を左右に分割することができる。
前記指示体の位置の軌跡の始点が前記画面の上辺および下辺の一方または外側であり、かつ当該軌跡の終点が当該上辺および下辺の他方または外側であるという条件が満たされた場合、前記決定手段は、前記画面を左右に分割するように前記分割位置を決定してもよい。
この表示装置によれば、ユーザーが指示体を移動させた特定の軌跡に応じて画面の分割位置を決めることができる。
前記画面の端は、前記画面の右辺または左辺であり、前記決定手段は前記画面を上下に分割するように前記分割位置を決定してもよい。
この表示装置によれば、ユーザーが指示体を移動させた特定の軌跡に応じて画面の分割位置を決めることができる。
前記検知手段は、前記画面上の2つの指示体の位置を検知し、前記決定手段は、前記2つの指示体が前記画面の短辺の1/10以下の距離に近接した状態のまま移動した軌跡の始点または終点が前記画面の端または外にあり、かつ当該軌跡が当該画面を通っているという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定してもよい。
この表示装置によれば、ユーザーが指示体を移動させて特定の形状の軌跡を描いた場合に、その軌跡に応じて画面の分割位置を決めることができる。
前記指示体の位置の軌跡の始点が前記画面の右辺および左辺の一方または外側であり、かつ当該軌跡の終点が当該右辺および左辺の他方または外側であるという条件が満たされた場合、前記決定手段は、前記画面を上下に分割するように前記分割位置を決定してもよい。
この表示装置によれば、画面の右辺または左辺から内部領域を経由する軌跡を描くことにより画面を上下に分割することができる。
記検知手段は、前記画面上の2つの指示体の位置を検知し、前記決定手段は、前記2つの指示体が前記画面の短辺の1/10以下の距離に近接した状態のまま移動した軌跡の始点または終点が前記画面の端または外にあり、かつ当該軌跡の少なくとも一部が当該画面の内部領域に存在するという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定してもよい。
この表示装置によれば、ユーザーが指示体を移動させて特定の形状の軌跡を描いた場合に、その軌跡に応じて画面の分割位置を決めることができる。
前記決定手段は、前記軌跡が所定の波形状を有しているという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定してもよい。
この表示装置によれば、ユーザーが指示体を移動させて所定の波形状の軌跡を描いた場合に、その軌跡に応じて画面の分割位置を決めることができる。
この表示装置は、第1映像供給装置および第2映像供給装置から映像信号の入力を受け付ける入力手段を有し、前記画面に前記第1映像供給装置から供給される映像信号に従った画像が表示されている場合において前記指示体の軌跡が一方向に凸な形状を有していたときは、前記制御手段は、前記複数の領域のうち当該方向に応じて決められる一の領域に、前記第2映像供給装置から供給される映像信号に従った画像を表示してもよい。
この表示装置によれば、新たな画像を表示させる領域を自動的に決めることができる。
この表示装置は、第1映像供給装置、第2映像供給装置、および第3映像供給装置を含む複数の装置から映像信号の入力を受け付ける入力手段を有し、前記画面に前記第1映像供給装置から供給される映像信号に従った第1画像が表示されている場合において前記指示体の軌跡が前記条件を満たしたときは、前記制御手段は、前記複数の領域のうち前記第1画像を表示する領域以外の領域に表示する画像を前記第2映像供給装置および前記第3映像供給装置を含む複数の装置の中から選択させるための画像オブジェクトを前記表示手段に表示させてもよい。
この表示装置によれば、新たな画像を表示させる領域をユーザーの指示に応じて決めることができる。
また、本発明は、画面に画像を表示するステップと、前記画面上における指示体の位置を検知するステップと、前記検知された指示体の位置の軌跡の始点または終点が前記画面の端または外にあり、かつ当該軌跡の一部が当該画面の内部領域に存在するという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定するステップと、前記決定された分割位置で前記画面を複数の領域に分割し、当該複数の領域に異なる画像を表示するように画面表示を制御するステップとを有する表示制御方法を提供する。
この表示制御方法によれば、ユーザーが指示体を移動させた軌跡に応じて画面の分割位置を決めることができる。
一実施形態に係る表示装置10の機能構成を示す図。 表示装置10のハードウェア構成を示す図。 表示装置10の動作を示すフローチャート。 開始条件を満たす軌跡を例示する図。 画面の分割位置を例示する図。 画面の表示例を示す図。 画面分割の契機となる軌跡の別の例を示す図。 画面分割の契機となる軌跡の別の例を示す図。 画面分割の契機となる軌跡の別の例を示す図。 軌跡と画面分割との関係を例示する図。 軌跡と画面分割との関係を例示する図。 映像供給装置を選択するためのUIを例示する図。
1.構成
図1は、一実施形態に係る表示装置10の機能構成を示す図である。表示装置10は、画面上の指示体20の位置の軌跡に応じて描かれる線を表示する機能を有する。さらに、表示装置10は、画面を分割し、複数の映像供給装置からの映像を同時に表示する機能を有する。特に表示装置10は、指示体20の軌跡に応じて画面の分割位置を自動的に決める機能を有する。
表示装置10は、入力手段11、表示手段12、検知手段13、決定手段14、制御手段15、描画手段16、および送信手段17を有する。
入力手段11は、複数の映像供給装置(図示略)から映像信号の入力を受け付ける。表示手段12は、画面に画像を表示する。ここでは、表示手段12は、複数の映像供給装置から選択された少なくとも一の映像供給装置からの映像信号に従った画像を表示する。検知手段13は、画面上の指示体20の位置を検知する。決定手段14は、検知手段13により検知された指示体20の位置の軌跡が所定の条件を満たした場合、その軌跡に応じて画面の分割位置を決定する。ここで「所定の条件」は、例えば、軌跡の始点または終点が画面の端または外にあり、かつその軌跡の少なくとも一部が画面の内部領域に存在するという条件である。制御手段15は、決定手段14により決定された分割位置で画面を複数の領域に分割する。さらに、制御手段15は、これら複数の領域に異なる画像を表示するように表示手段12を制御する。
この例で、表示装置10は、第1モードおよび第2モードを含む複数の動作モードのいずれかで動作する。描画手段16は第1モードにおいて有効になる機能であり、画面上における指示体20の軌跡に応じた線を描画する。表示手段12は、描画手段16が描画した線を、映像供給装置からの映像信号に従った画像に重ねて表示する。ユーザーによる指示体20の操作に応じた線が画面に描画されるモードであるという意味において、以下第1モードを「インタラクティブモード」という。
送信手段17は第2モードにおいて有効になる機能であり、画面上における指示体20の位置を示す情報(例えば画面に対して定義された座標系における座標)を映像供給装置に送信する。映像供給装置がパーソナルコンピューター(PC)等の情報処理装置である場合、この情報がポインティングデバイスの入力(例えばマウス操作)として用いられる。例えば、ユーザーが画面上で指示体20を動かすと、その動きに追従してマウスカーソルが移動する。このマウスカーソルは映像供給装置によって描画されている。ユーザーによる指示体20の操作に応じて映像供給装置のマウスカーソルが移動するモードであるという意味において、以下第2モードを「PCモード」という。
図2は、表示装置10のハードウェア構成を示す図である。この例で、表示装置10はプロジェクターであり、画面とはスクリーン上または壁面上に投写される画像領域のことである。表示装置10は、CPU(Central Processing Unit)100、ROM(Read Only Memory)101、RAM(Random Access Memory)102、IF部104、画像処理回路105、投写ユニット106、操作パネル107、およびカメラ108を有する。
CPU100は、表示装置10の各部を制御する制御装置である。ROM101は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。RAM102は、データを記憶する揮発性の記憶装置であり、CPU100が処理を実行する際のワークエリアとして機能する。
IF部104は、外部装置(例えば映像供給装置)と信号またはデータのやりとりを仲介するインターフェースである。IF部104は、外部装置と信号またはデータのやりとりをするための端子(例えば、VGA端子、USB端子、有線LANインターフェース、S端子、RCA端子、HDMI(High-Definition Multimedia Interface:登録商標)端子、マイクロフォン端子など)および無線LANインターフェースを含む。これらの端子は、映像入力端子に加え、映像出力端子を含んでもよい。
画像処理回路105は、入力された映像信号(以下「入力映像信号」という)に所定の画像処理(例えばサイズ変更、台形補正等)を施す。
投写ユニット106は、画像処理が施された映像信号に従って、スクリーンまたは壁面等の投写面に画像を投写する。投写ユニット106は、光源、光変調器、および光学系(いずれも図示略)を有する。光源は、高圧水銀ランプ、ハロゲンランプ、もしくはメタルハライドランプなどのランプ、またはLED(Light Emitting Diode)もしくはレーザーダイオードなどの固体光源、およびこれらの駆動回路を含む。光変調器は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルまたはDMD(Digital Mirror Device)、およびこれらの駆動回路を有する。なお、液晶パネルは、透過型および反射型のいずれの方式であってもよい。光学系は、光変調器により変調された光をスクリーンに投写する素子などで構成されており、例えばミラー、レンズ、およびプリズムを有する。光源および光変調器は色成分毎に設けられていてもよい。
操作パネル107は、ユーザーが表示装置10に対し指示を入力するための入力装置であり、例えば、キーパッド、ボタン、またはタッチパネルを含む。
カメラ108は、指示体20の位置を特定するためのカメラである。この例で、指示体20は、ペン先に発光体(例えば赤外線発光ダイオード)、圧力センサー、および制御回路(いずれも図示略)を有する。圧力センサーによりペン先が物体(投写面等)に触れたことが検知されると、制御回路は、所定の発光パターンで発光体を発光させる。カメラ108は赤外線カメラであり、投写面の画像を撮影する。CPU100は、カメラ108が撮影した画像から指示体20の位置および対応するイベントを特定する。
指示体20に関連するイベントには、例えばペンダウンイベントおよびペンアップイベントがある。ペンダウンイベントは、指示体20が表示面(この例ではスクリーンまたは壁面)に触れていることを示すイベントである。ペンダウンイベントは、指示体20が触れている位置を示す座標を含んでいる。ペンアップイベントは、それまで表示面に触れていた指示体20が表示面から離れたことを示すイベントである。ペンアップイベントは、指示体20が表示面から離れた位置を示す座標を含んでいる。
なお、カメラ108は、投写ユニット106により投写される画像の有効画素領域よりも広い範囲(すなわち画面の外)を撮影可能である。すなわち、表示装置10は、指示体20が画面の外にあっても(一定の範囲内であれば)、指示体20の位置を検知することが可能である。
IF部104は、入力手段11の一例である。投写ユニット106は、表示手段12の一例である。カメラ108と協働するCPU100は、検知手段13の一例である。CPU100は、決定手段14、制御手段15、および描画手段16の一例である。IF部104と協働するCPU100は、送信手段17の一例である。
2.動作
図3は、表示装置10の動作を示すフローチャートである。図3のフローは、例えば、表示装置10が起動したことを契機として実行される。または、図3のフローは、設定メニュー等によりユーザーが実行を指示した場合に実行されてもよい。
また、この例において、表示装置10には複数の映像供給装置(例えば、PCおよびDVDプレーヤー)が接続され、両者からそれぞれ映像信号が入力されている。図3のフローの開始時点においては、画面は分割されておらず単一の映像供給装置(以下、第1映像供給装置という。例えばPC)から入力される映像信号に従った画像が表示される。
ステップS100において、CPU100は、指示体20の位置の記録を開始する。以下、CPU100は、カメラ108により撮影された画像から、指示体20に関連するイベントを定期的に検知し、検知したイベントをRAM102に記憶する。RAM102には、複数のイベントが記憶される。CPU100は、所定の規則に従ってこれらのイベントをグループ化し、一連の軌跡を示すデータとして扱う。例えば、前回のペンアップイベントからしきい値時間が経過した後、最初に検知されたペンダウンイベントから、次に検知されるペンアップイベントまでが一連の軌跡を示すデータとしてグループ化される。以下、RAM102に記憶されているデータにより示される指示体20の位置の軌跡を単に「軌跡」という。
ステップS110において、CPU100は、軌跡が画面分割の開始条件を満たしたか判断する。画面分割の開始条件としては、例えば以下のものが用いられる。
(a)軌跡の始点が画面外(有効画素領域外)にあり、
(b)軌跡が始点から画面の第1辺を横切って画面の内部領域(有効画素領域内)に入っており、
(c)軌跡が画面内から画面の第1辺と対向する第2辺を横切って画面の外に出ており、かつ
(d)軌跡の終点が画面の外にある。
すなわちこの条件は、「画面の一辺からこれと対向する他辺まで、指示体20が画面上を横切った」というものである。なお、ステップS110の判断は、検知されたイベントが特定のイベント(例えばペンアップイベント)であった場合にのみ行われてもよい。
図4は、開始条件を満たす軌跡を例示する図である。この例では、画面SCの上辺の外に始点があり、画面SCを横切って、下辺の外が終点である。なお、図では軌跡Tを実線として示しているが、これは説明のために表したもので、この線が実際に画面上に表示されるわけではない。
開始条件が満たされたと判断された場合(S110:YES)、CPU100は、処理をステップS120に移行する。開始条件が満たされていないと判断された場合(S110:NO)、CPU100は、開始条件が満たされたと判断されるまで待機する。
再び図3を参照する。ステップS120において、CPU100は、分割位置を決定する。分割位置は軌跡に応じて決められる。具体的には例えば以下のとおりである。CPU100は、軌跡から代表点を抽出する。代表点は、例えば中点である。この場合における中点とは、軌跡に含まれる点のうち第1辺までの距離と第2辺までの距離とが等しい点をいう。さらに、CPU100は、指示体20の軌跡から分割方向を決定する。分割方向は、例えば、第1辺および第2辺に垂直な方向である。CPU100は、代表点を通り分割方向に伸びる線で画面を分割する。
図5は、画面の分割位置を例示する図である。この例では、画面SCおよび軌跡Tが示されている。軌跡Tは、上辺の画面外から画面を横切って下辺の画面外に達している。すなわちこの例では、第1辺が上辺であり、第2辺が下辺である。代表点Pは、y軸(縦軸)の座標が上辺と下辺の中央の点である。この場合、代表点Pを通り上辺および下辺に垂直な線Bが、分割線、すなわち分割後の第1領域A1と第2領域A2との境界である。図5では、上下に軌跡を描くことにより画面を左右に分割しているが、例えば第1辺が左辺、第2辺が右辺の場合、上下に画面を分割することができる。
再び図3を参照する。ステップS130において、CPU100は、分割後の第1領域および第2領域のどちらに新たな画像を表示するか決定する。この例で、新たな画像は、第1映像供給装置とは別の映像供給装置(以下、第2映像供給装置という。例えばDVD(Digital Versatile Disk)プレーヤー)から供給される映像信号に従って表示される画像である。
この例で、CPU100は、画面分割の契機となった軌跡に応じて自動的に、新たな画像を表示する領域を決定する。具体的には以下のとおりである。CPU100は、軌跡が凸になっている方向を特定する。凸になっている方向、例えば、軌跡を円弧で近似し、この円弧が分割線のどちら側に凸になっているか判断することにより特定される。CPU100は、分割線から見て軌跡が凸になっている方向に位置する領域を、新たな画像を表示する領域として決定する。
ステップS140において、CPU100は、画面分割を行う。すなわち、CPU100は、画面を第1領域および第2領域に分割する。CPU100は、このうちステップS130において決定された領域に第2映像供給装置から供給される映像信号に従った画像を、他の領域に第1映像供給装置から供給される映像信号に従った画像を表示するように、投写ユニット106を制御する。
図6は、画面の表示例を示す図である。この例で、軌跡Tは左側に凸になっている。したがって、分割後の左側の領域(領域A1)に新たな画像(画像IM2)が表示される。他方の領域である領域A2には、分割前から表示されていた画像IM1が表示される。画像IM1は、分割前と比較するとサイズが縮小されている。
以上で説明したように本実施形態によれば、ユーザーが、簡単な操作で、自由に画面の分割位置を決めることができる。この操作は、軌跡の始点および終点が画面の外にあることを条件としているので、インタラクティブモードにおける描画操作およびPCモードにおけるマウス操作とは容易に区別可能なものである。さらに、本実施形態においては、軌跡が凸になっている方向に存在する領域に新たな画像が表示される。大スクリーンに画像を投写しながらプレゼンテーションを行うような利用シーンを考えると、軌跡が凹になっている方向にはユーザー(プレゼンター)の体があることが想定される。すなわち軌跡が凸になっている方向に新たな画像を表示することにより、ユーザーの体に邪魔されない領域に自動的に新たな画像を表示することができる。
3.変形例
本発明は上述の実施形態に限定されるものではなく種々の限定実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
3−1.変形例1
画面分割の開始条件すなわち画面分割の契機となる軌跡は、実施形態で説明したものに限定されない。開始条件としては、例えば、軌跡の始点および終点の少なくとも一方が画面の端または外にあり、かつ軌跡の少なくとも一部が画面の内部領域に存在するものであれば、どのような条件が用いられてもよい。具体的には例えば以下のとおりである。別の例で、軌跡の始点および終点がいずれも画面の内部領域にあってもよいが、軌跡の形状がある特徴を有している場合に画面分割が開始されるという条件が用いられてもよい。
3−1−1.例1
図7は、画面分割の契機となる軌跡の別の例を示す図である。この例では、開始条件として以下のものが用いられる。
(a)軌跡の始点が画面外にあり、
(b)軌跡が始点から画面の一辺を横切って画面内に入っており、
(e)軌跡の終点が画面の内部領域にあり、かつ
(f)軌跡の長さが所定の長さ(例えば画面の短辺の長さの半分)以上である。
なお、上記の条件において「始点」と「終点」とを入れ替えて読み替えたものが用いられてもよい。この場合、始点または終点のどちらかは画面外であるので、インタラクティブモードにおける描画操作およびPCモードにおけるマウス操作とは容易に区別可能である。
3−1−2.例2
図8は、画面分割の契機となる軌跡の別の例を示す図である。この例では、開始条件として以下のものが用いられる。
(f)軌跡の長さが所定の長さ(例えば画面の短辺の長さの半分)以上であり、かつ
(g)軌跡の進行方向に垂直な方向における軌跡の向きが所定回数(例えば5回)以上、変化している(すなわち形状が波形である)。この場合もインタラクティブモードにおける描画操作およびPCモードにおけるマウス操作とは容易に区別可能である。
3−1−3.例3
図9は、画面分割の契機となる軌跡の別の例を示す図である。この例では、開始条件として以下のものが用いられる。また、検知手段13は、2つの指示体の位置を同時に検知することが可能である。
(h)指示体がユーザーの指であり、
(i)ユーザーの片手の2本の指で軌跡を描き(すなわち軌跡が二重線である)、
(f)軌跡の長さが所定の長さ(例えば画面の短辺の長さの半分)以上である。
なおこの場合において指示体はユーザーの指ではなく2本のペンであってもよい。すなわち、2つの指示体により指示される点が近接した状態(例えば2つの指示体が画面の短辺の長さの1/10以下の距離を保った状態)で所定の長さ以上の長さの線が描かれたときに、画面分割が開始されてもよい。この場合もインタラクティブモードにおける描画操作およびPCモードにおけるマウス操作とは容易に区別可能である。
3−1−4.他の例
例1〜例3はあくまで例示である。開始条件の要素(a)〜(i)は任意の2つ以上の要素が組み合わせられてもよいし、(a)〜(i)以外の別の要素が組み合わせられてもよい。
3−2.変形例2
実施形態では画面を2分割する例を説明したが、分割数はこれに限定されない。
3−2−1.例1
図10は、軌跡と画面分割との関係を例示する図である。この例では、軌跡T1および軌跡T2の2つの軌跡によって画面が分割されている。軌跡T1は画面の上辺から下辺に向かう軌跡であり、軌跡T2は画面の左辺から右辺に向かう軌跡である。この例では、まず軌跡T1により画面が左右に2分割され、この状態からさらに軌跡T2により、左右2つの領域がそれぞれ上下に分割される。すなわち、合計で4領域(領域A1〜A4)に分割される。軌跡T1およびT2の代表点はそれぞれP1およびP2である。領域A4に画像IM1が表示されている。画像IM1は、画面分割が行われてないとき(一画面表示のとき)から表示されている元の画像である。画像IM2は、軌跡T1により新たに表示された画像である。画像IM3および画像IM4は、軌跡T2により新たに表示された画像である。
3−2−2.例2
図11は、軌跡と画面分割との関係を例示する図である。この例では、軌跡T3および軌跡T4の2つの軌跡によって画面が分割されている。軌跡T3は画面の左辺から右辺に向かう軌跡であり、軌跡T4は画面の上辺から下辺に向かう軌跡である。この例では、まず軌跡T3により画面が上下に2分割され、この状態からさらに軌跡T4により、上下2つの領域がそれぞれ左右に分割される。すなわち、合計で4領域(領域A1〜A4)に分割される。軌跡T3およびT4の代表点はそれぞれP3およびP4である。領域A4に画像IM1が表示されている。画像IM1は、画面分割が行われてないとき(一画面表示のとき)から表示されている元の画像である。画像IM2は、軌跡T3により新たに表示された画像である。画像IM3および画像IM4は、軌跡T4により新たに表示された画像である。
3−3.変形例3
表示装置10に3つ以上の映像供給装置から映像信号が供給されている場合、分割後の画面にどの映像供給装置から供給される映像信号に従った画像を表示させるか自動的に決められない場合がある。このような場合、CPU100は、分割後の画面に新たに表示される画像をユーザーに選択させてもよい。
図12は、映像供給装置を選択するためのUIを例示する図である。CPU100は、分割後の第1領域および第2領域のうち、新たな画像を表示すると決定された領域に、映像供給装置を選択するためのUIすなわち画像オブジェクトO1を表示するように、投写ユニット106を制御する。この例では、映像供給装置のリストが表示される。ユーザーは、このリストの中から、新たに表示させる画像に対応する映像供給装置を選択する。CPU100は、ユーザーの選択に応じて、新たな画像として表示する映像信号を供給する映像供給装置を決定する。
3−4.変形例4
実施形態においては画面分割を解除する処理について説明していないが、例えば、その画面分割の契機となった軌跡と逆向きの軌跡が入力された場合、CPU100は、画面分割を解除してもよい。例えば図5において、下辺から上辺に向かう軌跡が入力された場合に、画面分割が解除されて一画面表示に戻ってもよい。
3−5.他の変形例
分割後のどちらの領域に新たな画像を表示させるか、ユーザーに選択させてもよい。この場合、CPU100は、開始条件を満たす軌跡が入力された後、どちらの領域に新たな画像を表示するかユーザーに選択させるためのUIを表示するように、投写ユニット106を制御する。
分割前の画面がインタラクティブモードであってもかまわない。この場合、分割後の新たな領域は、別のインタラクティブモード画面であってもよいし、他の映像供給装置から供給される製造信号に従った画像を表示させてもよい。
軌跡の代表点は実施形態で説明したものに限定されない。軌跡の長さを2分する点や、x座標またはy座標が最大または最小の点が代表点として用いられてもよい。また、軌跡と画面の端との交点が代表点として用いられてもかまわない。
図1の機能を実現するための表示装置10のハードウェア構成は図2で例示したものに限定されない。例えば、表示装置10は、ステレオカメラを用いて、指示体が指示した画面上の位置を検知してもよい。別の例で、表示装置10はプロジェクターではなく、タッチスクリーンを有する直視の表示装置(液晶表示装置や有機EL表示装置)であってもよい。また、図1で示した機能の一部は省略されてもよい。
10…表示装置、11…入力手段、12…表示手段、13…検知手段、14…決定手段、15…制御手段、16…描画手段、17…送信手段、20…指示体、100…CPU、101…ROM、102…RAM、104…IF部、105…画像処理回路、106…投写ユニット、107…操作パネル、108…カメラ

Claims (10)

  1. 画面に画像を表示する表示手段と、
    前記画面上における指示体の位置を検知する検知手段と、
    前記検知手段により検知された前記指示体の位置の軌跡の始点または終点が前記画面の端または外にあり、かつ当該軌跡の少なくとも一部が当該画面の内部領域に存在するという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定する決定手段と、
    前記決定手段により決定された分割位置で前記画面を複数の領域に分割し、当該複数の領域に異なる画像を表示するように前記表示手段を制御する制御手段と
    第1映像供給装置、第2映像供給装置、および第3映像供給装置を含む複数の装置から映像信号の入力を受け付ける入力手段と
    を有し、
    前記画面に前記第1映像供給装置から供給される映像信号に従った第1画像が表示されている場合において前記指示体の軌跡が前記条件を満たしたときは、前記制御手段は、前記複数の領域のうち前記第1画像を表示する領域以外の領域に表示する画像を前記第2映像供給装置および前記第3映像供給装置を含む複数の装置の中から選択させるための画像オブジェクトを前記表示手段に表示させる
    示装置。
  2. 前記指示体の位置の軌跡の始点または終点が前記画面の端または外にあり、当該軌跡の少なくとも一部が当該画面の内部領域に存在しており、かつ当該軌跡の長さが所定の長さ以上であるという条件が満たされた場合、前記決定手段は、前記画面の分割位置を決定する
    ことを特徴とする請求項1に記載の表示装置。
  3. 前記画面の端は、前記画面の上辺または下辺であり、前記決定手段は前記画面を左右に分割するように前記分割位置を決定する
    ことを特徴とする請求項2に記載の表示装置。
  4. 前記指示体の位置の軌跡の始点が前記画面の上辺および下辺の一方または外側であり、かつ当該軌跡の終点が当該上辺および下辺の他方または外側であるという条件が満たされた場合、前記決定手段は、前記画面を左右に分割するように前記分割位置を決定する
    ことを特徴とする請求項2に記載の表示装置。
  5. 前記画面の端は、前記画面の右辺または左辺であり、前記決定手段は前記画面を上下に分割するように前記分割位置を決定する
    ことを特徴とする請求項2に記載の表示装置。
  6. 前記指示体の位置の軌跡の始点が前記画面の右辺および左辺の一方または外側であり、かつ当該軌跡の終点が当該右辺および左辺の他方または外側であるという条件が満たされた場合、前記決定手段は、前記画面を上下に分割するように前記分割位置を決定する
    ことを特徴とする請求項2に記載の表示装置。
  7. 前記検知手段は、前記画面上の2つの指示体の位置を検知し、
    前記決定手段は、前記2つの指示体が前記画面の短辺の1/10以下の距離に近接した状態のまま移動した軌跡の始点または終点が前記画面の端または外にあり、かつ当該軌跡の少なくとも一部が当該画面の内部領域に存在するという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定する
    ことを特徴とする請求項1ないし6のいずれか一項に記載の表示装置。
  8. 前記決定手段は、前記軌跡が所定の波形状を有しているという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定する
    ことを特徴とする請求項1ないし6のいずれか一項に記載の表示装置。
  9. 第1映像供給装置および第2映像供給装置から映像信号の入力を受け付ける入力手段を有し、
    前記画面に前記第1映像供給装置から供給される映像信号に従った画像が表示されている場合において前記指示体の軌跡が一方向に凸な形状を有していたときは、前記制御手段は、前記複数の領域のうち当該方向に応じて決められる一の領域に、前記第2映像供給装置から供給される映像信号に従った画像を表示する
    ことを特徴とする請求項1ないし8のいずれか一項に記載の表示装置。
  10. 画面に画像を表示するステップと、
    前記画面上における指示体の位置を検知するステップと、
    前記検知された指示体の位置の軌跡の始点または終点が前記画面の端または外にあり、かつ当該軌跡の一部が当該画面の内部領域に存在するという条件が満たされた場合、当該軌跡に応じて当該画面の分割位置を決定するステップと、
    前記決定された分割位置で前記画面を複数の領域に分割し、当該複数の領域に異なる画像を表示するように画面表示を制御するステップと
    を有し、
    第1映像供給装置、第2映像供給装置、および第3映像供給装置を含む複数の装置から映像信号の入力を受け付け、
    前記画面に前記第1映像供給装置から供給される映像信号に従った第1画像が表示されている場合において前記指示体の軌跡が前記条件を満たしたときは、前記画面表示を制御するステップは、前記複数の領域のうち前記第1画像を表示する領域以外の領域に表示する画像を前記第2映像供給装置および前記第3映像供給装置を含む複数の装置の中から選択させるための画像オブジェクトを前記画面に表示させる
    表示制御方法。
JP2015042482A 2015-03-04 2015-03-04 表示装置および表示制御方法 Active JP6520227B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015042482A JP6520227B2 (ja) 2015-03-04 2015-03-04 表示装置および表示制御方法
CN201610086857.9A CN105939467A (zh) 2015-03-04 2016-02-16 显示装置以及显示控制方法
US15/049,479 US20160259490A1 (en) 2015-03-04 2016-02-22 Display apparatus and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015042482A JP6520227B2 (ja) 2015-03-04 2015-03-04 表示装置および表示制御方法

Publications (3)

Publication Number Publication Date
JP2016161866A JP2016161866A (ja) 2016-09-05
JP2016161866A5 JP2016161866A5 (ja) 2018-03-08
JP6520227B2 true JP6520227B2 (ja) 2019-05-29

Family

ID=56845095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015042482A Active JP6520227B2 (ja) 2015-03-04 2015-03-04 表示装置および表示制御方法

Country Status (3)

Country Link
US (1) US20160259490A1 (ja)
JP (1) JP6520227B2 (ja)
CN (1) CN105939467A (ja)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09204288A (ja) * 1996-01-29 1997-08-05 Casio Comput Co Ltd 表示装置
JP4700539B2 (ja) * 2006-03-22 2011-06-15 パナソニック株式会社 表示装置
JP4068119B2 (ja) * 2006-07-25 2008-03-26 シャープ株式会社 映像表示装置、映像表示方法、映像表示プログラム、および記録媒体
KR100831721B1 (ko) * 2006-12-29 2008-05-22 엘지전자 주식회사 휴대단말기의 디스플레이 장치 및 방법
JP2009071557A (ja) * 2007-09-13 2009-04-02 Sharp Corp 電子ボード装置
US8600446B2 (en) * 2008-09-26 2013-12-03 Htc Corporation Mobile device interface with dual windows
US10042546B2 (en) * 2011-01-07 2018-08-07 Qualcomm Incorporated Systems and methods to present multiple frames on a touch screen
US9594504B2 (en) * 2011-11-08 2017-03-14 Microsoft Technology Licensing, Llc User interface indirect interaction
WO2013111202A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 表示装置および表示方法
KR101417318B1 (ko) * 2012-08-17 2014-07-09 주식회사 팬택 멀티태스킹이 가능한 사용자 인터페이스 제공방법, 이동 단말기, 컴퓨터 판독 가능 매체
JP6215534B2 (ja) * 2013-01-07 2017-10-18 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9323363B2 (en) * 2013-02-28 2016-04-26 Polar Electro Oy Providing meta information in wrist device
KR20140120211A (ko) * 2013-04-02 2014-10-13 엘지전자 주식회사 영상 표시 장치 및 그것의 제어 방법
US9881645B2 (en) * 2013-08-20 2018-01-30 Google Llc Systems, methods, and media for editing video during playback via gestures
JP2015176108A (ja) * 2014-03-18 2015-10-05 日本電気株式会社 表示装置、制御方法及びプログラム

Also Published As

Publication number Publication date
US20160259490A1 (en) 2016-09-08
JP2016161866A (ja) 2016-09-05
CN105939467A (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
US10276133B2 (en) Projector and display control method for displaying split images
US10268284B2 (en) Image display system
US9898996B2 (en) Display apparatus and display control method
JP6544073B2 (ja) 画像表示システムおよび画像表示方法
US9857969B2 (en) Display apparatus, display control method, and computer program
JP5358548B2 (ja) ジェスチャ認識装置
US20150261385A1 (en) Picture signal output apparatus, picture signal output method, program, and display system
JP2017182109A (ja) 表示システム、情報処理装置、プロジェクター及び情報処理方法
JP6451225B2 (ja) 表示装置、プロジェクターおよび表示制御方法
WO2016035322A1 (en) Information processing device, information processing method, and program
US20150279336A1 (en) Bidirectional display method and bidirectional display device
US10795467B2 (en) Display device, electronic blackboard system, and user interface setting method
JP6520227B2 (ja) 表示装置および表示制御方法
KR20180099954A (ko) 표시 장치, 프로젝터 및, 표시 제어 방법
JP6540275B2 (ja) 表示装置および画像表示方法
JP6682768B2 (ja) 表示システム、表示装置、情報処理装置及び制御方法
US11698575B2 (en) Projective transformation matrix determination method, projector, and determination system
JP6300053B2 (ja) プロジェクタ装置及びプロジェクタシステム
JP2016126548A (ja) 表示装置、表示制御プログラム
JP2020173327A (ja) 表示方法および表示装置
JP2016161869A (ja) 表示装置及び表示制御方法
JP2020173328A (ja) 表示方法および表示装置
JP2023007696A (ja) 画像処理方法および画像処理装置
JP2017182246A (ja) 表示装置および情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R150 Certificate of patent or registration of utility model

Ref document number: 6520227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150