JP7559618B2 - 表示装置の制御方法及び表示装置 - Google Patents

表示装置の制御方法及び表示装置 Download PDF

Info

Publication number
JP7559618B2
JP7559618B2 JP2021031444A JP2021031444A JP7559618B2 JP 7559618 B2 JP7559618 B2 JP 7559618B2 JP 2021031444 A JP2021031444 A JP 2021031444A JP 2021031444 A JP2021031444 A JP 2021031444A JP 7559618 B2 JP7559618 B2 JP 7559618B2
Authority
JP
Japan
Prior art keywords
image
unit
video
control unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021031444A
Other languages
English (en)
Other versions
JP2022132791A (ja
JP2022132791A5 (ja
Inventor
俊樹 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2021031444A priority Critical patent/JP7559618B2/ja
Priority to US17/683,590 priority patent/US12182374B2/en
Publication of JP2022132791A publication Critical patent/JP2022132791A/ja
Publication of JP2022132791A5 publication Critical patent/JP2022132791A5/ja
Application granted granted Critical
Publication of JP7559618B2 publication Critical patent/JP7559618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示装置の制御方法及び表示装置に関する。
従来、指示体により指示された表示面の位置を検出し、検出した指示位置に基づいて表示面に画像を表示させる表示装置が知られている。
例えば、特許文献1に開示の装置は、画像出力装置から送信される画像データを受信して、画像データに基づく画像を投写画像として投写面に投写し、投写画像に重ねて描画を行う。
特開2013-222280号公報
しかしながら、特許文献1に開示の装置は、画像出力装置から受信した画像データと、ユーザーが投写面に描画した描画データとをそれぞれ独立して管理している。このため、受信した画像データと、描画データを一体的に処理することができない、という課題がある。
上記課題を解決する一態様は、入力された映像信号に基づく映像を表示面に表示させ、前記表示面に対する指示体の操作を検出し、検出した前記操作に対応した描画像を前記表示面に表示させ、前記表示面に表示された前記映像及び前記描画像を選択する操作を受け付けると、選択された前記映像及び前記描画像をグループ登録し、前記グループ登録した前記映像及び前記描画像に対する操作を受け付けると、受け付けた前記操作に対応した処理を実行する、表示装置の制御方法である。
上記課題を解決する別の一態様は、映像信号を受信する受信部と、受信した前記映像信号に基づく映像を表示面に表示させる表示部と、前記表示面に対する指示体の操作を検出する検出部と、前記検出部が検出した前記操作に対応した描画像を生成し、生成した前記描画像を前記表示面に表示させる制御部と、を備え、前記制御部は、前記表示面に表示された前記映像及び前記描画像を選択する操作を受け付けると、選択された前記映像及び前記描画像をグループ登録し、前記グループ登録した前記映像及び前記描画像に対する操作を受け付けると、受け付けた前記操作に対応した処理を実行する、表示装置である。
表示システムの概略構成を示す斜視図。 プロジェクターの概略構成を示すブロック図。 画像投写部の概略構成を示すブロック図。 基準位置に表示されたサムネイル画像を示す図。 サムネイル画像の1つが選択された状態を示す図。 サムネイル画像のサイズを拡大させた状態を示す図。 描画オブジェクトが選択された状態を示す図。 映像オブジェクトが選択された状態を示す図。 キャプチャー画像と映像オブジェクトとが並んで表示された状態を示す図。 映像オブジェクト及び描画オブジェクトが選択された状態を示す図。 グループ管理テーブルの一例を示す図。 キャプチャー画像と、映像オブジェクト及び描画オブジェクトとが並んで表示された状態を示す図。 ソース切り替えが表示された第2操作メニューを示す図。 プロジェクターの動作を示すフローチャート。 プロジェクターの動作を示すフローチャート。
以下、添付図面を参照して本発明の実施形態について説明する。
図1は、本発明を適用した表示システム1の概略構成を示す斜視図である。
図1に示すように、表示システム1は、表示装置としてのプロジェクター100と、指示体としての発光ペン2とを備える。プロジェクター100は、投写面3に画像光を投写して、画像光に対応した画像である投写画像20を投写面3に表示する。プロジェクター100が画像光を投写する投写面3の領域を投写領域5という。投写面3は、表示面に相当する。
投写画像20には、外部の画像供給装置10から供給される映像信号に基づく画像や、発光ペン2により指示された投写面3の指示位置の軌跡に沿って線を描画した画像が含まれる。映像信号に基づく映像を、以下では映像オブジェクト30という。発光ペン2の指示位置の軌跡に沿って線を描画した画像を、以下では描画オブジェクト40という。描画オブジェクト40は、描画像に相当する。また、投写画像20には、OSD(On Screen Display)のメニュー画像等が含まれる。OSDのメニュー画像を、以下ではOSD画像50という。
図1に示すプロジェクター100は、壁面に固定されており、同じ壁面に沿って配置された投写面3に向けて投写画像20を投写する。投写面3には、例えば、スクリーンやホワイトボード等を用いることができるが、壁面自体に画像を投写する態様であってもよい。また、プロジェクター100の設置態様は、投写面3から一定距離の位置に台座を配置し、この台座上にプロジェクター100を設置する態様であってもよい。
発光ペン2は、赤外光を発する発光部2aと、発光ペン2の先端の投写面3への押圧、即ち投写面3へのタッチを検出する押圧検出部とを備える。押圧検出部の図示は省略する。発光部2aは、発光ペン2が動作している間、所定の発光シーケンスで点滅を繰り返す。そして、発光部2aは、投写面3へのタッチの有無に応じて発光シーケンスを変更する。このため、プロジェクター100は、発光部2aの発光シーケンスに基づいて発光ペン2によるタッチの有無を識別することができる。なお、発光ペン2は、赤外光以外の波長域の光を発する態様であってもよい。
プロジェクター100は、撮像部120を備える。撮像部120の撮像範囲は、投写領域5を含む範囲である。プロジェクター100は、撮像された画像の中から、発光ペン2が発した光を検出し、検出された光の位置を、発光ペン2により指示された指示位置として検出する。また、プロジェクター100は、検出された光の発光シーケンスに基づいて、投写面3へのタッチの有無を検知する。そして、プロジェクター100は、検出された指示位置に図示しないポインターを表示したり、タッチされた状態での指示位置の軌跡に沿って線を描画した描画オブジェクト40を表示したりする。
図2は、プロジェクター100の概略構成を示すブロック図である。
図2を参照しながらプロジェクター100の概略構成について説明する。
プロジェクター100は、操作受付部110と、撮像部120と、制御部130と、信号入力部140と、画像処理ユニット150と、第2記憶部161と、内部描画生成部163と、画像投写部170とを備える。
操作受付部110は、ユーザーがプロジェクター100に対して各種指示を行うための複数の操作キーを備える。操作受付部110が備える操作キーには、電源のオンとオフとを切り替える電源キー、各種設定を行うメニュー画像を表示させるメニューキーが含まれる。また、操作キーには、メニュー画像上で項目を選択する方向キー、映像信号を受信する入力端子141A,141B,141Cを選択する入力選択キー等がある。ユーザーが操作受付部110の各種操作キーを操作すると、操作受付部110は、操作キーの操作内容に対応した操作信号を制御部130に出力する。
また、操作受付部110を、リモコンから送信される赤外線信号を受信する受信部として機能させてもよい。リモコンは、ユーザーの操作内容に応じた赤外線信号を発信し、操作受付部110は、この赤外線信号を受信する。操作受付部110は、受信した赤外線信号が示す操作内容に対応した信号を制御部130に出力する。
撮像部120は、CCD(Charge Coupled Device)センサー、或いはCMOS(Complementary Metal Oxide Semiconductor)センサー等の図示しない撮像素子を備えたカメラである。撮像部120は、可視光を吸収して赤外光を透過させる赤外透過フィルターを有しており、この赤外透過フィルターを介して発光ペン2から発せられる赤外光を撮像する。撮像部120は、制御部130の制御に基づいて、投写面3上の投写領域5を含む範囲の撮像を繰り返し、撮像結果である撮影画像を制御部130に逐次出力する。撮像部120は、検出部に相当する。
制御部130は、第1記部部131と、プロセッサー133とを備えるコンピューター装置である。制御部130は、第1記憶部131に記憶された制御プログラムに従ってプロセッサー133が動作することによりプロジェクター100の動作を統括制御する。
第1記憶部131は、RAM(Random Access Memory)及びROM(Read Only Memory)等のメモリーを備える。RAMは、各種データ等の一時記憶に用いられ、ROMは、プロジェクター100の動作を制御するための制御プログラムや、各種設定情報等を記憶する。
第1記憶部131は、キャリブレーションデータを記憶する。キャリブレーションデータは、撮像部120の撮像画像の座標と、フレームメモリー157の座標とを対応づけたデータである。撮像画像とフレームメモリー157には、2次元の座標系が設定されており、キャリブレーションデータにより、撮像画像上の座標に対応するフレームメモリー157の座標が一意に特定される。
プロセッサー133は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)により構成される演算処理装置である。プロセッサー133は、制御プログラムを実行してプロジェクター100の各部を制御する。プロセッサー133は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、プロセッサー133は、第1記憶部131の一部又は全部や、その他の回路と統合されたSoCにより構成してもよい。また、プロセッサー133は、プログラムを実行するCPUと、所定の演算処理を実行するDSPとの組合せにより構成してもよい。さらに、プロセッサー133の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
プロジェクター100の制御部130は、制御プログラムによって実現される機能ブロックとして、検出部133Aと、描画画像生成部133Bと、表示制御部133Cとを備える。これらの機能ブロックは、プロセッサー133が制御プログラムを実行することにより実現される機能をブロックにより便宜的に示したものである。
検出部133Aは、撮像部120が撮像した撮像画像の中から、発光ペン2が発した赤外光を検出する。検出部133Aは、撮像された画像内に含まれる赤外光の像のうち、所定の閾値以上の明るさで、所定の範囲内の大きさを有する像を、発光ペン2が発した光とみなし、その位置を、発光ペン2の指示位置として検出する。また、検出部133Aは、複数回に亘って取得された撮像画像に基づいて、発光ペン2の発光シーケンスを判別し、投写面3へのタッチの有無を検知する。検出部133Aは、検出部に相当する。
描画画像生成部133Bは、検出部133Aの検出結果に基づいて、指示位置の軌跡に沿って線が描画された描画オブジェクト40を生成する。描画画像生成部133Bは、ユーザーが発光ペン2で投写面3上に描画をするような描画操作を行った場合、即ち発光ペン2が投写面3にタッチした状態で指示位置が変化した場合に、指示位置の軌跡に基づいて、描画オブジェクト40を表す描画データを生成する。描画画像生成部133Bは、この描画データを、例えば、ベクター形式で生成して第1記憶部131に記憶し、時間の経過とともに逐次更新する。また、描画画像生成部133Bは、生成した描画データを表示制御部133Cに出力する。
表示制御部133Cは、描画画像生成部133Bで生成された描画オブジェクト40を表示するために、ベクター形式の描画データをラスター形式に変換して内部描画生成部163に出力する。また、表示制御部133Cは、表示されている描画オブジェクト40を消去したり、切り替えたりする制御を行う。
また、表示制御部133Cは、変換画像データや、描画データ、後述するOSDデータを展開するフレームメモリー157の座標情報を内部描画生成部163に出力する。
信号入力部140には、コンピューターや各種ビデオ機器等の外部の画像供給装置10から供給される映像信号を受信する。信号入力部140は、画像供給装置10に接続される画像インターフェイスとしての複数の入力端子141と、インターフェイス回路143とを含んで構成される。本実施形態は、信号入力部140が、入力端子141A,141B,141Cの3つの入力端子141を備える場合を説明するが、信号入力部140が備える入力端子141の数は3つに限定されない。また、以下では、インターフェイスをI/Fと略記する。図2には、画像供給装置10Aと、画像供給装置10Bとがプロジェクター100に接続された例を示す。信号入力部140は、受信部に相当する。
信号入力部140が備える入力端子141A,141B,141Cとして、例えば、以下のものが挙げられる。
HDMI(High Definition Multimedia Interface)に対応するビデオ機器やコンピューターと接続するためのHDMI端子。HDMIは登録商標である。
主にコンピューターからアナログRGB信号を入力するためのコンピューター端子。
主にビデオ機器からコンポジット信号を入力するためのビデオ端子。
I/F回路143は、入力端子141A,141B,141Cから入力される映像信号に含まれる画像データや同期信号を取り出す。I/F回路143は、取り出した画像データや同期信号を画像処理ユニット150に出力し、取り出した同期信号を制御部130に出力する。画像処理ユニット150は、入力された同期信号に同期して画像データを1フレームごとに処理する。制御部130は、入力された同期信号に同期してプロジェクター100の各部を制御する。画像データは、動画像のデータであってもよいし、静止画像のデータであってもよい。
また、プロジェクター100と画像供給装置10とがHDMIケーブルにより接続された場合、I/F回路143は、映像信号であるHDMI信号に含まれるEDID(Extended Display Identification Data)信号を取り出す。I/F回路143は、取り出したEDID信号を制御部130に出力する。
画像処理ユニット150は、画像処理部151、スケーリング部153、画像合成部155及びフレームメモリー157を備える。
画像処理部151は、信号入力部140から入力される画像データをフレームメモリー157に展開するとともに、フレームメモリー157に展開した画像データに対して、制御部130の制御に基づいて様々な処理を施す。例えば、画像処理部151は、画像の明るさやコントラストを調整したり、カラーモードを調整したりする処理を画像データに施す。
カラーモードとは、投写面3に投写する画像の色調を調整するモードである。例えば、プロジェクター100は、カラーモードとして、明るい環境での視聴に適したダイナミックモード、薄明かりの中での視聴に適したリビングモード、暗い環境下での映画鑑賞に適したシアターモード等を備える。
画像処理部151には、制御部130からカラーモードに対応した補正パラメーターが入力される。画像処理部151は、入力された補正パラメーターを用いて、フレームメモリー157に展開された画像データに対してガンマ補正等の補正を行い、画像データのカラーモードを調整する。
スケーリング部153は、フレームメモリー157に展開された画像データの解像度を変換し、画像データのサイズを縮小する縮小処理する。縮小処理により生成された画像データを変換画像データという。スケーリング部153は、生成した変換画像データを第2記憶部161に記憶させる。第2記憶部161に記憶させる変換画像データは、スケーリング部153により更新される。スケーリング部153は、画像処理部151から新たな画像データが入力されると、入力された画像データを縮小処理し、縮小処理により生成した変換画像データを第2記憶部161に記憶させ、変換画像データを更新する。
また、スケーリング部153は、プロジェクター100に複数の画像供給装置10A、10Bが接続されると、これらの画像供給装置10A、10Bから供給される映像信号から取り出された画像データの解像度を低減した変換画像データをそれぞれ生成する。スケーリング部153は、生成した変換画像データを第2記憶部161に記憶させる。
第2記憶部161は、例えば、RAM(Random Access Memory)等のメモリーにより構成される。第2記憶部161は、スケーリング部153により縮小処理された変換画像データを記憶する。
内部描画生成部163は、GPU(Graphics Processing Unit)を備える。内部描画生成部163は、制御部130の制御に従い、画像データと共に表示させるOSD画像50の画像データを生成する。OSD画像50の画像データを、以下ではOSDデータという。OSD画像50には、指示位置に表示されるポインターや、メニュー画像等が含まれる。メニュー画像には、プロジェクター100が実行可能なコマンドに対応した複数のアイコンが表示される。
また、内部描画生成部163には、制御部130により生成された描画データが入力される。内部描画生成部163は、入力された描画データを第2記憶部161に記憶させる。
内部描画生成部163は、第2記憶部161に記憶させた変換画像データの解像度を変換し、投写面3に投写される画像のサイズを変更する機能を備える。
内部描画生成部163は、変換画像データの解像度を、発光ペン2の操作により設定された表示サイズに対応する解像度に変換する。ユーザーは、発光ペン2を操作して、投写面3に表示される画像のサイズを拡大させたり、縮小させたりすることができる。
以下では、スケーリング部153により縮小処理された変換画像データに基づいて投写面3に表示された画像をサムネイル画像60という。また、ユーザーの指示に従って内部描画生成部163が変換画像データの解像度を変更し、拡大又は縮小された変換画像データに基づいて投写面3に表示された画像を映像オブジェクト30という。
内部描画生成部163は、第2記憶部161から読み出した変換画像データ及び描画データと、OSDデータとを画像合成部155に出力する。このとき、内部描画生成部163は、変換画像データや、描画データ、OSDデータを展開するフレームメモリー157の座標を示す座標情報も画像合成部155に出力する。
また、内部描画生成部163は、プロジェクター100に複数の画像供給装置10A、10Bが接続され、これらの画像供給装置10A、10Bから映像信号の供給を受けている場合、画像供給装置10A、10Bに対応する変換画像データをそれぞれ読み出す。内部描画生成部163は、読み出した変換画像データをOSDデータや描画データと共に画像合成部155に出力する。
画像合成部155は、入力されたOSDデータ、描画データ及び変換画像データを座標情報が示すフレームメモリー157の座標に展開して、投写画像20の元となる画像データを生成する。画像合成部155は、生成した画像データをフレームメモリー157から読み出し、読み出した画像データを画像投写部170に出力する。
図3は、画像投写部170の概略構成を示すブロック図である。画像投写部170は、表示部に相当する。
画像投写部170は、光源171、光変調装置173としての3つの液晶パネル173R,173G及び173B、光学ユニット175、パネル駆動部177を備える。
画像投写部170は、光源171から射出された光を変調して画像光を生成し、生成した画像光を光学ユニット175により投写面3に拡大投写する。
光源171は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を含む。光源171から射出された光は、液晶パネル173R,173G及び173Bに入射される。液晶パネル173R,173G及び173Bは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる画素領域が形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。
パネル駆動部177は、入力された画像データに応じた駆動電圧を、画素領域の各画素に印加し、各画素を画像データに応じた光透過率に設定する。光源171から射出された光が、液晶パネル173R,173G及び173Bの画素領域を透過することによって画素毎に変調され、画像データに応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、光学ユニット175によって投写面3に拡大投写される。
次に、投写面3に投写される画像と、発光ペン2による操作について説明する。
信号入力部140に画像供給装置10が接続され、接続された画像供給装置10から映像信号の供給が開始されると、信号入力部140は、受信した映像信号に含まれる画像データを取り出し、取り出した画像データを画像処理ユニット150に出力する。画像処理ユニット150は、スケーリング部153により画像データに縮小処理を施し、縮小処理後の画像データを変換画像データとして第2記憶部161に記憶させる。
制御部130は、内部描画生成部163、画像合成部155及び画像投写部170を制御し、変換画像データに基づく画像であるサムネイル画像60を投写面3に表示させる。
図4は、基準位置に表示されたサムネイル画像60を示す図である。
制御部130は、内部描画生成部163を制御して、予め設定された基準位置にサムネイル画像60を表示させる。予め設定された基準位置は、例えば、投写面3の左上の領域であってもよい。また、予め設定された基準位置として複数の基準位置を設定し、設定した複数の基準位置に優先度を設定してもよい。例えば、投写面3の上下左右の4隅に基準位置を設定し、四隅の位置ごとに優先度を設定してもよい。図4には、画像供給装置10Aから供給される映像信号に基づくサムネイル画像60Aと、画像供給装置10Bから供給される映像信号に基づくサムネイル画像60Bとが投写面3に表示された状態を示す。
制御部130は、基準位置に投写画像20がすでに表示されている場合、投写画像20が投写されていない領域を検出し、検出した投写面3の領域にサムネイル画像60を表示させる。例えば、基準位置に映像オブジェクト30が表示されている場合、制御部130は、この映像オブジェクト30と重ならないように、新たに表示させるサムネイル画像60を表示させる。
図5は、発光ペン2の操作によりサムネイル画像60Bが選択された状態を示す図である。
次に、表示されたサムネイル画像60を選択する操作と、選択したサムネイル画像60の表示サイズを拡大させる操作を受け付けた場合の動作について説明する。
ユーザーは、選択したいサムネイル画像60が表示された投写面3の位置に発光ペン2をタッチさせる。また、ユーザーは、発光ペン2によりサムネイル画像60の周囲を囲んでもよい。図5には、発光ペン2の操作によってサムネイル画像60Bが選択された状態を示す。
制御部130は、撮像部120の撮影画像から発光ペン2がタッチされた投写面3の指示位置を検出し、検出した指示位置に表示されたサムネイル画像60Bを特定する。制御部130は、サムネイル画像60Bが選択されたと判定すると、このサムネイル画像60Bの周囲を囲む図形70を表示させる。図形70の四隅には、画像のサイズを拡大や縮小させたり、画像を回転させたりする操作を受け付ける操作子71が表示される。
拡大操作は、例えば、操作子71に発光ペン2をタッチし、タッチした発光ペン2をサムネイル画像60Bの外側に移動させる操作である。また、縮小操作は、操作子71の位置に発光ペン2をタッチし、タッチした発光ペン2をサムネイル画像60Bの内側に移動させる操作である。
図6は、発光ペン2の操作によりサムネイル画像60Bのサイズを拡大させた状態を示す図である。
制御部130は、発光ペン2の操作によりサムネイル画像60Bのサイズを拡大させる拡大操作を受け付けると、選択されたサムネイル画像60Bの元となる変換画像データと、この変換画像データの変換後の解像度と、を内部描画生成部163に指示する。
内部描画生成部163は、制御部130により指定された変換画像データの解像度を、指定された解像度となるように解像度変換する。内部描画生成部163は、解像度変換した変換画像データを、OSDデータや描画データと共に画像合成部155に出力する。
画像合成部155は、入力された変換画像データやOSDデータ、描画データをフレームメモリー157に展開して投写面3に投写画像20として表示させる画像データを生成する。画像合成部155は、フレームメモリー157に展開された画像データを読み出し、読み出した画像データを画像投写部170に出力する。画像投写部170が入力された画像データに基づく画像光を生成し、投写面3に投写することで、選択されたサムネイル画像60Bが、ユーザーにより指定された表示サイズに拡大され、映像オブジェクト30として投写面3に表示される。
また、映像オブジェクト30の表示サイズを拡大又は縮小させる操作を受け付けた場合も、制御部130は、選択された映像オブジェクト30に対応する変換画像データと、この変換画像データの変換後の解像度とを、内部描画生成部163に指示する。
内部描画生成部163は、制御部130により指定された変換画像データの解像度を、制御部130により指定された解像度となるように解像度変換する。内部描画生成部163は、解像度変換した変換画像データを、OSDデータや描画データと共に画像合成部155に出力する。この後、画像合成部155が、入力された画像データをフレームメモリー155Aに展開し、展開した画像データをフレームメモリー155Aから読み出して画像投写部170に出力することにより、映像オブジェクト30の表示サイズが拡大又は縮小される。
図7は、描画オブジェクト40が選択された状態を示す図である。
次に、描画オブジェクト40の操作について説明する。
ユーザーは、投写面3に接触させた発光ペン2を移動させ、投写面3に表示させたい文字や記号、絵等を描く。
制御部130は、撮像部120の撮像画像から発光ペン2の指示位置の軌跡を検出し、検出した指示位置の軌跡に対応した描画データを生成する。制御部130は、生成した描画データをベクター形式に変換し、描画データを展開させるフレームメモリー157の座標情報と共に内部描画生成部163に出力する。内部描画生成部163は、画像合成部155を制御して、入力された座標情報が示すフレームメモリー157の座標に描画データを展開する。画像合成部155は、フレームメモリー157に展開された画像データを読み出し、読み出した画像データを画像投写部170に出力する。画像投写部170が入力された画像データに対応した画像光を投写面3に投写させることにより、発光ペン2の軌跡に対応した文字や記号、絵等が投写面3に表示される。
また、ユーザーは、投写面3に表示された描画オブジェクト40を複写したり、コピーしたり、削除したい場合に、描画オブジェクト40の周囲を発光ペン2で囲む。
制御部130は、撮影画像から検出した発光ペン2の指示位置の軌跡の内側が、描画オブジェクト40の表示位置である場合、描画オブジェクト40が選択されたと判定する。
制御部130は、判定した描画オブジェクト40の周囲を囲む図形70を表示させる。制御部130は、図形70の四隅に、操作子71を表示させ、第1操作メニュー41を表示させる。第1操作メニュー41には、複製、コピー、削除の操作コマンドが含まれる。
複製コマンドは、選択された描画オブジェクト40の複製を投写面3に表示させるコマンドである。制御部130は、複製コマンドが選択された場合、キャリブレーションデータを参照して、描画オブジェクト40が展開されたフレームメモリー157の座標範囲を取得する。その後、制御部130は、複製の指示と、複製するフレームメモリー157の座標範囲を示す複製元情報と、複製した画像データを展開するフレームメモリー157の座標範囲を示す複製先情報とを内部描画生成部163に出力する。
内部描画生成部163は、画像合成部155を制御して、複製元情報が示すフレームメモリー157の範囲に展開された画像データの複製を、複製先情報が示すフレームメモリー157の範囲に生成する。
複製先情報が示すフレームメモリー157の範囲は、例えば、複製元情報が示すフレームメモリー157の範囲の右隣りであってもよいし、予め設定された位置であってもよい。また、複製先情報が示すフレームメモリー157の範囲は、ユーザーが発光ペン2を操作して指定した位置に対応するフレームメモリー157の位置であってもよい。
画像合成部155は、画像データの複製をフレームメモリー157に展開すると、フレームメモリー157に展開された画像データを読み出して画像投写部170に出力する。画像投写部170が入力された画像データに対応した画像光を投写面3に投写させることで、発光ペン2の操作により指定された描画オブジェクト40の複製が投写面3に表示される。
コピーコマンドは、選択された描画オブジェクト40の描画データをコピーするコマンドである。制御部130は、コピーコマンドが選択された場合、キャリブレーションデータを参照して、描画オブジェクト40が展開されたフレームメモリー157の座標範囲を取得する。制御部130は、コピーの指示と、コピーを作成するフレームメモリー157の座標範囲を示す範囲情報とを内部描画生成部163に出力する。
内部描画生成部163は、画像合成部155を制御して、入力された範囲情報が示すフレームメモリー157の座標範囲の画像データを読み出す。内部描画生成部163は、画像合成部155から入力された画像データを第2記憶部161に記憶させる。
その後、OSD画像50として表示されたOSDメニュー等の操作により画像の貼り付けの操作を受け付けると、制御部130は、内部描画生成部163に画像データの貼り付けを指示する。画像データを貼り付けるフレームメモリー157の位置は、ユーザーが発光ペン2の操作により指定された位置であってもよいし、予め設定された位置であってもよい。
内部描画生成部163は、第2記憶部161に記憶させた画像データを読み出して画像合成部155に出力する。内部描画生成部163は、画像合成部155を制御して、制御部130により指示されたフレームメモリー157の座標に、読み出した画像データを展開させる。その後、画像合成部155がフレームメモリー157に展開された画像データを読み出して画像投写部170に出力し、画像投写部170が入力された画像データに対応した画像光を投写面3に投写させることで、発光ペン2の操作により指定された描画オブジェクト40のコピーが、発光ペン2の操作により指定された投写面3の位置に表示される。
削除コマンドは、選択された描画オブジェクト40の表示を、投写面3から削除するコマンドである。制御部130は、削除コマンドが選択された場合、キャリブレーションデータを参照して、描画オブジェクト40が展開されたフレームメモリー157の座標範囲を取得する。制御部130は、データの削除の指示と、データを削除するフレームメモリー157の範囲を示す範囲情報とを内部描画生成部163に出力する。
内部描画生成部163は、画像合成部155を制御して、入力された範囲情報が示すフレームメモリー157の範囲に展開された画像データを、フレームメモリー157から削除させる。
図8は、映像オブジェクト30が選択された状態を示す図である。
ユーザーは、描画オブジェクト40を選択した場合と同様に、選択したい映像オブジェクト30の周囲を発光ペン2で囲む。
制御部130は、撮影画像から検出した発光ペン2の指示位置の軌跡の内側が、映像オブジェクト30の表示位置である場合、映像オブジェクト30が選択されたと判定する。
制御部130は、判定した映像オブジェクト30の周囲を囲む図形70を表示させる。また、制御部130は、図形70の四隅に、操作子71を表示させると共に、第2操作メニュー42を表示させる。第2操作メニュー42には、キャプチャー及び削除の操作コマンドが含まれる。
キャプチャーコマンドは、映像オブジェクト30の映像を第2記憶部161にキャプチャーし、キャプチャーした映像をキャプチャー画像80として投写面3に表示させるコマンドである。
制御部130は、キャプチャーコマンドが選択された場合、キャリブレーションデータを参照して、映像オブジェクト30が展開されたフレームメモリー157の座標範囲を取得する。制御部130は、キャプチャーの指示と、キャプチャー画像80を展開するフレームメモリー157の座標範囲の情報とを内部描画生成部163に出力する。
内部描画生成部163は、画像合成部155を制御して、入力された座標範囲の情報が示すフレームメモリー157の座標範囲に展開された画像データを、キャプチャー画像80の画像データとして第2記憶部161に記憶させる。キャプチャー画像80の画像データを、以下では、キャプチャーデータという。
次に、制御部130は、キャプチャーの対象となった映像オブジェクト30の変換画像データの位置を移動させる。キャプチャー対象の変換画像データが展開されていたフレームメモリー157の位置を移動前位置という。また、キャプチャー対象の変換画像データを移動させる移動先のフレームメモリー157の位置を移動後位置という。
制御部130は、キャプチャーデータを移動前位置に展開した場合に、展開したキャプチャーデータと重ならず、キャプチャーデータと予め設定された設定だけ離れた位置を移動後位置として指定する。
内部描画生成部163は、画像合成部155を制御して、入力された移動後位置が示すフレームメモリー157の座標範囲に、映像オブジェクト30の変換画像データを展開させる。
次に、制御部130は、キャプチャーデータを、移動前位置に展開するように指示する。制御部130は、キャプチャーデータの展開指示と、展開位置を示す座標情報とを内部描画生成部163に出力する。展開位置を示す座標情報は、キャプチャーの対象となった映像オブジェクト30の変換画像データが展開されていたフレームメモリー157の位置である。
内部描画生成部163は、キャプチャーデータを第2記憶部161から読み出す。内部描画生成部163は、画像合成部155を制御して、映像オブジェクト30の変換画像データが展開されていたフレームメモリー157の移動前位置に、キャプチャーデータを展開させる。
その後、内部描画生成部163は、画像合成部155を制御して、フレームメモリー157に展開された画像データを読み出させ、読み出された画像データを画像投写部170に出力させる。画像投写部170が入力された画像データに対応した画像光を投写面3に投写させることにより、図9に示すように、キャプチャー画像80と、映像オブジェクト30と、が並んで表示される。映像オブジェクト30は、映像であり、キャプチャー画像80は、映像をキャプチャーした静止画である。
図10は、映像オブジェクト30及び描画オブジェクト40が選択された状態を示す図である。
ユーザーは、描画オブジェクト40を選択した場合と同様に、選択したい映像オブジェクト30及び描画オブジェクト40の周囲を発光ペン2で囲む。
制御部130は、撮影画像から検出した発光ペン2の指示位置の軌跡の内側が、映像オブジェクト30及び描画オブジェクト40の表示位置である場合、映像オブジェクト30及び描画オブジェクト40が選択されたと判定する。
制御部130は、判定した映像オブジェクト30及び描画オブジェクト40の周囲を囲む図形70を表示させる。また、制御部130は、図形70の四隅に、操作子71を表示させると共に、第2操作メニュー42を表示させる。第2操作メニュー42には、キャプチャー及び削除の操作コマンドが含まれる。
制御部130は、複数のオブジェクトが選択された場合、選択された複数のオブジェクトをグループ登録する。
本実施形態では、映像オブジェクト30と描画オブジェクト40とがグループ登録される場合について説明するが、グループ登録されるオブジェクトは、複数の映像オブジェクト30であってもよいし、複数の描画オブジェクト40であってもよい。
図11は、グループ管理テーブル162の一例を示す図である。制御部130は、グル
ープ管理テーブルを生成し、生成したグループ管理テーブル162を第1記憶部131に
記憶させる。
グループ管理テーブル162には、グループを識別するグループ番号と、オブジェクト
を識別するオブジェクト情報とが対応付けて登録される。
グループ登録されたオブジェクトが、映像オブジェクト30である場合、オブジェクト
情報には、オブジェクト種類と、入力端子、第2記憶部のアドレス情報とが含まれる。
オブジェクト種類は、オブジェクトが映像オブジェクト30であるのか、描画オブジェ
クト40であるのかを示す情報である。入力端子は、映像信号を受信する入力端子141
A,141B,141Cの識別情報である。第2記憶部161のアドレス情報は、映像信
号から取り出され、スケーリング部153により縮小処理された変換画像データを記憶さ
せた第2記憶部161のアドレスである。
グループ登録されたオブジェクトが、描画オブジェクト40である場合、オブジェクト
情報には、オブジェクト種類と、第2記憶部のアドレス情報とが含まれる。第2記憶部の
アドレス情報は、描画オブジェクト40の元になる描画データを記憶させた第2記憶部1
61のアドレスである。

制御部130は、キャプチャーコマンドが選択された場合、キャリブレーションデータを参照して、映像オブジェクト30及び描画オブジェクト40が展開されたフレームメモリー157の座標範囲を取得する。制御部130は、キャプチャーの指示と、キャプチャー画像80を展開するフレームメモリー157の座標範囲を示す情報とを内部描画生成部163に出力する。
内部描画生成部163は、画像合成部155を制御して、入力された座標範囲の情報が示すフレームメモリー157の座標範囲に展開された画像データを、キャプチャーデータとして第2記憶部161に記憶させる。
次に、制御部130は、描画オブジェクト40を消去し、映像オブジェクト30の表示位置を移動させる。描画オブジェクト40を消去させるのは、キャプチャーデータに、描画オブジェクト40の描画データが含まれるためである。
制御部130は、キャプチャー対象であった描画オブジェクト40の消去指示を出力する。また、制御部130は、キャプチャー対象であった変換画像データの移動指示と、この変換画像データを移動させる移動後位置を示す座標情報とを内部描画生成部163に出力する。制御部130は、キャプチャーデータを移動前位置に展開した場合に、展開したキャプチャーデータと重ならず、キャプチャーデータと予め設定された設定だけ離れた位置を移動後位置として指定する。
内部描画生成部163は、画像合成部155を制御して、キャプチャー対象となった描画オブジェクトの描画データをフレームメモリー157から消去する。
さらに、内部描画生成部163は、画像合成部155を制御して、入力された座標情報が示すフレームメモリー157の移動後位置に、映像オブジェクト30の変換画像データを展開させる。
次に、制御部130は、映像オブジェクト30の変換画像データの移動前位置に、キャプチャーデータを展開するように内部描画生成部163に指示する。
制御部130は、キャプチャーデータの展開指示と、展開位置を示す座標情報とを内部描画生成部163に出力する。展開位置を示す座標情報は、キャプチャーの対象となった映像オブジェクト30の変換画像データが展開されていた位置の座標である。
内部描画生成部163は、キャプチャーデータを第2記憶部161から読み出し、読み出したキャプチャーデータを画像合成部155に出力する。内部描画生成部163は、画像合成部155を制御して、映像オブジェクト30の変換画像データが展開されていたフレームメモリー157の位置に、キャプチャーデータを展開させる。
その後、内部描画生成部163は、画像合成部155を制御して、フレームメモリー157に展開された画像データを読み出させ、読み出された画像データを画像投写部170に出力させる。画像投写部170が入力された画像データに対応した画像光を投写面3に投写させることにより、図12に示すように、キャプチャー画像80と、映像オブジェクト30及び描画オブジェクト40とが並んで表示される。映像オブジェクト30の画像データは、映像であり、キャプチャーデータは、映像の一部をキャプチャーした静止画である。また、描画オブジェクト40は、映像オブジェクト30の新たな表示位置には表示されず、映像オブジェクト30の元の表示位置に、キャプチャー画像80と共に表示される。
また、グループ登録されたオブジェクトに映像オブジェクト30が含まれる場合、ユーザーは、発光ペン2の操作により、グループ登録された映像オブジェクト30の映像を、他の画像供給装置10から供給される映像信号に基づく映像に変更させることができる。
発光ペン2の操作により、グループ登録されたオブジェクトが選択された場合、第2操作メニュー42としてソース切り替えの操作コマンドが表示される。
制御部130は、発光ペン2の操作によりソース切り替えコマンドが選択されると、映像信号が入力されている入力端子141A,141B,141Cを一覧表示させる。ユーザーは、発光ペン2を操作して一覧表示された入力端子141A,141B,141Cの中から、映像オブジェクト30として表示させたい映像信号が入力された入力端子141A,141B,141Cを選択する。
制御部130は、入力端子141A,141B,141Cのいずれか1つが選択されると、選択された入力端子141A,141B,141Cの識別情報と、映像の変更指示とを内部描画生成部163に指示する。
内部描画生成部163は、入力された識別情報の入力端子141A,141B,141Cに入力された映像信号の変換画像データを第2記憶部161から読み出す。内部描画生成部163は、読み出した変換画像データの解像度を変更する。
内部描画生成部163は、画像合成部155を制御して、フレームメモリー157に展開される映像オブジェクト30の変換画像データを、選択された入力端子141A,141B,141Cに入力された映像信号の変換画像データに変更する。これにより、投写面3に映像オブジェクト30として表示される映像のソースが切り替えられる。
また、投写面3に複数のオブジェクトが表示されている場合、これら複数のオブジェクトに優先度を設定してもよい。
優先度は、複数のオブジェクトを、重なりを許容して投写面3に表示させる場合に、複数のオブジェクトが重なった部分で優先的に表示させるオブジェクトを選択する情報である。すなわち、優先度が第1位のオブジェクトを、複数のオブジェクトが重なった部分で表示させる。また、優先度が第1位のオブジェクトの表示位置が移動した場合、優先度が第2位に設定されたオブジェクトを、優先度が第1位のオブジェクトに代えて表示させる。
また、制御部130は、複数のオブジェクトがグループ登録された場合、グループ登録された複数のオブジェクトの優先度を同一の優先度に設定する。例えば、制御部130は、グループに含まれるオブジェクトのうち、最も優先度が高いオブジェクトと同一の優先度に設定してもよい。また、制御部130は、複数のオブジェクトがグループ登録された場合、このグループ登録されたオブジェクトの優先度を第1位に設定してもよい。
また、グループ登録された複数のオブジェクトのうちのいずれか1つのオブジェクトの優先度が変更されると、グループ登録された他のオブジェクトの優先度も、同一の優先度に変更される。
これにより、グループ登録されたオブジェクトの優先度を一括で設定することができる。また、グループ登録されたオブジェクトが他のオブジェクトよりも上に表示されるように一括して設定したり、グループ登録されたオブジェクトが他のオブジェクトの下になるように一括で設定したりすることができる。
また、制御部130は、グループ登録されたオブジェクトに、映像オブジェクト30が含まれる場合、この映像オブジェクト30の更新頻度を、グループ登録されていない映像オブジェクト30の更新頻度よりも高く設定する。グループ登録された映像オブジェクト30は、ユーザーの注目度が高い。このため、グループ登録された映像オブジェクト30の更新頻度を高く設定することで、最新の映像信号に基づく映像を反映させた映像オブジェクト30を表示させることができる。
図13及び図14は、プロジェクター100の全体動作を示すフローチャートである。
図13及び図14のフローチャートを参照しながらプロジェクター100の動作を説明する。
まず、制御部130は、映像信号を受信したか否かを判定する(ステップS1)。制御部130は、映像信号を受信していない場合(ステップS1/NO)、投写面3に表示済みのサムネイル画像60又は映像オブジェクト30があるか否かを判定する(ステップS2)。制御部130は、サムネイル画像60又は映像オブジェクト30を投写面3に表示済みではない場合(ステップS2/NO)、ステップS1の判定に戻る。制御部130は、サムネイル画像60又は映像オブジェクト30を投写面3に表示済みである場合(ステップS2/YES)、ステップS6の判定に移行する。
制御部130は、映像信号を受信した場合(ステップS1/YES)、映像信号に含まれる画像データを信号入力部140に取得させる(ステップS3)。信号入力部140は、取得した画像データを画像処理ユニット150に出力する。
画像処理ユニット150は、入力された画像データに明るさやコントラスト、カラーモードを調整する画像処理を施し、その後、縮小処理により画像データの解像度を下げて変換画像データを生成する(ステップS4)。生成された変換画像データは、第2記憶部161に記憶される。
次に、制御部130は、内部描画生成部163及び画像投写部170を制御して、画像処理ユニット150が生成した変換画像データに基づく画像であるサムネイル画像60を投写面3の基準位置に表示させる(ステップS5)。
次に、制御部130は、撮影画像を解析して、ユーザーの発光ペン2の操作により、サムネイル画像60が選択されたか否かを判定する(ステップS6)。制御部130は、サムネイル画像60が選択された場合(ステップS6/YES)、サムネイル画像60を拡大させる拡大操作を受け付けたか否かを判定する(ステップS7)。制御部130は、サムネイル画像60が選択されなかった場合(ステップS6/NO)、図14に示すステップS12の処理に移行する。
制御部130は、拡大操作を受け付けた場合(ステップS7/YES)、選択されたサムネイル画像60に対応する変換画像データの指定と、変更する変換画像データの解像度の情報と、を内部描画生成部163に指示する。内部描画生成部163は、制御部130により指定された変換画像データの解像度を、制御部130により指定された解像度となるように解像度変換する(ステップS8)。この後、解像度を変換した変換画像データが、画像合成部155によりOSDデータや描画データに合成され、画像投写部170により投写面3に表示される。これにより、ユーザーにより指定されたサイズに拡大された映像オブジェクト30が投写面3に表示される(ステップS9)。
次に、制御部130は、受け付けた操作が拡大操作ではなく(ステップS7/NO)、サムネイル画像60の表示位置を変更する操作である場合(ステップS10/YES)、以下の動作を行う。制御部130は、撮影画像により発光ペン2の移動方向及び移動量を特定し、選択された映像オブジェクト30に対応する変換画像データの指定と、この変換画像データを移動させる移動方向及び移動量の情報とを内部描画生成部163に指示する。内部描画生成部163は、画像合成部155を制御して、制御部130により指定された移動方向及び移動量に対応するフレームメモリー157の座標に変換画像データを移動させる。この後、画像合成部155が、内部描画生成部163により指定された座標情報が示すフレームメモリー157の座標に変換画像データを展開することで、投写面3に表示されるサムネイル画像60の表示位置が変更される(ステップS11)。
次に、制御部130は、発光ペン2の操作によりオブジェクトが選択されたか否かを判定する(ステップS12)。オブジェクトには、映像オブジェクト30及び描画オブジェクト40が含まれる。制御部130は、オブジェクトが選択されなかった場合(ステップS12/NO)、ステップS6の判定に戻る。
制御部130は、オブジェクトが選択された場合(ステップS12/YES)、選択されたオブジェクトは、グループ登録されたオブジェクトであるか否かを判定する(ステップS13)。制御部130は、選択されたオブジェクトがグループ登録されたオブジェクトである場合(ステップS13/YES)、ステップS17の判定に移行する。
制御部130は、選択されたオブジェクトが、グループ登録されていないオブジェクトである場合(ステップS13/NO)、ステップS12の判定において選択されたオブジェクトが複数であるか否かを判定する(ステップS14)。制御部130は、選択されたオブジェクトが複数ではない場合(ステップS14/NO)、ステップS17の判定に移行する。
制御部130は、選択されたオブジェクトが複数である場合、選択された複数のオブジ
ェクトに関する情報をグループ管理テーブル162に登録し、選択された複数のオブジェ
クトをグループ登録する(ステップS15)。そして、制御部130は、グループ登録し
た複数のオブジェクトの優先度を第1位に設定する(ステップS16)。

次に、制御部130は、ステップS12で選択されたオブジェクトに映像オブジェクト30が含まれるか否かを判定する(ステップS17)。制御部130は、選択されたオブジェクトに映像オブジェクト30が含まれない場合(ステップS17/NO)、第1操作メニュー41を表示させる(ステップS18)。
制御部130は、第1操作メニュー41に含まれる複製が選択されたか否かを判定する
(ステップS19)。制御部130は、複製が選択されなかった場合(ステップS19/
NO)、ステップS31の処理に移行する。ステップS31の処理については後述する。

制御部130は、複製が選択された場合(ステップS19/YES)、選択された描画
オブジェクト40の元になる描画データを第2記憶部161に記憶させる(ステップS2
0)。そして、制御部130は、複製を生成した描画データを表示させる表示位置を指定
する操作を受け付けたか否かを判定する(ステップS21)。制御部130は、表示位置
を指定する操作を受け付けた場合(ステップS21/YES)、指定された表示位置に対
応するフレームメモリー157の座標に、描画データを展開させる(ステップS22)。
その後、制御部130は、ステップS32の判定に移行する。ステップS32の判定につ
いては後述する。

また、ステップS17において、映像オブジェクトが含まれると判定した場合(ステップS17/YES)、制御部130は、第2操作メニュー42を表示させる(ステップS23)。制御部130は、第2操作メニュー42に含まれるキャプチャーが選択されたか否かを判定する(ステップS24)。制御部130は、キャプチャーが選択された場合(ステップS24/YES)、選択されたオブジェクトの元になる画像データ、又は画像データ及び描画データをキャプチャーしてキャプチャーデータを生成する(ステップS25)。
次に、制御部130は、キャプチャーデータの元となった画像データ、又は画像データ及び描画データをフレームメモリー157から消去する(ステップS26)。制御部130は、消去した画像データ、又は画像データ及び描画データが展開されていた位置に、キャプチャーデータを展開する(ステップS27)。さらに、制御部130は、キャプチャーデータの元となった画像データを、キャプチャーデータを展開した位置の右隣りに展開する(ステップS28)。
また、制御部130は、ステップS24の判定で、キャプチャーが選択されなかった場合(ステップS24/NO)、ソース切り替えが選択されたか否かを判定する(ステップS28)。制御部130は、ソース切り替えが選択された場合(ステップS28/YES)、映像信号を受信している入力端子141A,141B,141Cを一覧表示させる。ユーザーは、発光ペン2を操作して一覧表示された入力端子141A,141B,141Cの中から、映像オブジェクト30として表示させたい映像信号が入力された入力端子141A,141B,141Cを選択する。
制御部130は、入力端子141が選択されると(ステップS29)、選択された入力端子141が受信する映像信号から取り出された画像データを縮小処理した変換画像データを第2記憶部161から読み出させる。制御部130は、読み出した変換画像データの解像度を変換させ、解像度変換させた変換画像データに基づく映像を、選択された映像オブジェクト30として表示させる(ステップS30)。
また、制御部130は、ステップS28の判定が否定判定の場合、選択された操作メニューに対応した処理を実行させる(ステップS31)。そして、制御部130は、終了操作を受け付けたか否かを判定する(ステップS32)。制御部130は、終了操作を受け付けていない場合(ステップS32/NO)、ステップS6の判定に移行する。また、制御部130は、終了操作を受け付けた場合(ステップS32/YES)、この処理フローを終了させる。
以上説明したように本実施形態のプロジェクター100は、入力された映像信号に基づ
く映像である映像オブジェクト30を投写面3に表示させる。また、プロジェクター10
0は、投写面3に対する発光ペン2の操作を検出し、検出した操作に対応した画像である
描画オブジェクト40を投写面3に表示させる。
プロジェクター100は、映像オブジェクト30及び描画オブジェクト40を選択する
操作を受け付けると、選択された映像オブジェクト30及び描画オブジェクト40をグル
ープ登録する。
プロジェクター100は、グループ登録した映像オブジェクト30及び描画オブジェク
ト40に対する指示を受け付けると、映像及び描画に対して指示に対応した処理を実行す
る。
従って、選択された映像オブジェクト30及び描画オブジェクト40を1つのグループ
として処理することができる。このため、選択された映像オブジェクト30及び描画オブ
ジェクト40を移動させたり、拡大縮小させたり等の操作を一括して行うことができる。
このため、ユーザーの利便性を向上させることができる。

プロジェクター100は、描画オブジェクト40が選択された場合、操作メニューとして、描画オブジェクト40に対応した操作コマンドを有する第1操作メニュー41を表示させる。
プロジェクター100は、映像オブジェクト30が選択された場合、操作メニューとして、第1操作メニュー41とは異なり、映像オブジェクト30に対応した操作コマンドを有する第2操作メニュー42を表示させる。
プロジェクター100は、グループ登録した映像オブジェクト30及び描画オブジェクト40が選択された場合、操作メニューとして、第2操作メニュー42を表示させる。
従って、グループ登録したオブジェクトに映像オブジェクト30が含まれる場合、映像オブジェクト30に対応した操作コマンドを有する第2操作メニュー42を表示させることができる。このため、映像オブジェクト30がグループ登録されても、映像オブジェクト30に対する操作性を維持することができる。
プロジェクター100は、映像信号として、第1映像信号と第2映像信号とが入力された場合、第1映像信号に基づく第1映像と、第2映像信号に基づく第2映像とを投写面3に表示させる。
プロジェクター100は、投写面3に表示された第1映像信号に基づく映像オブジェクト30と、描画オブジェクト40とを選択する操作を受け付けると、選択された第1映像信号に基づく映像オブジェクト30と、描画オブジェクト40とグループ登録する。
プロジェクター100は、グループ登録した映像信号に基づく映像オブジェクト30の更新頻度を、グループ登録していない映像信号に基づく映像オブジェクト30の更新頻度よりも高くする。
グループ化される映像オブジェクト30は、ユーザーの注目度が高い。このため、最新の映像信号に基づく映像を反映させた映像オブジェクト30を表示させることができる。
第2操作メニュー42には、映像の元となる映像信号を、他の映像信号に変更する変更操作が含まれる。プロジェクター100は、変更操作が選択された場合、映像の元となる映像信号を選択する操作を受け付ける。
プロジェクター100は、選択された映像信号に基づく映像を、グループ登録された映像として表示させる。
従って、簡易な操作により、グループ登録された映像の元となる映像信号を変更することができる。
上述した実施形態は、本発明の好適な実施の形態である。ただし、上述の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。
例えば、I/F回路143、画像処理ユニット150及び内部描画生成部163は、1つ又は複数のプロセッサー等によって構成されてもよい。また、I/F回路143、画像処理ユニット150及び内部描画生成部163は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の専用の処理装置によって構成されてもよい。
また、上述の実施形態では、光変調装置173が備える光変調素子は、透過型の液晶パネルであってもよいし、反射型の液晶パネルであってもよい。また、光変調素子は、デジタルミラーデバイスを用いた構成であってもよいし、デジタルミラーデバイスとカラーホイールを組み合わせた構成としてもよい。また、光変調装置173は、液晶パネル及びDMD以外に、光源が発した光を変調可能な構成を採用しても良い。
また、図2に示したプロジェクター100の各機能部は、機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクターの他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、図14及び図15に示すフローチャートの処理単位は、プロジェクター100の処理を理解容易にするために、主な処理内容に応じて分割したものである。図14及び図15のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部130の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、表示装置の制御方法を、プロジェクター100が備えるコンピューターを用いて実現する場合、このコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、HDD(Hard Disk Drive)、CD-ROM、DVD、Blu-ray Disc、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。Blu-rayは、登録商標である。
1…表示システム、2…発光ペン、2a…発光部、3…投写面、5…投写領域、10、
10A、10B…画像供給装置、20…投写画像、30…映像オブジェクト、40…描画
オブジェクト、41…第1操作メニュー、42…第2操作メニュー、50…OSD画像、
60、60A、60B…サムネイル画像、71…操作子、80…キャプチャー画像、10
0…プロジェクター、110…操作受付部、120…撮像部、130…制御部、131…
第1記憶部、133…プロセッサー、133A…検出部、133B…描画画像生成部、1
40…信号入力部、141、141A、141B、141C…入力端子、143…I/F
回路、150…画像処理ユニット、151…画像処理部、153…スケーリング部、15
5…画像合成部、157…フレームメモリー、161…第2記憶部、162…グループ管
理テーブル、163…内部描画生成部、170…画像投写部、171…光源、173…光
変調装置、173G…液晶パネル、173R…液晶パネル、173B…液晶パネル、17
5…光学ユニット、177…パネル駆動部。

Claims (4)

  1. 入力された映像信号に基づく映像を表示面に表示させ、
    前記表示面に対する指示体の操作を検出し、検出した前記操作に対応した描画像を前記表示面に表示させ、
    前記表示面に表示された前記映像及び前記描画像を選択する操作を受け付けると、選択された前記映像及び前記描画像をグループ登録し、
    前記グループ登録した前記映像及び前記描画像に対する操作を受け付けると、受け付けた前記操作に対応した処理を実行し、
    前記描画像が選択された場合、操作メニューとして、前記描画像に対応した操作コマンドを有する第1操作メニューを表示させ、
    前記映像が選択された場合、前記操作メニューとして、前記第1操作メニューとは異なり、前記映像に対応した操作コマンドを有する第2操作メニューを表示させ、
    前記グループ登録した前記映像及び前記描画像が選択された場合、前記操作メニューとして、前記第2操作メニューを表示させる、
    表示装置の制御方法。
  2. 前記グループ登録した前記映像の更新頻度を、前記グループ登録していない他の映像の更新頻度よりも高くする、請求項1に記載の表示装置の制御方法。
  3. 前記第2操作メニューには、前記映像の元となる映像信号を、他の映像信号に変更する変更操作が含まれ、
    変更操作が選択された場合、前記映像の元となる映像信号を選択する操作を受け付け、
    選択された映像信号に基づく映像を、前記グループ登録された前記映像として表示させる、請求項1に記載の表示装置の制御方法。
  4. 映像信号を受信する受信部と、
    受信した前記映像信号に基づく映像を表示面に表示させる表示部と、
    前記表示面に対する指示体の操作を検出する検出部と、
    前記検出部が検出した前記操作に対応した描画像を生成し、生成した前記描画像を前記表示面に表示させる制御部と、を備え、
    前記制御部は、前記表示面に表示された前記映像及び前記描画像を選択する操作を受け付けると、選択された前記映像及び前記描画像をグループ登録し、
    前記グループ登録した前記映像及び前記描画像に対する操作を受け付けると、受け付けた前記操作に対応した処理を実行し、
    前記描画像が選択された場合、操作メニューとして、前記描画像に対応した操作コマンドを有する第1操作メニューを表示させ、
    前記映像が選択された場合、前記操作メニューとして、前記第1操作メニューとは異なり、前記映像に対応した操作コマンドを有する第2操作メニューを表示させ、
    前記グループ登録した前記映像及び前記描画像が選択された場合、前記操作メニューとして、前記第2操作メニューを表示させる、表示装置。
JP2021031444A 2021-03-01 2021-03-01 表示装置の制御方法及び表示装置 Active JP7559618B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021031444A JP7559618B2 (ja) 2021-03-01 2021-03-01 表示装置の制御方法及び表示装置
US17/683,590 US12182374B2 (en) 2021-03-01 2022-03-01 Control method for displayed grouped objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021031444A JP7559618B2 (ja) 2021-03-01 2021-03-01 表示装置の制御方法及び表示装置

Publications (3)

Publication Number Publication Date
JP2022132791A JP2022132791A (ja) 2022-09-13
JP2022132791A5 JP2022132791A5 (ja) 2023-12-27
JP7559618B2 true JP7559618B2 (ja) 2024-10-02

Family

ID=83006393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021031444A Active JP7559618B2 (ja) 2021-03-01 2021-03-01 表示装置の制御方法及び表示装置

Country Status (2)

Country Link
US (1) US12182374B2 (ja)
JP (1) JP7559618B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118337963A (zh) * 2023-01-11 2024-07-12 奥图码股份有限公司 投影系统、互动式投影方法以及投影机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011340A (ja) 2003-06-16 2005-01-13 Fuji Xerox Co Ltd オブジェクト上の注釈をグループ化することによりオブジェクトを選択する方法、システム、プログラム、及び、コンピュータ可読記憶媒体
US20110296297A1 (en) 2010-05-31 2011-12-01 Konica Minolta Business Technologies, Inc. Display device, display method, and computer-readable non-transitory recording medium encoded with display program
JP2013171195A (ja) 2012-02-21 2013-09-02 Canon Inc 表示装置、その制御方法及びプログラム
JP2017181532A (ja) 2016-03-28 2017-10-05 セイコーエプソン株式会社 表示システム、表示装置及び表示方法
JP2018054880A (ja) 2016-09-29 2018-04-05 セイコーエプソン株式会社 表示装置、情報処理装置および情報処理方法
JP2018173952A (ja) 2017-03-31 2018-11-08 株式会社リコー 共有端末、通信システム、通信方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549948B1 (en) 1994-10-18 2003-04-15 Canon Kabushiki Kaisha Variable frame rate adjustment in a video system
JPH08163556A (ja) 1994-11-30 1996-06-21 Canon Inc 映像通信装置および映像通信システム
US10387836B2 (en) * 2015-11-24 2019-08-20 David Howard Sitrick Systems and methods providing collaborating among a plurality of users
JP6257329B2 (ja) 2012-01-13 2018-01-10 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP5970700B2 (ja) 2012-04-16 2016-08-17 セイコーエプソン株式会社 プロジェクター、プロジェクターの制御方法、プログラム、および、プロジェクションシステム
US10540906B1 (en) * 2013-03-15 2020-01-21 Study Social, Inc. Dynamic filtering and tagging functionality implemented in collaborative, social online education networks
US10606941B2 (en) * 2015-08-10 2020-03-31 Open Text Holdings, Inc. Annotating documents on a mobile device
EP3475785A4 (en) * 2016-04-22 2020-05-13 SZ DJI Technology Co., Ltd. Systems and methods for processing image data based on region-of-interest (roi) of a user
US10416939B2 (en) * 2017-03-31 2019-09-17 Ricoh Company, Ltd. Communication terminal, communication system, communication control method, and non-transitory computer-readable medium
US20210019911A1 (en) * 2017-12-04 2021-01-21 Sony Corporation Information processing device, information processing method, and recording medium
US20210271380A1 (en) * 2020-02-28 2021-09-02 Sharp Kabushiki Kaisha Display device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011340A (ja) 2003-06-16 2005-01-13 Fuji Xerox Co Ltd オブジェクト上の注釈をグループ化することによりオブジェクトを選択する方法、システム、プログラム、及び、コンピュータ可読記憶媒体
US20110296297A1 (en) 2010-05-31 2011-12-01 Konica Minolta Business Technologies, Inc. Display device, display method, and computer-readable non-transitory recording medium encoded with display program
JP2011248283A (ja) 2010-05-31 2011-12-08 Konica Minolta Business Technologies Inc 表示装置、表示方法、表示プログラム
JP2013171195A (ja) 2012-02-21 2013-09-02 Canon Inc 表示装置、その制御方法及びプログラム
JP2017181532A (ja) 2016-03-28 2017-10-05 セイコーエプソン株式会社 表示システム、表示装置及び表示方法
JP2018054880A (ja) 2016-09-29 2018-04-05 セイコーエプソン株式会社 表示装置、情報処理装置および情報処理方法
JP2018173952A (ja) 2017-03-31 2018-11-08 株式会社リコー 共有端末、通信システム、通信方法、及びプログラム

Also Published As

Publication number Publication date
US20220276749A1 (en) 2022-09-01
JP2022132791A (ja) 2022-09-13
US12182374B2 (en) 2024-12-31

Similar Documents

Publication Publication Date Title
JP5585505B2 (ja) 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
US20140192089A1 (en) Projector system and control method thereof
CN104683722B (zh) 图像显示装置及其的控制方法
JP2010026066A (ja) 画像表示制御方法、画像供給装置及び画像表示制御プログラム
JP2013064917A (ja) 表示装置、プロジェクター、及び、表示方法
JP6834258B2 (ja) 表示装置、表示システム及び表示装置の制御方法
JP2011082798A (ja) 投写型映像表示装置
CN106851234A (zh) 投影仪以及投影仪的控制方法
JP2014074825A (ja) プロジェクター、およびプロジェクターの制御方法
JP7625869B2 (ja) 表示装置の制御方法及び表示装置
JP5263419B2 (ja) 画像供給装置、画像表示制御プログラム及び画像表示制御方法
JP2011164878A (ja) プロジェクター、プロジェクターの制御方法、及び画像表示システム
CN115834846B (zh) 图像显示方法及投影仪
JP5245805B2 (ja) プロジェクタ、その制御方法、及びその制御プログラム
US12182374B2 (en) Control method for displayed grouped objects
JP5365541B2 (ja) 画像転送装置および画像転送における画像表示制御方法
JP2018054880A (ja) 表示装置、情報処理装置および情報処理方法
US10847121B2 (en) Display apparatus and method for controlling display apparatus displaying image with superimposed mask
CN107688412A (zh) 显示装置、显示系统及显示装置的控制方法
US20230022214A1 (en) Method of controlling display device and display device
JP2005122393A (ja) 出力装置及びその制御方法
US20240312378A1 (en) Projector, projection method, and non-transitory computer-readable storage medium storing program
JP7738999B2 (ja) 投影装置
JP4947203B2 (ja) 画像供給装置及び画像表示プログラム
JP2010145596A (ja) プロジェクター、プログラムおよび情報記憶媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210915

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240902

R150 Certificate of patent or registration of utility model

Ref document number: 7559618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150