JPWO2020090228A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JPWO2020090228A1
JPWO2020090228A1 JP2020554795A JP2020554795A JPWO2020090228A1 JP WO2020090228 A1 JPWO2020090228 A1 JP WO2020090228A1 JP 2020554795 A JP2020554795 A JP 2020554795A JP 2020554795 A JP2020554795 A JP 2020554795A JP WO2020090228 A1 JPWO2020090228 A1 JP WO2020090228A1
Authority
JP
Japan
Prior art keywords
display
input position
screen
area
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020554795A
Other languages
English (en)
Other versions
JP7396295B2 (ja
Inventor
青木 悠
健太郎 井田
佑理 日下部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020090228A1 publication Critical patent/JPWO2020090228A1/ja
Application granted granted Critical
Publication of JP7396295B2 publication Critical patent/JP7396295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示映像の位置が変化する場合であっても複数の表示領域の重複領域における表示映像の品質を高める技術が提供されることが望まれる。撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御する表示制御部(134)を備え、前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、前記表示制御部は、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御する、情報処理装置が提供される。

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、複数の表示領域それぞれに映像を表示するシステムが知られている。例えば、空間に配置された複数のプロジェクタそれぞれから投影面(スクリーン)に映像を投影するマルチプロジェクションシステムが知られている。かかるシステムにおいては、1の表示領域のうち他の表示領域と重なり合う領域(以下、「重複領域」とも言う。)が存在する場合がある。この重複領域には、複数の映像のうち重複領域に相当する部分がそれぞれ表示されるため、重複領域の表示にボケが生じやすい。そこで、重複領域の表示に生じるボケを低減させるための技術が提案されている。
例えば、幾何補正関数を用いて補正が行われた後の映像がプロジェクタによって投影されるシステムが存在する。かかるシステムにおいて、1の表示領域のうち他の表示領域と重なり合わない領域(以下、「非重複領域」とも言う。)に対して用いられる幾何補正関数の重みよりも、重複領域に対して用いられる幾何補正関数の重みを大きくする技術が開示されている(例えば、特許文献1参照)。かかる技術によれば、複数のプロジェクタそれぞれから投影された映像の重複領域での幾何学的な整合性が高まるため、重複領域の表示に生じるボケが低減され得る。
特開2005−252676号公報
しかし、複数の表示領域における映像(表示映像)の位置が変化する場合も想定される。そこで、表示映像の位置が変化する場合であっても複数の表示領域の重複領域における表示映像の品質を高める技術が提供されることが望まれる。
本開示によれば、撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御する表示制御部を備え、前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、前記表示制御部は、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御する、情報処理装置が提供される。
本開示によれば、撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御することを含み、前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御することを含む、情報処理方法が提供される。
本開示によれば、コンピュータを、撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御する表示制御部を備え、前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、前記表示制御部は、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御する、情報処理装置として機能させるためのプログラムが提供される。
複数のプロジェクタそれぞれによって映像が投影されるスクリーンの一部が重複する例を示す図である。 重複領域に対する入力がなされた場合の例を示す図である。 本開示の実施形態に係る情報処理システムの概略構成図である。 本開示の実施形態に係る情報処理システムの実現イメージを示す図である。 本開示の実施形態に係る情報処理システムの機能構成例を示す図である。 入力位置が重複領域に存在する場合であっても各プロジェクタから表示映像を投影させた場合について説明するための図である。 入力位置が重複領域に移動した場合に移動前の非重複領域に対応するプロジェクタからの表示映像の投影を優先させる場合について説明するための図である。 入力位置の開始点が重複領域の内部である場合について説明するための図である。 入力位置同士の合成の第1の例について説明するための図である。 入力位置同士の合成後の位置の変化を示す図である。 入力位置同士の合成の第2の例について説明するための図である。 入力位置同士の合成の第3の例について説明するための図である。 合成後の位置(投影位置)への表示映像の投影例を示す図である。 本開示の実施形態に係る情報処理装置の動作例を示すフローチャートである。 本開示の実施形態に係る情報処理装置の動作例を示すフローチャートである。 スクリーンが3つ存在する場合の例を示す図である。 3つの入力位置同士の合成の例について説明するための図である。 本開示の実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
0.概要
1.実施形態の詳細
1.1.システム構成例
1.2.重複領域における表示制御
1.3.動作例
1.4.各種の変形例
1.5.効果
1.6.ハードウェア構成例
2.むすび
<0.概要>
近年、複数の表示領域それぞれに映像を表示するシステムが知られている。複数の表示領域それぞれに映像を表示することによって、より広範囲に映像を表示することが可能となる。複数の表示領域それぞれには、各表示領域に対応する表示装置によって映像が表示される。
本開示の実施形態では、表示装置の一形態としてプロジェクタを例に挙げて説明する。表示装置としてプロジェクタが利用される場合、プロジェクタによって映像が投影されるスクリーン(投影領域)が表示領域に相当し得る。また、プロジェクタによって映像が投影される位置(投影位置)が表示位置に相当し得る。本開示の実施形態では、プロジェクタとして固定型プロジェクタを例に挙げて説明する。しかし、プロジェクタとして可動型プロジェクタが利用されてもよい。なお、表示装置の形態は限定されず、表示装置として他のディスプレイ(例えば、テレビジョン装置など)が利用されてもよい。
プロジェクタは、プロジェクタからスクリーンまでの距離(投影距離)に応じて映像の表示サイズを変えることができる。そのため、プロジェクタは、投影距離を調整することによって屋内等の制限された空間においても比較的容易に大きな映像(大画面)を表示することができるデバイスである。近年では、プロジェクタを複数並べて配置することによって、より大きな映像(大画面)を投影するマルチプロジェクションシステムが実用化されている。
また、プロジェクタによって投影された映像(表示内容)にペン型デバイス(ペン型の入力装置)で入力操作を行うことができるインタラクティブプロジェクタが実用化されている。例えば、ペン先が投影面に押し当てられるとペン先に搭載された赤外線LED(IR Light Emitting Diode)が点灯するペン型デバイスがある。インタラクティブプロジェクタでは、このようにして点灯した赤外線LEDを、赤外光のみを透過させる可視光カットフィルタ等を取り付けたカメラによって撮像し、撮像した画像から認識される赤外線LEDの位置に基づいて入力位置を検出する手法が利用され得る。
あるいは、インタラクティブプロジェクタでは、プロジェクタによって投影されたパターンから入力位置を検出する手法も利用され得る。本開示の実施形態では、入力操作を行う操作体として赤外線LEDを有するペン型デバイス(ペン型の入力装置)を例に挙げて説明する。しかし、操作体は、赤外線LEDを有するペン型デバイスに限定されない。例えば、操作体は、赤外線LEDの代わりに、可視光LEDを有するペン型デバイス(ペン型の入力装置)であってもよい。可視光LEDは、単色LED(赤色、青色など)であってもよいし、フルカラーLEDであってもよい。
あるいは、操作体は、ペン型デバイスに限定されない。すなわち、カメラによって撮像された画像から認識される何らかの操作体によってポインティングされる位置が入力位置として検出されればよい。例えば、操作体として指が用いられる場合には、カメラによって撮像された画像から認識される指によってポインティングされる位置が入力位置として検出されてもよい。
カメラによって撮像された画像からペン先の位置が検出された場合、スクリーン(投影面)における入力位置は、画像におけるペン先の位置(カメラ座標)を、プロジェクタによって投影されるスクリーンにおける位置(スクリーン座標)に変換することによって算出される。カメラ座標とスクリーン座標との対応関係は、後にも説明するように、キャリブレーションによって得られる。すなわち、カメラ座標からスクリーン座標への変換は、かかるカメラ座標とスクリーン座標との対応関係に従って行われ得る。
複数のプロジェクタそれぞれから映像を投影してシームレスな画面を作るには、複数のプロジェクタの物理的な設置位置の調整およびキャリブレーションが必要である。しかし、特に空間的に制限がある屋内等では、シームレスな画面を作るための複数のプロジェクタの理想的な設置ができるとは限らない。以下では、複数のプロジェクタそれぞれから映像を投影してシームレスな画面を作ることの困難性について説明する。
図1は、複数のプロジェクタそれぞれによって映像が投影されるスクリーンの一部が重複する例を示す図である。図1を参照すると、空間内にプロジェクタ410およびプロジェクタ420が設置されている。また、プロジェクタ410によって映像が投影されるスクリーンSc1およびプロジェクタ420によって映像が投影されるスクリーンSc2が存在している。スクリーンSc1とスクリーンSc2とは、それぞれの一部(重複領域)において互いに重複している。本開示の実施形態では、スクリーンが2つ存在し、2つのスクリーンそれぞれに映像を投影するプロジェクタが1つずつ存在する場合を主に想定する。しかし、スクリーンの数は3つ以上でもよいし、プロジェクタの数もスクリーンの数に応じて変更されてよい。
図2は、重複領域に対する入力がなされた場合の例を示す図である。図2を参照すると、空間内にプロジェクタ410およびプロジェクタ420の他、カメラ310およびカメラ320が設置されている。カメラ310は、プロジェクタ410によって映像が投影されるスクリーンSc1を撮像する。また、カメラ320は、プロジェクタ420によって映像が投影されるスクリーンSc2を撮像する。
なお、本開示の実施形態においては、スクリーンSc1およびスクリーンSc2それぞれを撮像するカメラが別個に存在する場合を想定する。しかし、スクリーンSc1およびスクリーンSc2それぞれを撮像するカメラは同一のカメラであってもよい。かかる場合には、一つのカメラによって撮像される画像の第1の撮像領域にスクリーンSc1が撮像され、第2の撮像領域にスクリーンSc2が撮像されればよい。さらに、空間内には、ユーザによって利用されるペン型の入力装置200が存在している。
カメラ310によって撮像される画像における入力位置(以下、「カメラ310における入力位置」とも言う。)とプロジェクタ410によって映像が投影されるスクリーンSc1における入力位置(以下、「スクリーンSc1における入力位置」とも言う。)との対応関係は、キャリブレーションによって得られる。カメラ310における入力位置からスクリーンSc1における入力位置への変換は、カメラ310における入力位置とスクリーンSc1における入力位置との対応関係に基づいて行われ得る。カメラ310における入力位置からスクリーンSc1における入力位置への変換は、射影変換であってよい。
また、カメラ320によって撮像される画像における入力位置(以下、「カメラ320における入力位置」とも言う。)とプロジェクタ420によって映像が投影されるスクリーンSc2における入力位置(以下、「スクリーンSc2における入力位置」とも言う。)との対応関係も、キャリブレーションによって得られる。カメラ320における入力位置からスクリーンSc2における入力位置への変換は、カメラ320における入力位置とスクリーンSc2における入力位置との対応関係に基づいて行われ得る。カメラ320における入力位置からスクリーンSc2における入力位置への変換は、射影変換であってよい。
ここで、カメラ310における入力位置が検出されると、カメラ310における入力位置がスクリーンSc1における入力位置に変換され、プロジェクタ410によってスクリーンSc1における入力位置に映像(筆跡)が投影される場合を想定する。同様に、カメラ320における入力位置が検出されると、カメラ320における入力位置がスクリーンSc2における入力位置に変換され、プロジェクタ420によってスクリーンSc2における入力位置に映像(筆跡)が投影される場合を想定する。スクリーンSc1とスクリーンSc2との重複領域においては、プロジェクタ410およびプロジェクタ420それぞれによって映像(筆跡)が投影される。
このとき、図2に示されたように、ユーザがスクリーンSc2からスクリーンSc1に入力位置を変化させた場合(入力装置200を移動させた場合)を想定する。かかる場合、スクリーンSc2とスクリーンSc1との重複領域における入力位置は、カメラ320における入力位置およびカメラ310における入力位置として検出され、カメラ320における入力位置は、スクリーンSc2における入力位置に変換され、カメラ310における入力位置は、スクリーンSc1における入力位置に変換される。
このとき、カメラ310およびカメラ320の少なくともいずれか一方の物理的な設置位置または設置方向にずれが生じている場合があり得る。一例として、カメラ310およびカメラ320の少なくともいずれか一方の物理的な設置位置が、空間における当該カメラの設置位置および設置方向に関するキャリブレーションの結果に対してずれてしまっている場合が想定される。かかる場合には、カメラ310における入力位置およびカメラ320における入力位置それぞれに対応する空間における位置にずれが生じ得る。このとき、スクリーンSc1における投影位置およびスクリーンSc2における投影位置それぞれに対応する空間における位置にもずれが生じ得る。
あるいは、プロジェクタ410およびプロジェクタ420の少なくともいずれか一方の物理的な設置位置または設置方向にずれが生じている場合があり得る。一例として、プロジェクタ410およびプロジェクタ420の少なくともいずれか一方の物理的な設置位置が、空間における当該プロジェクタの設置位置および設置方向に関するキャリブレーションの結果に対してずれてしまっている場合が想定される。かかる場合には、スクリーンSc1における投影位置およびスクリーンSc2における投影位置それぞれに対応する空間における位置にずれが生じ得る。
あるいは、カメラ310における入力位置からスクリーンSc1における入力位置への変換とカメラ320における入力位置からスクリーンSc2における入力位置への変換とにおいて変換後の位置が異なる場合が想定される。かかる場合には、カメラ310における入力位置およびカメラ320における入力位置それぞれに対応する空間における位置にずれがない場合であっても、スクリーンSc1における入力位置およびスクリーンSc2における入力位置それぞれに対応する空間における位置にずれが生じ得る。このとき、スクリーンSc1における投影位置およびスクリーンSc2における投影位置それぞれに対応する空間における位置にもずれが生じ得る。
上記したように、スクリーンSc1とスクリーンSc2との重複領域においては、プロジェクタ410およびプロジェクタ420それぞれによって映像(筆跡)が投影される。しかし、以上に説明したように、スクリーンSc1における投影位置およびスクリーンSc2における投影位置それぞれに対応する空間における位置にずれが生じ得る。そのため、図2に示されたように、スクリーンSc1とスクリーンSc2との重複領域においては、スクリーンSc1における投影位置(筆跡Tr1)とスクリーンSc2における投影位置(筆跡Tr2)との間にずれが生じ得る。
本開示の実施形態においては、このように映像(表示映像)の位置が変化する場合であっても、スクリーンSc1およびスクリーンSc2の重複領域における表示映像の品質を高める技術を主に提案する。一例として、情報処理装置100は、重複領域に入力位置が移動した場合、重複領域への移動前に入力位置が存在した一方のスクリーンに投影するプロジェクタでの投影を優先させる。これによって、映像の表示ずれの発生が防止され得る。また、他の一例として、情報処理装置100は、重複領域において入力位置が移動する場合には、入力位置の補正を行う。これによって、入力位置が重複領域から他方のスクリーンに移動するときに映像の表示ずれの発生が防止され得る。
<1.実施形態の詳細>
[1.1.システム構成例]
続いて、図3を参照しながら、本開示の実施形態に係る情報処理システム10の構成例について説明する。図3は、本開示の実施形態に係る情報処理システム10の概略構成図である。図3に示されるように、情報処理システム10は、情報処理装置100、入力装置200、カメラ310、カメラ320、出力装置の例としてのプロジェクタ410およびプロジェクタ420を備える。図3に示された例では、カメラ310、カメラ320、プロジェクタ410およびプロジェクタ420が天井面に設置されているが、カメラ310、カメラ320、プロジェクタ410およびプロジェクタ420が設置される位置は限定されない。
カメラ310、カメラ320、プロジェクタ410およびプロジェクタ420は、情報処理装置100に接続されている。また、図3を参照すると、プロジェクタ410によって映像が投影されるスクリーンSc1とプロジェクタ420によって映像が投影されるスクリーンSc2とが空間に存在している。スクリーンSc1およびスクリーンSc2が設けられる位置も限定されない。スクリーンSc1は、カメラ310によって撮像される。また、スクリーンSc2は、カメラ320によって撮像される。カメラ310とプロジェクタ410との距離は限定されない。同様に、カメラ320とプロジェクタ420との距離も限定されない。上記したように、カメラの数は一以上であれば限定されないし、プロジェクタの数も複数であれば限定されない。
入力装置200は、入力位置(筆跡)の検出に利用される発光部の例としての赤外線LED(IR LED)230を備える。また、入力装置200は、入力状態を検出する検出部の例としてのペン先スイッチ240を備える。本開示の実施形態では、検出部の例としてペン先スイッチ240が用いられる場合を主に説明する。しかし、検出部は、かかる例に限定されない。例えば、検出部は、感圧センサ、電磁誘導方式のセンサ、または、静電容量方式のセンサを含んでもよい。例えば、検出部として、感圧センサが利用される場合には、ペンによる筆跡だけではなく、ペンによる筆圧も取得され得る。
その他、入力装置200は、入力装置200の全体動作を制御する制御部の例としてのCPU(Central Processing Unit;中央演算処理装置)220と、情報処理装置100と通信を行う通信部の例としての通信モジュール210とを備える。通信部は、入力装置200のID(ペンID)を情報処理装置100に送信してもよい。通信部による通信方式としては、Bluetooth(登録商標)、Wi−Fi(登録商標)、Zigbee(登録商標)、赤外線通信、または、超音波通信が用いられてもよい。
図4は、本開示の実施形態に係る情報処理システム10の実現イメージを示す図である。図4に示されるように、空間には、スクリーンSc1およびスクリーンSc2が存在している。さらに、空間には、カメラ310、プロジェクタ410、カメラ320およびプロジェクタ420が存在している。
カメラ310は、スクリーンSc1の映像を撮像すると、スクリーンSc1の撮像映像を情報処理装置100に送信する。情報処理装置100は、スクリーンSc1の撮像映像から入力位置(カメラ310における入力位置)を検出すると、カメラ310における入力位置に応じた表示映像(筆跡)をプロジェクタ410に送信する。プロジェクタ410は、表示映像(筆跡)をスクリーンSc1に投影する。なお、プロジェクタ410は、カメラ310における入力位置に依存しない映像が情報処理装置100から受信された場合には、当該映像をさらにスクリーンSc1に投影してもよい。
カメラ320は、スクリーンSc2の映像を撮像すると、スクリーンSc2の撮像映像を情報処理装置100に送信する。情報処理装置100は、スクリーンSc2の撮像映像から入力位置(カメラ320における入力位置)を検出すると、カメラ320における入力位置に応じた表示映像(筆跡)をプロジェクタ420に送信する。プロジェクタ420は、表示映像(筆跡)をスクリーンSc2に投影する。なお、プロジェクタ420は、カメラ320における入力位置に依存しない映像が情報処理装置100から受信された場合には、当該映像をさらにスクリーンSc2に投影してもよい。
スクリーンSc1とスクリーンSc2とは、それぞれの一部(重複領域)において互いに重複している。これによって、スクリーンSc1に投影される映像とスクリーンSc2に投影される映像とを大きな一つの画面として扱うことができる。図4を参照すると、スクリーンSc1のうちスクリーンSc2と重複しない領域(非重複領域)から、重複領域を経由して、スクリーンSc2のうちスクリーンSc1と重複しない領域(非重複領域)に入力装置200の位置(入力位置)が移動している。本開示の実施形態では、このように入力位置が領域間を跨ぐように移動する場合であっても、図4に示されるように、入力位置が領域間を跨ぐ前後において表示映像(筆跡)が滑らかに繋がらない可能性を低減させる技術について説明する。
図5は、本開示の実施形態に係る情報処理システム10の機能構成例を示す図である。図5に示されるように、情報処理システム10は、情報処理装置100と、入力装置200と、センサ部300と、表示部400とを備える。センサ部300は、カメラ310と、カメラ320とを有する。また、表示部400は、プロジェクタ410と、プロジェクタ420とを有する。情報処理装置100は、I/F部110、入力位置検出部121、制御部130および記憶部140を備える。
I/F部110は、入力装置200と通信を行う通信モジュールとして機能し得る。また、I/F部110は、カメラ310およびカメラ320それぞれによって検出された撮像映像を受信する通信モジュールとしても機能し、表示部400によって表示される表示映像を送信する通信モジュールとしても機能する。なお、本開示の実施形態においては、I/F部110が、各装置との間で無線通信を行う場合を主に想定する。しかし、I/F部110は、各装置との間で有線による通信を行ってもよい。
入力位置検出部121は、カメラ310によって撮像された映像(撮像映像)から、カメラ310における入力位置を検出する。例えば、入力位置検出部121は、入力装置200がIR LEDを発光させる場合、カメラ310によって撮像された映像(例えば、赤外光画像)からIR LEDの輝点を認識することによって、カメラ310における入力位置を検出する。なお、カメラ310における入力位置は、情報処理装置100の代わりに、カメラ310によって検出されてもよい。同様に、入力位置検出部121は、カメラ320によって撮像された映像(撮像映像)から、カメラ320における入力位置を検出する。
制御部130は、変換パラメータ算出部131、入力位置算出部132、スクリーン関係算出部133および表示制御部134を有する。なお、入力位置検出部121および制御部130は、例えば、CPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。かかる制御部がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
変換パラメータ算出部131は、カメラ座標とスクリーン座標との対応関係を算出する。具体的に、変換パラメータ算出部131は、カメラ310における入力位置をスクリーンSc1における入力位置に変換するためのパラメータ(第1の変換パラメータ)を算出する。ここで、第1の変換パラメータはどのように算出されてもよい。
例えば、スクリーンSc1における既知の位置に対してユーザが入力を行い、カメラ310による撮像映像から入力位置が検出された場合、変換パラメータ算出部131は、スクリーンSc1における既知の位置とカメラ310における入力位置とに基づいて、変換パラメータを算出してもよい。あるいは、スクリーンSc1における既知の位置にプロジェクタ410によってグレイコードまたは規定パターンが投影される場合、カメラ310における入力位置の代わりに、カメラ310による撮像映像から検出されたグレイコードまたは規定パターンの位置が用いられてもよい。同様に、変換パラメータ算出部131は、カメラ320における入力位置をスクリーンSc2における入力位置に変換するためのパラメータ(第2の変換パラメータ)を算出する。
入力位置算出部132は、第1の変換パラメータを用いて、カメラ310における入力位置をスクリーンSc1における入力位置に変換する。また、入力位置算出部132は、第2の変換パラメータを用いて、カメラ320における入力位置をスクリーンSc2における入力位置に変換する。なお、プロジェクタ410の設置位置やプロジェクタ410から映像が投影される壁面の形状などの影響によってスクリーンが歪む場合などには、幾何補正後の領域がスクリーンとして扱われればよい。
スクリーン関係算出部133は、スクリーンSc1とスクリーンSc2との位置関係(空間におけるスクリーンSc1およびスクリーンSc2それぞれの位置)を算出する。スクリーンSc1とスクリーンSc2との位置関係は、各機器の設置時に測定された値に基づいて算出されてもよい。あるいは、スクリーンSc1とスクリーンSc2との位置関係は、カメラ310およびカメラ320による撮像画像それぞれから認識される同一の映像の位置関係に基づいて(マッチング処理によって)算出されてもよい。あるいは、スクリーンSc1とスクリーンSc2との位置関係は、カメラ310およびカメラ320による撮像画像それぞれから認識される入力位置の座標列を示すベクトルの相関関係に基づいて(マッチング処理によって)算出されてもよい。
その他、スクリーンSc1とスクリーンSc2との重なりの関係(すなわち、各スクリーンの優先度)があらかじめ設定されてよい。例えば、スクリーンSc1がスクリーンSc2よりも手前に重なっている(すなわち、スクリーンSc1の優先度がスクリーンSc2の優先度よりも高いなど)といった情報があらかじめ設定されてよい。
表示制御部134は、センサ部300によって撮像された画像に基づいて検出された入力位置に基づいて、スクリーンSc1およびスクリーンSc2のうち少なくとも一つにおける表示映像(筆跡)の投影を制御する。より具体的には、表示制御部134は、スクリーンSc1およびスクリーンSc2のうち少なくともいずれか一つおいて入力位置が検出された場合、当該入力位置に基づいて、スクリーンSc1およびスクリーンSc2のうち少なくとも一つにおける表示映像(筆跡)の投影を制御する。
また、表示制御部134は、入力位置がスクリーンSc1およびスクリーンSc2のどの領域に存在するかを判定する。具体的には、表示制御部134は、スクリーンSc1における入力位置が算出された場合、スクリーンSc1における入力位置に基づいて、スクリーンSc1のうちスクリーンSc2との非重複領域、および、スクリーンSc1のうちスクリーンSc2との重複領域のいずれに存在するかを判定する。
なお、表示制御部134は、スクリーンSc1における入力位置の代わりに、カメラ310における入力位置に基づいて同様の判定を行ってもよい。すなわち、表示制御部134は、カメラ310における入力位置に基づいて、スクリーンSc1のうちスクリーンSc2との非重複領域に対応する撮像領域、および、スクリーンSc1のうちスクリーンSc2との重複領域に対応する撮像領域のいずれの領域に存在するかを判定してもよい。
同様に、表示制御部134は、スクリーンSc2における入力位置が算出された場合、スクリーンSc2における入力位置に基づいて、スクリーンSc2のうちスクリーンSc1との非重複領域、および、スクリーンSc2のうちスクリーンSc1との重複領域のいずれに存在するかを判定する。
表示制御部134は、スクリーンSc1のうちスクリーンSc2との非重複領域に入力位置が存在すると判定した場合、スクリーンSc1における入力位置に応じた投影位置に表示映像が投影されるようにプロジェクタ410を制御する。スクリーンSc1における入力位置に応じた投影位置は、スクリーンSc1における入力位置と同位置であってもよいし、スクリーンSc1における入力位置から所定方向に所定距離だけずれた位置であってもよい。
同様に、表示制御部134は、スクリーンSc2のうちスクリーンSc1との非重複領域に入力位置が存在すると判定した場合、スクリーンSc2における入力位置に応じた投影位置に表示映像が投影されるようにプロジェクタ420を制御する。
一方、表示制御部134が、スクリーンSc1における入力位置に基づいて、スクリーンSc1のうちスクリーンSc2との重複領域に入力位置が存在すると判定した場合、かつ、スクリーンSc2における入力位置に基づいて、スクリーンSc2のうちスクリーンSc1との重複領域に入力位置が存在すると判定した場合も想定される。かかる場合に、表示制御部134が、表示映像の投影をどのように制御するのが望ましいかについては、後に詳細に説明する。
記憶部140は、メモリを含んで構成され、制御部130によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部140は、制御部130による演算のためにデータを一時的に記憶する。例えば、記憶部140は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。
以上、本開示の実施形態に係る情報処理システム10の構成例について説明した。
[1.2.重複領域における表示制御]
続いて、重複領域における表示映像の表示制御例について説明する。
図6は、入力位置が重複領域に存在する場合であっても各プロジェクタから表示映像を投影させた場合について説明するための図である。図6を参照すると、空間に存在するスクリーンSc1のうちスクリーンSc2との非重複領域R1が示されている。また、空間に存在するスクリーンSc1とスクリーンSc2との重複領域R12が示されている。さらに、空間に存在するスクリーンSc2のうちスクリーンSc1との非重複領域R2が示されている。
図6に示されるように、ユーザによる入力が開始され、表示制御部134が、スクリーンSc1における入力位置に基づいて、スクリーンSc1のうちスクリーンSc2との非重複領域R1に入力位置が存在すると判定した場合を想定する。かかる場合、表示制御部134は、スクリーンSc1における入力位置に応じた投影位置に表示映像(軌跡Tr1−1)が投影開始されるようにプロジェクタ410を制御する。そして、表示制御部134が、スクリーンSc1における入力位置に基づいて、スクリーンSc1のうちスクリーンSc2との重複領域R12に入力位置が移動したと判定した場合を想定する。かかる場合、表示制御部134は、スクリーンSc1における入力位置に応じた投影位置に表示映像(軌跡Tr1−1)が引き続き投影されるようにプロジェクタ410を制御する。
このとき、表示制御部134が、スクリーンSc2における入力位置に基づいて、スクリーンSc2のうちスクリーンSc1との重複領域R12に入力位置が存在すると判定した場合を想定する。かかる場合、表示制御部134は、スクリーンSc2における入力位置に応じた投影位置に表示映像(軌跡Tr2)が投影開始されるようにプロジェクタ420を制御する。
かかる場合には、既に説明したように、スクリーンSc1における投影位置およびスクリーンSc2における投影位置それぞれに対応する空間における位置にずれが生じ得る。そのため、図6を参照しても、スクリーンSc1とスクリーンSc2との重複領域R12においては、スクリーンSc1における投影位置(筆跡Tr1)とスクリーンSc2における投影位置(筆跡Tr2)との間にずれが生じてしまっている。
そこで、本開示の実施形態では、表示制御部134は、スクリーンSc1とスクリーンSc2との重複領域R12に入力位置が移動した場合、重複領域への移動前の入力位置に基づいて、重複領域R12における表示映像の投影を制御する。かかる構成によれば、表示映像の位置が変化する場合であっても重複領域R12における表示映像の品質を高めることが可能となる。
より具体的には、表示制御部134は、スクリーンSc1における入力位置およびスクリーンSc2における入力位置に基づいて、入力位置が、スクリーンSc1のうちスクリーンSc2との非重複領域R1、および、スクリーンSc2のうちスクリーンSc1との非重複領域R2のいずれから、重複領域R12に移動したかに基づいて、重複領域R12における表示映像の投影を制御するのが望ましい。これによって、重複領域R12にプロジェクタ410およびプロジェクタ420それぞれから投影された表示映像がずれて表示されてしまう可能性が低減される。
さらに具体的には、表示制御部134は、重複領域R12への移動前に入力位置が存在した非重複領域に対応するプロジェクタからの表示映像の投影を優先させるのが望ましい。これによって、重複領域R12にプロジェクタ410およびプロジェクタ420の双方から表示映像がずれて投影されてしまう可能性が低減されるともに、少なくとも入力位置が重複領域R12に移動する前後において表示映像が滑らかに繋がらない可能性が低減される。かかる例について以下に詳細に説明する。
図7は、入力位置が重複領域に移動した場合に移動前の非重複領域に対応するプロジェクタからの表示映像の投影を優先させる場合について説明するための図である。
図7に示された例においても、図6に示された例と同様に、ユーザによる入力が開始され、表示制御部134が、スクリーンSc1における入力位置に基づいて、スクリーンSc1のうちスクリーンSc2との非重複領域R1に入力位置が存在すると判定した場合を想定する。かかる場合、表示制御部134は、スクリーンSc1における入力位置に応じた投影位置に表示映像(軌跡Tr1−1)が投影開始されるようにプロジェクタ410を制御する。そして、図6に示された例と同様に、表示制御部134が、スクリーンSc1における入力位置に基づいて、スクリーンSc1のうちスクリーンSc2との重複領域R12に入力位置が移動したと判定した場合を想定する。
かかる場合、表示制御部134は、重複領域R12への移動前に入力位置が存在した非重複領域R1に対応するプロジェクタ410からスクリーンSc1への表示映像(軌跡Tr1−1)の投影を、重複領域R12への移動前に入力位置が存在しなかった非重複領域R2に対応するプロジェクタ420からの表示映像の投影よりも優先させる。これによって、重複領域R12にプロジェクタ410およびプロジェクタ420の双方から表示映像がずれて投影されてしまう可能性が低減されるともに、少なくとも入力位置が重複領域R12に移動する前後において表示映像が滑らかに繋がらない可能性が低減される。
その後、重複領域R12から非重複領域R2に入力位置が移動した場合を想定する。このとき、スクリーンSc1における入力位置は算出されないが、スクリーンSc2における入力位置が算出される。したがって、表示制御部134は、スクリーンSc2における入力位置に基づいて、スクリーンSc2における入力位置に応じた投影位置に表示映像(軌跡Tr2)が投影されるようにプロジェクタ420を制御する。
さらに、非重複領域R2から重複領域R12に入力位置が移動した場合を想定する。かかる場合も、表示制御部134は、スクリーンSc2における入力位置に基づいて、スクリーンSc2のうちスクリーンSc1との重複領域R12に入力位置が移動したと判定する。そして、表示制御部134は、重複領域R12への移動前に入力位置が存在した非重複領域R2に対応するプロジェクタ420からの表示映像(軌跡Tr2)の投影を、重複領域R12への移動前に入力位置が存在しなかった非重複領域R1に対応するプロジェクタ410からの表示映像の投影よりも優先させる。
これによって、重複領域R12にプロジェクタ410およびプロジェクタ420の双方から表示映像がずれて投影されてしまう可能性が低減されるともに、少なくとも入力位置が重複領域R12に移動する前後において表示映像が滑らかに繋がらない可能性が低減される。さらに、重複領域R12への移動前に入力位置が存在した非重複領域R2に対応するプロジェクタ420からの表示映像(軌跡Tr2)の投影が優先されることによって、重複領域R12と非重複領域との間で入力位置が行き来する場合であっても、映像を投影するプロジェクタの切り替わりが頻発する可能性を低減することができる。
図8は、入力位置の開始点が重複領域R12の内部である場合について説明するための図である。図8に示されたように、スクリーンSc1における入力位置の開始点として入力位置P1が算出されたとする。一方、スクリーンSc2における入力位置の開始点として入力位置P2が算出されたとする。このとき、表示制御部134は、スクリーンSc1における入力位置の開始点(入力位置P1)から、非重複領域R1と重複領域R12との境界までの距離D1を算出するとともに、スクリーンSc2における入力位置の開始点(入力位置P2)から、非重複領域R2と重複領域R12との境界までの距離D2を算出する。
そして、図8に示されるように、距離D1のほうが距離D2よりも小さい場合には、その後に非重複領域R2に移動する可能性よりも非重複領域R1に移動する可能性が高いと考えられる。したがって、かかる場合には、表示制御部134は、スクリーンSc1に対応するプロジェクタ410からの映像の投影を、スクリーンSc2に対応するプロジェクタ420からの映像の投影よりも優先させるのが望ましい。
一方、距離D2のほうが距離D1よりも小さい場合には、その後に非重複領域R1に移動する可能性よりも非重複領域R2に移動する可能性が高いと考えられる。したがって、かかる場合には、表示制御部134は、スクリーンSc2に対応するプロジェクタ420からの映像の投影を、スクリーンSc1に対応するプロジェクタ410からの映像の投影よりも優先させるのが望ましい。
さらに、距離D1と距離D2とが等しい場合も想定される。かかる場合には、その後に非重複領域R2に移動する可能性と非重複領域R1に移動する可能性とは変わらないと考えられる。したがって、かかる場合には、表示制御部134は、より優先度が高いスクリーンに対応するプロジェクタからの映像の投影を、より優先度が低いスクリーンに対応するプロジェクタからの映像の投影よりも優先させるのが望ましい。
なお、図8を参照すると、重複領域R12への移動前に入力位置が存在した非重複領域R1に対応するプロジェクタ410からの表示映像(軌跡Tr1−1)の投影が優先されている。これによって、図8に示されるように、重複領域R12と非重複領域R1との間で入力位置が行き来する場合であっても、映像を投影するプロジェクタの切り替わりが頻発する可能性を低減することができる。
ここで、図7および図8を参照すると、重複領域R12から非重複領域R2に入力位置が移動する場合がある。かかる場合には、表示制御部134は、重複領域R12からの移動後に入力位置が存在した非重複領域R2に対応するプロジェクタ420からスクリーンSc2への表示映像(軌跡Tr2)の投影を、重複領域R12からの移動後に入力位置が存在しなかった非重複領域R1に対応するプロジェクタ410からの表示映像の投影よりも優先させる。しかし、図7および図8に示されたように、入力位置が重複領域R12から非重複領域R2に移動する前後において表示映像が滑らかに繋がらない可能性がある。
そこで、表示制御部134は、重複領域R12から非重複領域R2に移動する前後において表示映像が滑らかに繋がらない可能性を低減する。具体的に、表示制御部134は、スクリーンSc1における入力位置が、非重複領域R1から重複領域R12に移動した後に重複領域R12の内部を移動した場合、スクリーンSc1における入力位置とスクリーンSc2における入力位置とを合成する(スクリーンSc1における入力位置をスクリーンSc2における入力位置を用いて補正する)。そして、表示制御部134は、合成後の位置に基づいて(例えば、合成後の位置に)、プロジェクタ410によって表示映像が投影されるように制御する。
スクリーンSc1における入力位置とスクリーンSc2における入力位置との合成はどのような手法によって行われてもよい。例えば、スクリーンSc1における入力位置とスクリーンSc2における入力位置との合成は、スクリーンSc1における入力位置に対して第1の重み付けがされた結果(重みa1が乗じられた結果)とスクリーンSc2における入力位置に対して第2の重み付けがされた結果(重みa2が乗じられた結果)との加算によって行われてよい。重みa1と重みa2とは、合計が1になるように決められてよい。
図9は、入力位置同士の合成の第1の例について説明するための図である。図9に示された例では、スクリーンSc1における入力位置が、非重複領域R1から重複領域R12に移動した後に重複領域R12の内部を移動した場合を想定する。このとき、スクリーンSc1における入力位置が重複領域R12の内部を移動している間のある時点において、スクリーンSc1における入力位置がP1として算出され、スクリーンSc2における入力位置がP2として算出されたとする。
表示制御部134は、スクリーンSc1における入力位置P1とスクリーンSc1の所定位置とに応じた距離に基づいて、重みa1を決めてもよい。あるいは、表示制御部134は、スクリーンSc2における入力位置P2とスクリーンSc2の所定位置とに応じた距離に基づいて、重みa2を決めてもよい。あるいは、表示制御部134は、スクリーンSc1における入力位置P1とスクリーンSc1の所定位置とに応じた距離と、スクリーンSc2における入力位置P2とスクリーンSc2の所定位置とに応じた距離との割合に基づいて、重みa1および重みa2を決めてもよい。
図9に示された例では、スクリーンSc1の所定位置が、スクリーンSc1のうち非重複領域R1と重複領域R12との境界であり、スクリーンSc1における入力位置P1から当該境界までの距離D1が示されている。表示制御部134は、距離D1が小さいほど重みa1を大きくすればよい。そうすれば、スクリーンSc1における入力位置P1が重複領域R12の内部において非重複領域R1に近いほどスクリーンSc1における入力位置P1への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
また、図9に示された例では、スクリーンSc2の所定位置は、スクリーンSc2のうち非重複領域R2と重複領域R12との境界であり、スクリーンSc2における入力位置P2から当該境界までの距離D2が示されている。表示制御部134は、距離D2が小さいほど重みa2を大きくすればよい。そうすれば、スクリーンSc2における入力位置P2が重複領域R12の内部において非重複領域R2に近いほどスクリーンSc2における入力位置P2への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
なお、合成後の位置(投影位置)の算出は、スクリーンSc1における入力位置とスクリーンSc2における入力位置とを空間座標系に変換して行われ得る。すなわち、表示制御部134は、あらかじめ取得された変換式H1を用いて、スクリーンSc1における入力位置P1(x1,y1)を、空間における位置H1(P1)に変換する。また、表示制御部134は、あらかじめ取得された変換式H2を用いて、スクリーンSc2における入力位置P2(x2,y2)を、空間における位置H2(P2)に変換する。表示制御部134は、下記の式(1)を用いて、合成後の位置P(投影位置)を算出する。
P=a1/(a1+a2)*H1(P1)+a2/(a1+a2)*H2(P2) ・・・式(1)
また、図9に示された例では、スクリーンSc2の所定位置が、スクリーンSc2のうち非重複領域R2と重複領域R12との境界であり、スクリーンSc2における入力位置P2から当該境界までの距離D2が示されている。表示制御部134は、距離D2が小さいほど重みa2を大きくすればよい。そうすれば、スクリーンSc2における入力位置P2が重複領域R12の内部において非重複領域R2に近いほどスクリーンSc2における入力位置P2への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
図10は、入力位置同士の合成後の位置の変化を示す図である。図10には、スクリーンSc1における入力位置P1とスクリーンSc2における入力位置P2とが重複領域R12の内部に存在する場合が示されている。合成後の位置はPとして示されている。また、スクリーンSc1における入力位置(軌跡Tr1)に対する重みがa1として示され、スクリーンSc2における入力位置(軌跡Tr2)に対する重みがa2として示されている。
図10を参照すると、スクリーンSc1における入力位置P1が重複領域R12の内部において非重複領域R1に近いほどスクリーンSc1における入力位置P1に対する重みa1が大きくなっている(スクリーンSc2における入力位置P2が重複領域R12の内部において非重複領域R2に近いほどスクリーンSc2における入力位置P2に対する重みa2が大きくなっている)。したがって、合成後の位置P(軌跡Tr12)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まることが把握される。
図11は、入力位置同士の合成の第2の例について説明するための図である。図11に示された例においても、図10に示された例と同様に、スクリーンSc1における入力位置が、非重複領域R1から重複領域R12に移動した後に重複領域R12の内部を移動した場合を想定する。このとき、スクリーンSc1における入力位置が重複領域R12の内部を移動している間のある時点において、スクリーンSc1における入力位置がP1として算出され、スクリーンSc2における入力位置がP2として算出されたとする。
図11に示された例では、スクリーンSc1の所定位置が、スクリーンSc1のうち非重複領域R1と重複領域R12との境界であり、スクリーンSc1における入力位置P1とスクリーンSc2における入力位置P2との中点から当該境界までの距離D1が示されている。表示制御部134は、距離D1が小さいほど重みa1を大きくすればよい。そうすれば、スクリーンSc1における入力位置P1が重複領域R12の内部において非重複領域R1に近いほどスクリーンSc1における入力位置P1への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
また、図11に示された例では、スクリーンSc2の所定位置は、スクリーンSc2のうち非重複領域R2と重複領域R12との境界であり、スクリーンSc1における入力位置P1とスクリーンSc2における入力位置P2との中点から当該境界までの距離D2が示されている。表示制御部134は、距離D2が小さいほど重みa2を大きくすればよい。そうすれば、スクリーンSc2における入力位置P2が重複領域R12の内部において非重複領域R2に近いほどスクリーンSc2における入力位置P2への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
なお、合成後の位置(投影位置)の算出は、スクリーンSc1における入力位置P1とスクリーンSc2における入力位置P2とを空間座標系に変換して行われ得る。合成後の位置(投影位置)の算出の詳細については、上記した通りである。
図12は、入力位置同士の合成の第3の例について説明するための図である。図12に示された例においても、図10に示された例と同様に、スクリーンSc1における入力位置が、非重複領域R1から重複領域R12に移動した後に重複領域R12の内部を移動した場合を想定する。このとき、スクリーンSc1における入力位置が重複領域R12の内部を移動している間のある時点において、スクリーンSc1における入力位置がP1として算出され、スクリーンSc2における入力位置がP2として算出されたとする。
図12に示された例では、スクリーンSc1の所定位置が、スクリーンSc1の重心Q1であり、スクリーンSc1における入力位置P1からスクリーンSc1の重心Q1までの距離D1が示されている。表示制御部134は、距離D1が小さいほど重みa1を大きくすればよい。そうすれば、スクリーンSc1における入力位置P1が重複領域R12の内部において非重複領域R1に近いほどスクリーンSc1における入力位置P1への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
また、図12に示された例では、スクリーンSc2の所定位置は、スクリーンSc2の重心Q2であり、スクリーンSc2における入力位置P2からスクリーンSc2の重心Q2までの距離D2が示されている。表示制御部134は、距離D2が小さいほど重みa2を大きくすればよい。そうすれば、スクリーンSc2における入力位置P2が重複領域R12の内部において非重複領域R2に近いほどスクリーンSc2における入力位置P2への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
なお、合成後の位置(投影位置)の算出は、スクリーンSc1における入力位置P1とスクリーンSc2における入力位置P2とを空間座標系に変換して行われ得る。合成後の位置(投影位置)の算出の詳細については、上記した通りである。
図13は、合成後の位置(投影位置)への表示映像の投影例を示す図である。図13を参照すると、入力位置は、非重複領域R1から重複領域R12に移動し(軌跡Tr1−1)、重複領域R12の内部を移動し、非重複領域R2(軌跡Tr2)に移動している。さらに、入力位置は、非重複領域R2から重複領域R12に移動し、重複領域R12の内部を移動し、非重複領域R1に戻っている(軌跡Tr1−2)。このとき、重複領域R12の内部においては、合成後の位置に表示映像(軌跡Tr12)が投影される。そのため、重複領域R12における表示映像(Tr12)が、非重複領域R1における表示映像(軌跡Tr1−1、軌跡Tr1−2)および非重複領域R2における表示映像(軌跡Tr2)と滑らかに繋がっていることが把握される。
以上、重複領域における表示映像の表示制御例について説明した。
[1.3.動作例]
続いて、本開示の実施形態に係る情報処理装置100の動作例について説明する。
図14および図15は、本開示の実施形態に係る情報処理装置100の動作例を示すフローチャートである。図14に示されるように、情報処理装置100において、入力位置検出部121は、I/F部110を介してカメラ映像(カメラ310によって撮像された映像およびカメラ320によって撮像された映像)を取得する(S11)。入力位置検出部121は、カメラ映像に基づいて入力位置を検出する(S12)。より具体的には、入力位置検出部121は、カメラ310によって撮像された映像からカメラ310における入力位置を検出し、カメラ320によって撮像された映像からカメラ320における入力位置を検出する。
変換パラメータ算出部131は、変換パラメータ(カメラ310における入力位置をスクリーンSc1における入力位置に変換するための第1の変換パラメータ、および、カメラ320における入力位置をスクリーンSc2における入力位置に変換するための第2の変換パラメータ)を既に算出済みである場合には(S13において「Yes」)、S15に進む。一方、変換パラメータ算出部131は、変換パラメータをまだ算出していない場合には(S13において「No」)、変換パラメータを算出して(S14)、S15に進む。
入力位置算出部132は、変換パラメータを用いて入力位置を算出する(S15)。より具体的には、入力位置算出部132は、第1の変換パラメータを用いてカメラ310における入力位置をスクリーンSc1における入力位置に変換するとともに、第2の変換パラメータを用いてカメラ320における入力位置をスクリーンSc2における入力位置に変換する。入力位置算出部132は、入力位置の算出に失敗した場合には(S16において「No」)、S11に戻る。一方、入力位置算出部132は、入力位置の算出に成功した場合には(S16において「Yes」)、S21に進む。
スクリーン関係算出部133は、スクリーン関係(スクリーンSc1とスクリーンSc2との位置関係)を既に算出済みである場合には(S21において「Yes」)、S23に進む。一方、スクリーン関係算出部133は、スクリーン関係をまだ算出していない場合には(S21において「No」)、スクリーン関係を算出する(S22)。表示制御部134は、表示スクリーン(重複領域への映像表示を行うスクリーン)を判定し(S23)、表示スクリーンにおける入力位置に応じた映像が表示されるように表示部400を制御する(S24)。表示制御部134は、表示を継続する場合には(S25において「No」)、S11に戻る。一方、表示制御部134は、表示を終了する場合には(S25において「Yes」)、表示を終了する。
以上、本開示の実施形態に係る情報処理装置100の動作例について説明した。
[1.4.各種の変形例]
ここでは、本技術に適用可能な各種の変形例について述べる。
例えば、上記では、スクリーンが2つ存在し、2つのスクリーンそれぞれに映像を投影するプロジェクタが1つずつ存在する場合を主に想定する。しかし、スクリーンの数は3つ以上でもよいし、プロジェクタの数もスクリーンの数に応じて変更されてよい。
図16は、スクリーンが3つ存在する場合の例を示す図である。図16を参照すると、スクリーンSc1およびスクリーンSc2の他に、スクリーンSc3が空間に存在している。また、スクリーンSc1に映像を投影するプロジェクタ410、スクリーンSc2に映像を投影するプロジェクタ420の他、スクリーンSc3に映像を投影するプロジェクタ430が空間に存在している。
また、図16を参照すると、非重複領域R1、重複領域R12、非重複領域R2が存在する他、スクリーンSc3とスクリーンSc1との重複領域R31、スクリーンSc2とスクリーンSc3との重複領域R23が存在している。また、スクリーンSc1とスクリーンSc2とスクリーンSc3との重複領域R123が存在している。重複領域R31および重複領域R23それぞれは、重複領域R12と同様に扱われ得る。
3つのスクリーンそれぞれの一部が互いに重なり合う重複領域R123と、2つのスクリーンそれぞれの一部が互いに重なり合う重複領域R12、R23、R31との関係は、上記した、2つのスクリーンのそれぞれの一部が互いに重なり合う重複領域R12と、他のスクリーンの一部と重なり合わない非重複領域R1、R2との関係と同様であってよい。
図17は、3つの入力位置同士の合成の例について説明するための図である。図17に示された例においては、スクリーンSc1における入力位置が、重複領域R12から重複領域R123に移動した後に重複領域R123の内部を移動した場合を想定する。このとき、スクリーンSc1における入力位置が重複領域R123の内部を移動している間のある時点において、スクリーンSc1における入力位置がP1として算出され、スクリーンSc2における入力位置がP2として算出され、スクリーンSc3における入力位置がP3として算出されたとする。
図17に示された例では、スクリーンSc1の所定位置が、スクリーンSc1の重心Q1であり、スクリーンSc1における入力位置P1からスクリーンSc1の重心Q1までの距離D1が示されている。表示制御部134は、距離D1が小さいほど重みa1を大きくすればよい。そうすれば、スクリーンSc1における入力位置P1が重複領域R123の内部において非重複領域R1に近いほどスクリーンSc1における入力位置P1への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
また、図17に示された例では、スクリーンSc2の所定位置は、スクリーンSc2の重心Q2であり、スクリーンSc2における入力位置P2からスクリーンSc2の重心Q2までの距離D2が示されている。表示制御部134は、距離D2が小さいほど重みa2を大きくすればよい。そうすれば、スクリーンSc2における入力位置P2が重複領域R123の内部において非重複領域R2に近いほどスクリーンSc2における入力位置P2への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
また、図17に示された例では、スクリーンSc3の所定位置は、スクリーンSc3の重心Q3であり、スクリーンSc3における入力位置P3からスクリーンSc3の重心Q3までの距離D3が示されている。表示制御部134は、距離D3が小さいほど重みa3を大きくすればよい。そうすれば、スクリーンSc3における入力位置P3が重複領域R123の内部において非重複領域R3に近いほどスクリーンSc3における入力位置P3への重み付けが大きくなるため、合成後の位置(投影位置)が滑らかに変化し、表示映像が滑らかに繋がる可能性が高まる。
なお、合成後の位置(投影位置)の算出は、スクリーンSc1における入力位置とスクリーンSc2における入力位置とスクリーンSc3における入力位置とを空間座標系に変換して行われ得る。
すなわち、表示制御部134は、あらかじめ取得された変換式H1を用いて、スクリーンSc1における入力位置P1(x1,y1)を、空間における位置H1(P1)に変換する。また、表示制御部134は、あらかじめ取得された変換式H2を用いて、スクリーンSc2における入力位置P2(x2,y2)を、空間における位置H2(P2)に変換する。また、表示制御部134は、あらかじめ取得された変換式H3を用いて、スクリーンSc3における入力位置P3(x3,y3)を、空間における位置H3(P3)に変換する。表示制御部134は、下記の式(2)を用いて、合成後の位置P(投影位置)を算出する。
P=a1/(a1+a2+a3)*H1(P1)+a2/(a1+a2+a3)*H2(P2)+a3/(a1+a2+a3)*H3(P3) ・・・式(2)
以上、本技術に適用可能な各種の変形例について説明した。
[1.5.効果]
ここでは、本技術が奏する効果について述べる。
本開示の実施形態においては、情報処理装置100は、重複領域に入力位置が移動した場合、重複領域への移動前に入力位置が存在した一方のスクリーンに投影するプロジェクタでの投影を優先させる。これによって、映像の表示ずれの発生が防止され得る。また、他の一例として、情報処理装置100は、重複領域において入力位置が移動する場合には、入力位置の補正を行う。これによって、入力位置が重複領域から他方のスクリーンに移動するときに映像の表示ずれの発生が防止され得る。
[1.6.ハードウェア構成例]
次に、図18を参照して、本開示の実施形態に係る情報処理システム10のハードウェア構成について説明する。図18は、本開示の実施形態に係る情報処理システム10のハードウェア構成例を示すブロック図である。
図18に示すように、情報処理システム10は、CPU(Central Processing unit)801、ROM(Read Only Memory)803、およびRAM(Random Access Memory)805を含む。また、情報処理システム10は、ホストバス807、ブリッジ809、外部バス811、インターフェース813、ストレージ装置819、ドライブ821、接続ポート823、通信装置825を含んでもよい。情報処理システム10は、CPU801に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU801は、演算処理装置および制御装置として機能し、ROM803、RAM805、ストレージ装置819、またはリムーバブル記録媒体827に記録された各種プログラムに従って、情報処理システム10内の動作全般またはその一部を制御する。ROM803は、CPU801が使用するプログラムや演算パラメータなどを記憶する。RAM805は、CPU801の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU801、ROM803、およびRAM805は、CPUバスなどの内部バスにより構成されるホストバス807により相互に接続されている。さらに、ホストバス807は、ブリッジ809を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス811に接続されている。
ストレージ装置819は、情報処理システム10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置819は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置819は、CPU801が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ821は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体827のためのリーダライタであり、情報処理システム10に内蔵、あるいは外付けされる。ドライブ821は、装着されているリムーバブル記録媒体827に記録されている情報を読み出して、RAM805に出力する。また、ドライブ821は、装着されているリムーバブル記録媒体827に記録を書き込む。
接続ポート823は、機器を情報処理システム10に直接接続するためのポートである。接続ポート823は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート823は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート823に外部接続機器829を接続することで、情報処理システム10と外部接続機器829との間で各種のデータが交換され得る。
通信装置825は、例えば、ネットワーク831に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置825は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置825は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置825は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置825に接続されるネットワーク831は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
<2.むすび>
以上説明したように、本開示の実施形態によれば、撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御する表示制御部を備え、前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、前記表示制御部は、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の(前記重複領域外における)前 記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御する、情報処理装置が提供される。
かかる構成によれば、表示映像の位置が変化する場合であっても複数の表示領域の重複領域における表示映像の品質を高められる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
また、上記では、撮像用デバイスとしてカメラが用いられる場合を主に説明した。しかし、撮像用デバイスとしてカメラ以外の装置が用いられてもよい。例えば、撮像用デバイスとして、二次元PSD(Position Sensitive Device)などが用いられてもよい。
また、上記では、スクリーン上を表示映像が移動する場合を主に説明した。しかし、表示映像はスクリーン上に静止していてもよい。例えば、複数のスクリーンの重複領域に静止した表示映像が投影されてもよい。このとき、重複領域に複数のプロジェクタから投影された静止した表示映像(静的な表示映像)同士は、上記と同様に合成されてもよい。そうすれば、動的な表示映像と同様に、重複領域と非重複領域との間を跨ぐ前後において、静的な表示映像が滑らかに繋がり得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御する表示制御部を備え、
前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、
前記表示制御部は、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御する、
情報処理装置。
(2)
前記表示制御部は、前記入力位置が、前記第一の表示領域のうち前記第二の表示領域との第一の非重複領域、および、前記第二の表示領域のうち前記第一の表示領域との第二の非重複領域のいずれから、前記重複領域に移動したかに基づいて、前記重複領域における前記表示映像の表示を制御する、
前記(1)に記載の情報処理装置。
(3)
前記入力位置は、前記第一の表示領域における第一の入力位置を含み、
前記表示制御部は、
前記第一の入力位置が前記第一の非重複領域から前記重複領域に移動した場合、前記第一の表示領域における第一の表示映像の表示を、前記第二の表示領域における第二の表示映像の表示よりも優先させる、
前記(2)に記載の情報処理装置。
(4)
前記入力位置は、前記第二の表示領域における第二の入力位置を含み、
前記表示制御部は、
前記第二の入力位置が前記重複領域から前記第二の非重複領域に移動した場合、前記第二の表示映像の表示を制御する、
前記(3)に記載の情報処理装置。
(5)
前記表示制御部は、
前記重複領域の中を前記第一の入力位置が移動した場合、前記第一の入力位置と前記第二の入力位置との合成後の位置に基づいて、前記第一の表示映像の表示を制御する、
前記(4)に記載の情報処理装置。
(6)
前記表示制御部は、
前記重複領域の中を前記第一の入力位置が移動した場合、前記第一の入力位置に第一の重みが乗じられた結果と前記第二の入力位置に対して第二の重みが乗じられた結果との加算後の位置に基づいて、前記第一の表示映像の表示を制御する、
前記(5)に記載の情報処理装置。
(7)
前記表示制御部は、
前記第一の入力位置と前記第一の表示領域の第一の所定位置とに応じた第一の距離に基づいて、前記第一の重みを制御する、
前記(6)に記載の情報処理装置。
(8)
前記表示制御部は、
前記第一の距離が小さいほど、前記第一の重みを大きくする、
前記(7)に記載の情報処理装置。
(9)
前記第一の所定位置は、前記第一の表示領域のうち前記第一の非重複領域と前記重複領域との境界であり、
前記第一の距離は、前記第一の入力位置から前記境界までの距離である、
前記(7)または(8)に記載の情報処理装置。
(10)
前記第一の所定位置は、前記第一の表示領域のうち前記第一の非重複領域と前記重複領域との境界であり、
前記第一の距離は、前記第一の入力位置と前記第二の入力位置との中点から前記境界までの距離である、
前記(7)または(8)に記載の情報処理装置。
(11)
前記第一の所定位置は、前記第一の表示領域の重心であり、
前記第一の距離は、前記第一の入力位置から前記重心までの距離である、
前記(7)または(8)に記載の情報処理装置。
(12)
前記第一の表示領域は、第一の表示装置による表示領域であり、
前記第二の表示領域は、前記第一の表示装置とは異なる第二の表示装置による表示領域である、
前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記第一の表示装置は、第一のプロジェクタであり、
前記第一の表示領域は、前記第一のプロジェクタによる投影領域であり、
前記第二の表示装置は、前記第一のプロジェクタとは異なる第二のプロジェクタであり、
前記第二の表示領域は、前記第二のプロジェクタによる投影領域である、
前記(12)に記載の情報処理装置。
(14)
前記入力位置は、前記撮像画像から検出された操作体の位置である、
前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記操作体は、ペン型の入力装置である、
前記(14)に記載の情報処理装置。
(16)
前記入力位置は、前記入力装置の赤外光LEDまたは可視光LEDの発光が検出された位置である、
前記(15)に記載の情報処理装置。
(17)
前記第一の入力位置は、第一の撮像映像から検出され、第一の変換パラメータに基づいて変換された位置であり、
前記第二の入力位置は、第二の撮像映像から検出され、前記第一の変換パラメータとは異なる第二の変換パラメータに基づいて変換された位置である、
前記(4)〜(11)のいずれか一項に記載の情報処理装置。
(18)
前記第一の撮像映像および前記第二の撮像映像は、異なるカメラによって撮像された映像、または、同一のカメラによって撮像された異なる領域の映像である、
前記(17)に記載の情報処理装置。
(19)
撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御することを含み、
前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、
前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御することを含む、
情報処理方法。
(20)
コンピュータを、
撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御する表示制御部を備え、
前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、
前記表示制御部は、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御する、
情報処理装置として機能させるためのプログラム。
10 情報処理システム
100 情報処理装置
110 I/F部
121 入力位置検出部
130 制御部
131 変換パラメータ算出部
132 入力位置算出部
133 スクリーン関係算出部
134 表示制御部
140 記憶部
200 入力装置
300 センサ部
310 カメラ
320 カメラ
400 表示部
410 プロジェクタ
420 プロジェクタ

Claims (20)

  1. 撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御する表示制御部を備え、
    前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、
    前記表示制御部は、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御する、
    情報処理装置。
  2. 前記表示制御部は、前記入力位置が、前記第一の表示領域のうち前記第二の表示領域との第一の非重複領域、および、前記第二の表示領域のうち前記第一の表示領域との第二の非重複領域のいずれから、前記重複領域に移動したかに基づいて、前記重複領域における前記表示映像の表示を制御する、
    請求項1に記載の情報処理装置。
  3. 前記入力位置は、前記第一の表示領域における第一の入力位置を含み、
    前記表示制御部は、
    前記第一の入力位置が前記第一の非重複領域から前記重複領域に移動した場合、前記第一の表示領域における第一の表示映像の表示を、前記第二の表示領域における第二の表示映像の表示よりも優先させる、
    請求項2に記載の情報処理装置。
  4. 前記入力位置は、前記第二の表示領域における第二の入力位置を含み、
    前記表示制御部は、
    前記第二の入力位置が前記重複領域から前記第二の非重複領域に移動した場合、前記第二の表示映像の表示を制御する、
    請求項3に記載の情報処理装置。
  5. 前記表示制御部は、
    前記重複領域の中を前記第一の入力位置が移動した場合、前記第一の入力位置と前記第二の入力位置との合成後の位置に基づいて、前記第一の表示映像の表示を制御する、
    請求項4に記載の情報処理装置。
  6. 前記表示制御部は、
    前記重複領域の中を前記第一の入力位置が移動した場合、前記第一の入力位置に第一の重みが乗じられた結果と前記第二の入力位置に対して第二の重みが乗じられた結果との加算後の位置に基づいて、前記第一の表示映像の表示を制御する、
    請求項5に記載の情報処理装置。
  7. 前記表示制御部は、
    前記第一の入力位置と前記第一の表示領域の第一の所定位置とに応じた第一の距離に基づいて、前記第一の重みを制御する、
    請求項6に記載の情報処理装置。
  8. 前記表示制御部は、
    前記第一の距離が小さいほど、前記第一の重みを大きくする、
    請求項7に記載の情報処理装置。
  9. 前記第一の所定位置は、前記第一の表示領域のうち前記第一の非重複領域と前記重複領域との境界であり、
    前記第一の距離は、前記第一の入力位置から前記境界までの距離である、
    請求項7に記載の情報処理装置。
  10. 前記第一の所定位置は、前記第一の表示領域のうち前記第一の非重複領域と前記重複領域との境界であり、
    前記第一の距離は、前記第一の入力位置と前記第二の入力位置との中点から前記境界までの距離である、
    請求項7に記載の情報処理装置。
  11. 前記第一の所定位置は、前記第一の表示領域の重心であり、
    前記第一の距離は、前記第一の入力位置から前記重心までの距離である、
    請求項7に記載の情報処理装置。
  12. 前記第一の表示領域は、第一の表示装置による表示領域であり、
    前記第二の表示領域は、前記第一の表示装置とは異なる第二の表示装置による表示領域である、
    請求項1に記載の情報処理装置。
  13. 前記第一の表示装置は、第一のプロジェクタであり、
    前記第一の表示領域は、前記第一のプロジェクタによる投影領域であり、
    前記第二の表示装置は、前記第一のプロジェクタとは異なる第二のプロジェクタであり、
    前記第二の表示領域は、前記第二のプロジェクタによる投影領域である、
    請求項12に記載の情報処理装置。
  14. 前記入力位置は、前記撮像画像から検出された操作体の位置である、
    請求項1に記載の情報処理装置。
  15. 前記操作体は、ペン型の入力装置である、
    請求項14に記載の情報処理装置。
  16. 前記入力位置は、前記入力装置の赤外光LEDまたは可視光LEDの発光が検出された位置である、
    請求項15に記載の情報処理装置。
  17. 前記第一の入力位置は、第一の撮像映像から検出され、第一の変換パラメータに基づいて変換された位置であり、
    前記第二の入力位置は、第二の撮像映像から検出され、前記第一の変換パラメータとは異なる第二の変換パラメータに基づいて変換された位置である、
    請求項4に記載の情報処理装置。
  18. 前記第一の撮像映像および前記第二の撮像映像は、異なるカメラによって撮像された映像、または、同一のカメラによって撮像された異なる領域の映像である、
    請求項17に記載の情報処理装置。
  19. 撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御することを含み、
    前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、
    前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御することを含む、
    情報処理方法。
  20. コンピュータを、
    撮像画像に基づいて検出された入力位置に基づいて、複数の表示領域のうち少なくとも一つの表示領域における表示映像の表示を制御する表示制御部を備え、
    前記複数の表示領域は、第一の表示領域および第二の表示領域を含み、
    前記表示制御部は、前記第一の表示領域と前記第二の表示領域とが重複する重複領域に前記入力位置が移動した場合、前記重複領域への移動前の前記入力位置に基づいて、前記重複領域における前記表示映像の表示を制御する、
    情報処理装置として機能させるためのプログラム。
JP2020554795A 2018-11-01 2019-09-06 情報処理装置、情報処理方法およびプログラム Active JP7396295B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018206266 2018-11-01
JP2018206266 2018-11-01
PCT/JP2019/035111 WO2020090228A1 (ja) 2018-11-01 2019-09-06 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020090228A1 true JPWO2020090228A1 (ja) 2021-10-14
JP7396295B2 JP7396295B2 (ja) 2023-12-12

Family

ID=70463077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554795A Active JP7396295B2 (ja) 2018-11-01 2019-09-06 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US11631381B2 (ja)
JP (1) JP7396295B2 (ja)
DE (1) DE112019005486T5 (ja)
WO (1) WO2020090228A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021197018A (ja) * 2020-06-17 2021-12-27 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014237A (ja) * 2010-06-29 2012-01-19 Dainippon Printing Co Ltd 情報処理システム及び表示処理プログラム
JP2012027769A (ja) * 2010-07-26 2012-02-09 Seiko Epson Corp インタラクティブホワイトボード装置、画像表示装置、及びキャリブレーション方法
JP2014186104A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 投影制御装置、投影装置、投影システム、投影制御方法及びプログラム
US20170046843A1 (en) * 2015-08-11 2017-02-16 Huawei Technologies Co., Ltd. Method, Apparatus and System for Detecting Location of Laser Point on Screen
JP2018010602A (ja) * 2016-07-15 2018-01-18 株式会社リコー 投影装置、マルチプロジェクションシステム、及びマルチプロジェクションシステムの位置特定方法
JP2018132799A (ja) * 2017-02-13 2018-08-23 Necディスプレイソリューションズ株式会社 電子黒板システム、電子ペン、表示装置及び電子ペン位置検出方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252676A (ja) 2004-03-04 2005-09-15 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
KR20120063791A (ko) * 2010-12-08 2012-06-18 삼성전자주식회사 모바일 프로젝터를 이용한 이미지 제어 방법
CN107301005B (zh) * 2016-04-14 2020-04-07 中强光电股份有限公司 决定触控位置的方法及使用所述方法的触控投影系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014237A (ja) * 2010-06-29 2012-01-19 Dainippon Printing Co Ltd 情報処理システム及び表示処理プログラム
JP2012027769A (ja) * 2010-07-26 2012-02-09 Seiko Epson Corp インタラクティブホワイトボード装置、画像表示装置、及びキャリブレーション方法
JP2014186104A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 投影制御装置、投影装置、投影システム、投影制御方法及びプログラム
US20170046843A1 (en) * 2015-08-11 2017-02-16 Huawei Technologies Co., Ltd. Method, Apparatus and System for Detecting Location of Laser Point on Screen
JP2018010602A (ja) * 2016-07-15 2018-01-18 株式会社リコー 投影装置、マルチプロジェクションシステム、及びマルチプロジェクションシステムの位置特定方法
JP2018132799A (ja) * 2017-02-13 2018-08-23 Necディスプレイソリューションズ株式会社 電子黒板システム、電子ペン、表示装置及び電子ペン位置検出方法

Also Published As

Publication number Publication date
WO2020090228A1 (ja) 2020-05-07
US20210390927A1 (en) 2021-12-16
JP7396295B2 (ja) 2023-12-12
DE112019005486T5 (de) 2021-08-19
US11631381B2 (en) 2023-04-18

Similar Documents

Publication Publication Date Title
JP6275312B1 (ja) 投写装置およびその制御方法、プログラム
US8818027B2 (en) Computing device interface
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
JP2008152622A (ja) ポインティング装置
WO2016002510A1 (ja) 画像処理装置および方法
JP2013522766A (ja) 対話型表示システム
TWI796039B (zh) 互動投影輸入輸出設備
JP7462249B2 (ja) 投影システム、投影装置及び投影方法
JP2005092592A (ja) プロジェクタ並びにプロジェクションシステム
JP2011013396A (ja) プロジェクター、画像投写システムおよび画像投写方法
JP7396295B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2012220602A (ja) 投影装置、制御装置、および制御方法
US11438563B2 (en) Projection adjustment program and projection adjustment method
US11263456B2 (en) Virtual object repositioning versus motion of user and perceived or expected delay
JP2021122078A (ja) 情報処理装置、情報処理方法、及び記録媒体
KR101056388B1 (ko) 포인팅/인터페이스 시스템
JP6439254B2 (ja) 画像投影装置、画像投影装置の制御方法、および画像投影装置の制御プログラム
TWI508543B (zh) 可提高影像處理速度之互動式系統
JP2019114889A (ja) 投影装置および投影装置の較正方法
JP2021061513A (ja) 装置及び方法、プログラム、記憶媒体
JP2005286573A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP7145444B2 (ja) 投影システム、投影調整プログラム及び投影方法
KR101333076B1 (ko) 복수의 영상입력기기 배치를 통한 인터랙티브 스크린 구현 시스템 및 구현 방법, 그 기록매체
JP2019114887A (ja) 投射型画像表示装置およびその制御方法
JP2019197410A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7396295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151