WO2021033575A1 - 情報処理装置および方法、並びに、プログラム - Google Patents

情報処理装置および方法、並びに、プログラム Download PDF

Info

Publication number
WO2021033575A1
WO2021033575A1 PCT/JP2020/030310 JP2020030310W WO2021033575A1 WO 2021033575 A1 WO2021033575 A1 WO 2021033575A1 JP 2020030310 W JP2020030310 W JP 2020030310W WO 2021033575 A1 WO2021033575 A1 WO 2021033575A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
marker
display
terminal device
content
Prior art date
Application number
PCT/JP2020/030310
Other languages
English (en)
French (fr)
Inventor
真秀 林
哲男 池田
英佑 藤縄
龍正 小池
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112020003967.6T priority Critical patent/DE112020003967T5/de
Priority to US17/634,312 priority patent/US11922904B2/en
Publication of WO2021033575A1 publication Critical patent/WO2021033575A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示は、マーカの認識率の低減を抑制することができるようにする情報処理装置および方法、並びに、プログラムに関する。 端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、そのマーカ画像の少なくとも一部を遮蔽しない表示態様で、そのマーカ画像が表示された第1の表示面内で移動するコンテンツ画像の表示を制御し、その表示態様にある第1の表示面上のマーカ画像の特徴点に関する第2の情報を、その第1の表示面を撮像した撮像画像の画像データから取得し、その画像データに基づいて、端末装置の位置と姿勢を検出する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法、並びに、プログラム
 本開示は、情報処理装置および方法、並びに、プログラムに関し、特に、マーカの認識率の低減を抑制することができるようにした情報処理装置および方法、並びに、プログラムに関する。
 従来、実物体の外観を認識し、その実物体の近傍に映像を提示する方法が考えられた(例えば特許文献1参照)。しかしながら、この方法の場合、外観が同一のデバイス同士を識別することは困難である。そこで、識別用画像であるマーカをデバイスに表示させ、そのマーカを認識することにより、各デバイスを識別する方法が考えられた。
特開2015-90524号公報
 しかしながら、マーカだけでなくコンテンツ画像も表示させる場合、表示面においてコンテンツ画像がマーカの特徴点に重畳することで、マーカの認識率が低減するおそれがあった。
 本開示は、このような状況に鑑みてなされたものであり、マーカの認識率の低減を抑制することができるようにするものである。
 本技術の一側面の情報処理装置は、端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御する制御部と、前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する検出部とを備える情報処理装置である。
 本技術の一側面の情報処理方法は、端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御し、前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する情報処理方法である。
 本技術の一側面のプログラムは、コンピュータを、端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御する制御部と、前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する検出部として機能させるプログラムである。
 本技術の一側面の情報処理装置および方法、並びに、プログラムにおいては、端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、そのマーカ画像の少なくとも一部を遮蔽しない表示態様で、そのマーカ画像が表示された第1の表示面内で移動するコンテンツ画像の表示が制御される。
マーカを用いたデバイスの識別の様子の例を説明する図である。 描画制御装置の主な構成例を示すブロック図である。 マーカの例を説明する図である。 コンテンツ画像の位置・サイズを制御する例を説明する図である。 コンテンツ描画制御処理の流れの例を説明するフローチャートである。 コンテンツ画像の透過度を制御する例を説明する図である。 コンテンツ描画制御処理の流れの例を説明するフローチャートである。 コンテンツ画像の移動を制御する例を説明する図である。 コンテンツ描画制御処理の流れの例を説明するフローチャートである。 コンテンツ画像の移動を制御する例を説明する図である。 コンテンツ画像の移動を制御する例を説明する図である。 コンテンツ描画制御処理の流れの例を説明するフローチャートである。 コンテンツ画像の間欠表示の例を説明する図である。 コンテンツ画像の間欠表示の例を説明する図である。 コンテンツ画像の表示時間制御の例を説明する図である。 コンテンツ画像の表示時間制御の例を説明する図である。 コンテンツ画像の表示時間制御の例を説明する図である。 コンテンツ描画制御処理の流れの例を説明するフローチャートである。 全面マーカの例を説明する図である。 外側マーカの例を説明する図である。 半面マーカの例を説明する図である。 移動マーカの例を説明する図である。 複数マーカの例を説明する図である。 マーカ描画制御処理の流れの例を説明するフローチャートである。 情報処理システムの主な構成例を示す図である。 統合端末装置の外観の例を示す図である。 統合端末装置の外観の例を示す図である。 統合端末装置の外観の例を示す図である。 統合端末装置の外観の例を示す図である。 統合端末装置の主な構成例を示すブロック図である。 個別端末装置の主な構成例を示すブロック図である。 描画規則定義部の主な構成例を示すブロック図である。 描画情報生成部の主な構成例を示すブロック図である。 コンテンツ画像・マーカの描画方法設定の様子の例を説明する図である。 システム処理の流れの例を説明するフローチャートである。 統合端末処理の流れの例を説明するフローチャートである。 個別端末処理の流れの例を説明するフローチャートである。 描画方法設定処理の流れの例を説明するフローチャートである。 位置姿勢指示処理の流れの例を説明するフローチャートである。 アプリケーションソフトウエアの例を示す図である。 アプリケーションソフトウエアの例を示す図である。 アプリケーションソフトウエアの例を示す図である。 アプリケーションソフトウエアの例を示す図である。 アプリケーションソフトウエアの例を示す図である。 アプリケーションソフトウエアの例を示す図である。 アプリケーションソフトウエアの例を示す図である。 情報処理システムの主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.マーカを用いたデバイス識別
 2.第1の実施の形態(描画制御装置)
 3.第2の実施の形態(情報処理システム)
 4.アプリケーション例
 5.他の構成例
 6.付記
 <1.マーカを用いたデバイス識別>
  <実物体の認識>
 従来、特許文献1に記載のように、実物体の外観(絵柄等)を認識し、その外観に基づいて実物体を識別し、その実物体の近傍に、その実物体に対応する映像を提示する方法が考えられた。しかしながら、この方法の場合、外観が同一のデバイス同士を識別することは困難である。
  <マーカの利用>
 そこで、識別用画像であるマーカ(マーカ画像とも称する)をデバイスに表示させ、そのマーカを認識することにより、各デバイスを識別する方法が考えられた。例えば、図1においては、所定の領域10内に、表示デバイス11-1と表示デバイス11-2が設置されている。
 表示デバイス11-1のディスプレイには、自転車の画像であるマーカ12-1が表示されている。表示デバイス11-2のディスプレイには、車の画像であるマーカ12-2が表示されている。マーカ12-1は、表示デバイス11-1を識別するための識別用画像である。マーカ12-2は、表示デバイス11-2を識別するための識別用画像である。
 領域10内のマーカを認識する認識デバイス(図示せず)には、予めマーカ12-1およびマーカ12-2が登録されており、マーカ12-1は表示デバイス11-1と関連付けられ、マーカ12-2は表示デバイス11-2と関連付けられている。
 認識デバイスは、表示デバイス11-1のディスプレイに表示された絵柄を検出し、それがマーカ12-1であると認識することにより、そのマーカ12-1を表示している表示デバイスが表示デバイス11-1であると識別し、その位置を把握する。これにより、認識デバイスは、例えば表示デバイス11-1の周辺に表示デバイス11-1用の画像を表示する等、表示デバイス11-1に対する処理を行うことができる。
 同様に、認識デバイスは、表示デバイス11-2のディスプレイに表示された絵柄を検出し、それがマーカ12-2であると認識することにより、そのマーカ12-2を表示している表示デバイスが表示デバイス11-2であると識別し、その位置を把握する。これにより、認識デバイスは、例えば表示デバイス11-2の周辺に表示デバイス11-2用の画像を表示する等、表示デバイス11-2に対する処理を行うことができる。
 以上のようにマーカを用いることにより、デバイスの外観に依存せずに、その識別をより容易に行うことができる。なお、識別用画像であるマーカの絵柄は、認識デバイスが検出可能なものであれば、どのようなものであってもよい。
 ところで、表示デバイスのディスプレイをマーカの表示以外にも使用することが考えられる。例えば、表示デバイスがアプリケーションソフトウエアプログラムを実行することにより、ディスプレイにコンテンツ画像(マーカ以外の任意の画像)を表示させることも考えられる。その場合、例えば、マーカの表示を中止してコンテンツ画像のみを表示させるようにすると、その間、認識デバイスはマーカを認識することができないので、表示デバイスの識別がより困難になるおそれがあった。
 また、例えば、図1の表示デバイス11-3のように、ディスプレイに人型の画像であるマーカ12-3とコンテンツ画像13の両方を表示させると、画面の広さは有限であるため、図1の例のようにマーカ12-3とコンテンツ画像13が重畳してしまう可能性がある。マーカ12-3は、表示デバイス11-3を識別するための識別用画像である。
 その場合に、図1の例のように、コンテンツ画像13を前面にして重畳させると、マーカ12-3の一部または全部を表示することができなくなるので、マーカ12-3の認識率が低減する(すなわち、マーカ12-3の認識に失敗する可能性が高くなる)おそれがあった。つまり、表示デバイス11-3の識別がより困難になるおそれがあった。
 なお、マーカ12-3を前面にして重畳させると、コンテンツ画像13の一部または全部を表示することができなくなるのでアプリケーションの品質が低減するおそれがあった。また、ディスプレイにおけるマーカ12-3とコンテンツ画像13のそれぞれの表示領域を分けて重畳しないようにする方法も考えられるが、その場合、コンテンツ画像13の表示可能領域が制限されるので、アプリケーションの品質が低減するおそれがあった。
 例えば、コンテンツ画像13の表示可能領域が制限されることにより、そのコンテンツ画像13の、表示デバイス11-3のディスプレイ(表示領域)と表示デバイス11-3以外の表示領域との間のシームレスな(継ぎ目無い)移動が困難なるおそれがあった。
  <マーカに基づくコンテンツ表示制御>
 そこで、描画する識別用画像に基づいて、その識別用画像とともに描画するコンテンツ画像の態様を制御する。換言するに、表示面における識別用画像に基づいて、その表示面におけるコンテンツ画像の表示態様を制御するようにする。
 例えば、識別用画像に関する情報およびコンテンツ画像に関する情報を取得し、表示面におけるその識別用画像に基づいて、その表示面におけるそのコンテンツ画像の表示態様を制御するようにする。また、例えば、端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、そのマーカ画像の少なくとも一部を遮蔽しない表示態様で、そのマーカ画像が表示された第1の表示面内で移動するコンテンツ画像の表示を制御し、その表示態様にある第1の表示面上のマーカ画像の特徴点に関する第2の情報を、その第1の表示面を撮像した撮像画像の画像データから取得し、その画像データに基づいて、端末装置の位置と姿勢を検出するようにする。
 例えば、情報処理装置において、識別用画像に関する情報およびコンテンツ画像に関する情報を取得し、表示面におけるその識別用画像に基づいて、その表示面におけるそのコンテンツ画像の表示態様を制御する表示制御部を備えるようにする。また、例えば、情報処理装置において、端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、そのマーカ画像の少なくとも一部を遮蔽しない表示態様で、そのマーカ画像が表示された第1の表示面内で移動するコンテンツ画像の表示を制御する制御部と、その表示態様にある第1の表示面上のマーカ画像の特徴点に関する第2の情報を、その第1の表示面を撮像した撮像画像の画像データから取得し、その画像データに基づいて、端末装置の位置と姿勢を検出する検出部とを備えるようにする。
 例えば、プログラムを実行することにより、コンピュータを、識別用画像に関する情報およびコンテンツ画像に関する情報を取得し、表示面におけるその識別用画像に基づいて、その表示面におけるそのコンテンツ画像の表示態様を制御する表示制御部として機能させるようにする。また、例えば、プログラムを実行することにより、コンピュータを、端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、そのマーカ画像の少なくとも一部を遮蔽しない表示態様で、そのマーカ画像が表示された第1の表示面内で移動するコンテンツ画像の表示を制御する制御部と、その表示態様にある第1の表示面上のマーカ画像の特徴点に関する第2の情報を、その第1の表示面を撮像した撮像画像の画像データから取得し、その画像データに基づいて、端末装置の位置と姿勢を検出する検出部として機能させるようにする。
 このようにすることにより、コンテンツ画像の表示への影響を抑制しながら、マーカの認識率の低減を抑制することができる。したがって、例えば、上述のようなアプリケーションの品質の低減を抑制しながら、マーカの認識率の低減を抑制することができる。
 なお、本明細書において、「表示」には、画像出力のあらゆる態様を含むものとする。例えば、所謂プロジェクタ等による画像の「投影」も、この「表示」に含まれるものとする。また、「表示面」は、画像が表示された領域を示す。例えば、ディスプレイの表示領域も、画像が投影された領域も、この「表示面」に含まれるものとする。
 <2.第1の実施の形態>
  <2-1:描画制御装置>
 図2は、本技術を適用した情報処理装置の一態様である描画制御装置の構成の一例を示すブロック図である。図2に示される描画制御装置100は、表示用画像の描画(すなわち表示用画像の生成)を制御する装置である。特に、描画制御装置100は、その表示用画像に含まれる、識別用画像であるマーカや任意のコンテンツの画像であるコンテンツ画像の描画を制御する。換言するに、描画制御装置100は、そのマーカやコンテンツ画像の表示を制御する表示制御装置である。図2に示されるように描画制御装置100は、描画制御部101を有する。
 描画制御部101は、描画制御装置100に供給されるコンテンツ画像、マーカ、それらの描画方法(表示方法)の指定等を取得する。描画制御部101は、取得した描画方法(表示方法)の指定に基づいて、コンテンツ画像およびマーカの描画を制御する描画制御情報を生成する。つまり、描画制御情報は、指定された描画方法でコンテンツ画像およびマーカを用いて表示用画像を描画(生成)させる制御情報である。換言するに、この描画制御情報は、コンテンツ画像およびマーカを、指定された表示方法で表示させる表示制御情報である。
 そして、描画制御部101は、生成した描画制御情報、コンテンツ画像、およびマーカを出力する。つまり、描画制御部101は、指定された描画方法に基づいて、コンテンツ画像およびマーカの描画を制御する。換言するに、描画制御部101は、指定された表示方法に基づいて、コンテンツ画像およびマーカの表示を制御する。
 図2に示されるように、描画制御部101は、コンテンツ描画制御部111およびマーカ描画制御部112を有する。コンテンツ描画制御部111は、コンテンツ画像の描画(表示)の制御に関する処理を行う。マーカ描画制御部112は、マーカの描画(表示)の制御に関する処理を行う。
 なお、この描画制御部101は、任意の構成を有する。例えば、この処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、この処理部が、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、この処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。
  <2-2:マーカ>
 次に、マーカについて説明する。マーカは、識別用画像であり、任意の絵柄により構成される。図3にマーカの例を示す。図3のAに示されるように、マーカ121は、例えば、自然画像により構成される。図3のBに示されるように、マーカ121は予め解析され、その特徴点が抽出され、マーカ121を認識する認識デバイス(図示せず)に登録される。この特徴点が示す画像の特徴は任意である。また、登録される特徴点の数および種類の数はどちらも任意である。
 図3のBの例の場合、マーカ121の、認識対象物の追跡に利用される特徴点131(図中、四角で示される特徴点)と、認識対象物の検出に利用される特徴点132(図中、丸で示される特徴点)とが抽出され、登録されている。なお、図3のBにおいては、1つの特徴点131にのみ符号を付しているが、全ての四角で示される特徴点が、認識対象物の検出に利用される特徴点131である。また、図3のBにおいては、1つの特徴点132にのみ符号を付しているが、全ての丸で示される特徴点が、認識対象物の追跡に利用される特徴点132である。
 描画制御部101は、表示面におけるこのようなマーカ121の特徴点131および特徴点132の位置に基づいて、コンテンツ画像の描画の態様を制御する。例えば、描画制御部101は、特徴点131および特徴点132の密集度に基づいて、コンテンツ画像の描画の態様を制御する。このようにすることにより、マーカ121の認識に必要な特徴点131や特徴点132の表示を優先させることができ、マーカの認識率の低減を抑制することができる。
  <2-3:コンテンツ画像描画方法>
   <縮小>
 次に、コンテンツ画像の描画制御方法について説明する。最初に、コンテンツ画像の描画サイズを制御する制御方法である「縮小」について説明する。この「縮小」の場合、コンテンツ画像は、マーカ121に重畳されて表示される。例えば、図4のAの場合、マーカ121が表示面140全体に表示され、コンテンツ画像141-1、コンテンツ画像141-2、およびコンテンツ画像141-3がそのマーカ121に重畳されて(マーカ121の前面に)表示されている。以下において、複数のコンテンツ画像141-N(Nは自然数)を互いに区別して説明する必要がない場合、コンテンツ画像141と称する。
 そして、これらのコンテンツ画像141は、それぞれ、本来のサイズ以下のサイズで表示されるように制御される。つまり、コンテンツ画像141は、マーカ121の特徴点131および特徴点132と重畳しないように(つまり、特徴点を避けるように)、表示面140における描画サイズ(表示サイズ)が制御される。
 例えば、コンテンツ描画制御部111は、図4のBのように、表示面140における、マーカ121の特徴点131や特徴点132の位置を特定する。そして、コンテンツ描画制御部111は、その特徴点の位置に基づいて、コンテンツ画像141の描画サイズを、これらの特徴点と重畳しない範囲で最大サイズ(本来のサイズを上限とする)に設定する。
 このように制御することにより、コンテンツ画像141を特徴点131や特徴点132と重畳しないようにマーカ121に重畳させて描画(表示)させることができる。したがって、コンテンツ画像の表示への影響を抑制しながら、マーカの認識率の低減を抑制することができる。また、特徴点の位置に基づいて可能な限り大きなサイズでコンテンツ画像を表示するため、ディスプレイにおけるコンテンツ画像の視認性を保つことができる。
 なお、コンテンツ画像141の最大の描画サイズは、本来のサイズより大きくてもよい。また、コンテンツ画像141の描画位置が可変の場合、その描画位置が、特徴点131や特徴点132の位置に基づいて、特徴点131や特徴点132と重畳しないように(つまり、特徴点を避けるように)設定されるようにしてもよい。例えば、コンテンツ描画制御部111が、表示面140の、特徴点131や特徴点132が存在しない領域(図4のBの例の場合、領域142-1乃至領域142-5)を特定し、そのいずれかの領域にコンテンツ画像141を描画するようにしてもよい。
 さらに、コンテンツ描画制御部111が、コンテンツ画像141の幅Wおよび高さH(図4のC)を、互いに独立に設定することができるようにしてもよい。つまり、コンテンツ画像141のアスペクト比を可変としてもよい。もちろん、コンテンツ画像141のアスペクト比を固定としてもよい。
 また、コンテンツ描画制御部111が、コンテンツ画像141の描画サイズを、特徴点の密集度に基づいて設定するようにしてもよい。例えば、コンテンツ描画制御部111が、特徴点の密集度がより高い領域においては描画サイズをより小さくし、特徴点の密集度がより低い領域においては描画サイズをより大きくするように制御してもよい。
   <コンテンツ描画制御処理の流れ(縮小)>
 次に、「縮小」の場合に実行されるコンテンツ描画制御処理の流れの例を、図5のフローチャートを参照して説明する。
 コンテンツ描画制御処理が開始されると、描画制御装置100の描画制御部101のコンテンツ描画制御部111は、ステップS101において、コンテンツ画像の描画サイズを最小に設定する。
 ステップS102において、コンテンツ描画制御部111は、コンテンツ画像の描画エリア内に、マーカの特徴点が存在するか否かを判定する。存在しないと判定された場合、処理はステップS103に進む。
 ステップS103において、コンテンツ描画制御部111は、コンテンツ画像の描画サイズを拡大する。ステップS103の処理が終了すると処理はステップS102に戻る。つまり、描画エリアと特徴点とが重畳するまで、ステップS102とステップS103の処理が繰り返され、描画サイズが徐々に拡大される。
 そして、ステップS102において描画エリア内に特徴点が存在すると判定された場合、処理はステップS104に進む。ステップS104において、コンテンツ描画制御部111は、コンテンツ画像の描画サイズを現在の設定に決定する。
 ステップS105において、コンテンツ描画制御部111は、コンテンツ画像をステップS104の処理により決定された描画サイズで描画させる描画制御情報を生成し、出力する。
 ステップS105の処理が終了するとコンテンツ描画制御処理が終了する。
 このように各処理を行うことにより、描画制御装置100は、コンテンツ画像141を特徴点131や特徴点132と重畳しないようにマーカ121に重畳させて描画(表示)させることができる。したがって、コンテンツ画像の表示への影響を抑制しながら、マーカの認識率の低減を抑制することができる。
   <透過度>
 次に、コンテンツ画像の透過度を制御する制御方法である「透過度」について説明する。この「透過度」の場合、コンテンツ画像は、所定の透過度で透過した状態でマーカ121に重畳されて表示される。
 例えば、図6のAの場合、マーカ121が表示面140全体に表示され、コンテンツ画像141-11がそのマーカ121に重畳されて(マーカ121の前面に)表示されている。そしてそのコンテンツ画像141-11は、所定の透過度で透過している。このようにすることにより、コンテンツ画像141-11の描画エリア(表示エリア)内の特徴点(コンテンツ画像141-11に重畳されて表示される特徴点)の検出が可能になる。したがって、マーカの認識率の低減を抑制することができる。
 また、コンテンツ描画制御部111が、表示面においてコンテンツ画像に重畳するマーカの特徴点の数(つまりコンテンツ画像の描画エリア内に位置するマーカの特徴点の数)に応じてコンテンツ画像の透過度を制御するようにしてもよい。例えば、コンテンツ描画制御部111は、コンテンツ画像に重畳する特徴点の数が多い程、透過度を高く設定するようにしてもよい。換言するに、コンテンツ描画制御部111は、コンテンツ画像に重畳する特徴点の数が少ない程、透過度を低くするようにしてもよい。
 例えば、図6のBの場合、表示面140において、コンテンツ画像141-12の描画エリアに位置する特徴点131および特徴点132の数が、コンテンツ画像141-13の描画エリアに位置する特徴点131および特徴点132の数よりも多い。したがって、コンテンツ描画制御部111は、コンテンツ画像141-12の透過度を、コンテンツ画像141-13よりも高く設定する。
 このようにすることにより、マーカ121の特徴点がより多数存在する領域では、マーカ121がより見えやすくなる。つまりマーカ121の(より多くの)特徴点をより検出しやすくすることができる。一般的に、特徴点がより多い領域は、特徴点が少ない領域よりも画像識別により有用である(識別し易い領域である)。したがって、上述のように制御することにより、マーカ121の認識率の低減をより抑制することができる。
 換言するに、上述のように制御することにより、マーカ121の特徴点がより少ない領域では、コンテンツ画像141がより見えやすくなる。つまり、マーカ121の認識への有用度の低減に応じて、コンテンツ画像141の視認性が向上するように制御される。したがって、コンテンツ画像141の視認性の低減を抑制しながら、マーカ121の認識率の低減をより抑制することができる。
 なお、コンテンツ描画制御部111が、コンテンツ画像141の透過度を、特徴点の密集度に基づいて設定するようにしてもよい。例えば、コンテンツ描画制御部111が、特徴点の密集度がより高い領域においてはコンテンツ画像141の透過度をより高くし、特徴点の密集度がより低い領域においてはコンテンツ画像141の透過度をより低くするように制御してもよい。
   <コンテンツ描画制御処理の流れ(透過度)>
 次に、「透過度」の場合に実行されるコンテンツ描画制御処理の流れの例を、図7のフローチャートを参照して説明する。
 コンテンツ描画制御処理が開始されると、描画制御装置100の描画制御部101のコンテンツ描画制御部111は、ステップS121において、表示面においてコンテンツ画像に重畳するマーカの特徴点数に応じて、コンテンツ画像の透過度を設定する。例えば、コンテンツ描画制御部111は、コンテンツ画像に重畳する特徴点の数が多い程、透過度を高く設定する。
 ステップS122において、コンテンツ描画制御部111は、コンテンツ画像をステップS121において設定された透過度で描画させる描画制御情報を生成し、出力する。
 ステップS122の処理が終了するとコンテンツ描画制御処理が終了する。
 このように各処理を行うことにより、描画制御装置100は、コンテンツ画像の視認性の低減を抑制しながら、マーカの認識率の低減をより抑制することができる。
   <移動>
 次に、コンテンツ画像の移動を制御する制御方法である「移動」について説明する。この「移動」の場合、コンテンツ画像は、表示面内においてその位置を変えながら表示される。つまり、コンテンツ描画制御部111が、表示面においてコンテンツ画像が移動するように制御する。
 例えば、図8のAの場合、マーカ121が表示面140全体に表示され、コンテンツ画像141-21は、そのマーカ121に重畳されて(マーカ121の前面に)表示されている。そして、コンテンツ描画制御部111は、そのコンテンツ画像141-21を、矢印151に示されるように、コンテンツ画像141-22の位置まで移動させる。このようにすることにより、特定の特徴量が常に隠れる(つまり、検出不可能な状態が継続する)ことを抑制することができる。したがって、例えば、所定期間にわたって複数回特徴点検出を行った場合に検出される特徴点数を、コンテンツ画像141の位置が固定の場合よりも増大させることができる。つまり、その所定期間の特徴点検出結果に基づいてマーカ121の認識を行うことにより、マーカ121の認識率の低減をより抑制することができる。
 また、この移動が、特徴点に基づいて制御されるようにしてもよい。例えば、コンテンツ描画制御部111が、表示面における特徴点の位置に基づいて、コンテンツ画像の移動経路を制御するようにしてもよい。この場合、例えば、コンテンツ描画制御部111は、図8のBに示されるように、特徴点上をコンテンツ画像が通過する場合、そのルートを変更し、特徴点を避けて移動するように制御する。図8のBの例の場合、コンテンツ画像141-23がコンテンツ画像141-24の位置まで移動する間に重畳する特徴点131や特徴点132の数ができるだけ少なくなるように(通過する特徴点の数が低減されるように)、その移動経路(矢印152)が設定される。このようにすることにより、コンテンツ画像141により隠れる(検出不可能となる)特徴点数を低減させることができるので、マーカ121の認識率の低減をより抑制することができる。
 また、例えば、コンテンツ描画制御部111が、表示面においてコンテンツ画像と重畳する特徴点の数に応じて、コンテンツ画像の移動速度を制御するようにしてもよい。この場合、例えば、コンテンツ描画制御部111は、図8のCに示されるように、特徴点がより多い領域においてはコンテンツ画像の移動速度を速くし、特徴点がより少ない領域においてはコンテンツ画像の移動速度を遅くするように制御する。図8のCの例の場合、コンテンツ画像141-25は、コンテンツ画像141-27よりも、特徴点が多い領域を移動する。したがって、コンテンツ描画制御部111は、コンテンツ画像141-25を、コンテンツ画像141-27よりも高速に移動させる。つまり、コンテンツ画像141-27が矢印154で示されるようにコンテンツ画像141-28の位置まで移動する間に、コンテンツ画像141-25は矢印153で示されるように、より遠くのコンテンツ画像141-26の位置まで移動する。このようにすることにより、特徴点上にコンテンツ画像141が描画される時間(コンテンツ画像141が各特徴点に重畳している時間の総和)をより短くすることができる。したがって、より多数の特徴点をより長時間検出可能とすることができるので、マーカ121の認識率の低減をより抑制することができる。
 なお、コンテンツ描画制御部111が、コンテンツ画像141の移動経路や移動速度を、特徴点の密集度に基づいて設定するようにしてもよい。例えば、コンテンツ描画制御部111が、特徴点の密集度がより高い領域をできるだけ通らないようにコンテンツ画像141の移動経路を制御してもよい。換言するに、コンテンツ描画制御部111が、特徴点の密集度がより低い領域をできるだけ通るようにコンテンツ画像141の移動経路を制御してもよい。また、例えば、コンテンツ描画制御部111が、特徴点の密集度がより高い領域においてはコンテンツ画像141の移動速度をより速くし、特徴点の密集度がより低い領域においてはコンテンツ画像141の移動速度をより遅くするように制御してもよい。
   <コンテンツ描画制御処理の流れ(移動)>
 次に、「移動」の場合に実行されるコンテンツ描画制御処理の流れの例を、図9のフローチャートを参照して説明する。
 コンテンツ描画制御処理が開始されると、描画制御装置100の描画制御部101のコンテンツ描画制御部111は、ステップS141において、表示面においてコンテンツ画像が移動するように制御し、表示面における特徴点の位置に基づいてそのコンテンツ画像の移動経路を設定する。例えば、コンテンツ描画制御部111は、コンテンツ画像が移動する間に重畳する特徴点の数ができるだけ少なくなるように移動経路を設定する。
 ステップS142において、コンテンツ描画制御部111は、表示面においてコンテンツ画像が移動中に重畳する特徴点の数に応じて、そのコンテンツ画像の移動速度を設定する。例えば、コンテンツ描画制御部111は、特徴点がより多い領域においてはコンテンツ画像を速く移動させ、特徴点がより少ない領域においてはコンテンツ画像を遅く移動させるように、コンテンツ画像の移動速度を制御する。
 ステップS143において、コンテンツ描画制御部111は、コンテンツ画像がステップS141において設定された移動経路を、ステップS142において設定された移動速度で移動するように、そのコンテンツ画像を描画させる描画制御情報を生成し、出力する。
 ステップS143の処理が終了するとコンテンツ描画制御処理が終了する。
 このように各処理を行うことにより、描画制御装置100は、マーカの認識率の低減をより抑制することができる。
   <組み合わせ>
 なお、上述の「移動」は、上述の「縮小」や「透過度」等の他の制御方法と組み合わせて適用してもよい。つまり、コンテンツ描画制御部111は、コンテンツ画像の移動に加えて、さらに、コンテンツ画像のサイズおよび透過度の内、少なくともいずれか一方を制御するようにしてもよい。
    <縮小して移動>
 例えば、コンテンツ描画制御部111がコンテンツ画像の描画を制御し、極力コンテンツ画像が特徴点と重畳しないように、その描画サイズを縮小して移動させてもよい。図10のAの例の場合、コンテンツ描画制御部111は、コンテンツ画像141-31を、その描画サイズを縮小させながら、矢印161のように、コンテンツ画像141-32の位置に移動させている。このように制御することにより、描画サイズを変えずに移動させる場合よりも、コンテンツ画像と重畳する(すなわち、検出が困難になる)特徴点の数を低減させることができる。したがって、マーカ121の認識率の低減をより抑制することができる。
 なお、コンテンツ描画制御部111は、コンテンツ画像141-33を、その描画サイズを変えずに、矢印162のように、コンテンツ画像141-34の位置に移動させている。特徴点と重畳しない場合、コンテンツ描画制御部111は、このように描画サイズを変えずに移動させることもできる。このようにすることにより、不要なコンテンツ画像の視認性の低減を抑制することができる。
    <縮小しつつ避けて移動>
 例えば、コンテンツ描画制御部111がコンテンツ画像の描画を制御し、特徴点を避けるようにコンテンツ画像の移動経路を設定(更新)し、さらに極力コンテンツ画像が特徴点と重畳しないようにその描画サイズを縮小して移動させてもよい。図10のBの例の場合、コンテンツ描画制御部111は、極力特徴点と重畳しないように、コンテンツ画像141-35を、その描画サイズを縮小させながら、矢印163で示されるような経路でコンテンツ画像141-36の位置に移動させている。このように制御することにより、描画サイズを変えずに移動経路の設定を行う場合よりも、コンテンツ画像に重畳する(すなわち、検出が困難になる)特徴点の数を低減させることができる。したがって、マーカ121の認識率の低減をより抑制することができる。
    <縮小しつつ加速して移動>
 例えば、コンテンツ描画制御部111がコンテンツ画像の描画を制御し、コンテンツ画像が特徴点上を通過する際はその移動速度を上げて素早く通過させ、さらに極力コンテンツ画像が特徴点と重畳しないようにその描画サイズを縮小して移動させてもよい。図10のCの例の場合、コンテンツ描画制御部111は、コンテンツ画像141-37を、矢印164に示されるように高速に、描画サイズを変えずに、コンテンツ画像141-38の位置まで移動させている。また、コンテンツ描画制御部111は、コンテンツ画像141-39を、矢印165に示されるように低速に、描画サイズを縮小して、コンテンツ画像141-40の位置まで移動させている。
 もちろん、コンテンツ描画制御部111は、コンテンツ画像141を、高速に、かつ、描画サイズを縮小して移動させることもできる。このように制御することにより、描画サイズを変えずに移動経路の設定を行う場合よりも、コンテンツ画像に重畳する(すなわち、検出が困難になる)特徴点の数を低減させることができる。したがって、マーカ121の認識率の低減をより抑制することができる。
    <透過して移動>
 例えば、コンテンツ描画制御部111がコンテンツ画像の描画を制御し、そのコンテンツ画像を透過させて移動させてもよい。図11のAの例の場合、コンテンツ描画制御部111は、コンテンツ画像141-41を透過させながら、矢印171のように、コンテンツ画像141-42の位置に移動させている。このように制御することにより、透過させずに移動させる場合よりも、コンテンツ画像と重畳する特徴点をより検出しやすくすることができる。したがって、マーカ121の認識率の低減をより抑制することができる。
 なお、コンテンツ描画制御部111は、コンテンツ画像141-43を、透過させずに、矢印172のように、コンテンツ画像141-44の位置に移動させている。特徴点と重畳しない場合、コンテンツ描画制御部111は、このように透過させずに移動させることもできる。このようにすることにより、不要なコンテンツ画像の視認性の低減を抑制することができる。
    <透過しつつ避けて移動>
 例えば、コンテンツ描画制御部111がコンテンツ画像の描画を制御し、特徴点を避けるようにコンテンツ画像の移動経路を設定(更新)し、さらにコンテンツ画像と重畳する特徴点数が多くなる程その透過度を高くしてもよい。図11のBの例の場合、コンテンツ描画制御部111は、コンテンツ画像141-45を、重畳する特徴点数に応じて透過させながら、矢印173で示されるような経路でコンテンツ画像141-36の位置に移動させている。このように制御することにより、コンテンツ画像と重畳する特徴点数の増大を抑制しながら、それでもなおコンテンツ画像と重畳する特徴点をより検出しやすくすることができる。したがって、マーカ121の認識率の低減をより抑制することができる。
    <透過しつつ加速して移動>
 例えば、コンテンツ描画制御部111がコンテンツ画像の描画を制御し、コンテンツ画像が特徴点上を通過する際はその移動速度を上げて素早く通過させ、さらにコンテンツ画像と重畳する特徴点数が多くなる程その透過度を高くしてもよい。図11のCの例の場合、コンテンツ描画制御部111は、コンテンツ画像141-47を、矢印174に示されるように高速に、かつ透過させずに、コンテンツ画像141-48の位置まで移動させている。また、コンテンツ描画制御部111は、コンテンツ画像141-49を、矢印175に示されるように低速に、かつ透過させて、コンテンツ画像141-50の位置まで移動させている。
 もちろん、コンテンツ描画制御部111は、コンテンツ画像141を、高速に、かつ、透過させて移動させることもできる。このように制御することにより、特徴点がコンテンツ画像に重畳する(すなわち、検出が困難になる)時間を低減させることができる。また、コンテンツ画像と重畳する特徴点をより検出しやすくすることができる。したがって、マーカ121の認識率の低減をより抑制することができる。
    <その他の組み合わせ>
 なお、「縮小」と「透過」とを組み合わせるようにしてもよい。また、「縮小」と「透過」と「移動」とを組み合わせるようにしてもよい。また、移動経路の設定と、移動速度の設定とを組み合わせるようにしてもよい。さらに、移動経路および移動速度の設定と、その他の制御(「縮小」や「透過」)と組み合わせるようにしてもよい。
 また、コンテンツ描画制御部111が、これらの制御を、特徴点の密集度に基づいて設定するようにしてもよい。
   <コンテンツ描画制御処理の流れ(組み合わせ)>
 次に、この「組み合わせ」の場合に実行されるコンテンツ描画制御処理の流れの例を、図12のフローチャートを参照して説明する。
 コンテンツ描画制御処理が開始されると、描画制御装置100の描画制御部101のコンテンツ描画制御部111は、ステップS161において、コンテンツ画像を移動可能であるか否かを判定する。移動可能であると判定された場合、処理はステップS162に進む。
 ステップS162において、コンテンツ描画制御部111は、コンテンツ画像の移動経路を変更可能であるか否かを判定する。変更可能であると判定された場合、処理はステップS163に進む。
 ステップS163において、コンテンツ描画制御部111は、特徴点の位置に応じてコンテンツ画像の移動経路を設定する。ステップS163の処理が終了すると処理はステップS164に進む。また、ステップS162においてコンテンツ画像の移動経路の変更が不可能であると判定された場合、処理はステップS164に進む。
 ステップS164において、コンテンツ描画制御部111は、コンテンツ画像の移動速度を変更可能であるか否かを判定する。変更可能であると判定された場合、処理はステップS165に進む。
 ステップS165において、コンテンツ描画制御部111は、コンテンツ画像と重畳する特徴点の数に応じてコンテンツ画像の移動速度を設定する。ステップS165の処理が終了すると処理はステップS166に進む。また、ステップS164においてコンテンツ画像の移動速度の変更が不可能であると判定された場合、処理はステップS166に進む。さらに、ステップS161において、コンテンツ画像の移動が不可能であると判定された場合、処理はステップS166に進む。
 ステップS166において、コンテンツ描画制御部111は、コンテンツ画像の描画サイズを変更可能であるか否かを判定する。変更可能であると判定された場合、処理はステップS167に進む。
 ステップS167において、コンテンツ描画制御部111は、「縮小」制御用のコンテンツ描画制御処理(図5)を行う。コンテンツ描画制御処理が終了すると処理はステップS168に進む。また、ステップS166において、コンテンツ画像の描画サイズを変更不可能であると判定された場合、処理はステップS168に進む。
 ステップS168において、コンテンツ描画制御部111は、コンテンツ画像の透過度を変更可能であるか否かを判定する。変更可能であると判定された場合、処理はステップS169に進む。
 ステップS169において、コンテンツ描画制御部111は、「透過度」制御用のコンテンツ描画制御処理(図7)を行う。コンテンツ描画制御処理が終了すると処理はステップS170に進む。また、ステップS168において、コンテンツ画像の透過度を変更不可能であると判定された場合、処理はステップS170に進む。
 ステップS170において、コンテンツ描画制御部111は、これらの制御の通りにコンテンツ画像を描画させる描画制御情報を生成し、出力する。
 ステップS170の処理が終了するとコンテンツ描画制御処理が終了する。
 このように各処理を行うことにより、描画制御装置100は、マーカの認識率の低減をより抑制することができる。
   <時分割>
 次に、コンテンツ画像を間欠表示する制御方法である「時分割」について説明する。この「時分割」の場合、コンテンツ画像とマーカが交互に表示される。つまり、コンテンツ描画制御部111は、コンテンツ画像を、間欠表示させるように制御する。間欠表示とは、表示と非表示を交互に繰り返す表示方法(断続的に表示する方法)である。さらに、コンテンツ描画制御部111は、その間欠表示におけるコンテンツ画像が非表示の間、コンテンツ画像と重畳していない状態のマーカを表示させるように制御する。このように制御することにより、コンテンツ画像と重畳していない状態のマーカが間欠表示される。つまり、コンテンツ画像の影響を受けずにマーカの特徴点を検出可能な期間が生じるので、描画制御装置100は、マーカの認識率の低減をより抑制することができる。
 このような間欠表示においてコンテンツ画像を表示させる際に、コンテンツ描画制御部111は、コンテンツ画像のみを表示させるように制御してもよい。つまり、この場合、コンテンツ画像とマーカの両方が間欠表示され、例えば、図13に示されるように、コンテンツ画像141とマーカ121のいずれか一方が表示されるように制御される。図13の例の場合、表示面140の表示は、左→中央→右のように変化する。つまり、表示面140には、コンテンツ画像141とマーカ121とが、互いに重畳されていない状態で交互に表示される。
 また、コンテンツ画像を表示させる際に、コンテンツ描画制御部111は、コンテンツ画像とマーカを重畳させて表示させるように制御してもよい。つまり、この場合、マーカは常時表示され、コンテンツ画像141が間欠表示される。したがって、図14の中央のように、コンテンツ画像141は、マーカ121の前面に重畳されて表示される。
 また、その際、コンテンツ描画制御部111は、ユーザの視線、ユーザの操作、またはマーカ121の認識状況等、表示面140の周辺の状況に応じて、コンテンツ画像の表示時間を制御するようにしてもよい。
 例えば、図15のように、ユーザの視線方向(矢印181)を検出し、図15のAのようにユーザが表示面140を見ている場合はコンテンツ画像141の描画を優先させ、コンテンツ描画制御部111がコンテンツ画像141の描画時間(表示時間)を長くするように制御する。また、図15のBのようにユーザの視線が表示面140から外れた場合はマーカ121の認識率向上を優先させ、コンテンツ描画制御部111がコンテンツ画像141の描画時間(表示時間)を短くするように制御する。このような制御により、コンテンツ描画制御部111は、コンテンツ画像の視認性の低減を抑制しながら、マーカの認識率の低減を抑制することができる。
 また例えば、図16のAのようにユーザの手182が表示面140に対する操作を行っている場合(例えばユーザの手182が表示面140に接している場合)はコンテンツを操作していると考えられるため、コンテンツ画像の操作性を優先させ、コンテンツ描画制御部111がコンテンツ画像141の描画時間(表示時間)を長くするように制御する。また、図16のBのようにユーザの手182が表示面140に対する操作を行っていない場合(例えばユーザの手182が表示面140から離れている場合)はマーカ121の認識率向上を優先させ、コンテンツ描画制御部111がコンテンツ画像141の描画時間(表示時間)を短くするように制御する。このような制御により、コンテンツ描画制御部111は、コンテンツ画像の操作性の低減を抑制しながら、マーカの認識率の低減を抑制することができる。
 さらに例えば、図17のAのように認識デバイス183がマーカ121を認識している場合はコンテンツ画像表示を優先させ、コンテンツ描画制御部111がコンテンツ画像141の描画時間(表示時間)を長くするように制御する。また、図17のBのように認識デバイス183がマーカ121を認識できていない場合はマーカ121を認識させることを優先させ、コンテンツ描画制御部111がコンテンツ画像141の描画時間(表示時間)を短くするように制御する。このような制御により、コンテンツ描画制御部111は、コンテンツ画像の視認性の低減を抑制しながら、マーカの認識率の低減を抑制することができる。
   <コンテンツ描画制御処理の流れ(時分割)>
 次に、「時分割」の場合に実行されるコンテンツ描画制御処理の流れの例を、図18のフローチャートを参照して説明する。
 コンテンツ描画制御処理が開始されると、描画制御装置100の描画制御部101のコンテンツ描画制御部111は、ステップS191において、表示面周辺の状況について情報を収集する。
 ステップS192において、コンテンツ描画制御部111は、ステップS191において収集した情報に基づいて表示面周辺の状況を把握し、その状況に応じて、間欠表示におけるコンテンツ画像の描画時間(表示時間)を設定する。
 ステップS193において、コンテンツ描画制御部111は、ステップS192において設定した描画時間でコンテンツ画像を間欠表示させるようにコンテンツ画像を描画させる描画制御情報を生成し、出力する。
 ステップS193の処理が終了するとコンテンツ描画制御処理が終了する。
 このように各処理を行うことにより、描画制御装置100は、マーカの認識率の低減をより抑制することができる。
  <2-4:マーカ描画方法>
 次にマーカについて説明する。マーカは識別用画像であればどのようなものであってもよい。
   <全面マーカ>
 例えば図19のAに示されるような表示面140全体に描画(表示)される全面マーカ121-1を適用してもよい。この全面マーカ121-1の場合、コンテンツ画像141は、例えば、図19のBのように、全面マーカ121-1の一部の前面に重畳されるように描画される(コンテンツ画像141-51乃至コンテンツ画像141-53)。なお、この際、全面マーカ121-1の特徴点が少ないところにコンテンツ画像141を描画するように制御することで、コンテンツ画像141との重畳により認識不可能となる特徴点の数の増大を抑制することができる。したがって、マーカの認識率の低減を抑制することができる。
   <外側マーカ>
 また、例えば図20のAに示されるような中央の所定の範囲の外側にのみ特徴点を有する外側マーカ121-2を適用してもよい。この外側マーカ121-2は、点線191で示される内側の所定の範囲外にのみ、マーカ認識に利用される有効な特徴点を有している。つまり、この点線191で囲まれた領域の外側の特徴点のみが認識対象として認識デバイスに登録される。換言するに、外側マーカ121-2は、この点線191で囲まれた領域の外側の部分がマーカとして登録される。
 そして、この外側マーカ121-2は、表示面140全体に描画される。つまり、この場合、認識デバイスは、表示面140の、点線191で囲まれた領域の外側に存在する特徴点を検出し、その特徴点に基づいて外側マーカ121-2を認識する。
 なお、点線191は説明のために付したものであり、実際に描画される必要はない(もちろん、外側マーカ121-2の絵柄に、点線191のような領域の境界を示す絵柄が含まれていてもよい)。また、点線191で囲まれた領域内は、特徴点が不要であるので、絵柄が無くてもよい。例えば、何も描画されなくてもよいし、単色の塗りつぶしであってもよいし、他の画像が描画されるようにしてもよい。
 この外側マーカ121-2の場合、コンテンツ画像141は、例えば、図20のBのように、表示面140の点線191で囲まれた領域内に描画される。このように制御することにより、外側マーカ121-2(の特徴点)と、コンテンツ画像141とを重畳させずに描画することができる。したがって、マーカの認識率の低減を抑制することができる。
   <半面マーカ>
 また、例えば図21のAに示されるような表示面140の半分のサイズの半面マーカ121-3を適用してもよい。この半面マーカ121-3は、図21のBに示されるように、表示面140の半分の領域に描画される。そしてコンテンツ画像141は、表示面140の他の半分の領域(つまり半面マーカ121-3が描画されていない領域)に描画される。このように制御することにより、半面マーカ121-3とコンテンツ画像141とを重畳させずに描画することができる。したがって、マーカの認識率の低減を抑制することができる。
   <移動マーカ>
 また、例えば図22のAに示されるような表示面140内を移動可能な移動マーカ121-4を適用してもよい。移動マーカ121-4は、その描画サイズが表示面140よりも小さく、全面マーカ121-1の場合よりも、コンテンツ画像141と重畳する範囲を低減させることができる。したがって、マーカの認識率の低減をより抑制することができる。
 さらに、移動マーカ121-4は、表示面140においてその描画位置を変更することができる。例えば、図22のBに示されるように、コンテンツ画像141の描画位置が点線矢印192のように表示面140の上側に移動すると、移動マーカ121-4の描画位置が矢印193のように表示面14の下側に移動する。つまり、移動マーカ121-4は、移動マーカ121-4とコンテンツ画像141とが重畳しない位置(または重畳する範囲がより狭くなる位置)に描画される。
 このように制御することにより、移動マーカ121-4とコンテンツ画像141との重畳する範囲の増大を抑制することができる。したがって、マーカの認識率の低減を抑制することができる。
   <複数マーカ>
 また、例えば図23のAに示されるような表示面140内に複数のマーカを描画する複数マーカ121-5を適用してもよい。図23のAの例の場合、表示面140には、マーカ121-5-1とマーカ121-5-2が表示されている。つまり、この場合、複数マーカ121-5は、マーカ121-5-1およびマーカ121-5-2の2つのマーカにより構成される。コンテンツ画像141-61は、この複数マーカ121-5(つまり、マーカ121-5-1若しくはマーカ121-5-2、またはその両方)の前面に重畳するように描画される。
 マーカ121-5-1およびマーカ121-5-2は、互いに独立した識別用画像である。マーカ121-5-1およびマーカ121-5-2は、互いに同一の情報(例えば表示デバイス)と関連付けられている。つまり、認識デバイスは、マーカ121-5-1およびマーカ121-5-2のいずれか一方を認識することができれば、これらに関連付けられた情報(例えば表示デバイス)を認識することができる。
 同様に、図23のBの例の場合、表示面140には、マーカ121-5-1乃至マーカ121-5-6が表示されている。つまり、この場合、複数マーカ121-5は、マーカ121-5-1乃至マーカ121-5-6の6つのマーカにより構成される。コンテンツ画像141-62およびコンテンツ画像141-63は、この複数マーカ121-5(つまり、マーカ121-5-1乃至マーカ121-5-6の少なくともいずれか1つ)の前面に重畳するように描画される。
 マーカ121-5-1乃至マーカ121-5-6は、互いに独立した識別用画像である。マーカ121-5-1乃至マーカ121-5-6は、互いに同一の情報(例えば表示デバイス)と関連付けられている。つまり、認識デバイスは、マーカ121-5-1乃至マーカ121-5-6の少なくともいずれか1つを認識することができれば、これらに関連付けられた情報(例えば表示デバイス)を認識することができる。
 複数マーカ121-5を構成する各マーカの絵柄は任意である。各マーカの絵柄が互いに同一であってもよいし、他と異なる絵柄のマーカが含まれていてもよいし、全てのマーカが互いに異なる絵柄を有するようにしてもよい。例えば、複数マーカ121-5が、認識に適した外光の輝度が互いに異なるマーカにより構成されるようにしてもよい。このようにすることにより、多様な外交環境下での使用に適応することができる。つまり、多様な外交環境下において、マーカの認識率の低減を抑制することができる。
   <マーカ描画制御処理の流れ>
 描画制御装置100の描画制御部101のマーカ描画制御部112は、上述したマーカの描画を制御する。その際、マーカ描画制御部112が、これらのマーカの内の少なくとも2種類以上のマーカの描画制御に対応し、指定されたマーカの描画を制御するようにしてもよい。その場合に、マーカ描画制御部112により実行されるマーカ描画制御処理の流れの例を、図24のフローチャートを参照して説明する。
 マーカ描画制御処理が開始されると、マーカ描画制御部112は、ステップS201において、描画方法(表示方法)の指定を取得し、その指定された描画方法に対応するマーカを選択する。
 ステップS202において、マーカ描画制御部112は、ステップS201において選択したマーカの描画位置を設定する。
 ステップS203において、マーカ描画制御部112は、ステップS202において設定した描画位置に、ステップS201において選択したマーカを描画させる描画制御情報を生成し、出力する。
 ステップS203の処理が終了するとマーカ描画制御処理が終了する。
 このように各処理を行うことにより、描画制御装置100は、多様なマーカを描画(表示)させることができる。したがって、より多様な状況において、マーカの認識率の低減を抑制することができる。
 <3.第2の実施の形態>
  <3-1:情報処理システム>
 図25は、本技術を適用した情報処理システムの一態様である情報処理システム300の構成の一例を示すブロック図である。図25に示されるように、情報処理システム300は、統合端末装置301、並びに、個別端末装置302-1乃至個別端末装置302-3を有する。以下において、個別端末装置302-1乃至個別端末装置302-3を互いに区別して説明する必要が無い場合、個別端末装置302と称する。
 情報処理システム300は、統合端末装置301が個別端末装置302にコンテンツ画像を表示させる等の、所定のサービス(アプリケーション)を提供するシステムである。例えば、統合端末装置301は、各個別端末装置302に対して、そのデバイス、その位置や動き、タイミング、状況等に応じたコンテンツ画像を表示させる。また、例えば、統合端末装置301は、各個別端末装置302からの要求に応じて、コンテンツ画像を表示する等の任意の処理を行う。このようなサービス(アプリケーション)を実現するために、統合端末装置301は、マーカを用いて各個別端末装置302を識別する。このマーカを用いたデバイスの識別に本技術が適用される。
 統合端末装置301は、本技術を適用した情報処理装置(例えば上述した認識デバイス)の一態様であり、例えば、マーカを用いて個別端末装置302を認識(識別)し、個別端末装置302に対してコンテンツ画像を描画(表示)させる等の処理を行う。例えば、統合端末装置301は、カメラ等のような、個別端末装置302が描画するマーカを検出する機能を有する。また、統合端末装置301は、例えばCPU、RAM、ROM等のような、検出したマーカを認識し、個別端末装置302を認識(識別する)機能や、個別端末装置302(またはマーカ)の位置や姿勢を認識する機能や、認識した個別端末装置302に対してコンテンツ画像を描画させる機能等を有する。さらに、統合端末装置301は、例えばモニタやプロジェクタ等の画像表示機能を有するようにしてもよい。
 個別端末装置302は、本技術を適用した情報処理装置(例えば上述した表示デバイス)の一態様であり、例えば、マーカを描画(表示)して統合端末装置301に自身を認識(識別)させたり、統合端末装置301の指示に従ってコンテンツ画像を描画(表示)したりする。例えば、個別端末装置302は、モニタやプロジェクタのような、マーカやコンテンツ画像を描画(表示(投影も含む))する機能を有する。また、個別端末装置302は、例えばCPU、RAM、ROM等のような、その描画を制御する機能や、統合端末装置301の指示に従ってコンテンツ画像を描画させる機能等を有する。
 また、統合端末装置301および各個別端末装置302は、ネットワーク303を介して互いに通信可能に接続される。ネットワーク303は、例えば、インターネットやローカルエリアネットワーク等の任意のネットワークである。ネットワーク303は、有線若しくは無線またはその両方により構成される1つ若しくは複数のネットワークよりなる。統合端末装置301および各個別端末装置302は、例えば、有線通信若しくは無線通信、またはその両方によりこのネットワーク303に接続される。
 統合端末装置301は、このネットワーク303を介して各個別端末装置302と通信を行う機能を有し、この通信を介して例えば統合端末装置301に関する情報を提供したり、コンテンツ画像の表示を指示したりする。個別端末装置302は、このネットワーク303を介して統合端末装置301と通信を行う機能を有し、この通信を介して例えば個別端末装置302に関する情報を提供したり、コンテンツ画像の表示を指示したりする。なお、個別端末装置302同士が通信可能に接続されていてもよい。
 なお、図25に示される構成は一例であり、情報処理システム300の構成は、この例に限定されない。例えば、統合端末装置301の数は任意であり、情報処理システム300が複数の統合端末装置301を有するようにしてもよい。また、個別端末装置302の数も任意であり、2台以下であってもよいし、4台以上であってもよい。さらに、ネットワーク303も複数存在してもよい。
  <3-2:統合端末装置>
   <外観例1>
 図26は、統合端末装置301の外観の例を示す図である。図26の例の場合、統合端末装置301(統合端末装置301Aと称する)は、プロジェクション型のデバイスであり、天面311を有するテーブル312、入力部313、および出力部314を有する。
 出力部314は、各種の情報をテーブル312の天面311上に表示する。出力部314は、投影部(プロジェクタ)を含み得る。例えば、図26に示されるように、出力部314は、テーブル312の上方に、天井から吊り下げられた状態でテーブル312から所定の距離離れた位置に配置され得る。この場合、出力部314は、テーブル312の天面311に情報を投影し得る。例えば、出力部314は、ペンダントライトやデスクスタンドライトであってもよい。このようにプロジェクション型の統合端末装置301Aは、出力部314が、上方からテーブル312の天面311に情報を表示する。また、以下では、テーブル312の天面311をスクリーン311とも称する。スクリーン311は、出力部314による投影の対象となる面(表示面)を含む。
 例えば、出力部314は、仮想的な表示オブジェクトを表示する。表示オブジェクトは、例えば、ウィンドウやUI(User Interface)オブジェクトなどである。UIオブジェクトは、ユーザによる各種の操作(選択や入力等)を受け付ける所定の画像(静止画像や動画像)である。例えば、UIオブジェクトは、GUI(Graphical User Interface)部品(例えば、ボタン、スライダ、チェックボックス、テキストボックス、ソフトウェアキーボード等)を含む画像である。また、UIオブジェクトは、ウィンドウ内に配置され得る。
 さらに、出力部314は、例えばスピーカ等の音声出力装置を含み得る。例えば、出力部314は、その音声出力装置を用いて音を出力する。
 入力部313は、例えば、1つのレンズでテーブル312の天面311を撮像するカメラを含む。または、入力部313は、2つのレンズでテーブル312を撮像することにより、奥行き方向の情報を記録することが可能なステレオカメラを含み得る。ステレオカメラとしては、例えば可視光カメラや、赤外線等の不可視光を検出可能な不可視光カメラ等が用いられ得る。また、入力部313は、ユーザが発する音声や、周囲の環境音を収音するマイクロホン等の音声入力装置をさらに含み得る。
 このようなカメラが入力部313として用いられる場合、統合端末装置301Aは、そのカメラが撮像した画像(撮像画像)を解析することにより、スクリーン311上に位置する物体(例えば個別端末装置302、ユーザの手、または個別端末装置302が描画する画像(例えばマーカやコンテンツ画像)等)の位置を検出することができる。また、入力部313としてステレオカメラが用いられる場合、統合端末装置301Aは、当該ステレオカメラによる撮像画像を解析することにより、スクリーン311上に位置する物体の位置情報に加えて、その物体の深度情報を取得することができる。統合端末装置301Aは、その深度情報に基づいて、物体同士の接触や近接、または、物体とスクリーン311との接触や近接等を検出することができる。
 なお、入力部313は、ステレオカメラの代わりに、デプスセンサ(例えばtime of flight方式のセンサや、structured light方式のセンサ等)を有してもよい。この場合、デプスセンサが、スクリーン311上に位置する物体の深度情報を取得することができる。
 統合端末装置301Aは、入力部313により撮像される画像に基づいて、スクリーン311上における操作体(例えばユーザの手や、スタイラス等の各種の操作部材など)の位置を検出し、そして、検出した操作体の位置に基づいて各種の情報入力を受け付ける。つまり、ユーザは、スクリーン311上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、ウィンドウやUIオブジェクトに対するユーザの手の接触が検出されることにより、当該ウィンドウやUIオブジェクトに対する操作入力が行われることになる。
 また、入力部313に含まれるカメラは、テーブル312の天面311を撮影するだけでなく、テーブル312の周囲に存在するユーザを撮影してもよい。この場合、統合端末装置301Aは、入力部313による撮像画像に基づいて、テーブル312の周囲におけるユーザの位置を検出することができる。また、統合端末装置301Aは、その撮像画像に基づいて、個々のユーザを特定し得る身体的な特徴(顔や体の大きさ等)を抽出することにより、ユーザの個人認識を行ってもよい。
 また、他の方法によりユーザの操作入力が実行されてもよい。例えば、入力部313は、テーブル312の天面311(スクリーン311)上にタッチパネルとして設置されてもよく、そして、ユーザの操作入力は、そのタッチパネルに対するユーザの指等の接触によって検出されてもよい。また、入力部313に含まれるカメラに対するジェスチャによってユーザの操作入力が検出されてもよい。
   <外観例2>
 図27は、統合端末装置301の外観の他の例を示す図である。図27の例の場合、統合端末装置301(統合端末装置301Bと称する)は、リアプロジェクション型のデバイスであり、天板321を有するテーブル322、入力部323、および出力部324を有する。
 出力部324は、テーブル322の下方に配置される。出力部324は、例えばプロジェクタであり、このテーブル322の天板321に向かって下側から情報を投影する。例えば、テーブル322の天板321は、ガラス板や透明プラスチック板等の透明な材質で形成される。そして、出力部324によって投影された情報は、(この天板321を透過して)テーブル322の天面(スクリーン321とも称する)に表示される。リアプロジェクション型の統合端末装置301Bは、このようにテーブル322の下から情報を出力部324に投影させることによりスクリーン321に情報を表示する。
 また、スクリーン321(表示面)に入力部323が設けられる。入力部323は、例えばタッチパネルによって構成される。この場合、スクリーン321への操作体の接触がこのタッチパネルによって検出されることにより、ユーザによる操作入力が行われるただし、かかる例に限定されず、図26に示した例(統合端末装置301A)と同様に、テーブル322の下方にテーブル322と離隔して入力部323が設置されてもよい。この場合、入力部323はカメラを含み、そして、テーブル322の天板321越しに、スクリーン321上に位置する操作体をこのカメラは撮影し得る。そして、この撮影画像に基づいてこの操作体の位置が検出され得る。
   <外観例3>
 図28は、統合端末装置301の外観の例を示す図である。図28の例の場合、統合端末装置301(統合端末装置301Cと称する)は、天面にタッチパネル式ディスプレイ331を有するテーブル332を有する。
 このタッチパネル式ディスプレイ331は、その表示面を上方に向けた状態でテーブル332の天面に設置されている。また、タッチパネル式ディスプレイ331は、ディスプレイと、そのディスプレイ上に戴置されたタッチパネルを有する。タッチパネル式ディスプレイ331は、そのディスプレイの表示画面に各種の情報を表示し、そして、そのディスプレイの表示画面に対する操作体の接触または近接をタッチパネルによって検出することにより、ユーザによる操作入力を受け付ける。つまり、タッチパネル式ディスプレイ331は、入力部333であるタッチパネルと、出力部334であるディスプレイとが一体的に構成されるデバイスである。
 なお、統合端末装置301Cの場合も、図26に示した統合端末装置301Aの場合と同様に、出力部334の上方にカメラ(入力部333の一例)が設置されるようにしてもよい。この場合、そのカメラによる撮影画像に基づいて、テーブル332の周囲に位置する個々のユーザの位置等が検出され得る。
   <外観例4>
 図29は、統合端末装置301の外観の例を示す図である。図29の例の場合、統合端末装置301(統合端末装置301Dと称する)は、例えばHMD(Head Mounted Display)等の頭部装着型デバイス(例えば眼鏡型デバイスなど)として構成され得る。その頭部装着型デバイスは、入力部(図示省略)および出力部(図示省略)を含み得る。その出力部は、透過型の表示装置として構成されてもよい。この場合、その出力部は、頭部装着型デバイスに含まれる右目用レンズおよび左目用レンズの各々(または、ゴーグル型レンズ)の少なくとも一部の領域を表示面(スクリーン341)として映像を投影し得る。
 または、この出力部は、非透過型の表示装置として構成されてもよい。例えば、出力部は、LCD(Liquid Crystal Display)、または、OLED(Organic Light Emitting Diode)等を含んで構成され得る。この場合、入力部に含まれるカメラは、その頭部装着型デバイスを装着するユーザの前方の映像を撮影し、そして、出力部は、撮影された映像を逐次表示してもよい。これにより、ユーザは、出力部に表示される映像を介して、ユーザの前方の風景を見ることができる。
 なお、ユーザに関連する操作体とは、そのユーザの手であってもよいし、または、そのユーザが使用中の操作用デバイス(例えばスタイラス、マウス、キーボード、または、タッチパネルなど)であってもよい。また、本明細書および図面において「手」という記載は、主として手(hand)自体を意味する表現として用いられるが、かかる例に限定されず、手指、腕、または、これらの部位のうちの2以上(例えば上肢など)を意味する表現として用いられる場合がある。
 なお、統合端末装置301の外観は任意であり、上述の各例に限定されない。
   <構成例>
 図30は、統合端末装置301の主な構成例を示すブロック図である。図30に示されるように、統合端末装置301は、入力部351、グラフィクス表示処理部352、出力部353、通信部354、および出力情報処理部355を有する。
 入力部351は、任意の入力デバイス(検出デバイス)を有し、その入力デバイスを介して、任意の情報の入力を受け付ける。この入力デバイスは、例えば、可視光カメラや赤外線カメラ等の、2次元の映像を取得することが可能な画像センサであってもよい。また、入力デバイスは、例えば、ステレオカメラ、time of flight方式やstructured light方式のセンサ等の、奥行きを加えた三次元情報を取得することが可能なデプスセンサであってもよい。さらに、入力デバイスは、指の動きを取得することが可能なタッチセンサであってもよい。このタッチセンサの仕様は任意である。例えば、タッチセンサは、デプスセンサと上方や下方から撮像するカメラによって指の動きを検出するものであってもよいし、表示面等に戴置されるタッチパネルであってもよい。また、入力デバイスは、マイクロホンのような音声入力を受け付けるデバイス、キーボードやマウスのようなユーザにより物理的に操作されるデバイス、他の装置から供給される情報を取得する外部入力端子、記憶媒体から情報を読み出すドライブ等も含み得る。
 また、入力部351が有する入力デバイスの数は任意である。例えば入力部351が、互いに異なる情報を検出する複数の入力デバイスを有するようにしてもよい。入力部351は、受け付けた情報をグラフィクス表示処理部352に供給する。
 グラフィクス表示処理部352は、ユーザに対するグラフィクス表示に関する処理を行う。例えば、グラフィクス表示処理部352は、アプリケーションを表示するウィンドウ等、マルチコンテンツの描画制御や、各コンテンツに対してタッチなどのイベント配信等の、一般的なOS(Operating System)の制御レイヤの処理を行う。
 例えば、グラフィクス表示処理部352は、入力部351から供給される情報を取得する。また、例えば、グラフィクス表示処理部352は、後述する描画情報生成部365により供給される描画情報を取得する。グラフィクス表示処理部352は、それらの情報に基づいて、出力部353に出力させる画像(表示用画像)を生成する。グラフィクス表示処理部352は、生成した表示用画像を出力部353に供給する。
 また、グラフィクス表示処理部352は、例えば入力部351から供給される情報等、任意の情報を出力情報処理部355(マーカ認識部362、通信情報生成部363、描画情報生成部365等)に供給し得る。
 出力部353は、任意の出力デバイスを有し、その出力デバイスを介してユーザに対する視覚情報提示を行う。例えば、出力部353は、グラフィクス表示処理部352から供給される表示用画像を取得し、それを出力デバイスに表示させる。この出力デバイスは、例えば、画像を表示するLCD(Liquid Crystal Display)やOELD(Organic Electro Luminescence Display)等のディスプレイであってもよいし、画像を投影するプロジェクタ等であってもよいし、それら以外であってもよい。また、出力部353が有する出力デバイスの数は任意であり、単数でも複数でもよい。例えば、出力部353が、LCDとプロジェクタ等のように、複数種類の出力デバイスを有するようにしてもよい。また、例えば、タッチパネル付きディスプレイのように、入力デバイスと出力デバイスとが一体化されていてもよい。
 通信部354は、通信インタフェースを有し、その通信インタフェースを介して他の装置(例えば個別端末装置302)と通信を行う。この通信の方式(規格)は任意であり、無線通信であってもよいし、有線通信であってもよいし、その両方であってもよい。例えば、通信部354は、後述する通信処理部364から供給される情報を、ネットワーク303を介して個別端末装置302に送信する。また、通信部354は、ネットワーク303を介して個別端末装置302から送信された情報を受信し、それを通信処理部364に供給する。
 出力情報処理部355は、グラフィクス表示処理部352や通信部354等の処理部と連携して、出力情報に関する処理を行う。例えば、出力情報処理部355は、入力部351において入力された入力情報をグラフィクス表示処理部352から取得し、その入力情報に基づいて、個別端末装置302に供給する情報(通信情報)や、出力部353に出力させる情報(描画情報)等を生成する。出力情報処理部355は、生成した通信情報を通信部354に供給する。また、出力情報処理部355は、生成した描画情報をグラフィクス表示処理部352に供給する。
 出力情報処理部355は、マーカ情報蓄積部361、マーカ認識部362、通信情報生成部363、通信処理部364、および描画情報生成部365を有する。
 マーカ情報蓄積部361は、各マーカに関する情報であるマーカ情報を蓄積する。例えば、マーカ情報は、マーカ毎の情報であり、特徴点等のマーカを識別するための情報や、そのマーカに関連付ける対象(マーカを用いて識別する対象)に関する情報を含む。つまり、このマーカ情報を参照することにより、特徴点に基づいてマーカを認識することができる。また、このマーカ情報を参照することによりその認識したマーカに関連付けられた対象(例えば個別端末装置302等)を特定し、認識(識別)することができる。つまり、マーカ情報をマーカ情報蓄積部361に記憶させることにより、マーカが統合端末装置301に登録される。
 マーカ認識部362は、マーカの認識に関する処理を行う。例えば、マーカ認識部362は、グラフィクス表示処理部352から、入力情報として、表示面に表示されたマーカを撮像した撮像画像を取得し、その撮像画像に含まれるマーカの特徴点を検出し、マーカ情報蓄積部361に蓄積されているマーカ情報(事前に登録されたマーカ情報)を参照して、検出した特徴点に対応するマーカを検索し、認識する。また、マーカ認識部362は、そのマーカ情報に基づいて、認識したマーカに関連付けられた個別端末装置302を認識する。そして、マーカ認識部362は、その個別端末装置302に関する情報を、マーカ認識結果として通信情報生成部363に供給する。
 通信情報生成部363は、個別端末装置302に供給する通信情報の生成に関する処理を行う。この通信情報の内容は任意である。例えば、この通信情報には、個別端末装置302に描画させるコンテンツ画像や、そのコンテンツ画像の描画に関する制御情報等が含まれ得る。
 例えば、通信情報生成部363は、マーカ認識部362から供給される個別端末装置302に関する情報を取得し、その情報に基づいて、マーカ認識部362が認識したマーカに対応する個別端末装置302を特定し、その個別端末装置302に供給する通信情報を生成する。
 また、通信情報生成部363は、グラフィクス表示処理部352から供給される撮像画像等に基づいて、マーカ認識部362が認識したマーカ(またはそのマーカに対応する個別端末装置302)の位置や姿勢や動き等を検出することができる。さらに、通信情報生成部363は、グラフィクス表示処理部352、マーカ認識部362、通信処理部364等から供給されるその他の情報等に基づいて、個別端末装置302のハードウエア性能、周辺環境(例えば明るさ等)、アプリケーションにおける状況、ユーザの指示等の各種情報を得ることができる。通信情報生成部363は、それらの情報に基づいて、通信情報を生成する。例えば、通信情報生成部363は、マーカ(個別端末装置302)の位置や姿勢や動き等、個別端末装置302のハードウエア性能、周辺環境、アプリケーションにおける状況、ユーザの指示等に基づいて、個別端末装置302に描画させるコンテンツ画像や、その描画方法等を制御する通信情報を生成し得る。
 通信情報生成部363は、生成した通信情報を通信処理部364に供給する。
 通信処理部364は、通信部354を介した通信に関する処理を行う。例えば、通信処理部364は、通信情報生成部363から供給される通信情報を取得し、それを通信部354に供給し、個別端末装置302に送信させる。
 また、通信処理部364は、例えば、統合端末装置301に関する情報(例えば、統合端末装置301のハードウエア性能に関する情報)を通信部354に供給し、個別端末装置302に提供することができる。
 また、通信処理部364は、通信部354により受信された情報を取得し、その情報に基づく処理を行うこともできる。例えば、通信処理部364は、個別端末装置302から送信された個別端末装置302に関する情報(例えば個別端末装置302のハードウエア性能に関する情報)を、通信部354を介して取得し、それを通信情報生成部363に供給し得る。
 描画情報生成部365は、出力部353に出力させる画像に関する情報である描画情報の生成に関する処理を行う。この描画情報の内容は任意である。例えば、描画情報生成部365は、通信情報生成部363が取得した各種情報(例えば、マーカ(個別端末装置302))の位置や姿勢や動き等、個別端末装置302のハードウエア性能、周辺環境、アプリケーションにおける状況、ユーザの指示等を取得し、それらの情報に基づいて、出力部353に描画させるコンテンツ画像に関する表示用画像を生成する。描画情報生成部365は、それを描画情報としてグラフィクス表示処理部352に供給する。
 なお、これらの処理部は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
  <3-3:個別端末装置>
   <構成例>
 個別端末装置302は、画像を描画(表示)する任意の表示デバイスにより構成される。個別端末装置302は、例えば所謂スマートフォン、タブレット型端末装置、電子ペーパー等のような、表示面となるディスプレイを備えるデバイスであってもよいし、所謂プロジェクタ等のような、表示面に画像を投影するデバイスであってもよい。
 図31は、個別端末装置302の主な構成例を示すブロック図である。個別端末装置302は、通信部371、入力部372、グラフィクス表示処理部373、出力部374、および出力情報処理部375を有する。
 通信部371は、通信インタフェースを有し、その通信インタフェースを介して他の装置(例えば統合端末装置301)と通信を行う。この通信の方式(規格)は任意であり、無線通信であってもよいし、有線通信であってもよいし、その両方であってもよい。例えば、通信部371は、後述する通信処理部382から供給される情報を、ネットワーク303を介して統合端末装置301に送信する。また、通信部371は、ネットワーク303を介して統合端末装置301から送信された情報を受信し、それを通信処理部382に供給する。
 入力部372は、任意の入力デバイス(検出デバイス)を有し、その入力デバイスを介して、任意の情報の入力を受け付ける。この入力デバイスは、例えば、加速度センサやジャイロセンサ等であってもよい。また、入力デバイスは、例えば、画像センサ、デプスセンサ、タッチセンサ、明度センサ、マイクロホン、キーボードやマウスのようなユーザにより物理的に操作されるデバイス、他の装置から供給される情報を取得する外部入力端子、記憶媒体から情報を読み出すドライブ等も含み得る。
 また、入力部372が有する入力デバイスの数は任意である。例えば入力部372が、互いに異なる情報を検出する複数の入力デバイスを有するようにしてもよい。入力部372は、受け付けた情報をグラフィクス表示処理部373に供給する。
 グラフィクス表示処理部373は、ユーザに対するグラフィクス表示に関する処理を行う。例えば、グラフィクス表示処理部373は、アプリケーションを表示するウィンドウ等、マルチコンテンツの描画制御や、各コンテンツに対してタッチなどのイベント配信等の、一般的なOS(Operating System)の制御レイヤの処理を行う。
 例えば、グラフィクス表示処理部373は、入力部372から供給される情報を取得する。また、例えば、グラフィクス表示処理部373は、後述する描画情報生成部384により供給される描画情報を取得する。グラフィクス表示処理部373は、それらの情報に基づいて、出力部374に出力させる画像(表示用画像)を生成する。グラフィクス表示処理部373は、生成した表示用画像を出力部374に供給する。
 また、グラフィクス表示処理部373は、例えば入力部372から供給される情報等、任意の情報を出力情報処理部375(描画規則定義部383や描画情報生成部384等)に供給し得る。
 出力部374は、任意の出力デバイスを有し、その出力デバイスを介してユーザに対する視覚情報提示を行う。例えば、出力部374は、グラフィクス表示処理部373から供給される表示用画像を取得し、それを出力デバイスに表示させる。この出力デバイスは、例えば、画像を表示するLCDやOELD等のディスプレイであってもよいし、画像を投影するプロジェクタ等であってもよいし、それら以外であってもよい。また、出力部374が有する出力デバイスの数は任意であり、単数でも複数でもよい。例えば、出力部374が、LCDとプロジェクタ等のように、複数種類の出力デバイスを有するようにしてもよい。また、例えば、タッチパネル付きディスプレイのように、入力デバイスと出力デバイスとが一体化されていてもよい。
 出力情報処理部375は、グラフィクス表示処理部373や通信部371等の処理部と連携して、出力情報に関する処理を行う。例えば、出力情報処理部375は、入力部372において入力された入力情報をグラフィクス表示処理部373から取得し、その入力情報に基づいて、出力部374に出力させる情報(描画情報)等を生成する。出力情報処理部375は、生成した描画情報をグラフィクス表示処理部373に供給する。
 また、出力情報処理部375は、統合端末装置301等に送信する情報を生成し、それを通信部371に供給し得る。
 出力情報処理部375は、マーカ情報蓄積部381、通信処理部382、描画規則定義部383、および描画情報生成部384を有する。
 マーカ情報蓄積部381は、この個別端末装置302に関連付けられるマーカに関するマーカ情報を蓄積する。このマーカ情報は、通信部371を介して統合端末装置301に供給され、登録される。
 通信処理部382は、通信部371を介した通信に関する処理を行う。例えば、通信処理部382は、統合端末装置301から送信された統合端末装置301に関する情報(例えば、通信情報や統合端末装置301のハードウエア性能に関する情報等)を、通信部371を介して取得し、それを描画規則定義部383や描画情報生成部384等に供給する。
 また、通信処理部382は、通信部371を介して統合端末装置301等に情報を送信することもできる。例えば、通信処理部382は、マーカ情報蓄積部381に蓄積されているマーカ情報を取得し、それを通信部371に供給し、統合端末装置301宛てに送信させる。また、通信処理部382は、個別端末装置302のハードウエア性能に関する情報を通信部371に供給し、統合端末装置301宛てに送信させる。
 描画規則定義部383は、マーカやコンテンツ画像の描画規則を定義する。例えば、描画規則定義部383は、通信処理部382やグラフィクス表示処理部373等から各種情報(通信情報、個別端末装置302の位置や姿勢や動き、個別端末装置302や統合端末装置301のハードウエア性能、周辺環境、アプリケーションにおける状況、ユーザの指示等)を取得し、それらの情報に基づいて、描画するマーカやコンテンツ画像、並びに、それらの描画方法等を設定する。描画規則定義部383は、描画させるマーカやコンテンツ画像、並びに、その描画方法の指定等の、描画に必要な情報を描画情報生成部384に供給する。
 描画情報生成部384は、出力部374に出力させる画像に関する情報である描画情報の生成に関する処理を行う。この描画情報の内容は任意である。例えば、この描画情報には、出力部374に描画させる画像(表示用画像)等が含まれ得る。
 例えば、描画情報生成部384は、描画規則定義部383から供給される、マーカやコンテンツ画像、並びに、その描画方法の指定等の、描画に必要な情報を取得し、それらの情報に基づいて、コンテンツ画像やマーカに関する表示用画像を生成し、それを描画情報としてグラフィクス表示処理部373に供給する。
 なお、これらの処理部は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
   <描画規則定義部>
 図32は、描画規則定義部383の主な構成例を示すブロック図である。図32に示されるように、描画規則定義部383は、コンテンツ描画方法設定部391およびマーカ描画方法設定部392を有する。コンテンツ描画方法設定部391は、描画規則定義部383に供給されるコンテンツ画像やその他各種情報等を取得し、それらの情報に基づいて、コンテンツ画像の描画方法を設定する。このコンテンツ画像の描画方法の設定については後述する。コンテンツ描画方法設定部391は、描画方法を設定すると、そのコンテンツ画像の描画方法を指定する情報とコンテンツ画像とを描画情報生成部384に供給する。
 マーカ描画方法設定部392は、描画規則定義部383に供給されるマーカやその他各種情報等を取得し、それらの情報に基づいて、マーカの描画方法を設定する。このマーカの描画方法の設定については後述する。マーカ描画方法設定部392は、描画方法を設定すると、そのマーカの描画方法を指定する情報とマーカとを描画情報生成部384に供給する。
   <描画情報生成部>
 図33は、描画情報生成部384の主な構成例を示すブロック図である。図33に示されるように、描画情報生成部384は、描画制御部393および描画処理部394を有する。
 描画制御部393は、描画規則定義部383から供給される、コンテンツ画像、マーカ、およびそれらの描画方法の指定等に基づいて、コンテンツ画像やマーカをどのように描画するかを設定する。そして、描画制御部393は、コンテンツ画像やマーカをどのように描画するかを制御する描画制御情報を生成し、その描画制御情報を、コンテンツ画像やマーカとともに描画処理部394に供給する。
 描画処理部394は、描画制御部393から供給されるそれらの情報を取得する。描画処理部394は、取得したそれらの情報に基づいて、コンテンツ画像やマーカに関する表示用画像を生成する。描画処理部394は、生成した表示用画像を描画情報としてグラフィクス表示処理部373に供給する。
 個別端末装置302は、この描画制御部393として、図2の描画制御部101を適用する。つまり、描画制御部393は、<1.マーカを用いたデバイス識別>や<2.第1の実施の形態>において上述した本技術を適用して、この処理を行う。したがって、個別端末装置302は、マーカの認識率の低減を抑制することができる。
 例えば、マーカ画像およびコンテンツ画像を表示する個別端末装置302が複数存在するとする。この場合、描画制御部393は、それらの個別端末装置302間(それぞれのディスプレイ間)を移動するコンテンツ画像の描画方法を設定することができる。例えば、描画制御部393は、各個別端末装置302のディスプレイに表示されるマーカ画像の検出結果から、各個別端末装置302の位置や姿勢や動きに関する情報を取得することができる。また、描画制御部393は、その情報に基づいて各個別端末装置302のディスプレイの位置、姿勢、動き等を求めることができる。さらに、描画制御部393は、その情報に基づいてコンテンツ画像がディスプレイ間を移動する様子の描画方法(つまり、コンテンツ画像がどのような動きをしながらディスプレイ間を移動するか)を設定することができる。
 また、マーカ画像を表示する個別端末装置302と統合端末装置301(プロジェクタ)による投影面が存在し、その統合端末装置301の投影範囲上に個別端末装置302が存在するとする。この場合、描画制御部393は、統合端末装置301の投影面と個別端末装置302のディスプレイとの間を移動するコンテンツ画像の描画方法を設定することができる。例えば、描画制御部393は、統合端末装置301の投影範囲と、その投影範囲上の個別端末装置302を撮像した撮像画像とに基づいて、統合端末装置301の投影面上における個別端末装置302の位置、姿勢、動き等を検出することができる。また、描画制御部393は、その情報(統合端末装置301の投影面上における個別端末装置302の位置、姿勢、動き等)に基づいて、コンテンツ画像が統合端末装置301の投影面と個別端末装置302のディスプレイとの間を移動する様子の描画方法(つまり、コンテンツ画像がどのような動きをしながら統合端末装置301の投影面と個別端末装置302のディスプレイとの間を移動するか)を設定することができる。
  <3-4:描画方法の設定>
 そして、描画規則定義部383が、<1.マーカを用いたデバイス識別>や<2.第1の実施の形態>において上述したコンテンツ画像やマーカの描画方法の中から、いずれかを指定するようにしてもよい。
   <コンテンツ画像の描画方法設定>
 例えば、描画規則定義部383のコンテンツ描画方法設定部391は、コンテンツ画像の表示態様について、コンテンツ画像のサイズ、透過度、移動、または、間欠表示のいずれを制御するかを選択し、描画情報生成部384の描画制御部393(描画制御部101のコンテンツ描画制御部111)は、そのコンテンツ画像の表示態様の、コンテンツ描画方法設定部391により選択された項目について制御するようにしてもよい。つまり、コンテンツ描画方法設定部391は、上述の縮小、透過度、移動、組み合わせ、または、時分割のいずれかの制御方法を適用するかを選択し、描画制御部393(コンテンツ描画制御部111)は、コンテンツ描画方法設定部391により選択された方法でコンテンツ画像の表示態様を制御する。
 このようにすることにより、より多様な方法を適用することができるので、より多様な状況において、マーカの認識率の低減を抑制することができる。
 また、コンテンツ描画方法設定部391は、そのコンテンツ画像の選択を、コンテンツ画像を利用するアプリケーション(ソフトウエア)の状況や、そのアプリケーションを実行するデバイス、すなわち、統合端末装置301や個別端末装置302のハードウエア仕様等に基づいて行うようにしてもよい。つまり、コンテンツ描画方法設定部391は、それらの情報に基づいて、コンテンツ画像が、コンテンツとしてどのような特性を有し、どのように表示すべきで、どのようなことが求められるか等を判断し、それらの項目を条件としてより適切であると判断した描画方法を選択する。
 このようにすることにより、コンテンツ描画方法設定部391は、各種状況に応じてより適切なコンテンツ画像の描画方法を選択することができる。
 例えば、仮想的に「金魚すくい」を行うアプリケーションを用いて説明する。このアプリケーションでは、統合端末装置301の表示面を仮想的な水槽とし、個別端末装置302をポイとして用いて、その水槽内の仮想的な金魚の画像を仮想的にすくうことができる。すなわち、統合端末装置301の表示面のコンテンツ画像を、個別端末装置302の表示面に移動させることができる。また、このアプリケーションでは、仮想的にすくった金魚の画像を仮想の水槽に戻すことができる。すなわち、個別端末装置302の表示面のコンテンツ画像を、統合端末装置301の表示面に移動させることができる。
 このようなアプリケーションにおいて、コンテンツ画像である金魚は、キャラクタであるため、常時移動させておいても問題なく、また移動先はユーザの意思に関係なく操作することが可能である。また、個別端末装置302が統合端末装置301の表示面内にある間は常に両端末装置間でシームレスな(継ぎ目のない)描画をする必要がある。そのため、コンテンツ画像(金魚)を「縮小」して表示させることはできない。
 また、金魚は模様の違いで個体差を演出する。そのため、模様が見えにくくなる「透過」での表示を適用することはできない。また、アプリケーションを体験中のユーザの視線は常に金魚に向き、ユーザの手は常に個別端末装置302を操作している。そのため、「時分割」での表示を適用することはできない。
 したがって、この場合、コンテンツ描画方法設定部391は、コンテンツ画像の表示方法として「移動」を選択する。
 例えば、コンテンツ描画方法設定部391は、図34のAに示されるような表を有しており、コンテンツ画像の、この表の左に示される条件に対する値に応じて、コンテンツ画像の描画方法を選択する。図34のAの場合、例えば、「ユーザの意思と関係なく提示位置を変更できないコンテンツである」、「個別端末と統合端末の間で常にコンテンツをシームレスに描画する」、「常に個別端末内のコンテンツを注視・操作する必要がある」等の条件が用意されている。また、「縮小」、「透過」、「移動」、「時分割」の各方法の、これらの条件に対する値(例えば、真なら「1」、偽なら「0」)が、予め設定されている。
 コンテンツ描画方法設定部391は、上述のように、コンテンツ画像を利用するアプリケーション(ソフトウエア)の状況や、そのアプリケーションを実行するデバイスのハードウエア仕様等に基づいて、コンテンツ画像(例えば「金魚」の画像)が、これらの条件に対してどのような値を有するかを判断し、そのコンテンツ画像の各条件に対する値と一致する描画方法を選択する。
 このようにすることにより、コンテンツ描画方法設定部391は、より適切な描画方法を、より容易に選択することができる。
 なお、図34のAに示される表の各条件は、一例である。コンテンツ画像の描画方法選択のための条件は任意であり、この例に限定されない。また、条件の数も任意であり、この例に限定されない。さらに、各条件に対する各描画方法の値もこの例に限定されない。
   <マーカの設定>
 また、例えば、描画規則定義部383のマーカ描画方法設定部392は、上述した各マーカの内、いずれを表示させるかを選択し、描画情報生成部384の描画制御部393(描画制御部101のマーカ描画制御部112)は、その選択されたマーカを表示させるように制御するようにしてもよい。
 例えば、マーカ描画方法設定部392は、全面マーカ、外側マーカ、半面マーカ、移動マーカ、または複数マーカの内のいずれかを選択する。描画制御部393(マーカ描画制御部112)は、マーカ描画方法設定部392により選択されたマーカを表示させるように制御する。
 このようにすることにより、描画制御部393は、より多様なマーカを表示させることができるので、より多様な状況においてより適切なマーカを表示させることができる。したがって、マーカの認識率の低減を抑制することができる。
 また、マーカ描画方法設定部392は、そのマーカの選択を、コンテンツ画像を利用するアプリケーション(ソフトウエア)の状況や、そのアプリケーションを実行する統合端末装置301や個別端末装置302のハードウエア仕様や、統合端末装置301や個別端末装置302の周辺環境の状況等に基づいて行うようにしてもよい。
 つまり、マーカ描画方法設定部392は、それらの情報に基づいて、コンテンツ画像が、コンテンツとしてどのような特性を有し、どのようにハードウエアにどのように表示され、周囲がどのような状況にあるか等を判断し、それらの項目を条件としてより適切であると判断したマーカを選択する。
 このようにすることにより、マーカ描画方法設定部392は、各種状況に応じてより適切なマーカを選択することができる。
 上述の「金魚すくい」を行うアプリケーションを例に説明する。上述のように、このアプリケーションでは、個別端末装置302が統合端末装置301の表示面内(仮想の水槽内)に位置する間は常に両端末装置間でシームレスにコンテンツ画像を描画する必要がある。そのため、個別端末装置302と統合端末装置301との境界面でコンテンツ画像を描画することができない、「外側マーカ」および「半面マーカ」は使用できない。また、個別端末装置302としてスマートフォン等の携帯型デバイスが想定されるため、個別端末装置302の表示面のサイズが比較的小さいことが想定される。「複数マーカ」、「外側マーカ」、「半面マーカ」、および「移動マーカ」は、マーカの表示可能なサイズが表示面のサイズよりも小さくなり、認識率が低減するおそれがあるため使用できない。
 したがって、この場合、マーカ描画方法設定部392は、マーカとして「全面マーカ」を選択する。
 また、例えば、「家具のテクスチャデザイン」を選択するアプリケーションの場合、コンテンツ画像をシームレスに描画する必要がない。また、個別端末装置302に描画されるコンテンツ画像はテクスチャのみであるので、表示面のサイズに対して十分に小さいサイズで描画することが可能である。
 したがって、この場合、マーカ描画方法設定部392は、マーカとして「外側マーカ」を選択する。
 例えば、マーカ描画方法設定部392は、図34のBに示されるような表を有しており、マーカの、この表の左に示される条件に対する値に応じて、描画するマーカを選択する。図34のBの場合、例えば、「個別端末と統合端末との間で常にコンテンツをシームレスに描画する」、「画像サイズが小さい個別端末を使用する」、「端末輝度や外光の調整が不可」、「コンテンツのサイズが個別端末の画面サイズに対して十分小さい」等の条件が用意されている。また、「全面(マーカ)」、「外側(マーカ)」、「半面(マーカ)」、「移動(マーカ)」、「複数(マーカ)」の各マーカの、これらの条件に対する値(例えば、真なら「1」、偽なら「0」)が、予め設定されている。
 マーカ描画方法設定部392は、上述のように、コンテンツ画像を利用するアプリケーション(ソフトウエア)の状況や、そのアプリケーションを実行するデバイスのハードウエア仕様、デバイスの周辺環境の状況等に基づいて、求められるマーカが、これらの条件に対してどのような値を有するかを判断し、そのマーカの各条件に対する値と一致するマーカを選択する。
 このようにすることにより、マーカ描画方法設定部392は、より適切な描画方法を、より容易に選択することができる。
 なお、図34のBに示される表の各条件は、一例である。マーカの選択のための条件は任意であり、この例に限定されない。また、条件の数も任意であり、この例に限定されない。さらに、各条件に対する各マーカの値もこの例に限定されない。
 なお、マーカおよびコンテンツ画像の大きさ、移動量、色の濃淡等は、取得される情報によって異なるため、マーカおよびコンテンツ画像の特性に応じて、上述した表示制御(すなわち、図34の各表の条件の内容)を、適宜切り替える(更新する)ことができるようにしてもよい。
  <3-5:処理の流れ>
   <システム全体処理の流れ>
 次に、情報処理システム300の各装置において実行される処理について説明する。最初に、システム全体の処理の流れの例を、図35のフローチャートを参照して説明する。
 最初に互いのデバイス情報(統合端末装置301および個別端末装置302のハードウエア性能に関する情報等)を共有する。例えば、API(Application Programming Interface)を読みだして授受することにより、デバイス情報の共有を容易に行うことができる。
統合端末装置301の通信処理部364は、ステップS301において、通信部354を介して個別端末装置302と通信を行い、統合端末装置301に関する情報を個別端末装置302に送信したり、個別端末装置302に関する情報を受信したりする。個別端末装置302の通信処理部382は、ステップS311において、通信部371を介して統合端末装置301と通信を行い、個別端末装置302に関する情報を統合端末装置301に送信したり、統合端末装置301に関する情報を受信したりする。
 互いのデバイス情報を供給すると、個別端末装置302の出力部374は、ステップS312において自身と関連付けられたマーカを表示する。統合端末装置301の入力部351は、ステップS302において、その表示されたマーカを撮像する。マーカ認識部362は、その撮像画像からマーカを検出し、認識する。そして、マーカ認識部362は、そのマーカに関連付けられた個別端末装置302を識別する。さらに、通信情報生成部363は、撮像画像等に基づいて、マーカ認識部362が認識したマーカ(個別端末装置302)の位置や姿勢や動き等を検出したり、通信情報を生成したりする。
 ステップS303において、統合端末装置301の通信処理部364は、識別した個別端末装置302に表示させるコンテンツ画像を通信情報として、通信部354を介して個別端末装置302に送信する。個別端末装置302の通信処理部382は、ステップS313において、通信部371を介してその通信情報(コンテンツ画像等)を受信する。
 統合端末装置301においては、ステップS304において、描画情報生成部365が、描画情報を生成する。そして、ステップS305において、出力部353が、その描画情報を含む表示用画像を表示する。
 これに対して個別端末装置302においては、ステップS314において、描画規則定義部383が描画方法を選択し、描画情報生成部384が、その描画方法を用いて、供給されたコンテンツ画像やマーカを含む描画情報を生成する。そして、ステップS315において、出力部374が、コンテンツ画像やマーカを含む表示用画像を表示する。
 この個別端末装置302において表示された画像は、統合端末装置301のステップS302の処理により撮像され、マーカの検出や、位置姿勢動作等の検出が行われる。そして、上述したそれ以降の各処理が同様に行われる。
 このように、統合端末装置301と個別端末装置302とが必要に応じて各種情報を授受することにより、協働してアプリケーションの各処理を実行する。
   <統合端末処理の流れ>
 次に、統合端末装置301において実行される統合端末処理の流れの例を、図36のフローチャートを参照して説明する。
 統合端末処理が開始されると、統合端末装置301の入力部351は、ステップS331において、各種情報を取得する。例えば、入力部351は、表示されたマーカを撮像し、撮像画像を生成する。また、通信処理部364は、個別端末装置302の情報を収集する。
 ステップS332において、マーカ認識部362は、ステップS331において取得した撮像画像等の情報を用いて、マーカ認識処理を行い、その撮像画像に含まれるマーカを認識し、そのマーカに対応する個別端末装置302を識別する。
 ステップS333において、通信情報生成部363は、ステップS332の認識結果等に基づいて、個別端末装置302に表示させるコンテンツ画像等を含む通信情報を生成する。
 ステップS334において、通信処理部364は、ステップS333において生成された通信情報を、通信部354を介して、ステップS332において識別した個別端末装置302に送信する。
 ステップS335において、マーカ認識部362は、撮像画像に含まれる全てのマーカを処理したか否かを判定する。未処理のマーカが存在すると判定された場合、処理はステップS332に戻る。つまり、撮像画像に含まれるマーカ毎に、ステップS332乃至ステップS335の各処理が実行される。そして、ステップS335において、全てのマーカについて処理を行ったと判定された場合、処理はステップS336に進む。
 ステップS336において、描画情報生成部365は、描画情報を生成する。
 ステップS337において、出力部353は、ステップS336において生成された描画情報を含む表示用画像を表示する。
 ステップS337の各処理が終了すると、統合端末処理が終了する。
 このように各処理を実行することにより、統合端末装置301は、マーカをより容易に認識することができる。つまり、マーカの認識率の低減を抑制することができる。
   <個別端末処理の流れ>
 次に、個別端末装置302において実行される個別端末処理の流れの例を、図37のフローチャートを参照して説明する。
 個別端末処理が開始されると、入力部372は、ステップS351において、例えば、周辺環境やデバイスの位置姿勢動き等、各種情報を収集する。また、通信処理部382は、統合端末装置301に関する情報を収集する。
 ステップS352において、通信処理部382は、通信部371を介して、統合端末装置301から供給される通信情報を受信する。
 ステップS353において、描画規則定義部383は、ステップS352において受信された通信情報を用いて、本技術を適用した描画方法設定処理を実行し、コンテンツ画像やマーカの描画方法を設定する。この描画方法設定処理については後述する。
 ステップS354において、描画情報生成部384の描画制御部393は、本技術を適用し、ステップS353において設定された描画方法を用いてコンテンツ画像やマーカの描画を制御する。
 ステップS355において、描画情報生成部384の描画処理部394は、その制御にしたがって、コンテンツ画像やマーカの表示用画像を含む描画情報を生成する。
 ステップS356において、出力部374は、ステップS355において生成された描画情報を含む表示用画像を表示する。
 ステップS356の処理が終了すると個別端末処理が終了する。
 以上のように各処理を実行することにより、個別端末装置302は、マーカの認識率の低減を抑制することができる。
   <描画方法設定処理の流れ>
 次に、図37のステップS353において実行される描画方法設定処理の流れの例を、図38のフローチャートを参照して説明する。
 描画方法設定処理が開始されると、コンテンツ描画方法設定部391は、ステップS361において、上述した本技術を適用して、コンテンツ画像の描画方法を設定する。
 ステップS362において、マーカ描画方法設定部392は、上述した本技術を適用して、マーカの描画方法を設定する。
 ステップS362の処理が終了すると描画方法設定処理が終了し、処理は図37に戻る。
 このように各処理を実行することにより、描画規則定義部383は、マーカの認識率の低減を抑制することができる。
  <3-6:位置姿勢指示処理の流れ>
 なお、登録されているマーカが見つからない場合、検出できていないマーカを持つ個別端末装置302(のユーザ)に対して姿勢変更などを促す通知を表示するようにしてもよい。例えば、統合端末装置301が位置姿勢指示処理を実行してこの通知を行う。この位置姿勢指示処理の流れの例を、図39のフローチャートを参照して説明する。
 位置姿勢指示処理が開始されると、統合端末装置301の描画情報生成部365は、ステップS371において、マーカ認識部362によりマーカが認識されているか否かを判定する。マーカが認識されていないと判定された場合、処理はステップS372に進む。
 ステップS372において、描画情報生成部365は、撮像画像を解析する等して、個別端末装置302の表示面が統合端末装置301の入力部351から見えているか否かを判定する。表示面が見えていないと判定された場合、処理はステップS373に進む。
 この場合、個別端末装置302の姿勢が適切でないことが原因でマーカが認識されていないと推定される。そこで、描画情報生成部365は、ステップS373において、個別端末装置302の姿勢変更をユーザに指示する通知を含む描画情報を生成することにより、その通知を出力部353に表示させる。
 ステップS373の処理が終了すると、処理はステップS371に戻る。
 また、ステップS372において、個別端末装置302の表示面が統合端末装置301の入力部351から見えていると判定された場合、処理はステップS374に進む。
 この場合、個別端末装置302が統合端末装置301の入力部351(カメラ等)から遠い(またはマーカ表示が小さい)ことが原因でマーカが認識されていないと推定される。そこで、描画情報生成部365は、ステップS374において、ユーザに個別端末装置302を統合端末装置301の入力部351に近づけるように指示する通知を含む描画情報を生成することにより、その通知を出力部353に表示させる。
 ステップS374の処理が終了すると、処理はステップS371に戻る。
 そして、ステップS371においてマーカが認識されていると判定された場合、位置姿勢指示処理が終了する。
 このように通知を行うことにより、ユーザはマーカが認識されていないことにより容易に気づくことができ、適切な対処を行うことができる。これにより、マーカの認識率の低減を抑制することができる。
 なお、この通知の表示場所は任意であり、統合端末装置301の表示面以外であってもよい。例えば、この通知が、個別端末装置302の表示面に表示されるようにしてもよい。また、この通知が、統合端末装置301および個別端末装置302の両方の表示面に表示されるようにしてもよい。さらに、この通知が、統合端末装置301および個別端末装置302の両方の表示面以外の場所に表示されるようにしてもよい。
 また、ステップS372において、個別端末装置の姿勢を認識し、その認識した姿勢に基づいて、その表示面が統合端末装置301の入力部351から見えているか否かを判定するようにしてもよい。その場合、個別端末装置302の姿勢認識には、個別端末装置302に搭載されているセンサの情報を用いるようにしてもよい。
 さらに、上述の位置姿勢指示処理は、任意のデバイスにおいて実行することができる。例えば、個別端末装置302がこの位置姿勢指示処理を実行するようにしてもよい。例えば、個別端末装置302の描画情報生成部384(の描画制御部393)が、マーカの認識が困難である場合、マーカを表示するデバイスの位置および姿勢の制御を促す通知をさせるようにしてもよい。
 また、統合端末装置301と個別端末装置302とが協働してこの位置姿勢指示処理を実行するようにしてもよいし、統合端末装置301および個別端末装置302以外の他の装置がこの位置姿勢指示処理を実行するようにしてもよい。
  <3-7:輝度調整>
 また、個別端末装置302の描画情報生成部384(の描画制御部393)が、表示面の周辺の明るさに基づいてその表示面の輝度を制御するようにしてもよい。このようにすることにより、表示面の明るさを、周辺の明るさに応じて適切に制御することができる。このように制御することにより、表示面が見やすくなる。つまり、マーカの検出がより容易になるので、マーカの認識率の低減を抑制することができる。
  <3-8:その他>
 以上のように本技術を適用することにより、マーカを用いるので、複数の個別端末装置の認識が可能となる。また、統合端末装置301や個別端末装置302が搭載しているセンサの種類に依存することなく、個別端末装置302の認識が可能となる。また、同時に使用可能な個別端末装置302の台数の増加、個別端末装置302の発見までの時間の短縮、および認識の安定性の向上が可能となる。また、本来の用途と個別端末装置302の識別の両立が可能となる。また、学習コストが低い直感的な操作、個別端末装置302と統合端末装置301の間でシームレスな描画、および個別端末装置302で独立した操作と統合端末装置301での共通の操作が可能となる。
 <4.アプリケーション例>
  <4-1:金魚すくい>
 次に、以上のような情報処理システム300を用いて実行されるアプリケーションの例について説明する。
 最初に「金魚すくい」のアプリケーションについて説明する。このアプリケーションでは、統合端末装置301の表示面が仮想的な水槽として設定され、金魚の画像が表示される。現実の金魚と同様に、この金魚の画像は基本的にユーザの意思と関係なく移動する。ユーザは、スマートフォン等の個別端末装置302をポイとして用いて、その水槽から金魚をすくう体験をすることができる。
 例えば、図40に示されるように、統合端末装置301のティー401から、テーブルの天面311に対して画像が投影される。つまり、天面311に統合端末装置301の表示面410が形成される。ティー401は、入力部313および出力部314(入力部351および出力部353)を有する。つまり、ティー401は、画像を天面311(表示面410)に投影するプロジェクタや天面311(表示面410)等を撮像するカメラを有する。
 したがって、ティー401は、仮想的な水槽の画像を表示面410に投影するとともに、その表示面410を撮像する。統合端末装置301のマーカ認識部362は、その撮像画像に基づいてマーカを認識するので、表示面410上に位置された個別端末装置302-1や個別端末装置302-2を、マーカを用いて認識することができる。このような情報に基づいて、統合端末装置301や個別端末装置302は、このアプリケーションに関する処理を行う。
 このアプリケーションでは、表示面410上に個別端末装置302(例えばスマートフォン等)をかざした時、個別端末装置302の下に位置する金魚がその個別端末装置302のディスプレイにも描画されるように、常にシームレスに描画することが必要となる。そのために、例えば、制御部である描画情報生成部384は、表示面410上に存在する個別端末装置302の位置と姿勢に基づいて、個別端末装置302のディスプレイと表示面410とにおけるコンテンツ画像(金魚)の移動を制御する。例えば、描画情報生成部384は、個別端末装置302の位置と姿勢に応じた動きをするように、金魚の移動を制御する。
 例えば図41のAに示されるように、表示面410上において、ユーザ412が個別端末装置302を制止させるか、点線矢印413のようにゆっくり動かすと、金魚の画像411は、統合端末装置301の表示面410と個別端末装置302の表示面140との間をシームレスに移動することができる。つまり、現実の金魚すくいにおいて、ポイを水中(金魚の下)に沈めている状態が仮想的に再現される。
 「金魚をすくう」場合は、例えば図41のBに示されるように、個別端末装置302の表示面140に金魚の画像411が描画されている状態において、ユーザ412が個別端末装置302を矢印414のように素早く動かす。このようにすると、その金魚の画像411が個別端末装置302により捕獲される。すなわち、金魚の画像411の移動が表示面140内に制限される(表示面410に移動できなくなる)。つまり、現実の金魚すくいにおいて、ポイの紙の上に金魚がすくわれた状態が仮想的に再現される。
 すくった金魚を水槽に戻す場合は、例えば、図42に示されるように、ユーザ412が個別端末装置302(の表示面140)を傾ける。このようにすると、その表示面140の金魚の画像411が、水槽に移動する。つまり、金魚の画像411が、個別端末装置302の表示面140から統合端末装置301の表示面410に移動する。つまり、現実の金魚すくいにおいて、ポイから水槽に金魚が戻された状態が仮想的に再現される。
 なお、その際、図42に示されるように、個別端末装置302の傾きや高さに応じて金魚の画像が水槽に戻る演出が変わる。たとえば、ユーザ412-1が表示面410から近い位置(すなわち低い位置)において、個別端末装置302を緩やかに傾けると、金魚の画像411は、ゆっくりと水槽に戻る(ゆっくりと表示面410に移動する)。これに対して、例えば、ユーザ412-2が表示面410から遠い位置(すなわち高い位置)において、個別端末装置302を大きく傾けると、金魚の画像411は、素早く水槽に落ちる(高速に表示面410に移動する)。また、金魚の画像411が表示面410に戻る際に、水しぶきが立つ等の演出も加えられる。
 このようなコンテンツ画像(金魚の画像)の場合、描画規則定義部383は、コンテンツの描画方法として「移動」を選択し、マーカとして「全面マーカ」を選択する。
 このようにすることにより、すくう、傾けるといった直観的な操作でのインタラクションが可能となる。また、統合端末装置301の表示面410と個別端末装置302の表示面140との間でのシームレスな描画が可能となる。したがって、ユーザは、上述のようなアプリケーションを体験することができる。また、複数のユーザがそれぞれ個別端末装置302を使用して同時にこのアプリケーションを体験することが可能となる。
  <4-2:キャラクタ育成ゲーム>
 次に「キャラクタ育成ゲーム」のアプリケーションについて説明する。このアプリケーションは、図43に示されるように、キャラクタを育成し、統合端末装置301の表示面420にキャラクタ421やアイテム422を出して複数人で遊ぶゲームである。
 このアプリケーションでは、各個別端末装置302内でアイテムのカスタムといったコンテンツの編集を行うことができる。また、その個別端末装置302のアイテムやキャラクタを表示面420に移動させたり、表示面420のアイテムやキャラクタを個別端末装置302に移動させたりすることができる。
 ユーザが、個別端末装置302を、統合端末装置301の表示面の所望の位置に近づけ、その状態で個別端末装置302の表示面に表示されるアイテムやキャラクタの画像を統合端末装置301の表示面に向けてスワイプすることで、容易に統合端末装置301の表示面のその位置に、そのアイテムやキャラクタを投入する(移動させる)ことができる。
 例えば、図43において、ユーザ412-1は、自身の個別端末装置302-1からアイテム423を表示面420に移動させている。また、ユーザ412-2は、自身の個別端末装置302-2からキャラクタ424を表示面420に移動させようとしている。
 このアプリケーションの場合、このような表示面間の移動のときのみ、コンテンツ画像を縮小し、個別端末装置302の表示面と統合端末装置301の表示面420との間でのシームレスに描画が行われる。
 このようなキャラクタやアイテムのコンテンツ画像は、その大きさが個別端末装置302の表示面の大きさと比較して大きい場合があり得る。したがって、そのコンテンツ画像を本来の大きさで個別端末装置302に表示することができない場合や、個別端末装置302に表示されていたマーカが認識できない場合があり得る。
 そこで、このようなコンテンツ画像(キャラクタやアイテムの画像)の場合、描画規則定義部383は、コンテンツの描画方法として「縮小」を選択し、マーカとして「全面マーカ」を選択する。
 このようにすることにより、個別端末装置302の表示面に対して大きなキャラクタやアイテムを統合端末装置301の表示面420に投入したり、統合端末装置301の表示面420のそのキャラクタやアイテムを、個別端末装置302の表示面に回収したりすることができる。したがって、ユーザは、上述のようなアプリケーションを体験することができる。また、複数のユーザがそれぞれ個別端末装置302を使用して同時にこのアプリケーションを体験することが可能となる。
  <4-3:ブレインストーミング支援>
 次に「ブレインストーミング支援」用のアプリケーションについて説明する。このアプリケーションは、図44に示されるように、統合端末装置301の表示面において付箋画像を共有するブレインストーミングの支援をするためのものである。
 このアプリケーションでは、スマートフォンやタブレットといった個別端末装置302において、デジタルな付箋(メモを記入したもの)を作成し、それを、統合端末装置301の表示面に移動させて、複数のユーザで共有する。
 例えば、ユーザは、個別端末装置302の表示面に表示される付箋を統合端末装置301の表示面に提示する際、統合端末装置301の表示面の所望の位置に個別端末装置302を近づけ、その状態で個別端末装置302の表示面に表示されている付箋を統合端末装置301の表示面に向けてスワイプする。このようにすることにより、ユーザは、より容易に所望の位置に付箋を表示させ、共有することができる。
 例えば、図44の例の場合、ユーザ412-1は、個別端末装置302-1を操作し、その表示面140-1に表示される付箋431-3を、統合端末装置301の表示面430に移動させる。同様に、ユーザ412-2は、個別端末装置302-2を操作し、その表示面140-2に表示される付箋431-7を、統合端末装置301の表示面430に移動させる。
 表示面430には、このようにして各ユーザが投入した付箋431-1、付箋431-2、付箋431-4、付箋431-5、および付箋431-6が表示されている。もちろん、この表示面430において、付箋を移動したり、編集したりすることができる。したがって、各ユーザのアイデアの整理等をより容易に行うことができる。
 なお、付箋への書き込みなどの編集作業は、個別端末装置302において行われる。その際、ユーザが書いた文字さえ明確に表示されていれば、付箋自体の描画の明確さは操作性や使用性の良し悪しに影響しないといえる。
 そこで、このようなコンテンツ画像(付箋の画像)の場合、描画規則定義部383は、コンテンツの描画方法として「透過」を選択し、マーカとして「全面マーカ」を選択する。
 このようにすることにより、ユーザは、上述のようなアプリケーションを体験することができる。また、複数のユーザがそれぞれ個別端末装置302を使用して同時にこのアプリケーションを体験することが可能となる。
  <4-4:資料共有>
 次に「資料共有」用のアプリケーションについて説明する。このアプリケーションは、図45に示されるように、個別端末装置302の表示面140に表示される資料を統合端末装置301の表示面440において共有するものである。
 このアプリケーションでは、ユーザが個別端末装置302の表示面140内にある資料を統合端末装置301の表示面440に提示する際、その表示面440の所望の位置に個別端末装置302を近づけ、その状態でその資料を表示面440に向けてスワイプ等の所定の動作を行うことで、容易に表示面440の所望の位置に資料を表示させることができる。また、ユーザが表示面440の資料を個別端末装置302に向かってスワイプ等の所定の動作を行うことで、その資料が個別端末装置302の表示面へと移動する。このように、直観的な操作での移動先の端末の選択が可能となる。さらに、複数人がそれぞれ個別端末を使用して同時にアプリを体験することが可能である。
 例えば図45の場合、ユーザ412-1は、統合端末装置301の表示面440に表示される資料(円グラフ)をスワイプすることにより、その資料を個別端末装置302-1の表示面140-1に移動させる。また、ユーザ412-2は、個別端末装置302-2を傾けることにより、その表示面140-2に表示される資料(棒グラフ)を表示面440に移動させる。
 このアプリケーションでは、個別端末装置302において資料の編集は行われない。そこで、このようなコンテンツ画像(資料の画像)の場合、描画規則定義部383は、コンテンツの描画方法として「時分割」を選択し、マーカとして「全面マーカ」を選択する。
 このようにすることにより、ユーザは、上述のようなアプリケーションを体験することができる。また、複数のユーザがそれぞれ個別端末装置302を使用して同時にこのアプリケーションを体験することが可能となる。
 また、このように個別端末装置302と統合端末装置301との間でデータを共有するときのみに個別端末装置302の認識が必要な場合、データ共有のインタラクションに応じてマーカまたはコンテンツ画像の描画を制御するようにしてもよい。具体的には以下の例が挙げられる。
「ドラッグ」
 コンテンツをドラッグすることで端末装置間でのデータ移動を行う。
 個別端末装置302のタッチセンサ情報によりコンテンツがドラッグされたことが感知された場合、マーカ表示もしくはコンテンツの点滅を行う。
「落とす(傾ける)」
 個別端末装置302を統合端末装置1の表示面上で傾ける動作により、コンテンツが統合端末装置301側へと落ちるように移動する。
 個別端末装置302のジャイロセンサもしくは加速度センサ情報により、個別端末装置302が傾けられたことが認識できた場合、マーカ表示もしくはコンテンツの点滅を行う。
「振る」
 個別端末装置302を統合端末装置301の表示面上で振ることでコンテンツが移動する。個別端末装置302の加速度センサ情報により、個別端末装置302が振られたことが感知できた場合、マーカ表示もしくはコンテンツの点滅を行う。
 なお、マーカやコンテンツ画像の表示方法は、アプリケーションの状況等に応じて任意に変更することができるようにしてもよい。例えば、マーカを、常時表示させずに、必要な場合のみ表示させるようにしてもよい。
  <4-5:家具のテクスチャデザイン>
 次に「家具のテクスチャデザイン」のアプリケーションについて説明する。このアプリケーションは、図46に示されるように、統合端末装置301の表示面450に家具の模型451乃至453を設置し、ティー401が、ユーザ等により指定されたテクスチャ画像をそこに投影することにより、家具のテクスチャデザインをシミュレーションするものである。
 このアプリケーションでは、ユーザは、個別端末装置302においてテクスチャを選択し、ティー401は、その選択されたテクスチャの画像を模型に投影する。例えば、図46の場合、ユーザ412-1が、表示面450の模型451の近傍において、個別端末装置302-1の表示面140-1にテクスチャを表示させて選択すると、統合端末装置301のティー401は、その選択されたテクスチャを、模型451に向けて投影する。また、ユーザ412-2が、表示面450の模型453の近傍において、個別端末装置302-2の表示面140-2にテクスチャを表示させて選択すると、統合端末装置301のティー401は、その選択されたテクスチャを、模型453に向けて投影する。
 このようにすることにより、ユーザにより指定された模型に、ユーザにより指定されたテクスチャ画像が投影される。これにより、ユーザは、テクスチャのシミュレーションを行うことができる。したがって、このようなアプリケーションを用いることにより、ユーザは、例えば、色や模様の選択をより容易に行うことができる。
 このようなアプリケーションにおいて、個別端末装置302ではテクスチャを選択するのみでテクスチャの編集は行われない。また、ユーザがタッチしてテクスチャ変更を適応することから、シームレスな描画を必要としない。加えて、テクスチャの適応された家具の模型や個別端末装置302内のテクスチャ表示はユーザの意思と関係なく動かすことはできない。
 したがって、このようなコンテンツ画像(資料の画像)の場合、描画規則定義部383は、コンテンツの描画方法として「縮小」を選択し、マーカとして「外側マーカ」を選択する。
 このようにすることにより、ユーザは、上述のようなアプリケーションを体験することができる。また、複数のユーザがそれぞれ個別端末装置302を使用して同時にこのアプリケーションを体験することが可能となる。
 <5.他の構成例>
 本技術は、AR(Augmented Reality)を実現する任意のシステム、装置、デバイス等に適用することができ、その構成は、上述の例に限定されない。
 また、以上においては、本技術を適用したコンテンツ画像やマーカの描画制御や、コンテンツ画像やマーカの描画方法選択等の処理が、個別端末装置302において行われるように説明したが、これらの処理は、任意のデバイスにおいて行うことができる。
 例えば、統合端末装置301が、コンテンツ画像やマーカの描画制御を行うようにしてもよいし、コンテンツ画像やマーカの描画方法選択を行うようにしてもよいし、その両方を行うようにしてもよい。また、コンテンツ画像の描画制御とマーカの描画制御とが互いに異なるデバイスにおいて行われるようにしてもよい。同様に、コンテンツ画像の描画方法選択とマーカの描画方法選択とが互いに異なるデバイスにおいて行われるようにしてもよい。また、複数の装置が協働して、これらの処理の一部または全部を行うようにしてもよい。
 さらに、例えば、これらの処理が統合端末装置301および個別端末装置302以外のデバイスにより行われるようにしてもよい。例えば、図47に示される情報処理システム500のように、統合端末装置301および個別端末装置302以外にサーバ501を設け、そのサーバ501がこれらの処理の一部または全部を行うようにしてもよい。
 このサーバ501は、ネットワーク303を介して各装置(統合端末装置301や個別端末装置302)と互いに通信可能に接続されており、処理に必要な情報をこれらの装置から取得し、処理結果をこれらの装置に供給することができる。
 このようにすることにより、統合端末装置301や個別端末装置302の負荷の増大を抑制することができる。
 <6.付記>
  <コンピュータ>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
 図48は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 図48に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
 バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
 入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
 コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
 その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
  <本技術の適用対象>
 また、本技術は、任意の構成に適用することができる。例えば、本技術は、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、または、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等、装置の一部の構成として実施することもできる。
 また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
  <本技術を適用可能な分野・用途>
 本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
  <その他>
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、1つのフローチャートの各ステップを、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、1つのステップに複数の処理が含まれる場合、その複数の処理を、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
 また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 なお、本技術は以下のような構成も取ることができる。
 (1) 端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御する制御部と、
 前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する検出部と
 を備える情報処理装置。
 (2) 前記制御部は、前記特徴点の密集度に基づいて、前記コンテンツ画像の表示を制御する
 (1)に記載の情報処理装置。
 (3) 前記制御部は、前記第1の表示面における前記コンテンツ画像と前記特徴点とが重畳しないように、前記第1の表示面における前記コンテンツ画像のサイズを制御する
 (1)または(2)に記載の情報処理装置。
 (4) 前記制御部は、前記第1の表示面において前記コンテンツ画像と重畳する前記特徴点の数に応じて、前記コンテンツ画像の透過度を制御する
 (1)乃至(3)のいずれかに記載の情報処理装置。
 (5) 前記制御部は、前記第1の表示面における前記特徴点の位置に基づいて、前記第1の表示面における前記コンテンツ画像の移動を制御する
 (1)乃至(4)のいずれかに記載の情報処理装置。
 (6) 前記制御部は、前記第1の表示面における前記特徴点の位置に基づいて、前記コンテンツ画像の移動経路を制御する
 (5)に記載の情報処理装置。
 (7) 前記制御部は、前記第1の表示面において前記コンテンツ画像が前記特徴点を通過する場合、前記コンテンツ画像の移動速度を制御する
 (5)または(6)に記載の情報処理装置。
 (8) 前記制御部は、さらに、前記コンテンツ画像のサイズおよび透過度の内、少なくともいずれか一方を制御する
 (5)乃至(7)のいずれかに記載の情報処理装置。
 (9) 前記制御部は、前記コンテンツ画像を間欠表示させる
 (1)乃至(8)のいずれかに記載の情報処理装置。
 (10) 前記制御部は、ユーザの視線、前記ユーザの操作、または前記マーカ画像の認識状況に応じて、前記コンテンツ画像の表示時間を制御する
 (9)に記載の情報処理装置。
 (11) 前記コンテンツ画像のサイズ、透過度、移動、または、間欠表示のうち、少なくとも1つの前記表示態様を選択する選択部をさらに備え、
 前記制御部は、前記選択部により選択された前記コンテンツ画像の前記表示態様を制御する
 (1)乃至(10)のいずれかに記載の情報処理装置。
 (12) 前記選択部は、前記コンテンツ画像を利用するソフトウエアの状況、および、前記ソフトウエアを実行するデバイスのハードウエア仕様に基づいて前記表示態様を選択する
 (11)に記載の情報処理装置。
 (13) 前記選択部は、さらに、前記第1の表示面全体に表示される全面識別用画像、中央の所定の範囲の外側にのみ特徴点を有する外部識別用画像、前記第1の表示面の半分の領域に表示される半面識別用画像、前記第1の表示面内を移動可能な移動識別用画像、および、互いに同一の識別情報を有する複数の識別用画像の内、いずれを表示させるかを選択し、
 前記制御部は、さらに、前記選択部により選択された識別用画像を表示させる
 (11)または(12)に記載の情報処理装置。
 (14) 前記選択部は、前記コンテンツ画像を利用するソフトウエアの状況、前記ソフトウエアを実行するデバイスのハードウエア仕様、および、前記デバイスの周辺環境の状況に基づいて選択する
 (13)に記載の情報処理装置。
 (15) 前記制御部は、第2の表示面上に存在する前記端末装置の位置と姿勢に基づいて、前記第1の表示面と第2の表示面とにおける前記コンテンツ画像の移動を制御する
 (1)乃至(14)のいずれかに記載の情報処理装置。
 (16) 前記制御部は、前記端末装置の位置と姿勢に応じた動きをするように、前記コンテンツ画像の移動を制御する
 (15)に記載の情報処理装置。
 (17) 前記制御部は、さらに、前記マーカ画像の認識が困難である場合、前記マーカ画像を表示するデバイスの位置および姿勢の制御を促す通知を前記第1の表示面に表示させる
 (1)乃至(16)のいずれかに記載の情報処理装置。
 (18) 前記制御部は、さらに、前記第1の表示面の周辺の明るさに基づいて前記第1の表示面の輝度を制御する
 (1)乃至(17)のいずれかに記載の情報処理装置。
 (19) 端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御し、
 前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する
 情報処理方法。
 (20) コンピュータを、
 端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御する制御部と、
 前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する検出部
 として機能させるプログラム。
 100 描画制御装置, 101 描画制御部, 111 コンテンツ描画制御部, 112 マーカ描画制御部, 121 マーカ, 131および132 特徴点, 140 表示面, 141 コンテンツ画像, 300 情報処理システム, 301 統合端末装置, 302 個別端末装置, 303 ネットワーク, 361 マーカ情報蓄積部, 362 マーカ認識部, 363 通信情報生成部, 364 通信処理部, 365 描画情報生成部, 381 マーカ情報蓄積部, 382 通信処理部, 383 描画規則定義部, 384 描画情報生成部, 391 コンテンツ描画方法設定部, 392 マーカ描画方法設定部, 393 描画制御部, 394 描画処理部, 500 情報処理システム, 501 サーバ

Claims (20)

  1.  端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御する制御部と、
     前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する検出部と
     を備える情報処理装置。
  2.  前記制御部は、前記特徴点の密集度に基づいて、前記コンテンツ画像の表示を制御する
     請求項1に記載の情報処理装置。
  3.  前記制御部は、前記第1の表示面における前記コンテンツ画像と前記特徴点とが重畳しないように、前記第1の表示面における前記コンテンツ画像のサイズを制御する
     請求項1に記載の情報処理装置。
  4.  前記制御部は、前記第1の表示面において前記コンテンツ画像と重畳する前記特徴点の数に応じて、前記コンテンツ画像の透過度を制御する
     請求項1に記載の情報処理装置。
  5.  前記制御部は、前記第1の表示面における前記特徴点の位置に基づいて、前記第1の表示面における前記コンテンツ画像の移動を制御する
     請求項1に記載の情報処理装置。
  6.  前記制御部は、前記第1の表示面における前記特徴点の位置に基づいて、前記コンテンツ画像の移動経路を制御する
     請求項5に記載の情報処理装置。
  7.  前記制御部は、前記第1の表示面において前記コンテンツ画像が前記特徴点を通過する場合、前記コンテンツ画像の移動速度を制御する
     請求項5に記載の情報処理装置。
  8.  前記制御部は、さらに、前記コンテンツ画像のサイズおよび透過度の内、少なくともいずれか一方を制御する
     請求項5に記載の情報処理装置。
  9.  前記制御部は、前記コンテンツ画像を間欠表示させる
     請求項1に記載の情報処理装置。
  10.  前記制御部は、ユーザの視線、前記ユーザの操作、または前記マーカ画像の認識状況に応じて、前記コンテンツ画像の表示時間を制御する
     請求項9に記載の情報処理装置。
  11.  前記コンテンツ画像のサイズ、透過度、移動、または、間欠表示のうち、少なくとも1つの前記表示態様を選択する選択部をさらに備え、
     前記制御部は、前記選択部により選択された前記コンテンツ画像の前記表示態様を制御する
     請求項1に記載の情報処理装置。
  12.  前記選択部は、前記コンテンツ画像を利用するソフトウエアの状況、および、前記ソフトウエアを実行するデバイスのハードウエア仕様に基づいて前記表示態様を選択する
     請求項11に記載の情報処理装置。
  13.  前記選択部は、さらに、前記第1の表示面全体に表示される全面識別用画像、中央の所定の範囲の外側にのみ特徴点を有する外部識別用画像、前記第1の表示面の半分の領域に表示される半面識別用画像、前記第1の表示面内を移動可能な移動識別用画像、および、互いに同一の識別情報を有する複数の識別用画像の内、いずれを表示させるかを選択し、
     前記制御部は、さらに、前記選択部により選択された識別用画像を表示させる
     請求項11に記載の情報処理装置。
  14.  前記選択部は、前記コンテンツ画像を利用するソフトウエアの状況、前記ソフトウエアを実行するデバイスのハードウエア仕様、および、前記デバイスの周辺環境の状況に基づいて選択する
     請求項13に記載の情報処理装置。
  15.  前記制御部は、第2の表示面上に存在する前記端末装置の位置と姿勢に基づいて、前記第1の表示面と第2の表示面とにおける前記コンテンツ画像の移動を制御する
     請求項1に記載の情報処理装置。
  16.  前記制御部は、前記端末装置の位置と姿勢に応じた動きをするように、前記コンテンツ画像の移動を制御する
     請求項15に記載の情報処理装置。
  17.  前記制御部は、さらに、前記マーカ画像の認識が困難である場合、前記マーカ画像を表示するデバイスの位置および姿勢の制御を促す通知を前記第1の表示面に表示させる
     請求項1に記載の情報処理装置。
  18.  前記制御部は、さらに、前記第1の表示面の周辺の明るさに基づいて前記第1の表示面の輝度を制御する
     請求項1に記載の情報処理装置。
  19.  端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御し、
     前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する
     情報処理方法。
  20.  コンピュータを、
     端末装置の第1の表示面に表示されるマーカ画像の特徴点に関する第1の情報に基づいて、前記マーカ画像の少なくとも一部を遮蔽しない表示態様で、前記マーカ画像が表示された前記第1の表示面内で移動するコンテンツ画像の表示を制御する制御部と、
     前記表示態様にある前記第1の表示面上の前記マーカ画像の特徴点に関する第2の情報を、前記第1の表示面を撮像した撮像画像の画像データから取得し、前記画像データに基づいて、前記端末装置の位置と姿勢を検出する検出部
     として機能させるプログラム。
PCT/JP2020/030310 2019-08-22 2020-08-07 情報処理装置および方法、並びに、プログラム WO2021033575A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112020003967.6T DE112020003967T5 (de) 2019-08-22 2020-08-07 Datenverarbeitungseinrichtung, datenverarbeitungsverfahren und programm
US17/634,312 US11922904B2 (en) 2019-08-22 2020-08-07 Information processing apparatus and information processing method to control display of a content image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019151959 2019-08-22
JP2019-151959 2019-08-22

Publications (1)

Publication Number Publication Date
WO2021033575A1 true WO2021033575A1 (ja) 2021-02-25

Family

ID=74660970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030310 WO2021033575A1 (ja) 2019-08-22 2020-08-07 情報処理装置および方法、並びに、プログラム

Country Status (3)

Country Link
US (1) US11922904B2 (ja)
DE (1) DE112020003967T5 (ja)
WO (1) WO2021033575A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220063A (zh) * 2021-11-17 2022-03-22 浙江大华技术股份有限公司 目标检测方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710430B1 (en) * 2022-03-23 2023-07-25 Reginald Wray Virtual fish tank assembly

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330615A (ja) * 2002-05-16 2003-11-21 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
JP2015179492A (ja) * 2014-02-26 2015-10-08 株式会社Mrsホールディングズ バーコード表示装置、バーコード表示装置の動作方法およびプログラム
JP2016009434A (ja) * 2014-06-26 2016-01-18 船井電機株式会社 情報コード読取方法、及び情報コード読取装置
JP2016126450A (ja) * 2014-12-26 2016-07-11 株式会社デンソーウェーブ 携帯型情報コード表示装置
JP2019009684A (ja) * 2017-06-27 2019-01-17 日本精工株式会社 撮影装置の設置方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
US8922666B2 (en) * 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
JP6070512B2 (ja) 2013-11-05 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6417696B2 (ja) * 2014-03-31 2018-11-07 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9622326B1 (en) * 2015-12-18 2017-04-11 Amazon Technologies, Inc. Method and device for determining emitted light intensity level
US10802787B2 (en) * 2016-09-30 2020-10-13 Sony Interactive Entertainment Inc. Integrating audience participation content into virtual reality content
JP6828801B2 (ja) * 2017-03-14 2021-02-10 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
CN108401177B (zh) * 2018-02-27 2021-04-27 上海哔哩哔哩科技有限公司 视频播放方法、服务器及视频播放系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330615A (ja) * 2002-05-16 2003-11-21 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
JP2015179492A (ja) * 2014-02-26 2015-10-08 株式会社Mrsホールディングズ バーコード表示装置、バーコード表示装置の動作方法およびプログラム
JP2016009434A (ja) * 2014-06-26 2016-01-18 船井電機株式会社 情報コード読取方法、及び情報コード読取装置
JP2016126450A (ja) * 2014-12-26 2016-07-11 株式会社デンソーウェーブ 携帯型情報コード表示装置
JP2019009684A (ja) * 2017-06-27 2019-01-17 日本精工株式会社 撮影装置の設置方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220063A (zh) * 2021-11-17 2022-03-22 浙江大华技术股份有限公司 目标检测方法及装置
CN114220063B (zh) * 2021-11-17 2023-04-07 浙江大华技术股份有限公司 目标检测方法及装置

Also Published As

Publication number Publication date
US20220293067A1 (en) 2022-09-15
DE112020003967T5 (de) 2022-06-23
US11922904B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
US10657716B2 (en) Collaborative augmented reality system
JP7123148B2 (ja) 複合現実ディスプレイにおける仮想コンテンツのための掩蔽カーソル
US11557102B2 (en) Methods for manipulating objects in an environment
CN109313509B (zh) 视野周围的视觉光环
US10922889B2 (en) Directing user attention
US11232643B1 (en) Collapsing of 3D objects to 2D images in an artificial reality environment
KR20230118070A (ko) 환경에서 객체들과 상호작용하는 방법
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
WO2021033575A1 (ja) 情報処理装置および方法、並びに、プログラム
US20230032771A1 (en) System and method for interactive three-dimensional preview
US20230100610A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230315270A1 (en) Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
KR20240056555A (ko) 핸드크래프티드 증강 현실 에포트 증거
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
CN115690306A (zh) 用于对象的三维预览的设备、方法和图形用户界面
US20230011453A1 (en) Artificial Reality Teleportation Via Hand Gestures
US20230343027A1 (en) Selecting Multiple Virtual Objects
US20240103683A1 (en) Devices and methods for generating virtual objects
US20220414975A1 (en) Techniques for manipulating computer graphical light sources
KR20240056558A (ko) 핸드크래프티드 증강 현실 경험들
KR20240050437A (ko) 증강 현실 프로프 상호작용
WO2024085997A1 (en) Triggering actions based on detected motions on an artificial reality device
KR20230112729A (ko) 증강 현실 공간 오디오 경험

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20855150

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20855150

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP