JPWO2016002512A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JPWO2016002512A1
JPWO2016002512A1 JP2016531254A JP2016531254A JPWO2016002512A1 JP WO2016002512 A1 JPWO2016002512 A1 JP WO2016002512A1 JP 2016531254 A JP2016531254 A JP 2016531254A JP 2016531254 A JP2016531254 A JP 2016531254A JP WO2016002512 A1 JPWO2016002512 A1 JP WO2016002512A1
Authority
JP
Japan
Prior art keywords
information
group
image
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016531254A
Other languages
English (en)
Other versions
JP6917710B2 (ja
Inventor
高橋　巨成
巨成 高橋
小林　直樹
小林　　直樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016002512A1 publication Critical patent/JPWO2016002512A1/ja
Application granted granted Critical
Publication of JP6917710B2 publication Critical patent/JP6917710B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/025—LAN communication management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Abstract

本技術は、より容易に、複数の投影部を協働させて投影することができるようにする情報処理装置および方法に関する。本技術の情報処理装置は、画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループを形成し、形成されたグループに属する各情報処理装置の、投影部が投影する画像に対して行われる補正に関する情報である補正情報を、形成されたグループに属する各情報処理装置で共有し、情報処理装置自身の補正情報を、投影部により投影された画像を被写体として撮像して得られた撮像画像と、共有される補正情報とに基づいて、更新する。本技術は、例えば、プロジェクタ若しくはカメラ、またはその両方の機能を備える電子機器、それらを制御するコンピュータ等に適用することができる。

Description

本技術は、情報処理装置および方法に関し、特に、より容易に、複数の投影部を協働させて投影することができるようにした情報処理装置および方法に関する。
従来、複数のプロジェクタを用いて画像を投影するシステムがあった（例えば、非特許文献１参照）。このようなシステムにおいては、コンピュータに接続される複数のプロジェクタが、そのコンピュータに制御されて駆動し、互いに協働して単数若しくは複数の画像の投影が行われる。つまり、コンピュータが複数のプロジェクタを協働させていた。
Ramesh Raskar, Jeroen van Baar, Paul Beardsley, Thomas Willwacher, Srinivas Rao, Clifton Forlines, "iLamps: Geometrically Aware and Self-Configuring Projectors", ACM SIGGRAPH 2003 Conference Proceedings
しかしながら、このような方法の場合、プロジェクタの他に制御用のコンピュータや、センシングを行うカメラ、システムの処理を実行するための複雑なプログラム、専門知識を有するオペレータ等が必要になり、高価で大規模なシステムには向いているものの、専門知識を持たない一般のユーザが気軽に楽しむことができるような簡易で安価なシステムには不向きであった。
本技術は、このような状況に鑑みて提案されたものであり、より容易に、複数の投影部を協働させて投影することができるようにすることを目的とする。
本技術の一側面は、画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループを形成するグループ形成部と、前記グループ形成部により形成された前記グループに属する各情報処理装置の、前記投影部が投影する画像に対して行われる補正に関する情報である補正情報を、前記グループ形成部により形成された前記グループに属する各情報処理装置で共有する補正情報共有部と、前記情報処理装置自身の前記補正情報を、前記投影部により投影された画像を被写体として撮像して得られた前記撮像画像と、前記補正情報共有部により共有される前記補正情報とに基づいて、更新する補正情報更新部とを備える情報処理装置である。
前記補正情報は、前記画像内の所定の代表画素に対しておこなわれる補正に関する情報を含むようにすることができる。
前記代表画素に対しておこなわれる補正に関する情報は、前記代表画素の補正前後の座標、前記代表画素の各色成分のゲイン値およびシフト値、並びに、前記代表画素の色変換マトリクスの係数を含むようにすることができる。
無線通信を行う無線通信部をさらに備え、前記グループ形成部は、前記無線通信部により前記無線通信が開始された他の情報処理装置と前記情報処理装置自身を含む前記グループを形成することができる。
前記グループ形成部は、所定の通信ケーブルにより前記情報処理装置自身に接続された他の情報処理装置と前記情報処理装置自身を含む前記グループを形成することができる。
前記グループ形成部は、形成した前記グループに関する情報であるグループ情報を生成することができる。
前記グループ情報は、前記グループを識別する識別情報と、前記グループ情報に対応するグループを構成する情報処理装置の前記補正情報とを含むようにすることができる。
前記グループ情報は、前記グループが過去に投影したコンテンツデータの種類に関する情報をさらに含むようにすることができる。
前記グループ情報は、前記コンテンツデータを投影した際の、前記グループに属する各情報処理装置の前記投影部が投影した画像の配置をさらに含むようにすることができる。
前記グループ情報は、前記画像が投影された投影面に関する情報をさらに含むようにすることができる。
前記グループ情報を、前記グループに属する各情報処理装置で共有するグループ情報共有部と、前記グループ情報を更新するグループ情報更新部とをさらに備えることができる。
前記グループ情報および前記補正情報に基づいて、前記投影部の前記画像の投影位置を制御する投影位置制御部をさらに備えることができる。
前記投影位置制御部は、前記グループに属する各情報処理装置の前記投影部が投影する画像の位置が前記グループ情報や前記補正情報に基づいて定められる位置と異なる場合、前記画像を前記位置に投影させるように誘導する画像を投影することができる。
前記グループ情報に基づいて、前記コンテンツデータに含まれる画像の、前記投影部が投影する部分を切り出す画像切り出し部をさらに備えることができる。
前記グループ情報に基づいて、前記コンテンツデータに含まれる画像の、前記投影部が投影する部分を補正する画像補正部をさらに備えることができる。
前記グループ形成部により形成された前記グループから離脱する旨を前記グループに属する他の情報処理装置に通知し、前記グループを離脱するグループ離脱部をさらに備えることができる。
前記コンテンツデータは、画像データとメタデータとを含むようにすることができる。
前記メタデータは、前記画像データの内容、ジャンル、推奨投影画像サイズ、種別、および解像度に関する情報を含むようにすることができる。
前記コンテンツデータは、複数の画像データを有することができる。
本技術の一側面は、また、画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループを形成し、形成された前記グループに属する各情報処理装置の、前記投影部が投影する画像に対して行われる補正に関する情報である補正情報を、形成された前記グループに属する各情報処理装置で共有し、前記情報処理装置自身の前記補正情報を、前記投影部により投影された画像を被写体として撮像して得られた前記撮像画像と、共有される前記補正情報とに基づいて、更新する情報処理方法である。
本技術の一側面においては、画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループが形成され、形成されたグループに属する各情報処理装置の、投影部が投影する画像に対して行われる補正に関する情報である補正情報が、形成されたグループに属する各情報処理装置で共有され、情報処理装置自身の補正情報が、投影部により投影された画像を被写体として撮像して得られた撮像画像と、共有される補正情報とに基づいて、更新される。
本技術によれば、情報を処理することが出来る。また本技術によれば、より容易に、複数の投影部を協働させて投影することができる。
投影撮像システムの主な構成例を示す図である。 協働して投影する様子の例を示すブロック図である。 画像補正の様子の例を示す図である。 画像補正の様子の例を示す図である。 利用例を説明する図である。 投影撮像装置の外観の例を示す図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 SOCが実現する機能の例を示す機能ブロック図である。 コンテンツ提供サーバの主な構成例を示すブロック図である。 グループ形成に関する処理の流れの例を説明するフローチャートである。 グループ情報の例を説明する図である。 補正情報の例を説明する図である。 補正情報の例を説明する図である。 補正情報の例を説明する図である。 投影位置制御の例を説明する図である。 投影位置制御の例を説明する図である。 投影位置制御の例を説明する図である。 画像投影に関する処理の流れの例を説明するフローチャートである。 画像投影の例を説明する図である。 メタデータの例を説明する図である。 グループ離脱に関する処理の流れの例を説明するフローチャートである。 投影撮像装置の主な構成例を示すブロック図である。 投影撮像システムの他の構成例を示す図である。 投影撮像システムのさらに他の構成例を示す図である。 HDMI（登録商標）の仕様を説明する図である。 投影撮像システムのさらに他の構成例を示す図である。 投影撮像システムのさらに他の構成例を示す図である。 投影撮像システムのさらに他の構成例を示す図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（投影撮像システム）
＜１．第１の実施の形態＞
＜投影撮像装置の協働＞
複数のプロジェクタで投影を行うシステムとしては、展示会場の横に長くシリンドリカルになっている照射面に照射したり、昨今、トレンドとなっている建造物の壁面に対して、投影を行うプロジェクションマッピング用の物が一般的である。その際、基本的には、PC（Personal Computer）から、直接、GPU（Graphics Processing Unit）ボードなどを介して、プロジェクタ複数台への出力を行っており、PC側のアプリやデバイスドライバで、複数台照射に対応させている場合がほとんどである。
従って、複数台を照射する場合に必要な各種補正関係もPCの中で画像処理を施しており、照射面形状のセンシングなども、このPCにUSB（Universal Serial Bus）などで接続されたカメラで撮像された、特定パターンの撮像データを基に、PC内で補正データに基づいた補正画像を作り出して出力するのが一般的である。
つまり、このようなシステムは、プロジェクタの他に制御用のPCや、センシングを行うカメラ、システムの処理を実行するための複雑なプログラム、専門知識を有するオペレータ等が必要になり、上述したような高価で大規模なシステムには向いているものの、専門知識を持たない一般のユーザが気軽に楽しむことができるような簡易で安価なシステムには不向きであった。つまり、複数のプロジェクタを協働させることが容易では無かった。
そこで、画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループを形成し、形成された前記グループに属する各情報処理装置の、投影部が投影する画像に対して行われる補正に関する情報である補正情報を、グループ形成部により形成されたグループに属する各情報処理装置で共有し、情報処理装置自身の補正情報を、投影部により投影された画像を被写体として撮像して得られた撮像画像と、共有される補正情報とに基づいて、更新するようにする。
このようにすることにより、より容易に、複数の投影部を協働させて投影することができる。
なお、この補正情報は、画像内の所定の代表画素に対しておこなわれる補正に関する情報を含むようにしてもよい。
その代表画素に対しておこなわれる補正に関する情報は、代表画素の補正前後の座標、代表画素の各色成分のゲイン値およびシフト値、並びに、代表画素の色変換マトリクスの係数を含むようにしてもよい。
また、無線通信を行う無線通信部をさらに備えるようにしてもよい。そして、グループ形成部が、その無線通信部により無線通信が行われた他の情報処理装置と前記情報処理装置自身を含むグループを形成するようにしてもよい。
また、グループ形成部が、所定の通信ケーブルにより情報処理装置自身に接続された他の情報処理装置と情報処理装置自身とを含むグループを形成するようにしてもよい。
さらに、そのグループ形成部が、形成したグループに関する情報であるグループ情報を生成するようにしてもよい。
そして、そのグループ情報が、グループを識別する識別情報と、グループ情報に対応するグループを構成する情報処理装置の補正情報とを含むようにしてもよい。
また、グループ情報が、グループが過去に投影したコンテンツデータの種類に関する情報をさらに含むようにしてもよい。
さらに、グループ情報が、コンテンツデータを投影した際の、グループに属する各情報処理装置の投影部が投影した画像の配置をさらに含むようにしてもよい。
また、グループ情報が、画像が投影された投影面に関する情報をさらに含むようにしてもよい。
そして、グループ情報を、グループに属する各情報処理装置で共有するグループ情報共有部と、グループ情報を更新するグループ情報更新部とをさらに備えるようにしてもよい。
また、グループ情報および補正情報に基づいて、投影部の画像の投影位置を制御する投影位置制御部をさらに備えるようにしてもよい。
その投影位置制御部が、グループに属する各情報処理装置の投影部が投影する画像の位置がグループ情報や補正情報に基づいて定められる位置と異なる場合、画像をその位置に投影させるように誘導する画像をさらに投影するようにしてもよい。
グループ情報に基づいて、コンテンツデータに含まれる画像の、投影部が投影する部分を切り出す画像切り出し部をさらに備えるようにしてもよい。
グループ情報に基づいて、コンテンツデータに含まれる画像の、投影部が投影する部分を補正する画像補正部をさらに備えるようにしてもよい。
グループ形成部により形成されたグループから離脱する旨をそのグループに属する他の情報処理装置に通知し、グループを離脱するグループ離脱部をさらに備えるようにしてもよい。
また、コンテンツデータが、画像データとメタデータとを含むようにしてもよい。
また、メタデータが、画像データの内容、ジャンル、推奨投影画像サイズ、種別、および解像度に関する情報を含むようにしてもよい。
また、コンテンツデータは、複数の画像データを有するようにしてもよい。
＜投影撮像システム＞
このような本技術を適用した情報処理装置の一実施の形態である制御装置を適用した投影撮像システムの主な構成例を、図１に示す。図１に示される投影撮像システム１００は、画像を投影するシステムである。この投影撮像システム１００は、例えば、上述したように複数の投影撮像装置を協働させて、動画像や静止画像等のコンテンツを投影することができる。図１に示されるように、投影撮像システム１００は、投影撮像装置１０１−１乃至投影撮像装置１０１−４を有する。
投影撮像装置１０１−１乃至投影撮像装置１０１−４は、それぞれ、スクリーン１０２に画像を投影したり、スクリーン１０２に投影された投影画像を撮像したりする装置である。投影撮像装置１０１−１乃至投影撮像装置１０１−４は、互いに同様の構成を有し、同様の機能を有する。以下において、投影撮像装置１０１−１乃至投影撮像装置１０１−４を互いに区別して説明する必要が無い場合、投影撮像装置１０１と称する。
各投影撮像装置１０１は、例えば無線LAN（Local Area Network）等の無線通信により、アクセスポイント１０３を介して、互いに通信可能な状態になされている。また、各投影撮像装置１０１は、そのアクセスポイント１０３を介してネットワーク１０４に接続されており、ネットワーク１０４に接続される他の装置と通信を行うこともできる。
アクセスポイント１０３は、通信を中継する装置であり、各投影撮像装置１０１と無線通信を行うことができるとともに、ネットワーク１０４に接続されている。アクセスポイント１０３は、投影撮像装置１０１間の通信を中継することができる。また、アクセスポイント１０３は、投影撮像装置１０１とネットワーク１０４（ネットワーク１０４に接続される他の通信装置）との間の通信を中継することもできる。
ネットワーク１０４は、通信媒体となる通信網である。ネットワーク１０４は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク１０４は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク１０４は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
ネットワーク１０４には、例えば、コンテンツ提供サーバ１０５やグループ情報管理サーバ１０６等が接続される。
コンテンツ提供サーバ１０５は、投影撮像装置１０１が投影する画像を含むコンテンツデータを投影撮像装置１０１に対して提供するサーバである。コンテンツ提供サーバ１０５は、提供するためのコンテンツデータを管理し、例えば投影撮像装置１０１等のクライアント側からの要求に応じて、その要求されたコンテンツデータを提供する。コンテンツデータの提供手段は任意であるが、例えばネットワーク１０４とアクセスポイント１０３を介して行われる。また、コンテンツデータの提供方法は任意であるが、ストリーミング配信であってもよいし、ダウンロードであってもよい。さらに、このサービスは、有料であっても無料であってもよい。
なお、コンテンツデータの詳細については後述するが、例えば、コンテンツデータは、単数または複数の画像データ、音声データ、制御用の情報を含むメタデータ等を含む。これらのデータは、アーカイブされていてもよいし、さらに圧縮されていてもよいし、互いに独立したデータであってもよい。
グループ情報管理サーバ１０６は、複数の投影撮像装置１０１により形成されるグループに関する情報であるグループ情報を管理する。グループ情報管理サーバ１０６は、クライアントである投影撮像装置１０１側から提供されるグループ情報、すなわち、過去に形成されたグループの情報（グループ情報の履歴）を記憶し、管理する。グループ情報管理サーバ１０６は、例えばクライアント側からの要求に応じて、管理しているグループ情報の中から、要求されたグループ情報を、要求元であるクライアントに提供する。つまり、投影撮像装置１０１は、このグループ情報に基づいてグループの設定を行うことにより、過去に形成されたグループと同様のグループを容易に再現することができる。また、投影撮像装置１０１は、そのグループ情報を改変することにより、新たな仕様のグループをより容易に形成することができる。
グループ情報の提供手段は任意であるが、例えばネットワーク１０４とアクセスポイント１０３を介して行われる。また、このサービスは、有料であっても無料であってもよい。
コンテンツ提供サーバ１０５やグループ情報管理サーバ１０６の構成は任意である。例えば、コンテンツ提供サーバ１０５とグループ情報管理サーバ１０６が１台のサーバ１０７により実現されるようにしてもよいし、コンテンツ提供サーバ１０５若しくはグループ情報管理サーバ１０６、または、その両方が複数台のサーバにより実現されるようにしてもよい。例えば、これらのサーバが、クラウドサービスとして提供されるようにしてもよい。
以上においては、コンテンツ提供サービスとグループ情報の管理サービスについて説明したが、これら以外のサービスが投影撮像装置１０１に提供されるようにしてももちろん良い。
スクリーン１０２は、投影撮像装置１０１が画像を投影する面（投影面）の一例である。このスクリーン１０２は、平面であってもよいし、曲面であってもよい。例えばスクリーン１０２の表面に凹凸が形成されていてもよい。また、スクリーン１０２の色は任意である。なお、スクリーン１０２の代わりに所定の立体構造物（例えば建造物、壁、床、天井、家具、小物、生物等）を投影面としてもよい。
なお、投影撮像装置１０１が投影する画像の提供元は任意であり、例えば、予め投影撮像装置１０１に記憶されていてもよいし、記録媒体等を用いて投影撮像装置１０１に提供されるようにしてもよい。それらの場合、コンテンツ提供サーバ１０５やグループ情報管理サーバ１０６は省略することができる。その場合、ネットワーク１０４も省略することができる。また、投影撮像装置１０１同士がアクセスポイント１０３を介さずに互いに通信を行うことができるようにしてもよい。さらに、その通信方法は任意であり、無線通信であってもよいし、有線通信であってもよい。その場合、アクセスポイント１０３も省略することができる。
＜協働した投影＞
例えば、コンテンツ提供サーバ１０５から、解像度４Ｋ（例えば4096x2160）、フレームレート60fps、プログレッシブ走査方式の画像（4K@60P）を含むコンテンツデータが各投影撮像装置１０１に供給されるとする。各投影撮像装置１０１は、そのコンテンツデータを受信すると、その画像（4K@60P）の内の、自身に割り当てられた部分画像（例えば、解像度フルHD、フレームレート60fps、プログレッシブ走査方式の画像（1080@60P））を切り出して、スクリーン１０２に投影する。
例えば、各投影撮像装置１０１は、図２のＡのような配置で画像を投影する。図２のＡに示される例では、各投影撮像装置１０１の投影画像がスクリーン１０２上で縦に２つ、横に２つ（2x2)並ぶ位置に投影されている。より具体的には、投影撮像装置１０１−１の投影画像１１１−１は、スクリーン１０２の左上に投影され、投影撮像装置１０１−２の投影画像１１１−２は、スクリーン１０２の左下に投影され、投影撮像装置１０１−３の投影画像１１１−３は、スクリーン１０２の右上に投影され、投影撮像装置１０１−４の投影画像１１１−４は、スクリーン１０２の右下に投影されている。以下において、投影画像１１１−１乃至投影画像１１１−４を互いに区別して説明する必要が無い場合、投影画像１１１と称する。
図２のＡに示されるように、投影画像１１１−１乃至投影画像１１１−４は、その一部が互いに重なり、１つの領域を形成している。各投影画像１１１には、上述した部分画像（1080@60P）が含まれており、図２のＡのように投影された状態において、スクリーン１０２上に画像（4K@60P）の投影画像１１２が形成されるようになされている。より具体的には、投影画像１１１−１には、画像（4K@60P）の左上の部分画像が含まれており、投影画像１１１−２には、画像（4K@60P）の左下の部分画像が含まれており、投影画像１１１−３には、画像（4K@60P）の右上の部分画像が含まれており、投影画像１１１−４には、画像（4K@60P）の右下の部分画像が含まれている。上述したように投影画像１１１同士はその一部が重なり合うので、各投影画像１１１に含まれる部分画像は、フルHDよりも高解像度（つまり、広範囲）の画像であってもよい。
このように投影撮像装置１０１−１乃至投影撮像装置１０１−４を協働させることにより、投影撮像システム１００は、解像度4Kの画像（4K@60P）を、解像度を落とさずに（画質を低減させずに）投影することができる。
なお、このような投影画像１１２を実現するためには、各投影画像１１１の位置合わせや幾何補正等を行う必要がある。投影撮像装置１０１は、撮像機能を備えており、図２のＢに示されるように、その撮像機能を用いて自身や他の装置が投影した投影画像をセンシングすることができる。投影撮像装置１０１は、このセンサデータを基に、各種補正を行うことにより、スクリーン１０２上において、各部分画像がより自然な形で合成され、１つの投影画像１１２が形成されるようにすることができる。
画像補正の内容としては、例えば、図２のＢに示されるように、プロジェクタ個体差補正、オーバーラップ補正、スクリーン形状補正等がある。プロジェクタ個体差補正は、例えば、輝度、ガンマ、ブライトネス、コントラスト、ホワイトバランス、色味等に対する補正である。オーバーラップ補正は、投影画像１１１同士が重なり合う領域であるオーバーラップ領域に対する補正である。例えば、レベル補正や歪み補正等がある。スクリーン形状補正は、スクリーン１０２の形状や姿勢に対応するための補正である。例えば、射影変換（平面、球形、シリンドリカル（円柱状）、多項式曲線）がある。もちろん、これら以外の補正が行われるようにしてもよい。
例えば図３に示されるように、スクリーン１０２が投影撮像装置１０１に対して斜め方向に向いている場合、補正をしないと投影画像が歪んでしまうが、射影変換等によりその歪みを低減させることができる。また、例えば、図４の例のように曲面に複数の画像を投影する場合も、射影変換等により、１つの画像のように投影することができる。
＜投影撮像システムの利用例＞
このような投影撮像システム１００を用いることにより、様々な投影が可能になる。例えば、図５のＡのように複数の投影画像を並べることにより、投影画像の解像度を増大させることができる。また、図５のＢの例のように、各投影撮像装置１０１が投影する各投影画像（部分画像）の並べ方によって、投影画像（画像全体）のアスペクト比を、各投影撮像装置１０１のスペックに依存せずに自由に設定することができる。
また、図５のＣの例のように、複数の壁や天井に（つまり、複数の方向を向いたスクリーン（換言するに立体構造））に対して画像を歪みなく投影させることができる。さらに、図５のＤの例のように、視聴者を取り囲むような広範囲かつ曲面のスクリーンに対して画像を歪みなく投影させることもできる。
このような投影面の自由度が向上することにより、投影画像の表現力が増大するので、例えば臨場感や視認性を向上させることができ、表現の娯楽性や芸術性を向上させることができる。
＜投影撮像装置の外観＞
次に、投影撮像装置１０１について説明する。図６に投影撮像装置１０１の外観の例を示す。投影撮像装置１０１は、上述したように投影機能と撮像機能を有しており、その筐体には、画像を投影するための投射口（レンズ機構）や、被写体を撮像するためのカメラ（レンズ機構）等の光学デバイスが設けられている。また、投影撮像装置１０１は、どのような大きさの装置であってもよいが、例えば、携帯型（小型）の装置としてもよい。その場合、図６に示されるように、投影撮像装置１０１の筐体にバッテリを設けるようにしてもよい。バッテリを設けることにより、外部電源なしに投影撮像装置１０１を駆動させることができるので、その設置位置の自由度を向上させることができる。つまり、より容易に複数の投影撮像装置１０１を協働させて画像を投影することができる。
＜投影撮像装置＞
図７は、投影撮像装置１０１の主な構成例を示すブロック図である。
図７に示されるように、投影撮像装置１０１は、SOC（System-on-a-Chip）１５１、RAM（Random Access Memory）１５２、入力部１６１、表示部１６２Ａ、音声出力部１６２Ｂ、記憶部１６３、通信部１６４、ドライブ１６５、投影部１８１、撮像部１８２、NFC（Near Field Communication）部１９１、センサ部１９２、およびタッチパネル１９３を有する。
SOC１５１は、投影撮像装置１０１において実現される各種機能を実装したチップである。SOC１５１は、例えば、プログラムやデータをRAM１５２にロードして実行する。
入力部１６１は、例えば、HDMI端子等の外部入力端子や、操作ボタンやマイクロホン等の入力デバイスよりなる。表示部１６２Ａは、例えば、画像やメッセージを表示するディスプレイデバイスを有する。音声出力部１６２Ｂは、例えば、スピーカ等よりなる。
記憶部１６３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部１６４は、例えば、ネットワークインタフェースよりなる。ドライブ１６５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１７１を駆動し、そのリムーバブルメディア１７１に記憶されている情報を読み出したり、リムーバブルメディア１７１に情報を書き込んだりする。
投影部１８１は、画像の投影に関する処理を行う。例えば、投影部１８１は、SOC１５１から供給される画像を投影撮像装置１０１の外部（例えばスクリーン１０２等）に投影する。つまり、投影部１８１は、投影機能を実現する。投影部１８１は、レーザ光を光源とし、MEMSミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部１８１の光源は任意であり、レーザ光に限らず、LED（Light Emitting Diode）やキセノン等であってもよい。投影部１８１の詳細については後述する。
撮像部１８２は、装置外部の被写体を撮像し、撮像画像を生成し、その撮像画像をSOC１５１に供給する。つまり、撮像部１８２は、撮像機能を実現する。例えば、撮像部１８２は、投影部１８１がスクリーン１０２に投影した投影画像を撮像する。
NFC部１９１は、近接された他の通信デバイスと近接無線通信を行う。例えば、NFC部１９１は、その近距離無線通信により、通信部１６４による通信を確立するのに必要な通信設定に関する情報の授受を行う。
センサ部１９２は、例えば加速度センサ、光センサ、温度センサ等の任意のセンサを有し、センシングして得られた、投影撮像装置１０１の外部環境に関する情報（センサデータ）をSOC１５１に供給する。
タッチパネル１９３は、例えば表示部１６２Ａの画画像表示面に重畳して形成され、表示部１６２Ａに表示されるGUIに基づいて行われる操作が示す情報（つまりユーザ入力）を受け付け、その受け付けたユーザ入力をSOC１５１に供給する。
SOC１５１は、例えば、記憶部１６３に記憶されているプログラムを、RAM１５２にロードして実行することにより、各種処理を行う。RAM１５２にはまた、SOC１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
SOC１５１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１７１に記録して投影撮像装置１０１に提供することができる。その場合、プログラムは、リムーバブルメディア１７１をドライブ１６５に装着することにより、SOC１５１を介して、記憶部１６３にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して投影撮像装置１０１に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部１６４で受信し、記憶部１６３にインストールすることができる。
その他、このプログラムは、SOC１５１内のROMや記憶部１６３に、あらかじめインストールしておくこともできる。
＜投影部＞
図８は、投影部１８１の主な構成例を示すブロック図である。図８に示されるように、投影部１８１は、ビデオプロセッサ２０１、レーザドライバ２０２、レーザ出力部２０３−１、レーザ出力部２０３−２、レーザ出力部２０３−３、ミラー２０４−１、ミラー２０４−２、ミラー２０４−３、MEMS（Micro Electro Mechanical Systems）ドライバ２０５、および、MEMSミラー２０６を有する。
ビデオプロセッサ２０１は、SOC１５１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ２０１は、その投影する画像をレーザドライバ２０２やMEMSドライバ２０５に供給する。
レーザドライバ２０２は、ビデオプロセッサ２０１から供給される画像を投影するように、レーザ出力部２０３−１乃至レーザ出力部２０３−３を制御する。レーザ出力部２０３−１乃至レーザ出力部２０３−３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ２０２は、ビデオプロセッサ２０１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部２０３−１乃至レーザ出力部２０３−３を互いに区別して説明する必要が無い場合、レーザ出力部２０３と称する。
ミラー２０４−１は、レーザ出力部２０３−１から出力されるレーザ光を反射し、MEMSミラー２０６に誘導する。ミラー２０４−２は、レーザ出力部２０３−２から出力されるレーザ光を反射し、MEMSミラー２０６に誘導する。ミラー２０４−３は、レーザ出力部２０３−３から出力されるレーザ光を反射し、MEMSミラー２０６に誘導する。なお、ミラー２０４−１乃至ミラー２０４−３を互いに区別して説明する必要が無い場合、ミラー２０４と称する。
MEMSドライバ２０５は、ビデオプロセッサ２０１から供給される画像を投影するように、MEMSミラー２０６のミラーの駆動を制御する。MEMSミラー２０６は、MEMSドライバ２０５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図９の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えばスクリーン１０２に照射される。これにより、ビデオプロセッサ２０１から供給される画像がスクリーン１０２に投影される。
なお、図８の例においては、レーザ出力部２０３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部２０３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０１（投影部１８１）から出力されるレーザ光は、２本以下であってもよいし、４本いじょうであってもよい。そして、投影撮像装置１０１（投影部１８１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー２０４やMEMSミラー２０６の構成も任意であり、図８の例に限定されない。もちろん、レーザ光の走査パターンは任意である。
＜機能ブロック＞
投影撮像装置１０１のSOC１５１は、プログラムを実行することにより、各種機能を実現する。図１０は、SOC１５１が実現する主な機能の例を示す機能ブロック図である。
図１０に示されるように、SOC１５１は、グループ形成部２２１、投影位置制御部２２２、補正情報共有部２２３、補正情報更新部２２４、グループ情報更新部２２５、グループ情報共有部２２６、画像切り出し部２２７、画像補正部２２８、画像投影制御部２２９、およびグループ離脱部２３０等の機能ブロックを実現する。
グループ形成部２２１は、投影撮像装置１０１同士のグループ形成に関する処理を行う。投影位置制御部２２２は、投影画像の投影位置の制御に関する処理を行う。補正情報共有部２２３は、補正情報の共有に関する処理を行う。補正情報更新部２２４は、補正情報の更新に関する処理を行う。グループ情報更新部２２５は、グループ情報の更新に関する処理を行う。グループ情報共有部２２６は、グループ情報の共有に関する処理を行う。画像切り出し部２２７は、投影する画像の切り出しに関する処理を行う。画像補正部２２８は、投影する画像の補正に関する処理を行う。画像投影制御部２２９は、画像の投影の制御に関する処理を行う。グループ離脱部２３０は、グループの離脱に関する処理を行う。
また、これらの機能ブロックの処理により、記憶部１６３の記憶領域には、例えば、グループ情報記憶部２４１、補正情報記憶部２４２、およびセンサデータ記憶部２４３等の記憶領域が形成される。グループ情報記憶部２４１は、グループ情報を記憶する記憶領域である。補正情報記憶部２４２は、補正情報を記憶する記憶領域である。センサデータ記憶部２４３は、センサデータを記憶する記憶領域である。
＜コンテンツ提供サーバ＞
次にサーバの構成について説明する。図１１は、コンテンツ提供サーバ１０５の主な構成例を示すブロック図である。
図１１に示されるように、コンテンツ提供サーバ１０５において、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４を介して相互に接続されている。
バス３０４にはまた、入出力インタフェース３１０も接続されている。入出力インタフェース３１０には、入力部３１１、出力部３１２、記憶部３１３、通信部３１４、およびドライブ３１５が接続されている。
入力部３１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３１１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部３１１に含まれるようにしてもよい。
出力部３１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３１２には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部３１３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部３１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部３１４は、ネットワーク１０４に接続され、ネットワーク１０４を介して接続される他の装置（例えば投影撮像装置１０１）と通信を行う。ドライブ３１５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３２１を駆動する。
CPU３０１は、例えば、記憶部３１３に記憶されているプログラムを、入出力インタフェース３１０およびバス３０４を介して、RAM３０３にロードして実行することにより、各種処理を行う。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU３０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３２１に記録してコンテンツ提供サーバ１０５に提供することができる。その場合、プログラムは、リムーバブルメディア３２１をドライブ３１５に装着することにより、入出力インタフェース３１０を介して、記憶部３１３にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介してコンテンツ提供サーバ１０５に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部３１４で受信し、記憶部３１３にインストールすることができる。
その他、このプログラムは、ROM３０２や記憶部３１３に、あらかじめインストールしておくこともできる。
なお、グループ情報管理サーバ１０６の構成は、コンテンツ提供サーバ１０５と同様である。つまり、図１１の説明は、グループ情報管理サーバ１０６の説明にも適用することができる。また、サーバ１０７とする場合の、サーバ１０７の構成も、コンテンツ提供サーバ１０５と同様である。つまり、図１１の説明は、サーバ１０７の説明としても適用することができる。
＜グループ形成に関する処理の流れ＞
次に、以上のような構成の投影撮像システム１００の各装置により実行される各種処理の流れについて説明する。
最初に、グループ形成に関する処理の流れの例を、図１２のフローチャートを参照して説明する。図１２においては、投影撮像装置１０１−２乃至投影撮像装置１０１−４がグループを形成しており、そのグループに投影撮像装置１０１−１が参加する場合について処理の流れの例が示されている。
グループの形成（既存グループへの参加）方法は任意である。例えば、投影撮像装置１０１同士を近接無線通信させることをそのトリガとするようにしてもよい。以下においては、その場合について説明する。つまり、投影撮像装置１０１−１は、グループに新たに参加する装置であり、投影撮像装置１０１−２は、その投影撮像装置１０１−１の参加を受け付ける（近接無線通信を行う）装置であり、投影撮像装置１０１−３および投影撮像装置１０１−４は、そのグループに以前より参加している装置である。投影撮像装置１０１−４の処理は、投影撮像装置１０１−３と同様であるので、その説明は省略する。
投影撮像装置１０１−１が投影撮像装置１０１−２に近接（所謂タッチ）されると、投影撮像装置１０１−１および投影撮像装置１０１−２のグループ形成部２２１は、NFC部１９１を用いて近接無線通信を開始し、通信部１６４を用いた通信の確立に必要な情報を交換する（ステップＳ１０１、ステップＳ１１１）。
投影撮像装置１０１−１および投影撮像装置１０１−２のグループ形成部２２１は、その交換した通信情報を用いて、通信部１６４を用いた無線通信を確立する。さらに、投影撮像装置１０１−１のグループ形成部２２１は、投影撮像装置１０１−３や投影撮像装置１０１−４との通信も同様に確立する。
無線通信を確立すると、投影撮像装置１０１−１のグループ形成部２２１は、例えばその通信部１６４を介した無線通信により、自身の装置に関する情報を他の投影撮像装置１０１に提供し、グループ参加を要求する。
投影撮像装置１０１−２乃至投影撮像装置１０１−４の各グループ形成部２２１は、投影撮像装置１０１−１の情報を用いて既存のグループ情報を更新し、例えば通信部１６４を介した無線通信により、その更新したグループ情報を投影撮像装置１０１−１乃至投影撮像装置１０１−４で共有する（ステップＳ１０２、ステップＳ１１２、ステップＳ１２１）。もし、グループが形成されていなければグループ情報は存在しないので、各投影撮像装置１０１は、新たにグループ情報生成し、共有する。
また、グループ情報管理サーバ１０６のCPU３０１は、通信部３１４を介して、投影撮像装置１０１等から要求された、投影撮像装置１０１−１乃至投影撮像装置１０１−４により構成されるグループの過去のグループ情報（履歴グループ情報）を、投影撮像装置１０１−１乃至投影撮像装置１０１−４に提供する（ステップＳ１３１）。各投影撮像装置１０１は、例えば通信部１６４を介した無線通信により、その履歴グループ情報を受け取り（ステップＳ１０３、ステップＳ１１３、ステップＳ１２２）、利用することができる場合は利用し、利用できなければ破棄する。
グループ情報の例を図１３に示す。図１３に示されるように、グループ情報には、例えば、グループの識別情報（グループID）、グループに属する装置およびその装置が有する補正情報を示す情報（装置・補正情報）、そのグループで投影したコンテンツの種類を示す情報（コンテンツ種類）、そのコンテンツの投影の際の投影画面の配置を示す情報（投影画面配置）、そのコンテンツを投影した投影面（スクリーン等）についての情報（投影面）等の情報を含む。もちろん、グループ情報の内容は任意であり、これら情報の内の一部のみを含むようにしてもよいし、これら以外の情報を含むようにしてもよい。
各投影撮像装置１０１の投影位置制御部２２２は、それぞれ、グループ情報や補正情報（画像補正に利用される各種変数等の情報）等に基づいて、投影部１８１による画像の投影位置を制御する（ステップＳ１０４、ステップＳ１１４、ステップＳ１２３）。
補正情報は、画素毎の情報（各画素をどのように補正するかを示す情報）であってもよい。例えば、補正情報は、図１４のＡのように、投影する画像の全画素についての情報であってもよいし、図１４のＢのように、画像内の代表点についての情報であってもよい。このようにすることにより、補正情報の情報量を低減することができ、例えば、記憶部１６３に記憶する際に必要な記憶容量を低減させることができる。この場合、代表点以外の画素についての補正情報は、図１４のＣに示されるように、画像補正の際（その補正情報が利用される際）等に、代表点の補正情報に基づいて補間される。
補正情報の内容は任意であるが、例えば図１５の例のように幾何情報であってもよい。図１５の例の場合、補正情報は、入力画像の代表点（図１５のＡ）が補正後にどのように移動するかを示す（図１５のＢ）、代表点毎の幾何情報を含む。
より補正情報の具体的な例を図１６に示す。補正情報は、例えば、図１６に示されるような各種パラメータを含む。図１６の例の場合、補正情報は、対象となる点の補正前後の座標と、補正前後の各色のゲイン値とシフト値と、色変換マトリクスの係数を含む。
各投影撮像装置１０１の補正情報共有部２２３は、例えば通信部１６４を介した無線通信により、互いの補正情報を共有する（ステップＳ１０５、ステップＳ１１５、ステップＳ１２４）。そして、各投影撮像装置１０１の補正情報更新部２２４は、グループ情報、投影位置、補正情報等に基づいて、各投影撮像装置１０１が協働して投影画像を適切に投影することができるように、補正情報を更新する（ステップＳ１０６、ステップＳ１１６、ステップＳ１２５）。例えば、図２のＡの例のように、複数の投影画像を用いて１つの投影画像を形成することができるように、補正情報の更新が行われる。そして、各投影撮像装置１０１の補正情報共有部２２３は、例えば通信部１６４を介した無線通信により、互いの補正後の補正情報を共有する（ステップＳ１０７、ステップＳ１１７、ステップＳ１２６）。
各投影撮像装置１０１の投影位置制御部２２２は、それぞれ、グループ情報や、更新された補正情報等に基づいて、投影部１８１による画像の投影位置を制御する（ステップＳ１０８、ステップＳ１１８、ステップＳ１２７）。これにより、投影位置が適切な状態（例えば、図２のＡの例のように、複数の投影画像を用いて１つの投影画像を形成することができるような状態）になる。
各投影撮像装置１０１が協働して投影している状態における、各投影画像の配置は任意である。図１７にその例を示す。
例えば、図１７のＡに示されるように、４つの投影画像１１１により１つの画像４０１全体を投影するような配置にしてもよいし、図１７のＢに示されるように、３つの投影画像１１１により１つの画像４０１の一部を投影するような配置にしてもよいし、図１７のＣに示されるように、３つの投影画像１１１により１つの画像４０１全体を投影するような配置にしてもよいし、図１７のＤに示されるように、各投影画像１１１がそれぞれ（重ならずに）１つの画像４０１の一部を投影するような配置にしてもよいし、図１７のＥに示されるように、２つの投影画像１１１により１つの画像４０１全体を投影し、他の２つの投影画像１１１により画像４０２と画像４０３とをそれぞれ投影するような配置にしてもよい。つまり、投影するコンテンツデータに複数の画像が含まれていてもよい。
なお、このような投影位置の制御において、例えば互いの投影画像の位置が遠く離れている等して、投影位置の移動にユーザの操作（投影撮像装置１０１の移動等）が必要な場合、投影位置制御部２２２が、投影画像をどのように移動させるかを誘導する表示（誘導表示）を投影画像等に表示させるようにしてもよい。
例えば、図１８のＡのように、投影画像１１１−１と投影画像１１１−３により形成される領域に画像４０１が投影されているとする。投影画像１１１−２および投影画像１１１−４をこの領域に加えることにより、図１８のＤのように画像４０１をさらに大きく表示させることができる。
このような場合において、投影位置制御部２２２が、図１８のＢに示されるように、投影画像１１１−１および投影画像１１１−３からなる領域に、例えば「この領域に重ねて下さい」等のメッセージを表示させるようにしてもよい。このようにすることにより、ユーザは、より容易に、投影画像１１１−２や投影画像１１１−４をどのように移動させるべきかを把握することができる。
また、その誘導表示に従って、投影画像１１１−２や投影画像１１１−４が移動されると、投影位置制御部２２２が、図１８のＣに示されるように、投影画像１１１−１乃至投影画像１１１−４からなる領域に、例えば「補正可能な重なりになりました」等のメッセージを表示させるようにしてもよい。このようにすることにより、ユーザは、より容易に、各投影画像１１１の位置が適切な状態になったことを把握することができる。
なお、複数の投影画像装置１０１が協働して投影を行う場合の各投影画像１１１の配置は、図１７のＡの例のように各投影画像が互いに重なって１つの領域を形成している状態でなくてもよい。例えば、図１７のＥに示されるように、各投影画像装置１０１が、互いに重ならない位置に画像を投影することにより、協働して複数の画像を表示するようにしてもよい。
したがって、投影位置の制御は、図１８の例のように、複数の投影画像を互いに重ねるように移動させるだけでなく、図１９のＡに示されるように、互いに重なって１つの領域を形成している状態の各投影画像を、図１９のＢに示されるように、互いに重ならない位置に移動させる場合もあり得る。このようにすることにより、図１９のＣに示されるように、画像４０１乃至画像４０３を同時に表示させることができるようになる。
各投影撮像装置１０１のグループ情報更新部２２５は、更新後の補正情報等を用いてグループ情報を更新する。そして、各投影撮像装置１０１のグループ情報共有部２２６は、例えば通信部１６４を介した無線通信により、その更新したグループ情報を投影撮像装置１０１−１乃至投影撮像装置１０１−４で共有する（ステップＳ１０９、ステップＳ１１９、ステップＳ１２８）。
以上のようにして新たなグループが形成される。このようにすることにより、より容易にグループを形成し、複数の投影部を協働させて投影することができる。
画像の投影の仕方、例えば、画像をどのような配置で、どのような大きさで投影させるか等については、例えば、ユーザ等が各投影画像の位置を決定することにより決定されるようにしてもよいし、コンテンツ（コンテンツのメタデータ）により決定されるようにしてもよい。
例えば、図２１のＡに示されるように、コンテンツがサッカー観戦の場合、そのコンテンツは、フィールドの俯瞰映像（画像４０１）、選手のアップ映像（画像４０２）、選手のデータの映像（画像４０３）等により構成される場合がある。コンテンツのメタデータには、図２２に示されるように、そのような各画像の情報（コンテンツ名、ジャンル、推奨サイズ、種別、サイズ等）が格納されている。
このような場合において、コンテンツのメタデータに基づいて、フィールドの俯瞰映像（画像４０１）を大きく投影するために、２つの投影画像１１１を用いて１つの大きな領域を形成し、さほど大きく投影する必要の無い選手のアップ映像（画像４０２）や選手のデータの映像（画像４０３）を投影するための領域を、それぞれ、１つの投影画像１１１により形成するようにしてもよい。
また、ユーザ等が設定した各投影画像１１１の配置に基づいて、投影画像１１１−１および投影画像１１１−３により形成される最も大きな領域に、フィールドの俯瞰映像（画像４０１）を大きく投影し、選手のアップ映像（画像４０２）や選手のデータの映像（画像４０３）を、残りの２つの領域にそれぞれ投影するようにしてもよい。
図２１のＢは、コンテンツがカーレースのゲームの画像の場合を示している。この場合もサッカー観戦の場合と同様である。
レースカーの外から見た画像と、各レースカーのドライバの視点の画像とを、各画像に対して適切な大きさや位置の領域に投影させるために、コンテンツのメタデータに基づいて制御するようにしてもよいし、投影画像の位置に基づいて制御するようにしてもよい。
＜画像補正処理の流れ＞
次に、画像を投影する際の処理の流れの例を、図２０のフローチャートを参照して説明する。図１２においては、投影撮像装置１０１−１乃至投影撮像装置１０１−４がグループを形成しており、各投影撮像装置１０１が協働して画像を投影する場合について処理の流れの例が示されている。
例えば投影撮像装置１０１側からの要求等に基づいて、コンテンツ提供サーバ１０５は、要求されたコンテンツデータを、通信部３１４を介して各投影撮像装置１０１に供給する（ステップＳ１８１）。各投影撮像装置１０１は、例えば通信部１６４を介した無線通信により、そのコンテンツデータを受け取る（ステップＳ１５１、ステップＳ１６１、ステップＳ１７１）。
各投影撮像装置１０１の画像切り出し部２２７は、グループ情報や、コンテンツデータに含まれるメタデータ等に基づいて、必要に応じて、コンテンツデータに含まれる画像から、自身に割り当てられた領域の部分画像を切り出す（ステップＳ１５２、ステップＳ１６２、ステップＳ１７２）。当該投影撮像装置１０１が画像全体を投影する場合は、この処理は省略される。
各投影撮像装置１０１の画像補正部２２８は、切り出された画像を、メタデータ、グループ情報、補正情報等に基づいて補正する（ステップＳ１５３、ステップＳ１６３、ステップＳ１７３）。
各投影撮像装置１０１の画像投影制御部２２９は、投影部１８１を制御し、補正された画像をスクリーン１０２等に投影させる（ステップＳ１５４、ステップＳ１６４、ステップＳ１７４）。
以上のように、投影撮像装置１０１は、グループ情報、補正情報、およびメタデータ等を用いて、より容易に他の投影撮像装置１０１と協働して画像を投影することができる。
＜グループ離脱に関する処理の流れ＞
次に、グループを離脱する際の処理の流れの例を、図２３のフローチャートを参照して説明する。図２３においては、投影撮像装置１０１−１乃至投影撮像装置１０１−４がグループを形成しており、そのグループから投影撮像装置１０１−１が離脱する場合について処理の流れの例が示されている。
例えばグループを離脱する投影撮像装置１０１−１のグループ離脱部２３０は、例えば通信部１６４を介した無線通信により、現在のグループ情報をグループ情報管理サーバ１０６にアップロードする（ステップＳ２０１）。グループ情報管理サーバ１０６は、そのグループ情報を履歴として記憶し、管理する（ステップＳ２３１）。
投影撮像装置１０１−１のグループ離脱部２３０は、例えば通信部１６４を介した無線通信により、同グループの他の投影撮像装置１０１（投影撮像装置１０１−２乃至投影撮像装置１０１−４の内、少なくともいずれか１つ）に対してグループからの離脱を通知する（ステップＳ２０２）。
投影撮像装置１０１−２乃至投影撮像装置１０１−４の内少なくともいずれか１つのグループ情報更新部２２５は、その通知を受けて、投影撮像装置１０１−１を除くようにグループ情報を更新する。そして、投影撮像装置１０１−２乃至投影撮像装置１０１−４のグループ情報共有部２２６は、更新されたグループ情報を共有する（ステップＳ２１１、ステップＳ２２１）。
グループを離脱した投影撮像装置１０１−１のグループ離脱部２３０は、グループ情報記憶部２４１に記憶されている当該グループのグループ情報を削除する（ステップＳ２０３）。
また、グループに残った投影撮像装置１０１−２乃至投影撮像装置１０１−４の投影位置制御部２２２は、投影撮像装置１０１−１を除くグループとして互いに協働するように、投影を制御する（ステップＳ２１２およびステップＳ２２２）。
投影撮像装置１０１−２乃至投影撮像装置１０１−４の補正情報共有部２２３は、例えば通信部１６４を介した無線通信により、互いの補正情報を共有する（ステップＳ２１３、ステップＳ２２３）。そして、投影撮像装置１０１−２乃至投影撮像装置１０１−４の補正情報更新部２２４は、グループ情報、投影位置、補正情報等に基づいて、投影撮像装置１０１−２乃至投影撮像装置１０１−４が協働して投影画像を適切に投影することができるように、補正情報を更新する（ステップＳ２１４、ステップＳ２２４）。そして、投影撮像装置１０１−２乃至投影撮像装置１０１−４の補正情報共有部２２３は、例えば通信部１６４を介した無線通信により、互いの補正後の補正情報を共有する（ステップＳ２１５、ステップＳ２２５）。
投影撮像装置１０１−２乃至投影撮像装置１０１−４の投影位置制御部２２２は、それぞれ、グループ情報や、更新された補正情報等に基づいて、投影部１８１による画像の投影位置を制御する（ステップＳ２１６、ステップＳ２２６）。これにより、投影位置が適切な状態になる。
投影撮像装置１０１−２乃至投影撮像装置１０１−４のグループ情報更新部２２５は、更新後の補正情報等を用いてグループ情報を更新する。そして、投影撮像装置１０１−２乃至投影撮像装置１０１−４のグループ情報共有部２２６は、例えば通信部１６４を介した無線通信により、その更新したグループ情報を投影撮像装置１０１−２乃至投影撮像装置１０１−４で共有する（ステップＳ２１７、ステップＳ２２７）。
以上のようにして投影撮像装置１０１は、グループから容易に離脱することもできる。このようにすることにより、より容易にグループを形成し、複数の投影部を協働させて投影することができる。
＜投影撮像装置＞
図７に投影撮像装置１０１の主な構成例を示すブロック図を示したが、投影撮像装置１０１の構成例は、これに限らない。例えば、図２４に示される例のようにしてもよい。
図２４の例の場合、投影撮像装置１０１は、投影する画像に対する処理（例えば、画像切り出しや画像補正等）をビデオプロセッサ５０３において行う。入力部１６１（HDMIケーブル等）を介して入力された画像（ビデオストリーム等）は、入力切替部５０１を介してビデオプロセッサ５０３に供給される。また、通信部１６４を介して取得された画像（画像ファイル等）は、SOC１５１から入力切替部５０１を介してビデオプロセッサ５０３に供給される。
SOC１５１は、制御部５０２を介してビデオプロセッサ５０３や投影部１８１を制御し、画像処理、画像出力（投影）、音声出力等を行わせる。実現される処理は、図７の構成の場合と同様である。ただし、図２４の構成の場合、画像処理等をビデオプロセッサ５０３において行うので、SOC１５１の負荷を低減させることができる。
＜投影撮像システムの他の構成＞
投影撮像システム１００の構成例は、図１に示したが、これに限定されない。例えば、図２５のように、いずれかの投影撮像装置１０１を親とし、それ以外の投影撮像装置１０１を子とし、親の投影撮像装置１０１が、グループ管理、補正情報管理、画像処理等の上述した各種処理を実行するようにし、子の投影撮像装置１０１は、補正済みの画像を受け取って投影するのみとしてもよい。
このようにすることにより、親とされる投影撮像装置１０１のみ、十分な処理能力を確保すればよく、その他の（子とする）投影撮像装置１０１に必要な処理能力を低減させることができる。したがって、コストを低減させることができる。このように、投影撮像システム１００は、互いに処理能力の異なる投影撮像装置１０１により構成されるようにしてもよい。
また、投影撮像装置１０１間の通信は、有線であってもよい。例えば、図２６に示されるように、各投影撮像装置１０１が、HDMIケーブル等の通信ケーブル５２１（通信ケーブル５２１−１乃至通信ケーブル５２１−４）により、互いに接続されるようにしてもよい。例えば、通信ケーブル５２１としてHDMIケーブルを用いる場合、コンテンツデータだけでなく、センサデータや補正情報等のコレクションデータもこの通信ケーブル５２１を介して伝送させることができる。
HDMIケーブルには、図２７のＡに示されるように、CEC（Consumer Erectoric Control）ラインがある。このHDMIのCECは、一般的には、接続された機器同士で電源のON/OFF指示や、走行系の再生・停止指示など、リモコンで操作されるコマンド群などの通信に用いる物であるが、図２７のＢに示すようなテーブルを用いるとその他のデータ通信を行う事が出来る。つまり、このCECを用いて、コレクションデータ等の伝送も行うことができる。
また、通信ケーブルを用いて投影撮像装置１０１を接続する場合、図２６の例のように、デイジーチェーン方式で各投影撮像装置１０１を接続するようにしてもよいが、図２８に示されるように、コンバージョンボックス５３１を用いて各投影撮像装置１０１を接続するようにしてもよい。この場合、画像の切り出しや補正等の画像処理は、このコンバージョンボックス５３１において行うようにしてもよい。その場合、各投影撮像装置１０１において得られるセンシングデータは、コンバージョンボックス５３１により収集されるようにしてもよい（点線矢印５３２−１乃至点線矢印５３２−４）。このセンシングデータの収集は、上述したように通信ケーブル５２１を用いて行うようにしてもよいし、通信ケーブル５２１とは別の通信ケーブルを新たに設け、その新たな通信ケーブルを用いて行うようにしてもよい。また、無線通信により行うようにしてもよい。
コンバージョンボックス５３１に接続される投影撮像装置１０１の台数は、理論的には任意であるが、現実においては、数台の投影撮像装置１０１を接続可能なものしか存在しない。ただし、図２９に示されるように、このコンバージョンボックス５３１を複数接続することにより、より多くの投影撮像装置１０１をグループ化することもできる。
このコンバージョンボックス５３１同士の接続は、通信ケーブル５２１であってもよいし、それ以外の通信ケーブルであってもよいし、無線通信等であってもよい。
また、コンバージョンボックス５３１の代わりに、図３０に示されるように、HDMIスプリッタ５４１を用いるようにしてもよい。HDMIスプリッタ５４１は、単に入力されるコンテンツデータを分岐して、複数の投影撮像装置１０１に供給するのみである。したがって、この場合、画像処理、グループ情報や補正情報の管理や制御等の各種処理は、図１の場合と同様、投影撮像装置１０１において行われる。各投影撮像装置１０１間のコレクションデータの共有は、通信ケーブル５４２を介して行われるようにしてもよいし、無線通信等により行われるようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図７や図１１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１７１やリムーバブルメディア３２１により構成される。このリムーバブルメディア１７１やリムーバブルメディア３２１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
その場合、例えば投影撮像装置１０１においては、プログラムは、そのリムーバブルメディア１７１をドライブ１６５に装着することにより、記憶部１６３にインストールすることができる。また、例えばコンテンツ提供サーバ１０５においては、プログラムは、そのリムーバブルメディア３２１をドライブ３１５に装着することにより、記憶部３１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、例えば投影撮像装置１０１においては、プログラムは、通信部１６４で受信し、記憶部１６３にインストールすることができる。また、例えばコンテンツ提供サーバ１０５においては、プログラムは、通信部３１４で受信し、記憶部３１３にインストールすることができる。
その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば投影撮像装置１０１の場合、プログラムは、記憶部１６３やSOC１５１に内蔵されるROM等に、あらかじめインストールしておくこともできる。また、例えばコンテンツ提供サーバ１０５の場合、プログラムは、記憶部３１３やROM３０２等に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１）
画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループを形成するグループ形成部と、
前記グループ形成部により形成された前記グループに属する各情報処理装置の、前記投影部が投影する画像に対して行われる補正に関する情報である補正情報を、前記グループ形成部により形成された前記グループに属する各情報処理装置で共有する補正情報共有部と、
前記情報処理装置自身の前記補正情報を、前記投影部により投影された画像を被写体として撮像して得られた前記撮像画像と、前記補正情報共有部により共有される前記補正情報とに基づいて、更新する補正情報更新部と
を備える情報処理装置。
（２） 前記補正情報は、前記画像内の所定の代表画素に対しておこなわれる補正に関する情報を含む
（１）に記載の情報処理装置。
（３） 前記代表画素に対しておこなわれる補正に関する情報は、前記代表画素の補正前後の座標、前記代表画素の各色成分のゲイン値およびシフト値、並びに、前記代表画素の色変換マトリクスの係数を含む
（２）に記載の情報処理装置。
（４） 無線通信を行う無線通信部をさらに備え、
前記グループ形成部は、前記無線通信部により前記無線通信が行われた他の情報処理装置と前記情報処理装置自身を含む前記グループを形成する
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記グループ形成部は、所定の通信ケーブルにより前記情報処理装置自身に接続された他の情報処理装置と前記情報処理装置自身を含む前記グループを形成する
（１）乃至（３）のいずれかに記載の情報処理装置。
（６） 前記グループ形成部は、形成した前記グループに関する情報であるグループ情報を生成する
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記グループ情報は、前記グループを識別する識別情報と、前記グループ情報に対応するグループを構成する情報処理装置の前記補正情報とを含む
（６）に記載の情報処理装置。
（８） 前記グループ情報は、前記グループが過去に投影したコンテンツデータの種類に関する情報をさらに含む
（７）に記載の情報処理装置。
（９） 前記グループ情報は、前記コンテンツデータを投影した際の、前記グループに属する各情報処理装置の前記投影部が投影した画像の配置をさらに含む
（８）に記載の情報処理装置。
（１０） 前記グループ情報は、前記画像が投影された投影面に関する情報をさらに含む
（９）に記載の情報処理装置。
（１１） 前記グループ情報を、前記グループに属する各情報処理装置で共有するグループ情報共有部と、
前記グループ情報を更新するグループ情報更新部と
をさらに備える
（９）および（１０）に記載の情報処理装置。
（１２） 前記グループ情報および前記補正情報に基づいて、前記投影部の前記画像の投影位置を制御する投影位置制御部をさらに備える
（６）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記投影位置制御部は、前記グループに属する各情報処理装置の前記投影部が投影する画像の位置が前記グループ情報や前記補正情報に基づいて定められる位置と異なる場合、前記画像を前記位置に投影させるように誘導する画像を投影する
（１２）に記載の情報処理装置。
（１４） 前記グループ情報に基づいて、前記コンテンツデータに含まれる画像の、前記投影部が投影する部分を切り出す画像切り出し部をさらに備える
（６）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記グループ情報に基づいて、前記コンテンツデータに含まれる画像の、前記投影部が投影する部分を補正する画像補正部をさらに備える
（６）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記グループ形成部により形成された前記グループから離脱する旨を前記グループに属する他の情報処理装置に通知し、前記グループを離脱するグループ離脱部をさらに備える
（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記コンテンツデータは、画像データとメタデータとを含む
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 前記メタデータは、前記画像データの内容、ジャンル、推奨投影画像サイズ、種別、および解像度に関する情報を含む
（１７）に記載の情報処理装置。
（１９） 前記コンテンツデータは、複数の画像データを有する
（１７）または（１８）に記載の情報処理装置。
（２０）
画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループを形成し、
形成された前記グループに属する各情報処理装置の、前記投影部が投影する画像に対して行われる補正に関する情報である補正情報を、形成された前記グループに属する各情報処理装置で共有し、
前記情報処理装置自身の前記補正情報を、前記投影部により投影された画像を被写体として撮像して得られた前記撮像画像と、共有される前記補正情報とに基づいて、更新する
情報処理方法。
１００ 投影撮像システム， １０１ 投影撮像装置， １０２ スクリーン， １０３ アクセスポイント， １０４ ネットワーク， １０５ コンテンツ提供サーバ， １０６ グループ情報管理サーバ， １０７ サーバ， １１１ 投影画像， １１２ 入力画像， １５１ SOC， １６３ 記憶部， １８１ 投影部， １８２ 撮像部， ２０１ ビデオプロセッサ， ２０２ レーザドライバ， ２０３ レーザ出力部， ２０４ ミラー， ２０５ MEMSドライバ， ２０６ MEMSミラー， ２２１ グループ形成部， ２２２ 投影位置制御部， ２２３ 補正情報共有部， ２２４ 補正情報更新部， ２２５ グループ情報更新部， ２２６ グループ情報共有部， ２２７ 画像切り出し部， ２２８ 画像補正部， ２２９ 画像投影制御部， ２３０ グループ離脱部， ２４１ グループ情報記憶部， ２４２ 補正情報記憶部， ２４３ センサデータ記憶部， ３０１ CPU， ５０１ 入力切替部， ５０２ 制御部， ５０３ ビデオプロセッサ， ５２１ HDMIケーブル， ５３１ コンバージョンボックス， ５４１ HDMIスプリッタ

Claims (20)

  1. 画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループを形成するグループ形成部と、
    前記グループ形成部により形成された前記グループに属する各情報処理装置の、前記投影部が投影する画像に対して行われる補正に関する情報である補正情報を、前記グループ形成部により形成された前記グループに属する各情報処理装置で共有する補正情報共有部と、
    前記情報処理装置自身の前記補正情報を、前記投影部により投影された画像を被写体として撮像して得られた前記撮像画像と、前記補正情報共有部により共有される前記補正情報とに基づいて、更新する補正情報更新部と
    を備える情報処理装置。
  2. 前記補正情報は、前記画像内の所定の代表画素に対しておこなわれる補正に関する情報を含む
    請求項１に記載の情報処理装置。
  3. 前記代表画素に対しておこなわれる補正に関する情報は、前記代表画素の補正前後の座標、前記代表画素の各色成分のゲイン値およびシフト値、並びに、前記代表画素の色変換マトリクスの係数を含む
    請求項２に記載の情報処理装置。
  4. 無線通信を行う無線通信部をさらに備え、
    前記グループ形成部は、前記無線通信部により前記無線通信が行われた他の情報処理装置と前記情報処理装置自身を含む前記グループを形成する
    請求項１に記載の情報処理装置。
  5. 前記グループ形成部は、所定の通信ケーブルにより前記情報処理装置自身に接続された他の情報処理装置と前記情報処理装置自身を含む前記グループを形成する
    請求項１に記載の情報処理装置。
  6. 前記グループ形成部は、形成した前記グループに関する情報であるグループ情報を生成する
    請求項１に記載の情報処理装置。
  7. 前記グループ情報は、前記グループを識別する識別情報と、前記グループ情報に対応するグループを構成する情報処理装置の前記補正情報とを含む
    請求項６に記載の情報処理装置。
  8. 前記グループ情報は、前記グループが過去に投影したコンテンツデータの種類に関する情報をさらに含む
    請求項７に記載の情報処理装置。
  9. 前記グループ情報は、前記コンテンツデータを投影した際の、前記グループに属する各情報処理装置の前記投影部が投影した画像の配置をさらに含む
    請求項８に記載の情報処理装置。
  10. 前記グループ情報は、前記画像が投影された投影面に関する情報をさらに含む
    請求項９に記載の情報処理装置。
  11. 前記グループ情報を、前記グループに属する各情報処理装置で共有するグループ情報共有部と、
    前記グループ情報を更新するグループ情報更新部と
    をさらに備える
    請求項９に記載の情報処理装置。
  12. 前記グループ情報および前記補正情報に基づいて、前記投影部の前記画像の投影位置を制御する投影位置制御部をさらに備える
    請求項６に記載の情報処理装置。
  13. 前記投影位置制御部は、前記グループに属する各情報処理装置の前記投影部が投影する画像の位置が前記グループ情報や前記補正情報に基づいて定められる位置と異なる場合、前記画像を前記位置に投影させるように誘導する画像を投影する
    請求項１２に記載の情報処理装置。
  14. 前記グループ情報に基づいて、前記コンテンツデータに含まれる画像の、前記投影部が投影する部分を切り出す画像切り出し部をさらに備える
    請求項６に記載の情報処理装置。
  15. 前記グループ情報に基づいて、前記コンテンツデータに含まれる画像の、前記投影部が投影する部分を補正する画像補正部をさらに備える
    請求項６に記載の情報処理装置。
  16. 前記グループ形成部により形成された前記グループから離脱する旨を前記グループに属する他の情報処理装置に通知し、前記グループを離脱するグループ離脱部をさらに備える
    請求項１に記載の情報処理装置。
  17. 前記コンテンツデータは、画像データとメタデータとを含む
    請求項１に記載の情報処理装置。
  18. 前記メタデータは、前記画像データの内容、ジャンル、推奨投影画像サイズ、種別、および解像度に関する情報を含む
    請求項１７に記載の情報処理装置。
  19. 前記コンテンツデータは、複数の画像データを有する
    請求項１７に記載の情報処理装置。
  20. 画像を投影する投影部および被写体を撮像し撮像画像を得る撮像部を備える他の情報処理装置と、協働して１つのコンテンツデータを投影するグループを形成し、
    形成された前記グループに属する各情報処理装置の、前記投影部が投影する画像に対して行われる補正に関する情報である補正情報を、形成された前記グループに属する各情報処理装置で共有し、
    前記情報処理装置自身の前記補正情報を、前記投影部により投影された画像を被写体として撮像して得られた前記撮像画像と、共有される前記補正情報とに基づいて、更新する
    情報処理方法。
JP2016531254A 2014-07-01 2015-06-17 情報処理装置および方法 Active JP6917710B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014135793 2014-07-01
JP2014135793 2014-07-01
PCT/JP2015/067424 WO2016002512A1 (ja) 2014-07-01 2015-06-17 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2016002512A1 true JPWO2016002512A1 (ja) 2017-04-27
JP6917710B2 JP6917710B2 (ja) 2021-08-11

Family

ID=55019059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016531254A Active JP6917710B2 (ja) 2014-07-01 2015-06-17 情報処理装置および方法

Country Status (4)

Country Link
US (1) US9918058B2 (ja)
JP (1) JP6917710B2 (ja)
CN (1) CN106464826B (ja)
WO (1) WO2016002512A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2614650A1 (en) 2010-09-10 2013-07-17 Lemoptix SA A device for projecting an image
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US20170272716A1 (en) * 2016-03-15 2017-09-21 Casio Computer Co., Ltd. Projection apparatus, projection control method, and storage medium
JP6093103B1 (ja) * 2016-03-28 2017-03-08 日立マクセル株式会社 投射型映像表示装置
JP2018084751A (ja) * 2016-11-25 2018-05-31 キヤノン株式会社 表示装置
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A2 (en) 2016-12-30 2024-01-03 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
WO2018163875A1 (ja) * 2017-03-09 2018-09-13 ソニー株式会社 画像処理装置および方法
EP3632101A1 (en) * 2017-05-23 2020-04-08 Koninklijke KPN N.V. Coordinate mapping for rendering panoramic scene
JP7161470B2 (ja) * 2017-06-08 2022-10-26 キヤノン株式会社 画像処理装置およびその制御方法
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
TWI674441B (zh) * 2017-11-02 2019-10-11 天衍互動股份有限公司 光雕傳媒系統及其方法
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
CN115826240A (zh) 2017-12-20 2023-03-21 奇跃公司 用于增强现实观看设备的插入件
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
CN108632593B (zh) * 2018-05-31 2020-05-19 歌尔股份有限公司 彩色汇聚误差的修正方法、装置及设备
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
CN112422933A (zh) * 2019-08-21 2021-02-26 台达电子工业股份有限公司 投影装置、投影系统以及运行方法
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006114948A (ja) * 2004-10-12 2006-04-27 Hitachi Ltd 色順次方式投射型映像表示装置
JP2008249906A (ja) * 2007-03-29 2008-10-16 Brother Ind Ltd プロジェクタ及び表示システム
JP2011215485A (ja) * 2010-04-01 2011-10-27 Canon Inc 投影システム及び投影方法
JP2012027154A (ja) * 2010-07-21 2012-02-09 Canon Inc 画像表示システム
JP2012118390A (ja) * 2010-12-02 2012-06-21 Sharp Corp 表示装置およびマルチディスプレイシステム
JP2012517621A (ja) * 2009-02-11 2012-08-02 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． マルチプロジェクタシステム及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834965B2 (en) * 2003-03-21 2004-12-28 Mitsubishi Electric Research Laboratories, Inc. Self-configurable ad-hoc projector cluster
JP5495572B2 (ja) * 2009-01-07 2014-05-21 キヤノン株式会社 プロジェクタ・システム及びこれを含むビデオ会議システム
JP5641820B2 (ja) * 2010-08-25 2014-12-17 キヤノン株式会社 投射型表示システム及び投射型表示装置
EP2614650A1 (en) * 2010-09-10 2013-07-17 Lemoptix SA A device for projecting an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006114948A (ja) * 2004-10-12 2006-04-27 Hitachi Ltd 色順次方式投射型映像表示装置
JP2008249906A (ja) * 2007-03-29 2008-10-16 Brother Ind Ltd プロジェクタ及び表示システム
JP2012517621A (ja) * 2009-02-11 2012-08-02 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． マルチプロジェクタシステム及び方法
JP2011215485A (ja) * 2010-04-01 2011-10-27 Canon Inc 投影システム及び投影方法
JP2012027154A (ja) * 2010-07-21 2012-02-09 Canon Inc 画像表示システム
JP2012118390A (ja) * 2010-12-02 2012-06-21 Sharp Corp 表示装置およびマルチディスプレイシステム

Also Published As

Publication number Publication date
CN106464826A (zh) 2017-02-22
US9918058B2 (en) 2018-03-13
WO2016002512A1 (ja) 2016-01-07
CN106464826B (zh) 2020-02-07
US20170127032A1 (en) 2017-05-04
JP6917710B2 (ja) 2021-08-11

Similar Documents

Publication Publication Date Title
WO2016002512A1 (ja) 情報処理装置および方法
JP6768197B2 (ja) 情報処理装置および方法
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US10523931B2 (en) System for projecting immersive audiovisual content
JP6658520B2 (ja) 画像処理装置および方法
US11743590B2 (en) Communication terminal, image communication system, and method for displaying image
US20220103751A1 (en) Communication management apparatus, image communication system, communication management method, and recording medium
CN114651448A (zh) 信息处理系统、信息处理方法和程序
US20220139050A1 (en) Augmented Reality Platform Systems, Methods, and Apparatus
US10129512B2 (en) Self-adjusting portable modular 360-degree projection and recording computer system
WO2021088890A1 (zh) 显示系统及显示方法
KR20180124453A (ko) 복수의 사용자 단말들을 제어하는 군중 제어 시스템
US20210185297A1 (en) Multi-spectral volumetric capture
EP4099705A1 (en) Communication terminal, image communication system, method for displaying image, and carrier means
US20220180664A1 (en) Frame of reference for motion capture
JP2020020986A (ja) プロジェクター、投射システム、及び、投射方法
EP3525456A1 (en) Self-adjusting portable modular 360-degree projection and recording computer system
WO2014074714A1 (en) 3d led output device and process for emitting 3d content output for large screen applications and which is visible without 3d glasses
Takacs et al. Deliverable 4.1 CXIM 2.0 Environment
JP2015154370A (ja) マルチプロジェクションシステム及び音声出力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200414

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200414

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200508

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200512

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200529

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200602

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200901

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210622

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210720

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210720

R150 Certificate of patent or registration of utility model

Ref document number: 6917710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150