JPWO2018012524A1 - 投影装置、投影方法および投影制御プログラム - Google Patents

投影装置、投影方法および投影制御プログラム Download PDF

Info

Publication number
JPWO2018012524A1
JPWO2018012524A1 JP2018527623A JP2018527623A JPWO2018012524A1 JP WO2018012524 A1 JPWO2018012524 A1 JP WO2018012524A1 JP 2018527623 A JP2018527623 A JP 2018527623A JP 2018527623 A JP2018527623 A JP 2018527623A JP WO2018012524 A1 JPWO2018012524 A1 JP WO2018012524A1
Authority
JP
Japan
Prior art keywords
projection
unit
content
illuminance
illuminance distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018527623A
Other languages
English (en)
Inventor
拓人 市川
拓人 市川
大津 誠
誠 大津
太一 三宅
太一 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2018012524A1 publication Critical patent/JPWO2018012524A1/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2053Intensity control of illuminating light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor

Abstract

被投影体にコンテンツを投影する投影装置において、被投影体の明るさによってコンテンツの視認性が損なわれることを抑制するように投影領域を設定する。被投影体(102)にコンテンツを投影する投影装置(101)は、被投影体(102)の投影面(103)上の照度分布を検出し、当該照度分布を参照して、コンテンツの投影領域(104)を決定する。

Description

本発明の一態様は、被投影体にコンテンツを投影するための投影装置、投影方法および投影プログラムに関する。
近年、情報を直感的に提示するための技術として、実空間に映像等を重畳させるAR(Augmented Reality)技術が開発されている。AR技術によれば、例えば、作業の現場において、作業対象物に対して作業方法を示す映像等を重畳させたり、医療現場において、患者の身体に対して、診察画像等を重畳させたりすることができる。
AR技術の実施方式としては、光学シースルー型、ビデオシースルー型、プロジェクション型等の方式が存在する。ただし、光学シースルー型、ビデオシースルー型といった方式では、複数人が同時に同じAR情報を見る場合、各々が専用の機器を装着する必要がある。これに対し、プロジェクション型AR技術では、各々が専用の機器を装着することなく、複数人が同時に同じAR情報を見ることができるという利点がある。
プロジェクション型AR技術は、物体に、図形や文字、静止画、映像などの視覚的な情報を投影する投影装置を用いて、コンピュータ上で生成または加工した映像を投影装置から投影し、実空間内の物体に映像を重畳させる技術である。
このようなプロジェクション型AR技術では、物体が照明などの外光で照らされることで明るくなると、映像が見え難くなるという課題がある。これに対し、特許文献1には、物体近傍の環境に応じて投影する映像の明るさを調整する方法が開示されている。また、特許文献2には、物体の色を考慮して投影される映像の色を自動で調整する方法が開示されている。
日本国特許公開公報「特開2013−195726号公報」 日本国特許公開公報「特開2012−68364号公報」
本発明者らは、独自の発想に基づき、被投影体にコンテンツを投影する投影装置において、被投影体の明るさによってコンテンツの視認性が損なわれることを抑制するように投影領域を設定することを検討している。従来技術では、投影領域を設定することについては、一切考慮されていない。
本発明の一態様は、以上の課題を鑑みてなされたものであり、被投影体にコンテンツを投影する投影装置において、被投影体の明るさによってコンテンツの視認性が損なわれることを抑制するように投影領域を設定する技術を提供することを主たる目的とする。
上記の課題を解決するために、本発明の一態様に係る投影装置は、被投影体にコンテンツを投影する投影部と、前記投影部による投影可能範囲内の照度に基づいて、前記コンテンツの投影領域を決定する投影領域決定部と、を備えている。
また、本発明の一態様に係る投影方法は、投影装置が被投影体にコンテンツを投影する投影方法であって、前記投影装置による投影可能範囲内の照度に基づいて、前記コンテンツの投影領域を決定する投影領域決定工程を包含する。
本発明の一態様によれば、被投影体にコンテンツを投影する投影装置において、被投影体の明るさによってコンテンツの視認性が損なわれることを抑制するように投影領域を設定することができる。
本発明の一実施形態(実施形態1)に係る投影装置の使用態様の一例を模式的に示す図である。 本発明の一実施形態(実施形態1)に係る投影装置の機能ブロック構成の一例を示す図である。 本発明の一実施形態(実施形態1)における照度分布取得部の機能ブロック構成の一例を示す図である。 本発明の一実施形態(実施形態1)における照度分布の検出方法について説明するための図である。 本発明の一実施形態(実施形態1)における投影領域の決定方法について説明するための図である。 本発明の一実施形態(実施形態1)に係る投影装置の動作の一例を説明するフローチャートである。 本発明の一実施形態(実施形態2)における投影領域の決定方法について説明するための図である。 本発明の一実施形態(実施形態2)に係る投影装置の動作の一例を説明するフローチャートである。 本発明の一実施形態(実施形態3)における照度分布取得部の機能ブロック構成の一例を示す図である。 本発明の一実施形態(実施形態3)における視差画像の取得方法について、説明するための図である。 本発明の一実施形態(実施形態3)における視差画像の取得方法について、説明するための図である。 本発明の一実施形態(実施形態4)におけるコンテンツ情報のデータ構造を示す図である。
〔実施形態1〕
本発明の一実施形態(実施形態1)について、図1〜図6に基づいて説明すれば、以下のとおりである。図1は、本実施形態に係る投影装置101の使用態様の一例を模式的に示す図である。投影装置101は、物体に対して映像を重畳させて表示する(投影する)ことができる投影装置であり、図1では、投影装置101を用いて、外部入力装置105が提供するコンテンツを、被投影体102に投影する様子を示す。
図1に示す例では、投影装置101は、以下のように動作する。投影装置101は、外部入力装置105から、コンテンツを含む情報(以下、コンテンツ情報と称す)を取得する。また、投影装置101は、被投影体102が有する投影面103(投影可能範囲)を検出する。「投影面」とは、投影装置101がコンテンツを投影可能な被投影体102の表面を意味する。また、投影装置101は、検出した投影面103上の照度分布を検出する。また、投影装置101は、検出した照度分布に基づいて、投影面103上における投影領域104を決定する。また、投影装置101は、決定した投影領域104にコンテンツを投影する。すなわち、被投影体102は、コンテンツが投影されるスクリーンに相当し、投影装置101は、コンテンツを、被投影体102が有する投影面103に投影する。
投影装置101が投影するコンテンツの種類は特に限定されず、例えば、映像(動画)や、図形、文字、記号、静止画、および、これらの組み合わせなどが挙げられる。以下の実施形態では、一例として、投影装置101が映像を投影する場合について説明するが、本発明の一態様はこれに限定されない。
<機能ブロック構成>
図2は、本実施形態に係る投影装置101の機能ブロック構成の一例を示す図である。図2に示すように、投影装置101は、照度分布取得部(照度分布検出部)201と、プロジェクタ(投影部)202と、コンテンツ情報取得部203と、保存部204と、投影領域決定部205と、投影処理部(描画データ生成部)206と、制御部207と、データバス208と、を備えている。
照度分布取得部201は、被投影体102の投影面の位置を検出し、検出した投影面103上の照度分布を検出する。照度分布取得部201の詳細については、後述する。
プロジェクタ202は、被投影体102に映像を投影する。一態様において、プロジェクタ202は、DLP(Digital Light Processing)プロジェクタや液晶プロジェクタなどによって構成され得る。一態様において、プロジェクタ202は、投影処理部206が生成した描画データを用いて、映像を投影する。
コンテンツ情報取得部203は、投影する映像を含むコンテンツ情報を取得する。一態様において、コンテンツ情報取得部203は、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などによって構成され得る。
一態様において、コンテンツ情報取得部203は、外部入力装置105からコンテンツ情報を取得する。この場合、コンテンツ情報取得部203は、外部入力装置105とのインターフェースとして、USB(Universal Serial Bus)などの入出力ポートを有していてもよく、コンテンツ情報取得部203は、当該入出力ポートを経由して、コンテンツ情報を取得する。外部入力装置105は、コンテンツ情報を出力可能な装置であれば特に限定されないが、例えば、キーボードやマウスなどを介してコンテンツ情報を直接入力可能なコンテンツ情報入力装置、コンテンツ情報を生成するコンテンツ情報生成装置、予め作成されたコンテンツ情報を保持する外部記憶装置などによって構成され得る。
一態様において、コンテンツ情報取得部203は、取得したコンテンツ情報を保存部204に保存してもよい。なお、コンテンツ情報のデータ形式は特に限定されず、例えば、静止画であれば、例えば、Bitmap、JPEG(Joint Photographic Experts Group)など、映像(動画)であれば、例えば、AVI(Audio Video Interleave)、FLV(Flash Video)などの汎用のデータ形式であってもよく、独自のデータ形式であってもよい。また、コンテンツ情報取得部203は、取得したコンテンツ情報のデータ形式を変換してもよい。
保存部204は、コンテンツ情報取得部203が取得したコンテンツ情報や、映像処理の結果など、映像処理に利用する種々のデータを保存する。一態様において、保存部204は、RAM(Random Access Memory)や、ハードディスクなどの記憶装置によって構成され得る。
投影領域決定部205は、照度分布取得部201が検出した投影面103上の照度分布を参照して、映像を投影する投影領域104を決定する。一態様において、投影領域決定部205は、FPGAやASICなどによって構成され得る。投影領域の決定方法については、後述する。
投影処理部206は、投影領域決定部205が決定した投影領域104に映像を投影するための描画データを生成し、生成した描画データをプロジェクタ202に出力する。一態様において、投影処理部206は、FPGAやASIC、GPU(Graphics Processing Unit)などによって構成され得る。
制御部207は、投影装置101全体の制御を行う。制御部207は、例えば、CPU(Central Processing Unit)などによって構成され、各機能ブロックにおける処理の命令、制御やデータの入出力に関するコントロールを行う。データバス208は、各々のユニット間でのデータのやり取りを行うためのバスである。
なお、一態様において、投影装置101は、図1に示すように、一つの筐体の中に上記の各機能ブロックを含んだ構成となっている。但し、本実施形態はこれに限定されず、他の態様において、一部の機能ブロックが独立した筐体を備えていてもよい。例えば、一態様において、投影装置101は、コンテンツ情報取得部203、保存部204、投影領域決定部205、投影処理部206および制御部207として機能する汎用のパーソナルコンピュータ(PC)を備えていてもよい。また、他の一態様において、投影装置101から映像を投影する領域を決定する、保存部204と、投影領域決定部205とを備える装置を、例えば、PCなどを用いて構成してもよい。
<照度分布取得部の構成>
図3は、本実施形態における照度分布取得部201の機能ブロック構成の一例を示す図である。図3に示すように、照度分布取得部201は、撮影部301と、投影面取得部302と、照度情報取得部303とを備えている。
撮影部301は、被投影体102を含む撮影範囲の画像401を撮影する。撮影部301は、一態様において、撮影空間を画像として取り込むための光学部品、および、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を具備するように構成されており、撮像素子における光電変換によって得られた電気信号に基づいて画像401の画像データを生成する。一態様において、撮影部301は、生成した画像データを生のデータのまま出力してもよいし、図示しない映像処理部を用い、生成した画像データに対して輝度画像化、ノイズ除去などの画像処理を施した後に出力してもよいし、それら両方を出力してもよい。さらに、撮影部301は、出力する画像と、撮影時の絞り値や焦点距離などのカメラパラメータとを保存部204に送るように構成することもできる。
投影面取得部302は、撮影部301が撮影した画像401を参照して、投影面103(投影可能範囲)の位置を検出する。なお、撮影部301によって撮影される範囲は、投影面103の大きさに比べ、大きいか等しい。また、撮影部301によって撮影される範囲は、プロジェクタ202の投影可能範囲に比べ、大きいか等しい。本実施形態において、投影面取得部302は、投影面103の位置を、画像401上において規定される2次元座標として検出する。一態様において、投影面取得部302は、検出した座標を保存部204に記憶させてもよい。
なお、一態様において、投影面取得部302は、外部入力装置105を用いて、投影面103の位置(座標)を検出してもよい。例えば、一態様において、外部入力装置105は、マウス等の位置の指定が可能な入力装置であり、投影面取得部302は、外部入力装置105を介して、ユーザから、画像401上の投影面103の頂点に対応する位置の入力を受け付けることによって、投影面103の位置(座標)を取得してもよい。
また、他の一態様において、投影面取得部302は、画像401に対して画像処理を行うことによって、投影面103の位置(座標)を検出してもよい。例えば、一態様において、プロジェクタ202が、映像の4つの頂点(左上、左下、右上および右下)に、特徴的な形態を有するマーカー画像を投影し、投影面取得部302は、パターンマッチングによって、画像401中のマーカー画像を検出することにより、投影面103の位置(座標)を推定してもよい。
照度情報取得部303は、撮影部301が撮影した画像401と、投影面取得部302が検出した投影面103の位置(座標)とを参照して、投影面103上における照度分布を検出する。一態様において、照度情報取得部303は、FPGAやASICなどによって構成され得る。照度情報取得部303による照度分布の検出方法については、後述する。
<照度分布の検出方法>
続いて、照度情報取得部303による照度分布の検出方法について、図4を参照して説明する。図4は、撮影部301が撮影した画像401を、複数の小領域に分割した様子の一例を示す。なお、r行c列の小領域を、S(r,c)と表す。
一態様において、照度情報取得部303は、投影面取得部302が検出した投影面103の位置(座標)を参照して、投影面103内に存在する小領域を特定し、特定した小領域毎に照度を測定することによって、投影面103上における照度分布を検出する。一態様において、各小領域での照度の測定は、一態様において、例えば、TTL(Through-The-Lens)露出計などの汎用的な照度測定装置を用いることができる。また、他の一態様において、照度情報取得部303は、撮影部301が撮影した画像401の輝度値から照度を算出してもよい(坂本優大・安藤夏生・岡本健司・宇佐美真・三栖貴行・一色正男“デジタルカメラ画像を用いた照度測定の検討”,第14回情報科学技術フォーラム,pp223-226,2015参照)。撮影部301が撮影した画像401の輝度値から照度を算出する態様に関し、画像401の輝度値には、(i)投影面103上の明るさのみが反映される場合と、(ii)投影面103上の明るさのみならず、投影装置101から投影面103までの間の明るさについても反映される場合とがある。例えば投影装置101から投影面103までの間の空間に霧などの光反射(光散乱)体があり、当該空間に光が照射されている場合には、当該光反射(光散乱)体によって反射(散乱)した光が投影装置101に届くため、画像401の輝度値には、当該光が反映される。そのため、本明細書で説明する照度(照度分布)は、上記(i)の場合に限らず、上記(ii)の場合も含まれる。
一態様において、照度情報取得部303は、検出した照度分布示す照度分布情報を保存部204に出力してもよい。なお、小領域S(r,c)の照度をI(S(r,c))と表す。
<投影領域の決定方法>
続いて、投影領域決定部205による投影領域の決定方法について、図5を参照して説明する。図5は、照度分布取得部201が検出した、投影面103上における照度分布の一例を示す図である。図5では、黒に近い色の箇所ほど照度が低く、白に近い色の箇所ほど照度が高いことを示している。
まず、投影領域決定部205は、照度分布取得部201が検出した照度分布を参照し、投影面103を分割した複数の小領域から、予め設定された照度閾値ThI以下の照度である小領域を検出する。照度閾値ThIは、例えば、保存部204に保存されている。続いて、一態様において、投影領域決定部205は、検出した小領域のうち連続する小領域Sからなる矩形の領域を、小領域群として検出する。図5の例では、投影領域決定部205は、小領域群501および小領域群502を検出している。なお、他の一態様において、投影領域決定部205は、矩形以外の領域を、小領域群として検出してもよい。また、一態様において、投影領域決定部205は、面積閾値ThII以上の領域のみを、小領域群として検出してもよい。
続いて、一態様において、投影領域決定部205は、各小領域群について、当該小領域群の平均照度を算出する。小領域群の番号をi、番号iの小領域群をG(i)、小領域群G(i)に属する小領域の数をN(i)としたとき、(式1)によって小領域群G(i)の平均照度∨(i)を取得することができる。
そして、一態様において、投影領域決定部205は、各小領域群の平均照度∨(i)を比較し、(式2)によって規定される平均照度の最小値Aを有する小領域群G(i)を、投影領域104として決定する。なお、小領域群の個数をkとする。
なお、本実施形態では、投影領域決定部205は、検出した小領域群のうちから投影領域104を決定するようになっていればよく、上述したような、最も平均照度が低い小領域群を投影領域104として決定する態様に限定されない。例えば、他の一態様において、投影領域決定部205は、最も面積が広い小領域群を投影領域104として決定してもよい。なお、本実施形態1では、投影面の小領域毎に照度を測定し、投影面内において複数の小領域群を検出したのちに、各小領域群の平均照度を比較しているが、本発明の一態様はこれに限定されるものではなく、次のような別態様であってもよい。すなわち、投影面内に一つの小領域群を特定できた場合に、当該一つの小領域群の平均照度が所定の閾値を下回っていることを検出次第、当該一つの小領域群を投影領域104として決定しても構わない。
また、投影領域決定部205が、照度閾値ThI以下の照度である小領域を検出することができなかった場合など、投影領域104を決定できない場合には、投影装置101は、例えば、投影処理を行わないか、または、環境を暗くすることを促すメッセージを提示する等の処理を行ってもよい。
<描画データの生成方法>
続いて、投影処理部206による描画データの生成方法について説明する。投影処理部206は、投影領域決定部205が決定した投影領域104に、コンテンツ情報取得部203が取得したコンテンツ情報に含まれる映像を投影するための、描画データを生成する。
まず、投影処理部206は、投影領域決定部205が決定した投影領域104を参照し、投影領域104の頂点座標(m’1,n’1)、(m’2,n’2)、(m’3,n’3)、(m’4,n’4)を取得する。
続いて、投影処理部206は、コンテンツ情報に含まれる映像の頂点座標(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4)を取得する。
そして、投影処理部206は、投影領域104の頂点座標と、コンテンツ情報に含まれる映像の頂点座標とを用いて、コンテンツ情報に含まれる映像を、投影領域104に映像を投影するための描画データへと変換する。一態様において、投影処理部206は、(式3)の変換式を用いる。この変換式によって、コンテンツ情報に含まれる映像の画素(m、n)を、描画データにおける画素(m’,n’)に変換することができる。
この変換(式3)におけるHは、3×3の行列であり、ホモグラフィ行列と呼ばれている。ホモグラフィ行列とは、2枚の画像を射影変換することができる行列である。
ここで、一態様において、ホモグラフィ行列の各要素を(式4)のように定義すると、投影処理部206は、(式3)による座標変換誤差を最小にするように3×3の各要素の値を求める。具体的には、投影処理部206は、(式5)を最小にするように各要素を計算する。なお、argmin(・)は、括弧内を最小にするargminの下部にあるパラメータを算出する関数とする。
以上により、投影処理部206は、コンテンツ情報取得部203が取得したコンテンツ情報に含まれる映像内の座標を、投影領域決定部205が決定した投影領域の対応する座標に変換する行列を求めることができ、この行列を用いた変換により、映像を投影領域104に投影するための描画データを生成することができる。
<フローチャート>
図6は、本実施形態に係る投影装置101の動作の一例を説明するフローチャートである。図6を参照して、投影装置101が照度分布を検出し、検出した照度分布を参照して、被投影体102の投影面103上における投影領域104を決定し、投影装置101から被投影体102に映像を投影する処理を説明する。
ステップS100において、コンテンツ情報取得部203は、外部入力装置105からコンテンツ情報を取得し、保存部204に保存する。その後、ステップS101において、照度分布取得部201は、投影面103の位置を検出する。その後、ステップS102において、照度分布取得部201は、投影面103上における照度分布を検出する。その後、ステップS103において、投影領域決定部205は、照度分布取得部201が検出した照度分布と、保存部204に保存されている投影を可能とする照度の閾値とを比較し、照度が閾値条件を満たす領域(小領域群)を探索する。
そして、ステップS104において、投影領域決定部205は、ステップS103で探索した領域のうち、平均照度が最も小さい領域を、投影領域104として決定する。その後、ステップS105において、投影処理部206は、コンテンツ情報取得部203が取得したコンテンツ情報を保存部204から読み出し、投影領域決定部205が決定した投影領域104に、当該コンテンツ情報に含まれる映像を投影するための描画データ生成し、プロジェクタ202に出力する。そして、ステップS106において、プロジェクタ202は、受け取った描画データを用いて、被投影体102の投影領域104に映像を投影する。
その後、ステップS107において、制御部207は、投影処理を終了するか否かを判定する。投影処理を終了させず、継続する場合には(ステップS107のNO)、ステップS106に戻り、前述した投影処理を繰り返す。投影処理を終了する場合には(ステップS107のYES)、全ての処理を終了させる。
以上の構成によって、被投影体102に映像を投影する投影装置101において、被投影体102の投影面103上における照度分布を取得し、取得した照度分布に応じて投影領域104を設定して映像を投影する方法を提供することができる。これにより、被投影体102の明るさによってコンテンツの視認性が損なわれることを抑制することができる。
なお、本実施形態1では、投影面内に存在する小領域毎に照度を測定して、投影面の照度分布を検出する態様である。すなわち、投影面内に存在する全ての小領域について照度を測定している。しかしながら、本発明の一態様はこれに限定されるものではない。例えば、投影面内に存在する小領域の全てではなく幾つかのみについて照度を測定する態様であっても、その測定結果に基づいた照度分布を得ることができる。すなわち、投影面内に存在する全ての小領域について照度を測定した結果得られる投影面の照度分布は細かい分布であるのに対して、幾つかの小領域のみについて照度を測定した結果得られる投影面の照度分布は粗い分布であるといえる。
〔実施形態2〕
本発明の他の実施形態(実施形態2)について、図7〜図8に基づいて説明すれば、以下のとおりである。本実施形態では、映像の投影中に、当該映像の投影先を、投影領域決定部205が決定した投影領域104に移動させる方法について説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
実施形態1では、投影装置101は、映像の投影の開始前に投影領域104を決定し、決定した投影領域104に映像を投影する。ところが、映像の投影中に、外光の状態が変化し、投影領域104の照度が上がって、映像の視認性が低下することがある。そこで、本実施形態では、映像の投影中に、照度分布取得部201が照度分布を検出し、検出結果に応じて映像の投影先を移動させることにより、投影領域104の照度の上昇によって映像の視認性が損なわれることを抑制する方法について説明する。
また、映像の投影中は、当該投影によって投影面103の照度が上昇するため、実施形態1で説明した方法では、投影領域104を適切に決定することが困難である。そこで、本実施形態では、投影領域104の決定にあたり、照度の時間変化を考慮することにより、映像の投影中であっても、投影領域104を適切に決定する方法について説明する。
<機能ブロック構成>
投影装置101の機能ブロック構成は、以下の点を除いて、実施形態1と同様である(図2参照)。本実施形態と実施形態1とが異なる点は、投影領域決定部205が、プロジェクタ202が映像を投影中は、当該投影の開始後に照度分布取得部201が予め検出した照度分布(開始後照度分布)をさらに参照して、前記映像の投影領域を決定する点である。すなわち、投影領域決定部205は、プロジェクタ202が映像を投影中に、照度分布取得部201が検出した照度分布と、当該投影の開始後に照度分布取得部201が予め検出した開始後照度分布とを参照することにより、照度分布の変化を考慮して、投影領域を決定することができる。これにより、映像の投影中に外光の状態が変化し、投影領域の照度が上がった場合であっても、投影領域を適切に変更し、投影された映像の視認性が損なわれることを抑制することができる。本実施形態における投影領域の決定方法の詳細については後述する。
<投影領域の決定方法>
続いて、本実施形態における投影領域決定部205による投影領域の決定方法について、図7を参照して説明する。図7は、投影面103に対して、映像投影中に照度分布取得部201で照度分布を取得する様子を示す図である。
まず、図5に示すように、プロジェクタ202による映像の投影の開始前、投影領域決定部205は、実施形態1の方法で、初期の投影領域104を決定する。なお、このとき、照度情報取得部303が、各小領域S(r,c)について検出した照度をIb(S(r,c))とする。照度情報取得部303は、当該照度分布を開始前照度分布として、保存部204に保存させる。図5に示す例では、投影領域決定部205は、小領域群501を、初期の投影領域104として決定する。
続いて、図7の(a)に示すように、プロジェクタ202が、小領域群501に映像を投影する。このとき、プロジェクタ202が映像の投影を開始した直後、照度分布取得部201は、各小領域の照度Ia0(S(r,c))を検出し、当該照度分布を開始後照度分布として、保存部204に保存させる。
続いて、プロジェクタ202が映像を投影中、照度分布取得部201は、逐次、各小領域の照度Ia(S(r,c))を取得する。照度分布取得部201が各小領域の照度を取得した後、投影領域決定部205は、(式6)によって照度差分d(S(r,c))を取得する。
続いて、投影領域決定部205は、取得した照度差分d(S(r,c))と、投影前に取得した照度Ib(S(r,c))とを用いて、(式7)によって投影面103上における補正された照度I(S(r,c))を算出する。
そして、投影領域決定部205は、算出した補正された照度I(S(r,c))からなる補正された照度分布を参照して、照度閾値ThI以下の照度である小領域を検出し、実施形態1と同様に、投影領域104を決定する。その結果、投影領域104が変更となった場合は、投影装置101は、映像を、変更後の投影領域104に投影する。
<フローチャート>
図8は、本実施形態に係る投影装置101の動作の一例を説明するフローチャートである。
ステップS200において、コンテンツ情報取得部203は、外部入力装置105からコンテンツ情報を取得し、保存部204に保存する。その後、ステップS201において、照度分布取得部201は、投影面103の位置を検出する。その後、ステップS202において、照度分布取得部201は、投影面103上における照度分布を検出する。このとき、照度分布取得部201は、検出した照度分布を、開始前照度分布として保存部204に出力する。その後、ステップS203において、投影領域決定部205は、照度分布取得部201が検出した照度分布と、保存部204に保存されている投影を可能とする照度の閾値とを比較し、照度が閾値条件を満たす領域(小領域群)を探索する。
そして、ステップS204において、投影領域決定部205は、ステップS203で探索した領域のうち、平均照度が最も小さい領域を、投影領域104として決定する。その後、ステップS205において、投影処理部206は、コンテンツ情報取得部203が取得したコンテンツ情報を保存部204から読み出し、投影領域決定部205が決定した投影領域104に、当該コンテンツ情報に含まれる映像を投影するための描画データ生成し、プロジェクタ202に出力する。そして、ステップS206において、プロジェクタ202は、受け取った描画データを用いて、被投影体102の投影領域104に映像を投影する。その直後、ステップS207において、照度分布取得部201は、投影開始直後の投影面103上における照度分布を取得し、開始後照度分布として保存部204に出力する。
そして、映像の投影中は、ステップS215を介して、ステップS208に進む。ステップS208では、照度分布取得部201は、逐次、投影面103上における照度分布を検出する。そして、ステップS209において、投影領域決定部205は、保存部204から開始後照度分布を読み出し、ステップS208で取得した照度分布との差分を算出する。そして、ステップS210において、投影領域決定部205は、ステップS209において算出した照度分布の差分と、保存部204から読みだした開始前照度分布とから、投影面103上における補正された照度分布を算出する(ステップS210)。
そして、ステップS211において、投影領域決定部205は、ステップS210において算出した補正された照度分布と、保存部204に保存されている投影を可能とする照度の閾値とを比較し、照度が閾値条件を満たす領域を探索する。続いて、ステップS212において、投影領域決定部205は、ステップS211で探索した領域のうち、平均照度が最も小さい領域を、投影領域104として決定する。
このとき、ステップS213において、制御部207は、投影領域決定部205が決定した投影領域104が変更になったか否かを判定する。投影領域104が変化していない場合(ステップS213のNO)、ステップS214において、プロジェクタ202は、ステップS205において受け取った描画データを用いて、映像を投影し、ステップS215に進む。投影領域104が変化している場合には(ステップS213のYES)、ステップS205に戻り、前述した処理を繰り返す。
ステップS215では、制御部207は、投影処理を終了するか否かを判定する。投影処理を終了させず、継続する場合には(ステップS215のNO)、ステップS208に戻る。投影処理を終了する場合には(ステップS215のYES)、全ての処理を終了させる。
以上の構成によって、被投影体102に映像を投影する投影装置101において、被投影体102に映像を投影している途中において、投影面103上における照度分布を検出し、検出した照度分布に応じて投影領域104を移動する方法を提供することができる。
〔実施形態3〕
本発明のさらに他の実施形態(実施形態3)について、図9〜図11に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態では、照度分布取得部で照度分布を取得するとともに、被投影体の形状を取得する方法について説明する。
実施形態1および実施形態2で述べた方法では、被投影体102の投影面103の位置を検出し、当該投影面103に映像を投影している。ところが、被投影体102に凹凸がある場合、一つの投影面103にのみ映像を投影する方法では、投影できる映像が、当該一つの投影面103に重畳可能なものに限定されるため、映像によって表現できる内容が制限される。そこで、本実施例では、照度分布取得部201が、照度分布を取得するとともに、被投影体102の3次元形状を取得することで、被投影体102に凹凸がある場合であっても、投影面103の3次元座標を取得し、映像を投影する方法について説明する。
<機能ブロック構成>
投影装置101の機能ブロック構成は、以下の点を除いて、実施形態1と同様である(図2参照)。実施形態1および実施形態2と異なる点は、照度分布取得部901が、被投影体102の形状を取得するように構成されている点と、投影処理部206が、コンテンツ情報取得部203が取得したコンテンツ情報に含まれる映像を、被投影体102の3次元形状に応じて変形(変換)する点である。なお、ここでいう変形(変換)には、コンテンツ情報取得部203が取得したコンテンツ情報に含まれる映像の表示サイズを拡大したり縮小したりすることも含まれる。
<照度分布取得部の構成>
図9は、本実施形態における照度分布取得部901の機能ブロック構成の一例を示す図である。図9に示すように、照度分布取得部901は、撮影部902と、視差画像取得部905と、3次元座標取得部906と、照度情報取得部303とを備えている。
撮影部902は、被投影体102を含む撮影範囲の撮影画像を撮影するものであり、第1カメラ903と、第2カメラ904とを備えている。一態様において、第1カメラ903と、第2カメラ904とは、撮影空間を画像として取り込むための光学部品、および、CMOSやCCDなどの撮像素子を具備するように構成され、光電変換によって得られた電気信号に基づいて撮影画像の画像データを生成する。第1カメラ903と、第2カメラ904とは、生成した画像データを生のデータのまま出力してもよいし、図示しない映像処理部を用い、生成した画像データに対して輝度画像化、ノイズ除去などの画像処理を施した後に出力してもよいし、それら両方を出力してもよい。さらに、一態様において、第1カメラ903と、第2カメラ904とは、撮影時の絞り値や焦点距離などのカメラパラメータを保存部204に送るように構成されている。
視差画像取得部905は、撮影部902の第1カメラ903および第2カメラ904がそれぞれ撮影した撮影画像から、視差画像を算出する。一態様において、視差画像取得部905は、FPGAやASICなどによって構成され得る。視差画像の算出方法については、後述する。
3次元座標取得部906は、撮影部902の第1カメラ903および第2カメラ904がそれぞれ撮影した撮影画像と、視差画像取得部905が算出した視差画像と、保存部204から読み出した撮影部902の設置条件とを参照して、被投影体102の3次元座標を検出することによって、被投影体102の3次元形状を検出する。一態様において、3次元座標取得部906は、FPGAやASICなどによって構成され得る。3次元座標の算出方法については、後述する。
<視差画像の取得方法>
続いて、本実施形態における視差画像取得部905による視差画像の取得方法について、図10および図11を参照して説明する。
図10(a)は、視差画像、および、被投影体102の3次元座標を取得している様子の俯瞰図である。図10(b)は、視差画像、および、被投影体102の3次元座標を取得している様子の平面図である。
これ以降の説明では、投影装置1001の照度分布取得部901の位置を原点とし、平面図(図10(b))の横方向をx座標(右方向が正の向き)、平面図の縦方向をy座標(上方向が正の向き)、俯瞰図(図10(a))の縦方向をz座標(上方向が正の向き)とする座標系を、各種の座標系として用いる。
続いて、本実施形態に係る照度分布取得部901による視差画像の取得方法について、説明する。
視差とは、異なる位置で撮影した2枚の画像において、被写体の映る位置の違いを示す。視差を画像として表したものが視差画像である。
被投影体102に向かって、第1カメラ903が右側、第2カメラ904が左側に位置しているものとする。図11は、その様子を真上から捉えた図である。図11において、第1カメラ903と、第2カメラ904とが示されており、2台のカメラの内、左側の第2カメラ904を基準(基準カメラ)とし、このカメラの座標系を基準の座標系(以下、「基準座標系」と称する。)とする。また、2台のカメラは、同じ特性を有しており、完全に水平に設置されているものとする。なお、2台のカメラの特性が異なる場合や、水平に設置されていない場合の補正方法については、カメラ幾何を用いて対応可能であるが、詳細な説明は省略する。また、第1カメラ903と、第2カメラ904との左右の位置関係は、逆であっても特に問題はない。
視差画像取得部905は、基準カメラ(第2カメラ904)で撮影した画像の中から所定サイズの局所ブロックを選択し、ブロックマッチングを用いて、選択した局所ブロックに対応する局所ブロックをもう一方のカメラ画像から抽出して、それらの局所ブロック間のずれ量を算出することで、視差を求めることができる。
ここで、第1カメラ903で撮影した画像の画素(u,v)における輝度値をIR(u,v)、第2カメラ904で撮影した画像の画素(u,v)における輝度値をIL(u,v)とする。ブロックマッチングにおける局所ブロックの探索範囲をPとし、局所ブロックサイズを15×15とした場合の、視差M(u,v)の算出式は以下の様になる。
第1カメラ903と、第2カメラ904とは水平に設置されているため、ブロックマッチングにおける探索の方向は水平方向のみでよい。また、探索の対象となるカメラが基準カメラに対して右側に設置されているため、探索の方向は、対応する画素位置よりも左側(マイナス方向)のみでよい。
視差画像取得部905は、以上の方法で視差画像を算出することができる。なお、視差画像の算出方法については、上記方法に限定するものではなく、異なる位置に設置したカメラの視差画像を算出可能な方法であれば、どのような方法であってもよい。
<被投影体の3次元座標取得方法>
続いて、3次元座標取得部906による被投影体102の3次元座標の取得方法について、説明する。
3次元座標取得部906が、視差画像から3次元座標を算出するためには、撮影したカメラの特性を示すカメラパラメータが必要である。カメラパラメータには、内部パラメータと、外部パラメータとがある。内部パラメータは、カメラの焦点距離、主点から構成される。外部パラメータは、両カメラ間の回転行列と並進ベクトルから構成される。
一態様において、3次元座標取得部906は、保存部204からカメラパラメータを読み出し、焦点距離f(単位m)およびカメラ間の距離b(単位m)を用いて、以下の様に被投影体102の3次元座標を算出することができる。
3次元座標取得部906は、基準カメラの撮影面において画素(uc,vc)に対応する箇所の3次元座標(Xc,Yc,Zc)を、三角測量の原理に従い、焦点距離fと、カメラ間の距離bと、視差M(uc,vc)と、を用いて、(式9)〜(式11)により求めることができる。
ここで、qは画像1画素当たりの長さ(単位m)であり、カメラに採用されている撮像素子によって決まる値である。M(uc,vc)およびqの積により、画素のずれ量から実距離の視差に変換することができる。
3次元座標取得部906は、以上の方法で基準カメラ上の任意の点で3次元座標を計測することができ、被投影体102の領域を示す画素を指定することにより、被投影体102の3次元形状を取得することができる。ここで、被投影体102の領域を示す画素の指定方法については任意の方法でよく、例えば、ユーザが選択するといった方法でもよい。
なお、撮影部301は、2台のカメラに限定されるわけではなく、視差または3次元形状を直接算出できる撮影装置であってもよく、例えば、被写体までの赤外光の反射時間に基づいて距離を測定するTOF(Time Of Flight)方式の撮影装置などを適用してもよい。
<描画データの生成方法>
続いて、本実施形態において、投影処理部206が、投影領域決定部205で決定された投影領域に、コンテンツ情報取得部203で取得したコンテンツ情報に含まれる映像を投影するための、描画データの生成方法について、説明する。
まず、投影処理部206は、投影領域決定部205で決定した投影領域G(i)を参照し、投影領域G(i)のN個の特徴点と、プロジェクタ202から投影する映像の画素との対応付けを行う。特徴点の3次元座標を(Xn,Yn,Zn)とする。このとき、投影領域G(i)の特徴点の3次元座標と、プロジェクタ202で投影する映像の画素(u’n,v’n)とは、(式12)の関係がある。
(式12)におけるsは、投影距離に依存するパラメータである。Aは、プロジェクタの内部パラメータを意味する3×3の行列である。Rは、プロジェクタの座標系とカメラの座標系との回転を意味する3×3の行列である。Tは、プロジェクタの座標系とカメラの座標系との併進を意味するベクトルである。Aと、Rと、Tとは、例えば、Zhangの方法などの汎用の方法を用いて取得することができる。
続いて、投影処理部206は、コンテンツ情報取得部203で取得したコンテンツ情報に含まれる映像の頂点座標(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4)を取得する。上記の投影領域G(i)の頂点座標と、映像の頂点座標とを用いて、投影処理部206は、映像を変換して、描画データを生成する。変換は、例えば、(式3)の変換式を用いて行う方法であってもよい。
以上の構成によって、照度分布取得部201が照度分布を取得するとともに、被投影体102の3次元形状を取得することで、被投影体102に凹凸がある場合であっても、投影面103の3次元座標を取得し、映像を投影する方法を提供できる。
〔実施形態4〕
本発明のさらに他の実施形態(実施形態4)について、図12に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、コンテンツ情報に、各映像の投影先の移動可否を示す移動可否情報を付与し、当該移動可否情報が「移動可」である映像については、照度分布取得部201で検出した照度分布に応じて決定した投影領域104に投影させ、移動可否情報が「移動不可」である映像については、照度分布取得部201で取得した照度分布によらず、予め設定された固定の位置に投影させる方法について説明する。これにより、映像の視認性よりも投影位置が重要とされる映像については、予め設定された特定の位置に映像を投影することができる。
<機能ブロック構成>
投影装置101の機能ブロック構成は、以下の点を除いて、実施形態1と同様である(図2参照)。実施形態1〜3と異なる点は、コンテンツ情報取得部303が取得するコンテンツ情報が、映像の移動可否情報が含まれており、制御部207が、当該移動可否情報に応じて、映像の投影先を制御する点である。
<コンテンツ情報>
本実施の形態に係るコンテンツ情報について、図12を用いて説明する。図12は、コンテンツ情報1201のデータ構成を示す図である。
図12に示すように、コンテンツ情報1201は、登録番号1202と、映像1203と、移動可否情報1204とを含んでいる。
登録番号1202は、登録するコンテンツ情報1201に固有の番号である。映像1203は、投影するコンテンツである。移動可否情報1204は、同じ登録番号1202の映像1203を、照度分布に応じた移動を許可するか否かを制御する情報である。このように、コンテンツ情報に含まれる映像には、移動可否情報が紐付けられている。
制御部207は、コンテンツ情報に含まれる映像を投影するとき、当該映像に紐付けられた移動可否情報1204が「移動不可」である映像については、制御部207は、投影処理部206およびプロジェクタ202を制御し、予め設定された投影先に、映像を投影させる。また、移動可否情報1204が「移動可」である映像については、制御部207は、投影処理部206およびプロジェクタ202を制御し、投影領域決定部205が決定した投影領域104へ映像を投影させる。
以上の構成によれば、コンテンツ情報に移動可否情報を付与し、移動可否情報に従って、照度分布に応じた投影領域の設定を行うか否かを制御する方法を提供できる。
<投影装置が投影するコンテンツの種類>
以上では、投影装置101が投影するコンテンツが映像である場合について説明したが、投影装置101が投影するコンテンツの種類は特に限定されず、例えば、映像(動画)の他、図形、文字、記号、静止画、および、これらの組み合わせなどであってもよい。
<ソフトウェアによる実現例>
投影装置101の制御ブロック(特に投影領域決定部205、投影処理部206および制御部207)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、投影装置101は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様における目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の一態様である態様1に係る投影装置(101)は、被投影体(102)にコンテンツを投影する投影部(プロジェクタ202)と、前記被投影体の投影面(103)上の照度分布を検出する照度分布検出部(201)と、前記照度分布検出部が検出した前記照度分布を参照して、前記コンテンツの投影領域を決定する投影領域決定部(205)と、を備えている。
上記の構成によれば、被投影体の投影面上における照度分布を検出し、検出した照度分布に応じて投影領域を決定することにより、被投影体にコンテンツを投影する投影装置において、被投影体の明るさによってコンテンツの視認性が損なわれることを抑制するように投影領域を設定することができる。
本発明の一態様である態様2に係る投影装置は、上記態様1において、前記投影領域決定部は、前記照度分布を参照して、前記投影面を分割した複数の小領域において、照度が閾値以下である連続した前記小領域からなる小領域群を検出し、検出した小領域群のうちから前記投影領域を決定するものであってもよい。
上記の構成によれば、投影領域をより好適に決定することができる。
本発明の一態様である態様3に係る投影装置は、上記態様1または2において、前記投影領域決定部は、前記投影部が前記コンテンツを投影中は、当該投影の開始後に前記照度分布検出部が予め検出した開始後照度分布をさらに参照して、前記コンテンツの投影領域を決定するものであってもよい。
上記の構成によれば、投影中に照度分布を再取得し、コンテンツを投影している途中で、再取得した照度分布に応じて投影領域を適切に再設定することができる。
本発明の一態様である態様4に係る投影装置は、上記態様1〜3において、前記投影領域決定部が決定した前記投影領域に応じて前記コンテンツを変形することにより、前記コンテンツを投影するための描画データを生成する描画データ生成部(投影処理部206)をさらに備え、前記投影部は、前記描画データを用いて、前記投影領域に前記コンテンツを投影するものであってもよい。
上記の構成によれば、投影領域決定部が決定した投影領域にコンテンツを首尾よく投影することができる。
本発明の一態様である態様5に係る投影装置は、上記態様4において、前記被投影体の3次元形状を検出する3次元形状検出部(3次元座標取得部906)をさらに備え、前記描画データ生成部は、前記3次元形状検出部が検出した前記被投影体の3次元形状に応じて、前記コンテンツを変形するものであってもよい。
上記の構成によれば、被投影体の3次元形状を検出することによって、被投影体の3次元形状に応じたコンテンツを投影することができる。
本発明の一態様である態様6に係る投影装置は、上記態様1〜5において、前記コンテンツには、当該コンテンツの投影先の移動可否を示す移動可否情報が紐付けられており、前記移動可否情報を参照して、前記移動可否情報が、前記コンテンツの投影先が移動可であることを示しているときには、前記投影部に、前記コンテンツを、前記投影領域決定部が決定した前記投影領域に投影させ、前記移動可否情報が、前記コンテンツの投影先が移動不可であることを示しているときには、前記投影部に、前記コンテンツを、予め設定された位置に投影させる制御部(207)をさらに備えていてもよい。
上記の構成によれば、コンテンツに紐付けられた移動可否情報に従って、照度分布に応じた投影領域の決定を行うか否かを制御することができる。
本発明の一態様である態様7に係る投影方法は、投影装置が被投影体にコンテンツを投影する投影方法であって、前記被投影体の投影面上の照度分布を検出する照度分布検出工程と、前記照度分布検出工程において検出した前記照度分布を参照して、前記コンテンツの投影領域を決定する投影領域決定工程と、を包含する。
上記の構成によれば、上記態様1に係る投影装置と同等の効果を奏する。
本発明の各態様に係る投影装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記投影装置が備える各部(ソフトウェア要素)として動作させることにより上記投影装置をコンピュータにて実現させる投影装置の投影制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
また、上記の各実施形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施形態の機能を実現する遠隔作業支援の装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのLSIに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していればよい。また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
(関連出願の相互参照)
本出願は、2016年7月12日に出願された日本国特許出願:特願2016-138024に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
101 投影装置
102 被投影体
103 投影面(投影可能範囲)
104 投影領域
201 照度分布取得部(照度分布検出部)
202 プロジェクタ(投影部)
205 投影領域決定部
206 投影処理部(描画データ生成部)
207 制御部
906 3次元座標取得部(3次元形状検出部)

Claims (9)

  1. 被投影体にコンテンツを投影する投影部と、
    前記投影部による投影可能範囲内の照度に基づいて、前記コンテンツの投影領域を決定する投影領域決定部と、を備えていることを特徴とする投影装置。
  2. 前記投影部による投影可能範囲内の照度分布を検出する照度分布検出部をさらに備え、
    前記投影領域決定部は、前記照度分布検出部が検出した前記照度分布に基づいて、前記コンテンツの投影領域を決定する投影領域決定部と、を備えていることを特徴とする請求項1に記載の投影装置。
  3. 前記投影領域決定部は、前記投影部が前記コンテンツを前記投影領域に投影している間に、当該投影の開始前に前記照度分布検出部が検出した開始前照度分布と、当該投影の開始後に前記照度分布検出部が予め検出した開始後照度分布とにさらに基づいて、前記コンテンツの投影領域を決定することを特徴とする請求項2に記載の投影装置。
  4. 前記被投影体の3次元形状を検出する3次元形状検出部と、
    前記3次元形状検出部が検出した前記被投影体の3次元形状に応じて前記コンテンツを変換した描画データを生成する描画データ生成部とをさらに備えることを特徴とする請求項1〜3の何れか一項に記載の投影装置。
  5. 前記コンテンツには、投影先を移動可能なコンテンツと、投影先を移動不可なコンテンツとがあり、
    投影先を移動可能なコンテンツであるか、投影先を移動不可なコンテンツであるかを判定して、投影先を移動可能なコンテンツである場合には、前記投影部に、当該コンテンツを、前記投影領域決定部が決定した前記投影領域に投影させ、投影先を移動不可なコンテンツである場合には、前記投影部に、当該コンテンツを、予め設定された位置に投影させる制御部をさらに備えていることを特徴とする請求項1〜4の何れか一項に記載の投影装置。
  6. 前記投影領域決定部は、前記照度分布を参照して、前記投影可能範囲を分割した複数の小領域において、照度が閾値以下である連続した前記小領域からなる小領域群を検出し、検出した小領域群のうちから前記投影領域を決定することを特徴とする請求項2に記載の投影装置。
  7. 前記投影領域決定部が決定した前記投影領域に応じて前記コンテンツを変換した描画データを生成する描画データ生成部をさらに備え、
    前記投影部は、前記描画データを用いて、前記投影領域に前記コンテンツを投影することを特徴とする請求項1〜6の何れか一項に記載の投影装置。
  8. 投影装置が被投影体にコンテンツを投影する投影方法であって、
    前記投影装置による投影可能範囲内の照度に基づいて、前記コンテンツの投影領域を決定する投影領域決定工程を包含することを特徴とする投影方法。
  9. 請求項1に記載の投影装置としてコンピュータを機能させるための投影制御プログラムであって、上記投影領域決定部としてコンピュータを機能させるための投影制御プログラム。
JP2018527623A 2016-07-12 2017-07-12 投影装置、投影方法および投影制御プログラム Pending JPWO2018012524A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016138024 2016-07-12
JP2016138024 2016-07-12
PCT/JP2017/025376 WO2018012524A1 (ja) 2016-07-12 2017-07-12 投影装置、投影方法および投影制御プログラム

Publications (1)

Publication Number Publication Date
JPWO2018012524A1 true JPWO2018012524A1 (ja) 2019-06-27

Family

ID=60953075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018527623A Pending JPWO2018012524A1 (ja) 2016-07-12 2017-07-12 投影装置、投影方法および投影制御プログラム

Country Status (3)

Country Link
US (1) US20190302598A1 (ja)
JP (1) JPWO2018012524A1 (ja)
WO (1) WO2018012524A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590453B (zh) * 2017-09-04 2019-01-11 腾讯科技(深圳)有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN111819841B (zh) 2018-03-16 2023-07-18 索尼公司 信息处理装置、信息处理方法和存储介质
CN114299836B (zh) * 2022-01-24 2024-02-09 广州万城万充新能源科技有限公司 可搭载于充电桩的广告投影系统及充电桩

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05249428A (ja) * 1992-03-05 1993-09-28 Koudo Eizou Gijutsu Kenkyusho:Kk 投影システム
JP2005195904A (ja) * 2004-01-07 2005-07-21 Seiko Epson Corp プロジェクタ、プロジェクタ制御方法、及びプログラム
JP2011070136A (ja) * 2009-09-28 2011-04-07 Kyocera Corp 投影装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8840250B1 (en) * 2012-01-11 2014-09-23 Rawles Llc Projection screen qualification and selection
WO2015033598A1 (ja) * 2013-09-04 2015-03-12 日本電気株式会社 投射装置、投射装置の制御方法、投射装置の制御装置、およびそのコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05249428A (ja) * 1992-03-05 1993-09-28 Koudo Eizou Gijutsu Kenkyusho:Kk 投影システム
JP2005195904A (ja) * 2004-01-07 2005-07-21 Seiko Epson Corp プロジェクタ、プロジェクタ制御方法、及びプログラム
JP2011070136A (ja) * 2009-09-28 2011-04-07 Kyocera Corp 投影装置

Also Published As

Publication number Publication date
WO2018012524A1 (ja) 2018-01-18
US20190302598A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
KR101803712B1 (ko) 화상처리장치, 제어 방법, 프로그램 및 기록 매체
US10572971B2 (en) Projection device, projection method and program storage medium
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
JP2015203652A (ja) 情報処理装置および情報処理方法
JP2011192228A (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
WO2020237565A1 (zh) 一种目标追踪方法、装置、可移动平台及存储介质
JP2010165248A (ja) 画像処理装置、画像照合方法、および、プログラム
US20160042523A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP2016085380A (ja) 制御装置、制御方法、及び、プログラム
JPWO2018012524A1 (ja) 投影装置、投影方法および投影制御プログラム
TW201707438A (zh) 電子裝置及影像處理方法
JP2015036841A (ja) 画像処理装置、距離計測装置、撮像装置、画像処理方法
TW201342303A (zh) 三維空間圖像的獲取系統及方法
JP2004364212A (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
JP6412372B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
US10559087B2 (en) Information processing apparatus and method of controlling the same
JP2009244229A (ja) 三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラム
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
US10346680B2 (en) Imaging apparatus and control method for determining a posture of an object
JP2015216542A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200818