JP6464977B2 - 投影制御装置、及びプログラム - Google Patents

Description

本発明は、投影面に画像を投影する投影システムの技術分野に関する。

従来、プロジェクターから画像の投影面までの間に人物がいる場合において、プロジェクターから人物を含む投影面に画像を投影すると、その人物は、プロジェクターからの投影光が目に入るため、眩しさを感じる。そのため、例えば特許文献１に開示された技術では、プロジェクターにより投影された投影画像をカメラで撮影し、撮影された画像から人物の領域を検出し、この人物の領域の画像信号を黒信号でマスクした投射画像信号をスクリーン上に投射する技術が開示されている。この技術によれば、投影画像における人物の領域を黒色でマスクすることができるため、プロジェクターの投影光が直接目に入ることによる眩しさを抑えることができる。

特開２００４−２５４１４５号公報

しかしながら、プロジェクターにより投映される投影画像において黒色でマスクされた領域は、投影画像の一部が欠けた欠損領域となり、投影画像を見る者に、画像全体のうち一部が欠けた投影画像によって違和感を与えてしまう。

本発明は、以上の点に鑑みてなされたものであり、画像の欠損領域を抑えつつ、人物が感じる眩しさも軽減することが可能な投影制御装置、及びプログラムを提供する。

上記課題を解決するために、請求項１に記載の発明は、画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定手段と、前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定手段と、前記画像に対して、前記第１特定手段により特定された前記頭部の領域内に互いに離間する複数のライン状に形成される複数の一部領域それぞれの画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定手段により特定された距離が短いほど、前記ライン状に形成される複数の前記一部領域の幅を長くする画素編集手段と、前記画素編集手段により編集がされた画像を前記投影面に投影させる投影制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の投影制御装置において、前記画素編集手段は、少なくとも縦方向にライン状に形成される前記一部領域の画素の色を、前記一部領域の元画素より暗くする編集を行うことを特徴とする。

請求項３に記載の発明は、請求項１に記載の投影制御装置において、前記画素編集手段は、複数の方向にライン状に形成される前記一部領域の画素の色を、前記一部領域の元画素より暗くする編集を行うことを特徴とする。

請求項４に記載の発明は、画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定手段と、前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定手段と、前記画像に対して、前記第１特定手段により特定された前記頭部の領域内の一部領域の画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定手段により特定された距離が短いほど前記一部領域の範囲を広くする画素編集手段と、前記画素編集手段により編集がされた画像を前記投影面に投影させる投影制御手段と、を備え、前記画素編集手段は、前記一部領域を、第１の領域と、前記第１の領域より外側に位置する第２の領域とを少なくとも含む複数の領域に分けて段階的に前記画素の色の編集を行うものであり、前記第１の領域の画素の色を、前記第２の領域の画素の色より暗くし、且つ、前記第２特定手段により特定された距離が長いほど前記複数の領域の数を増やし、前記複数の領域を、外側に向けて前記画素の色の明るさを段階的に高くする編集を領域毎に行うことを特徴とする。

請求項５に記載の発明は、画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の正面を判断し、前記人物の正面の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定手段と、前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定手段と、前記画像に対して、前記第１特定手段により特定された前記頭部の領域内の一部領域の画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定手段により特定された距離が短いほど前記一部領域の範囲を広くする画素編集手段と、前記画素編集手段により編集がされた画像を前記投影面に投影させる投影制御手段と、を備えることを特徴とする。

請求項６に記載の発明は、請求項５に記載の投影制御装置において、前記第１特定手段は、前記人物の頭部の３次元モデルを生成し、前記人物の頭部の３次元モデルに基づき、前記人物の正面の頭部の領域を特定することを特徴とする。

請求項７に記載の発明は、請求項１乃至３の何れか一項に記載の投影制御装置において、前記画素編集手段は、前記一部領域を、第１の領域と、前記第１の領域より外側に位置する第２の領域とを少なくとも含む複数の領域に分けて段階的に前記画素の色の編集を行うものであり、前記第１の領域の画素の色を、前記第２の領域の画素の色より暗くする編集を行うことを特徴とする。

請求項８に記載の発明は、請求項７に記載の投影制御装置において、前記画素編集手段は、前記第２特定手段により特定された距離が長いほど前記複数の領域の数を増やし、前記複数の領域を、外側に向けて前記画素の色の明るさを段階的に高くする編集を領域毎に行うことを特徴とする。

請求項９に記載の発明は、請求項１乃至４の何れか一項に記載の投影制御装置において、前記画素編集手段は、前記色の明るさを表す値が閾値以下である画素については色の編集を行わず、前記色の明るさを表す値が閾値より大きい画素については前記色の明るさを表す値を前記閾値にする編集を行うことを特徴とする。請求項１０に記載の発明は、請求項１乃至４の何れか一項に記載の投影制御装置において、前記画素編集手段は、前記一部領域の画素の色の明度を前記一部領域の元画素より低くすることで前記画素の色を暗くする編集を行うことを特徴とする。請求項１１に記載の発明は、請求項１乃至４の何れか一項に記載の投影制御装置において、前記第１特定手段は、前記画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の正面を判断し、前記人物の正面の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定することを特徴とする。請求項１２に記載の発明は、画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定ステップと、前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定ステップと、前記画像に対して、前記第１特定ステップにより特定された前記頭部の領域内に互いに離間する複数のライン状に形成される複数の一部領域それぞれの画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定ステップにより特定された距離が短いほど、前記ライン状に形成される複数の前記一部領域の幅を長くする画素編集ステップと、前記画素編集ステップにより編集がされた画像を前記投影面に投影させる投影制御ステップと、をコンピュータに実行させることを特徴とする。請求項１３に記載の発明は、画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定ステップと、前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定ステップと、前記画像に対して、前記第１特定ステップにより特定された前記頭部の領域内の一部領域の画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定ステップにより特定された距離が短いほど前記一部領域の範囲を広くする画素編集ステップと、前記画素編集ステップにより編集がされた画像を前記投影面に投影させる投影制御ステップと、をコンピュータに実行させるプログラムであって、前記画素編集ステップは、前記一部領域を、第１の領域と、前記第１の領域より外側に位置する第２の領域とを少なくとも含む複数の領域に分けて段階的に前記画素の色の編集を行うものであり、前記第１の領域の画素の色を、前記第２の領域の画素の色より暗くし、且つ、前記第２特定ステップにより特定された距離が長いほど前記複数の領域の数を増やし、前記複数の領域を、外側に向けて前記画素の色の明るさを段階的に高くする編集を領域毎に行うことを特徴とする。請求項１４に記載の発明は、画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の正面を判断し、前記人物の正面の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定ステップと、前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定ステップと、前記画像に対して、前記第１特定ステップにより特定された前記頭部の領域内の一部領域の画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定ステップにより特定された距離が短いほど前記一部領域の範囲を広くする画素編集ステップと、前記画素編集ステップにより編集がされた画像を前記投影面に投影させる投影制御ステップと、をコンピュータに実行させることを特徴とする。

請求項１〜３、及び１２に記載の発明によれば、色の編集のための処理速度を向上させることができる。

請求項４、及び１３に記載の発明によれば、一部領域内において画素の色の明るさの差を小さくすることができる。

請求項５、６、１１、及び１４に記載の発明によれば、画像の欠損領域を抑えつつ、人物が感じる眩しさも軽減することができる。

請求項７に記載の発明によれば、一部領域の中心から外側に向かって徐々に色が明るくなるので、投影画像を見る者の違和感を抑えつつ、上記人物が感じる眩しさも軽減することができる。請求項８に記載の発明によれば、一部領域内において画素の色の明るさの差を小さくすることができる。

請求項９に記載の発明によれば、計算が複雑とならないため、色の編集のための処理速度を向上させることができる。

請求項１０に記載の発明によれば、元画素の色を維持しつつ明るさだけを低下させることができ、投影画像を見る者に違和感を生じさせないことを、より確実に実現することができる。

（Ａ）は、本実施形態の投影システムＳの概要構成例を示す図である。（Ｂ）は、投影システムＳが利用される部屋の上方から見た部屋内に配置された装置の位置関係の一例を表す図である。 制御部５３により実行される投影制御処理の一例を示すフローチャートである。 （Ａ）は、マスク対象領域内で画素の色の明るさをライン状に調整する画素編集処理の一例を示すフローチャートである。（Ｂ）は、マスク対象領域内で画素の色の明るさを段階的に調整する画素編集処理の一例を示すフローチャートである。（Ｃ）は、（Ｂ）に示す画素編集処理における明度調整処理を示すフローチャートである。 投影される色編集対象領域の幅が距離に応じて変化する例を示す図である。 （Ａ）は、プロジェクターとの距離が長い場合のストライプ状のマスクパターンの一例を示す図である。（Ｂ）は、プロジェクターとの距離が短い場合のストライプ状のマスクパターンの一例を示す図である。（Ｃ）は、プロジェクターとの距離が長い場合の格子状のマスクパターンの一例を示す図である。（Ｄ）は、プロジェクターとの距離が短い場合の格子状のマスクパターンの一例を示す図である。 （Ａ）は、明度閾値テーブルの一例を示す図である。（Ｂ）は、マスク対象領域における明度の調整例を示す図である。（Ｃ）は、プロジェクターとの距離が長い場合の同心円状のマスクパターンの一例を示す図である。（Ｄ）は、プロジェクターとの距離が短い場合の同心円状のマスクパターンの一例を示す図である。 プロジェクター２a〜２cそれぞれから人物を含む投影面に投影された様子を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

［１．投影システムＳの構成及び動作概要］
はじめに、図１等を参照して、本実施形態の投影システムＳの構成及び動作概要について説明する。投影システムＳは、図１（Ａ）に示すように、映像再生装置１a〜１c、プロジェクター２a〜２c、カメラ３、操作機器４、及び投影制御装置５等を備えて構成される。投影システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋で利用される。映像再生装置１a〜１cは、それぞれ、有線ＬＡＮ（Local Area Network）または無線ＬＡＮ、及びハブＨＵＢ等を介して投影制御装置５と接続される。プロジェクター２a〜２cは、投影装置の一例である。プロジェクター２a〜２cは、それぞれ、有線または無線を介して映像再生装置１a〜１cと接続される。カメラ３及び操作機器４は、有線または無線を介して投影制御装置５と接続される。操作機器４は、ユーザから操作指示を受け付け、その操作指示を示す指示信号を投影制御装置５へ出力する。なお、投影制御装置５には、カラオケ等の楽曲を再生する楽曲再生装置（図示せず）が接続される場合もある。

映像再生装置１a〜１cは、画像（映像）を再生する装置である。画像には、静止画像と動画像とがある。動画像は、例えば複数の静止画像の画像フレームが時系列で切り替えられることで表示される。映像再生装置１a〜１cは、例えば投影制御装置５から投影指示された画像を再生し、その画像信号をプロジェクター２a〜２cへ出力する。再生される画像のデータは、映像再生装置１a〜１cの図示しない記憶部に記憶される。或いは、映像再生装置１a〜１cが、再生する画像のデータを投影制御装置５の記憶部５２から取得してもよい。プロジェクター２a〜２cは、映像再生装置１a〜１cにより再生出力された画像信号に応じた投影光を発光部から発することにより画像を出力する。これにより、プロジェクター２a〜２cは、その投影角に収まる投影範囲の投影面に画像を投影する。投影される画像の例として、アーティストのプロモーション画像、企業または商品の広告画像などが挙げられる。

プロジェクター２a〜２cは、図１（Ｂ）に示すように、それぞれ、壁面a〜cのうちいずれか２つの壁面に画像を投影するように配置されている。図１（Ｂ）の例では、プロジェクター２a〜２cから壁面a〜cまでの３次元空間に人物が存在している。そのため、プロジェクター２a〜２cは、それぞれ、いずれかの壁面と人物とを含む投影面に画像を投影する。なお、図１（Ｂ）の例では、プロジェクター２a〜２c間で、画像が投影される投影面の一部が重複している。しかし、画像が投影される投影面が、プロジェクター２a〜２c間で重複しないように、投影方向または投影角が設定されてもよい。また、プロジェクター２a〜２cは、それぞれ特定の１つの投影面に画像を投影するものであってもよい。また、投影面は、部屋の天井面及び床面にあってもよく、投影面は曲面であってもよい。

なお、図１（Ｂ）の例では、３つの映像再生装置１a〜１c、及び３つのプロジェクター２a〜２cを示しているが、映像再生装置とプロジェクターは、いくつであってもよい。また、図１（Ｂ）の例では、映像再生装置とプロジェクターとは１対１で対応しているが、１対Ｎ（Ｎは２以上の自然数）で対応してもよい。例えば、１つの映像再生装置に複数のプロジェクターが接続されてもよい。映像再生装置が１つである場合、映像再生装置が映像再生手段（ハードウェアまたはソフトウェアにより構成される）として投影制御装置５内に組み込まれていてもよい。

カメラ３には、例えば、深度センサーを備えたカメラが用いられる。深度センサーは、赤外線等を照射し対象物からの反射光によりデプスを計測するものである。カメラ３は、深度センサーにより、その画角に収まる撮像範囲を連続的に又は断続的に赤外線を受光することでデプス画像を連続的に又は断続的に取得する。デプス画像は、上記撮像範囲に存在する人物及び人物の背景における各位置までの深度を示す。カメラ３は、取得したデプス画像から人物を検出（認識）し、検出した人物の輪郭や骨格を形成する各部位の位置を示す部位情報を取得する。なお、撮像範囲内に複数の人物が存在する場合、それぞれの人物が検出され、それぞれの人物の輪郭や骨格を形成する各部位の位置を示す部位情報が取得されることになる。カメラ３は、検出した人物に対応する部位情報を連続的に投影制御装置５へ送信する。なお、投影制御装置５が、カメラ３からデプス画像を連続的に取得し、デプス画像から人物を検出し、検出した人物に対応する部位情報を取得してもよい。

上記部位情報は、例えば、人物の輪郭や骨格を形成する部位毎に、位置座標（Ｘ，Ｙ，Ｚ）が対応付けられた情報であり、デプス画像に示される各位置までの深度から特定することが可能である。具体的には、深度カメラにより取得された各位置までの深度を、人物の輪郭や骨格を形成する各部位の位置を判断するための人物位置パターンデータと比較することにより、人物の輪郭や骨格を形成する各部位が特定される。人物位置パターンデータは、例えば、予め所定のデータベース等に記憶された多数の種類の人物位置パターンから、デプス画像に示される各位置の深度に応じた所定のパターンデータを読み出して用いられる。人物の輪郭や骨格を形成する各部位の例として、頭部、左肩部、右肩部、左肘部、右肘部、左手部、右手部、首部、胴部、腰部、左尻部、右尻部、左膝部、右膝部、左足部、及び右足部等が挙げられる。このような部位情報には、部位の回転角Θが含まれる場合もある。部位の回転角Θとは、その部位に連結される他の部位を基準とする回転角Θである。もしくは、部位の回転角Θとは、その部位と間接的に連結される特定の部位の位置を基準とした回転角Θであってもよい。例えば、頭部の回転角Θは、頭部に連結される首部を基準とする回転角Θである。首部の回転角Θは、首部に連結される胴部を基準とする回転角Θである。回転角Θを含む部位情報は（Ｘ，Ｙ，Ｚ，Θ）というように表される。

投影制御装置５は、画像の投影制御等を行う装置である。投影制御装置５は、図１（Ａ）に示すように、ＩＦ５１a〜５１c、記憶部５２、及び制御部５３を備える。ＩＦ５１a〜５１c、記憶部５２、及び制御部５３は、バス５４に接続されている。ＩＦ５１aは、カメラ３と投影制御装置５との間のインターフェースである。ＩＦ５１bは、操作機器４と投影制御装置５との間のインターフェースである。ＩＦ５１cは、ＬＡＮと投影制御装置５との間のインターフェースである。記憶部５２は、例えばハードディスクドライブにより構成される。記憶部５２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。本発明のプログラムは、後述する投影制御処理をＣＰＵに実行させるプログラムである。また、記憶部５２には、プロジェクター２a〜２cにより投影される画像のデータが画像を識別する画像ＩＤに対応付けられて記憶される。制御部５３は、コンピュータとしてのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部５３は、本発明の第１特定手段、第２特定手段、画素編集手段、及び投影制御手段の一例である。制御部５３は、本発明のプログラムに従って投影制御処理を実行する。

［２．投影制御装置５の投影制御処理］
次に、図２等を参照して、本実施形態の投影制御装置５の投影制御処理について説明する。例えば部屋に入った利用者が操作機器４を操作して所望の画像を選択すると、選択された画像の画像ＩＤが投影制御装置５へ送信される。投影制御装置５は、操作機器４から画像ＩＤを受信すると、受信した画像ＩＤに対応する画像のデータを記憶部５２から取得し、図２に示す投影制御処理を開始する。このように、利用者により選択された画像が投影対象となる。なお、投影対象となる画像は、デフォルト設定されたものであってもよい。また、投影制御装置５は、人物を検知してから投影制御処理を開始してもよい。もしくは、投影制御装置５は、楽曲再生装置により選択された楽曲の再生に連動して投影制御処理を開始してもよい。

図２に示す投影制御処理が開始されると、制御部５３は、カメラ３から、人物の部位情報を取得する（ステップＳ１）。この人物は、上述したように、プロジェクター２a〜２cから画像の投影面までの３次元空間にいる人物である。例えば、カメラ３から、人物の複数の部位について、部位ごとに、部位と対応付けられた位置座標（Ｘ，Ｙ，Ｚ）が、部位情報として取得される。或いは、ステップＳ１において、カメラ３から取得されたデプス情報から、前述した人物位置パターンデータと比較されることにより、人物の複数の部位について、部位ごとに位置座標（Ｘ，Ｙ，Ｚ）が、部位情報として取得される。なお、部位情報は、複数の部位のうちの一部の部位が推定値であってもよい。なお、位置座標（Ｘ，Ｙ，Ｚ）は、３次元座標である。次いで、制御部５３は、ステップＳ１で取得された部位情報に基づき、プロジェクター２a〜２cから画像の投影面である壁ａ〜ｃまでの３次元空間にいる人物の頭部の位置を特定する（ステップＳ２）。例えば、上記部位情報に含まれる頭部の位置座標（Ｘ，Ｙ，Ｚ）が、人物の頭部の位置として特定される。

次いで、制御部５３は、ステップＳ２で特定された頭部の位置に基づき、人物の頭部の３次元モデルを生成する（ステップＳ３）。例えば、制御部５３は、人物の頭部の位置座標（Ｘ，Ｙ，Ｚ）を中心とする所定サイズの球体（または楕円体）を、人物の頭部の３次元モデルとして生成する。この３次元モデルは、例えば、人物の頭の表面上にある複数の部位それぞれの座標の集合により構成される。なお、制御部５３は、ステップＳ１で取得した部位情報から、人物の頭の表面上にある複数の部位それぞれの位置を示す部位情報を取得し、取得した各部位情報が示す位置座標（Ｘ，Ｙ，Ｚ）から人物の頭部の３次元モデルを生成してもよい。このとき、制御部５３は、人物の頭の表面上の各部位情報を時系列で連続して取得し、時系列で取得した各部位情報に基づいて３次元モデルを生成してもよい。また、このとき、制御部５３は、カメラ３により時系列で複数撮像した画像を解析することで、各部位情報の時系列の動きの遷移から人物の正面を判断してもよい。

次いで、制御部５３は、ステップＳ３で生成された頭部の３次元モデルの位置座標（Ｘ，Ｙ，Ｚ）を、プロジェクター２a〜２cそれぞれの位置から見た２次元平面上の２次元座標（ｘ，ｙ）に変換することで、上記投影対象の画像上に、投影される画像が重なる頭部の領域を、マスク対象領域として特定する（ステップＳ４）。投影される画像が重なる頭部の領域は、例えば、顔の領域を含む。マスク対象領域とは、上記投影対象の画像上においてマスクされる領域である。例えば、制御部５３は、射影変換するための行列を用いて、頭部の３次元モデルの位置座標（Ｘ，Ｙ，Ｚ）を、プロジェクター２a〜２cそれぞれの位置を基準としてプロジェクター２a〜２cそれぞれが画像を投影する２次元平面ごとに投影変換することで２次元座標（ｘ，ｙ）を算出する。こうして算出された２次元座標（ｘ，ｙ）により、上記投影対象の画像上におけるマスク対象領域がプロジェクター２a〜２cごとに特定される。なお、人物の頭部の３次元モデルが球体または楕円体である場合、マスク対象領域の平面形状は円形または楕円形となるが、マスク対象領域は円形または楕円形を取り囲む矩形であってもよい。

次いで、制御部５３は、ステップＳ１で取得された部位情報に基づき、プロジェクター２a〜２cから３次元空間にいる人物までの距離を、プロジェクター２a〜２cごとに特定する（ステップＳ５）。例えば、上記部位情報に含まれる頭部の位置座標の中のＺ座標が人物までの距離として特定される。なお、制御部５３は、プロジェクター２a〜２cから人物までの距離を計測可能なデバイスを用いて、人物までの距離を特定してもよい。

次いで、制御部５３は、プロジェクター２a〜２cごとに画素編集処理を実行する（ステップＳ６）。画素編集処理において、制御部５３は、上記投影対象の画像に対して、ステップＳ４で特定されたマスク対象領域内の少なくとも一部領域の画素の色を、この一部領域の元画素の色より暗くし、且つ、ステップＳ５で特定された人物までの距離が短いほど上記一部領域の範囲を広く設定する。このように、元画素の色より暗く設定される一部領域を、以下、「色編集対象領域」という。このような色編集対象領域によりマスクパターンが形成される。なお、マスク対象領域全てが色編集対象領域であってもよい。このような画素編集処理には、マスク対象領域内で画素の色の明るさをライン状に調整する画素編集処理（図３（Ａ））と、マスク対象領域内で画素の色の明るさを段階的に調整する画素編集処理（図３（Ｂ））とがある。どちらの画素編集処理が実行されるかは任意に設定可能である。

図３（Ａ）に示す画素編集処理では、制御部５３は、ステップＳ４で特定されたマスク対象領域内で互いに離間する複数のライン状に形成される複数の色編集対象領域の幅（つまり、ラインの幅）を、ステップＳ５で特定された距離が短いほど長く決定する（ステップＳ５１）。例えば、色編集対象領域の幅wは、下記（１）式で算出することができる。

幅w＝w0×k×D・・・（１）

ここで、w0は、例えばデフォルト設定されたマスクパターンにおける色編集対象領域の幅である。kは１より小さい係数である。DはステップＳ５で特定された距離（すなわち、プロジェクターと人物との間の距離）である。（１）式は、w0:w＝D0:Dで表す比を基に定まる。ここで、D0は、w0のときのプロジェクターと人物との間の距離である。w0:w＝D0:Dを変形すると、w=w0×D/D0となる。つまり、1/D0がkに相当する。このように色編集対象領域の幅を決定する理由を、図４を参照して説明する。例えば、図４（Ａ）に示すデフォルト設定されたマスクパターンの画像がプロジェクターから人物の目の部分に投影されたとき、プロジェクターと人物との間の距離が短いほど、図４（Ｂ），（Ｃ）に示すように、目の部分に投影されるマスクパターンにおける色編集対象領域の幅は短く（細く）なる（wa＜wb）。例えば、図４に示すD2（ｍ）の距離でwb（ｍｍ）等間隔で色編集対象領域を投影している場合、D2の1/2のD1（ｍ）の距離では色編集対象領域の幅はwbの1/2のwa（ｍｍ）となる。しかも、プロジェクターと人物との間の距離が短いほど、プロジェクターからの投影光の照度は大きくなるため、色編集対象領域以外の明るい色の領域による照度によって、人物はより眩しさを感じることになる。このため、図４（Ｄ）に示すように、マスクパターンにおける色編集対象領域の幅を、デフォルト設定されたマスクパターンにおける色編集対象領域の幅より長く設定するのである。なお、照度は距離の二乗に反比例することから、プロジェクターと人物との間の距離D1における照度E1と、プロジェクターと人物との間の距離D2における照度E2とを等しくさせるためには、４倍の色編集対象領域の幅が必要である（E2＝1/(D1/D2)^2×E1）。

次いで、制御部５３は、マスク対象領域内においてステップＳ５１で決定された幅の色編集対象領域それぞれの画素の色を、それぞれの色編集対象領域の元画素より暗くする編集を行うことで、上記投影対象の画像上にマスクパターンを形成する（ステップＳ５２）。これにより、例えば、図５（Ａ），（Ｂ）に示すように、プロジェクターと人物との間の距離に応じて異なる幅（w1>w2）を持つ色編集対象領域が縦方向にライン状（つまり、ストライプ状）に形成されたマスクパターンが形成される。つまり、制御部５３は、プロジェクターと人物との間の距離が短いほど、ライン状に形成される複数の色編集対象領域の幅を長くしている。或いは、図５（Ｃ），（Ｄ）に示すように、プロジェクターと人物との間の距離に応じて異なる幅を持つ色編集対象領域が複数の方向（例えば、縦方向と横方向）にライン状（つまり、格子状）に形成されたマスクパターンが形成される。このようなマスクパターンの形成のための処理負荷は小さいため、色の編集のための処理速度を向上させることができる。なお、ステップＳ５２において、マスクパターンは、上記投影対象の画像とは分離したマスクパターン画像として生成されてもよい。この場合、制御部５３は、上記投影対象の画像上におけるマスク対象領域の座標位置に、生成されたマスクパターン画像を合成する。また、色編集対象領域の幅の変更は、ドット数、またはドットサイズを変更することにより行われる。

ステップＳ５２において、制御部５３は、色編集対象領域の画素の色の明度（色の明るさを表す値）を元画素より低くすることで画素の色を暗くする編集（明度調整）を行うことが望ましい。これにより、元画素の色を維持しつつ明るさだけを低下させることができ、投影画像を見る者に違和感を生じさせないことを、より確実に実現することができる。ここで、明度が低いとは、画素の色が暗いことを意味し、明度が高いとは、画素の色が明るいことを意味する。画素の色の明度を調整する場合、制御部５３は、ＲＧＢ−ＨＳＶ変換計算式を用いて、画素のＲＧＢ値をＨＳＶ値に変換する。ここで、Ｈは色相(Hue)を示し、Ｓは彩度(Saturation)を示し、Ｖは明度(Value)を示す。例えば、Ｒ,Ｇ,Ｂの値の中で、最大の明度の値がＶとなる（Ｖ＝max[Ｒ,Ｇ,Ｂ]）。ＲＧＢ−ＨＳＶ変換計算式は、公知であるため、詳しい説明を省略する。また、色相（波長）により、効果の差が生じるが、画素の色の明度を調整することに加え、制御部５３は、色編集対象領域の画素の色の彩度を元画素より低くすることで画素の色を暗くする編集（彩度の調整）を行うように構成しても構わない。ただし、彩度を変化させると、ある値で別の色に変化するので、色が変化しない範囲で彩度を調整する必要がある。また、ＲＧＢ値をＨＳＶ値に変換することなく、ＲＧＢ値の各値を低下させることで色編集対象領域の元画素より暗くする編集を行っても構わない。

一方、図３（Ｂ）に示す画素編集処理では、図６（Ａ）に示すような明度閾値テーブルが用いられる。明度閾値テーブルは、例えば予め作成されて記憶部５２に記憶される。明度閾値テーブルは、閾値として用いられる互いに異なる複数の明度を段階的に規定したテーブルである。図６（Ａ）の例では、明度閾値テーブルの左端から右端に向かって、明度が段階的に高くなるように規定されている。このように閾値として用いられる明度を、以下、「明度閾値」という。図３（Ｂ）に示す画素編集処理では、制御部５３は、ステップＳ５で特定された距離が短いほど狭い範囲の明度閾値Ｖ₀〜Ｖ_nを明度閾値テーブルから取得する（ステップＳ６１）。つまり、制御部５３は、ステップＳ５で特定された距離が長いほど色編集対象領域の数（以下、「対象領域数」という）を増やし、複数の色編集対象領域を、外側に向けて画素の色の明るさを段階的に高くする編集を行うことになる。これにより、マスク対象領域内において画素の色の明るさの差を小さくすることができる。図６（Ａ）の例では、プロジェクターと人物との間の距離が所定値より短い場合、４つの明度閾値Ｖ₀〜Ｖ₃が取得され、プロジェクターと人物との間の距離が所定値より長い場合、６つの明度閾値Ｖ₀〜Ｖ₅が取得される。なお、このような所定値は複数段階で設定されるとよい。プロジェクターと人物との間の距離が所定値より長い場合、輝度が減るので、明度閾値テーブルにおいて高い明度閾値まで使用することができる。

次いで、制御部５３は、ステップＳ４で特定されたマスク対象領域を、ステップＳ６１で取得された明度閾値の数の領域に区分することで、それぞれの明度閾値が割り当てられる色編集対象領域を決定する（ステップＳ６２）。図６（Ｂ）の例では、マスク対象領域がその中心点から同心円状に区分されることで、明度閾値Ｖ₀，Ｖ₁，Ｖ₂のそれぞれが割り当てられる３つの色編集対象領域が形成されている。なお、例えば、Ｖ₀は１０に、Ｖ₁は２０に、Ｖ₂は３０にそれぞれ予め段階的に設定されている。

次いで、制御部５３は、ＲＧＢ−ＨＳＶ変換計算式を用いて、ステップＳ６２で決定された各色編集対象領域の画素のＲＧＢ値をＨＳＶ値に変換する（ステップＳ６３）。次いで、制御部５３は、ステップＳ６２で決定された各色編集対象領域の画素の色の明度Ｖを、それぞれの色編集対象領域に割り当てられた明度閾値Ｖ_nに基づいて調整する（ステップＳ６４）。このステップＳ６４では、例えば、図３（Ｃ）に示す明度調整処理が実行される。この明度調整処理では、制御部５３は、ステップＳ６２で決定された複数の色編集対象領域のうち、何れかの色編集対象領域を１つ選択する（ステップＳ６４１）。

次いで、制御部５３は、ステップＳ６４１で選択された色編集対象領域の画素の色の明度Ｖが、この色編集対象領域に割り当てられた明度閾値Ｖ_nより大きいか否かを判定（これを「閾値判定」という）する（ステップＳ６４２）。制御部５３は、画素の色の明度Ｖが明度閾値Ｖ_nより大きくないと判定した場合、つまり、画素の色の明度Ｖが明度閾値Ｖ_n以下であると判定した場合（ステップＳ６４２：ＮＯ）、ステップＳ６４４へ進む。一方、制御部５３は、画素の色の明度Ｖが明度閾値Ｖ_nより大きいと判定した場合（ステップＳ６４２：ＹＥＳ）、画素の色の明度Ｖを明度閾値Ｖ_nに変更し（ステップＳ６４３）、ステップＳ６４４へ進む。

つまり、制御部５３は、図６（Ｂ）に示すように、色の明度Ｖが明度閾値Ｖ_n以下である画素については色の編集を行わず、色の明度Ｖが明度閾値Ｖ_nより大きい画素については色の明度Ｖを明度閾値Ｖ_nにする編集を行う。この構成によれば、計算が複雑とならないため、色の編集（明度調整）のための処理速度を向上させることができる。しかも、色の明度Ｖが明度閾値Ｖ_n以下の画素については色の明度Ｖの変更はないので、そのような画素の色の明度Ｖが暗い方向へ行き過ぎてしまうことを防ぐことができる。一方、この構成では、色の明度Ｖが明度閾値Ｖ_nより大きい画素については色の明度Ｖが一律に明度閾値Ｖ_nにされるため、画像の見た目に影響を与えることが懸念されるが、画像は一般的に周辺画素と相関が高いため（つまり、画素の明度Ｖはなだらかに変わるため）、画像の見た目に影響を与える可能性は低い。なお、別の編集方法として、制御部５３は、ステップＳ６４１で選択された色編集対象領域の画素の中で最大の明度Ｖ_mと明度閾値Ｖ_nとの比率（＝明度閾値Ｖ_n／最大の明度Ｖ_m）を算出し、算出した比率を色編集対象領域の全ての画素の色の明度Ｖに乗算することで画素の色の明度Ｖを調整するように構成してもよい。ただし、この場合、図６（Ｂ）に示す編集方法よりも、計算が複雑になる。また、この場合、図６（Ｂ）に示す編集方法よりも、明度差が大きい領域では輪郭が残り易く効果があるが、元々閾値より小さい明度の部分は、黒に近づくため、色情報を失う可能性が高い。

ステップＳ６４４では、制御部５３は、ステップＳ６４１で選択された色編集対象領域の全ての画素について閾値判定を行ったか否かを判定する。制御部５３は、色編集対象領域の全ての画素について閾値判定を行っていないと判定した場合（ステップＳ６４４：ＮＯ）、ステップＳ６４２に戻り、まだ閾値判定を行っていない画素について閾値判定を行う。一方、制御部５３は、色編集対象領域の全ての画素について閾値判定を行ったと判定した場合（ステップＳ６４４：ＹＥＳ）、ステップＳ６４５へ進む。

ステップＳ６４５では、制御部５３は、ステップＳ６２で決定された複数の色編集対象領域のうち、まだ選択されていない色編集対象領域があるか否かを判定する。制御部５３は、まだ選択されていない色編集対象領域があると判定した場合（ステップＳ６４５：ＹＥＳ）、ステップＳ６４１に戻り、まだ選択されていない色編集対象領域を１つ選択して、上記と同様にステップＳ６４２以降の処理を行う。一方、制御部５３は、選択されていない色編集対象領域がないと判定した場合（ステップＳ６４５：ＮＯ）、図３（Ｂ）に示す処理に戻る。このように、明度調整処理では、制御部５３は、マスク対象領域を、図６（Ｂ）に示すように、明度閾値Ｖ₀が割り当てられた色編集対象領域（第１の色編集対象領域の一例）と、明度閾値Ｖ₀が割り当てられた色編集対象領域より外側に位置する、明度閾値Ｖ₁が割り当てられた色編集対象領域（第２の色編集対象領域の一例）とを少なくとも含む複数の色編集対象領域に分けて段階的に画素の色の編集を行う。このとき、制御部５３は、明度閾値Ｖ₀が割り当てられた色編集対象領域の画素の色を、明度閾値Ｖ₁が割り当てられた色編集対象領域の画素の色より暗くする編集を行う。これにより、マスク対象領域の中心から外側に向かって徐々に色が明るくなるので、投影画像を見る者の違和感を抑えつつ、上記人物が感じる眩しさも軽減することができる。なお、複数の色編集対象領域の境界において明るさが急に変わることによる違和感を低減するため、境界付近の画素の色の明度を例えば平滑フィルタにより平均化する処理を行ってもよい。

次いで、制御部５３は、ＨＳＶ−ＲＧＢ変換計算式を用いて、明度調整処理がなされた各色編集対象領域の画素のＨＳＶ値をＲＧＢ値に逆変換することで、上記投影対象の画像上にマスクパターンを形成する（ステップＳ６５）。これにより、例えば、図６（Ｃ），（Ｄ）に示すように、プロジェクターと人物との間の距離に応じて異なる対象領域数の色編集対象領域が同心円状に形成されたマスクパターンが形成される。ＨＳＶ−ＲＧＢ変換計算式は、公知であるため、詳しい説明を省略する。なお、ステップＳ６５において、マスクパターンは、上記投影対象の画像とは分離したマスクパターン画像として生成されてもよい。この場合、制御部５３は、上記投影対象の画像上におけるマスク対象領域の座標位置に、生成されたマスクパターン画像を合成する。

次いで、制御部５３は、ステップＳ６の画素編集処理によりプロジェクター２a〜２cごとにマスクパターンが形成された画像のデータと投影指示とを、映像再生装置１a〜１cそれぞれへ送信する（ステップＳ７）。この投影指示は、マスクパターンの形成により色の編集がされた画像を投影面に投影させる指示である。映像再生装置１a〜１cは、マスクパターンが形成された画像のデータと投影指示とを受信すると、投影指示された画像を再生し、その画像信号をプロジェクター２a〜２cへ出力する。そして、プロジェクター２a〜２cは、映像再生装置１a〜１cにより再生出力された画像信号に応じた投影光を発光部から発することにより画像を投影面に投影する。なお、図２に示す処理は、例えば、利用者から操作機器４を介して終了指示があった場合に終了する。

以上説明したように、上記実施形態によれば、投影制御装置５は、プロジェクター２a〜２cから画像の投影面までの３次元空間にいる人物の頭部の位置から、投影面に投影される画像上における頭部の領域をマスク対象領域として特定し、プロジェクター２a〜２cから３次元空間にいる人物までの距離を特定する。そして、投影制御装置５は、投影される画像に対して、特定されたマスク対象領域内の色編集対象領域の画素の色を、この色編集対象領域の元画素より暗くし、且つ、特定された距離が短いほど領域の範囲を広くした色編集対象領域の画素の色を元画素より暗くする編集を行い、編集がされた画像を投影面に投影させる。このため、投影画像の欠損領域を抑えつつ、画像が投影された人物が感じる眩しさも軽減することができる。例えば、人物の頭部には上述したマスクパターンの領域が投影されるが、この領域は従来技術のように黒色の画像でマスク処理された領域ではなく、プロジェクター２a〜２cと人物との間の距離に応じて画素の明暗が調整された領域であるので、投影画像を見る者に欠損領域とは認識され難く、なおかつ、上記人物が感じる眩しさも軽減することができる。

また、例えば、図７に示すように、プロジェクター２aからの投影光により壁面bの一部には人物の頭部の影ができるが、この影は、プロジェクター２cからの画像により消されることになる。しかしながら、従来技術のように、頭部輪郭を考慮して黒色の画像を合成するマスク処理を行う場合、頭部輪郭より少し広い範囲にマスク処理を行うことが望ましい。しかし、この場合、頭部輪郭外のマスク処理がされた領域（図７に示す画像に影響を与える領域）は、上記影とは異なり、プロジェクター２cからの画像により消すことができないため、投影画像を見る者に違和感を与えてしまう。一方、本実施形態では、例えば図６（Ｃ），（Ｄ）に示すマスクパターンは、その中心から外側に向かって徐々に色が明るくなるので、投影画像を見る者に違和感を与えることを軽減することができる。

１a〜１c 映像再生装置
２a〜２c プロジェクター
３ カメラ
４ 操作機器
５ 投影制御装置
Ｓ 投影システム

Claims (14)

1. 画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定手段と、
   前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定手段と、
   前記画像に対して、前記第１特定手段により特定された前記頭部の領域内に互いに離間する複数のライン状に形成される複数の一部領域それぞれの画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定手段により特定された距離が短いほど、前記ライン状に形成される複数の前記一部領域の幅を長くする画素編集手段と、
   前記画素編集手段により編集がされた画像を前記投影面に投影させる投影制御手段と、
   を備えることを特徴とする投影制御装置。
2. 前記画素編集手段は、少なくとも縦方向にライン状に形成される前記一部領域の画素の色を、前記一部領域の元画素より暗くする編集を行うことを特徴とする請求項１に記載の投影制御装置。
3. 前記画素編集手段は、複数の方向にライン状に形成される前記一部領域の画素の色を、前記一部領域の元画素より暗くする編集を行うことを特徴とする請求項１に記載の投影制御装置。
4. 画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定手段と、
   前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定手段と、
   前記画像に対して、前記第１特定手段により特定された前記頭部の領域内の一部領域の画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定手段により特定された距離が短いほど前記一部領域の範囲を広くする画素編集手段と、
   前記画素編集手段により編集がされた画像を前記投影面に投影させる投影制御手段と、
   を備え、
   前記画素編集手段は、前記一部領域を、第１の領域と、前記第１の領域より外側に位置する第２の領域とを少なくとも含む複数の領域に分けて段階的に前記画素の色の編集を行うものであり、前記第１の領域の画素の色を、前記第２の領域の画素の色より暗くし、且つ、前記第２特定手段により特定された距離が長いほど前記複数の領域の数を増やし、前記複数の領域を、外側に向けて前記画素の色の明るさを段階的に高くする編集を領域毎に行うことを特徴とする投影制御装置。
5. 画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の正面を判断し、前記人物の正面の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定手段と、
   前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定手段と、
   前記画像に対して、前記第１特定手段により特定された前記頭部の領域内の一部領域の画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定手段により特定された距離が短いほど前記一部領域の範囲を広くする画素編集手段と、
   前記画素編集手段により編集がされた画像を前記投影面に投影させる投影制御手段と、
   を備えることを特徴とする投影制御装置。
6. 前記第１特定手段は、前記人物の頭部の３次元モデルを生成し、前記人物の頭部の３次元モデルに基づき、前記人物の正面の頭部の領域を特定することを特徴とする請求項５に記載の投影制御装置。
7. 前記画素編集手段は、前記一部領域を、第１の領域と、前記第１の領域より外側に位置する第２の領域とを少なくとも含む複数の領域に分けて段階的に前記画素の色の編集を行うものであり、前記第１の領域の画素の色を、前記第２の領域の画素の色より暗くする編集を行うことを特徴とする請求項１乃至３の何れか一項に記載の投影制御装置。
8. 前記画素編集手段は、前記第２特定手段により特定された距離が長いほど前記複数の領域の数を増やし、前記複数の領域を、外側に向けて前記画素の色の明るさを段階的に高くする編集を領域毎に行うことを特徴とする請求項７に記載の投影制御装置。
9. 前記画素編集手段は、前記色の明るさを表す値が閾値以下である画素については色の編集を行わず、前記色の明るさを表す値が閾値より大きい画素については前記色の明るさを表す値を前記閾値にする編集を行うことを特徴とする請求項１乃至４の何れか一項に記載の投影制御装置。
10. 前記画素編集手段は、前記一部領域の画素の色の明度を前記一部領域の元画素より低くすることで前記画素の色を暗くする編集を行うことを特徴とする請求項１乃至４の何れか一項に記載の投影制御装置。
11. 前記第１特定手段は、前記画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の正面を判断し、前記人物の正面の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定することを特徴とする請求項１乃至４の何れか一項に記載の投影制御装置。
12. 画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定ステップと、
    前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定ステップと、
    前記画像に対して、前記第１特定ステップにより特定された前記頭部の領域内に互いに離間する複数のライン状に形成される複数の一部領域それぞれの画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定ステップにより特定された距離が短いほど、前記ライン状に形成される複数の前記一部領域の幅を長くする画素編集ステップと、
    前記画素編集ステップにより編集がされた画像を前記投影面に投影させる投影制御ステップと、
    をコンピュータに実行させることを特徴とするプログラム。
13. 画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定ステップと、
    前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定ステップと、
    前記画像に対して、前記第１特定ステップにより特定された前記頭部の領域内の一部領域の画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定ステップにより特定された距離が短いほど前記一部領域の範囲を広くする画素編集ステップと、
    前記画素編集ステップにより編集がされた画像を前記投影面に投影させる投影制御ステップと、
    をコンピュータに実行させるプログラムであって、
    前記画素編集ステップは、前記一部領域を、第１の領域と、前記第１の領域より外側に位置する第２の領域とを少なくとも含む複数の領域に分けて段階的に前記画素の色の編集を行うものであり、前記第１の領域の画素の色を、前記第２の領域の画素の色より暗くし、且つ、前記第２特定ステップにより特定された距離が長いほど前記複数の領域の数を増やし、前記複数の領域を、外側に向けて前記画素の色の明るさを段階的に高くする編集を領域毎に行うことを特徴とするプログラム。
14. 画像を投影する投影装置から前記画像の投影面までの３次元空間にいる人物の正面を判断し、前記人物の正面の頭部の位置から、前記投影面に投影される画像上における前記頭部の領域を特定する第１特定ステップと、
    前記投影装置から前記３次元空間にいる人物までの距離を特定する第２特定ステップと、
    前記画像に対して、前記第１特定ステップにより特定された前記頭部の領域内の一部領域の画素の色を、前記一部領域の元画素より暗くし、且つ、前記第２特定ステップにより特定された距離が短いほど前記一部領域の範囲を広くする画素編集ステップと、
    前記画素編集ステップにより編集がされた画像を前記投影面に投影させる投影制御ステップと、
    をコンピュータに実行させることを特徴とするプログラム。