JP6661282B2 - 制御装置、画像表示システム及びプログラム - Google Patents

Description

本発明は、画像表示制御装置等に関する。

人を誘導するための手段として「看板」「警告ランプ」「マーク」等が存在する。最近では、この看板等において、大型液晶ディスプレイ等の画像表示装置を利用する事により様々な情報を表示する画像表示システムが知られている。

このような画像表示システムを利用することにより、利用者を誘導する仕組みが開示されている（例えば、特許文献１参照）。

また、このような画像表示システムは、情報を必要としている利用者との関係で様々な発明が開示されている。例えば、利用者が存在するときだけ画像を表示させる発明や（例えば、特許文献２参照）、利用者が目視しているときだけ表示させる発明（例えば、特許文献３参照）等が知られている。

また、水平方向に情報表示画面があり、その画面を２つの領域に予め分割しておき、センサにより表示装置の近傍にいる人の位置を判定し、当該近傍に複数の人がいる場合には、人数の多い方向から見て適切な向きになるように、映像情報を回転させて水平方向の情報表示画面上に表示する発明が開示されている（例えば、特許文献４参照）。

特開平６−３２５２６５号公報 特開２００２−２７８５３６号公報 特開２００４−１８５１３９号公報 特開２０１１−１９２０３０号公報

施設等において、利用者を誘導するためには様々な情報が表示される。例えば、利用者を誘導したり、案内したり、警告したりといった様々な情報が表示される。しかし、それらの情報については、利用者が見ていなければ、適切に情報を提示できているとは言えなかった。

更に、上述した従来技術でも、情報が表示される表示位置は予め決まっている。すなわち、画像表示装置を所定の位置に配置し、利用者はその画像表示装置に表示されている情報を見る必要がある。したがって、利用者が見ていた方向に表示されるものがなく、その表示に気がつかなかった場合は、適切に情報を提供できているとは言えなかった。

上述した課題に鑑み、本発明が目的とするところは、利用者が向いている方向に対して画像を表示することで、適切に情報を提示することができる画像表示制御装置等を提供することである。

上述した課題を解決するために、本発明の画像表示制御装置は、
複数の表示位置に画像を表示可能な画像表示装置と、
人の向きを認識する認識手段と、
前記認識手段により認識された人の向きに対応する表示位置を判定する表示位置判定手段と、
前記表示位置判定手段により判定された表示位置に、画像を表示する制御を行う画像表示制御手段と、
を備えることを特徴とする。

本発明の画像表示システムは、
複数の画像表示装置と、認識装置と、前記画像表示装置に画像を表示制御する制御装置とを含む画像表示システムにおいて、
前記制御装置は、
人の向きを前記認識装置により認識し、
認識された人の向きから、画像を表示する画像表示装置を判定し、
前記判定された画像表示装置に、画像を表示制御する、
ことを特徴とする。

本発明のプログラムは、
複数の表示位置に画像を表示可能な画像表示装置に接続されたコンピュータに、
人の向きを認識する認識機能と、
前記認識機能により認識された人の向きに対応する表示位置を判定する表示位置判定機能と、
前記表示位置判定機能により判定された表示位置に、画像を表示する制御を行う画像表示制御機能と、
を実現させることを特徴とする。

本発明の画像表示制御装置は、複数の表示位置に画像を表示可能な画像表示装置に表示される画像を表示制御を行う装置であって、認識手段により認識された人の向きに対応する表示位置に、画像を表示することができる。したがって、表示される位置に利用者が向くのではなく、利用者が向いている方向に画像を表示させることが可能となる。

第１実施形態における全体を説明するための図である。 第１実施形態における機能構成を説明するための図である。 第１実施形態における人体の認識方法について説明するための図である。 第１実施形態における表示領域について説明するための図である。 第１実施形態における表示装置及び表示領域の配置の一例を説明するための図である。 第１実施形態における表示位置テーブルのデータ構成の一例である。 第１実施形態における処理の一例を説明するためのフローチャートである。 第２実施形態における動作を説明するための図である。 第２実施形態における処理の一例を説明するためのフローチャートである。

以下、図面を参照して本発明を実施するための最良の形態について説明する。以下の実施形態は、本発明の画像表示システムを適用した一例であり、発明の内容が、本実施形態に限定されるものではないのは勿論である。

［１．第１実施形態］
［１．１ システム外観］
第１実施形態における画像表示システム１の全体について、図１を用いて説明する。図１に示すように、画像表示システム１は、利用者Ｐを認識する認識装置２０と、画像を表示する画像表示装置３０とを有しており、これらが制御装置１０（画像表示制御装置）に接続されている。

本実施形態では、画像表示装置３０の一例として、画像表示装置（ディスプレイ）３２と、画像表示装置（プロジェクタ）３４とを有して構成されている。そして、画像表示装置（プロジェクタ）３４は、表示位置として領域Ｒ３０（Ｒ３４）に画像を表示する。ここで、画像表示装置３０は、１つであっても良いし、複数であっても良い。すなわち、複数の表示位置に表示可能な構成となっていれば良い。各装置の詳細については次の機能構成で説明する。

更に、画像表示装置３０は、可動可能に構成されていてもよい。例えば、プロジェクタの場合は、プロジェクタ取付部が可動するように構成されており、プロジェクタが照射する方向にレンズ方向を自在に稼動させることが可能となるように構成されても良い。また、ディスプレイの場合は、取付部が移動可能になっており、表示したい箇所に移動する構成としても良い。

なお、本実施形態では、認識装置２０と、画像表示装置３０と、制御装置１０とが同一の構内で接続されている（例えば、同一のネットワークに接続されていたり、ＵＳＢ接続といったローカル接続されていたりする）こととして説明するが、外部ネットワークを介して接続されていても良い。

すなわち、制御装置１０が、インターネットに接続されているサーバであり、サーバ上で処理を実行する。そして、インターネットを介して、認識装置２０及び画像表示装置３０が接続されることとしても良い。この場合、サーバ側の管理者は、離れた場所であっても複数の制御を行うことが可能となる。

［１．２ 機能構成］
続いて、本実施形態における画像表示システム１を構成する各装置の機能構成について図２を用いて説明する。

図２に示すように、制御装置１０に、認識装置２０と、一又は複数の画像表示装置３０とが接続されている。

また、制御装置１０は、制御部１１０と、認識部１２０と、画像表示制御部１３０と、記憶部１４０とを備えて構成されている。

制御部１１０は、制御装置１０の全体を制御するための機能部である。制御部１１０は、記憶部１４０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Process Unit）等により構成されている。

認識部１２０は、利用者の人体を認識装置２０により認識された情報を入力・処理するための機能部である。すなわち、認識装置２０における空間内における人の動きをセンシングする技術（画像処理・サーモ・位置センサ・圧センサ）を利用し、対象者の動作・方向を認識する機能部である。

ここで、認識装置２０及び認識部１２０が、空間内において人（人）体を認識する仕組みについて、図３を用いて説明する。ここで、認識装置２０としては種々の装置が考えられるが、一例としてマイクロソフト株式会社製のＫｉｎｅｃｔ（キネクト）（登録商標）を利用した方法について説明する。

Ｋｉｎｅｃｔを利用する事により、人間の骨格をスティックピクチャとして捉えることができるようになる（図３（ａ））。すなわち、人体の各関節の特徴点と、当該特徴点を結んだ線とがそれぞれ検出される。

この特徴点に基づいて、人の顔の向きや、体の向きを認識することが可能となる。例えば、顔の向きや体の向きを求めるには、図３（ｂ）に示すように、各関節の特徴点をもちいて認識する。図３（ｂ）では、特徴点Ｐ０１と、特徴点Ｐ０２の（ｘ、ｙ、ｚ）座標をそれぞれ検出する。そして、２つの座標を結ぶ直線と、基準面との角度を算出することにより、顔の向きを認識する。

また、特徴点Ｐ０３と、特徴点Ｐ０４の（ｘ、ｙ、ｚ）座標をそれぞれ検出し、特徴点Ｐ０３と特徴点Ｐ０４とを直線で結ぶ仮想線Ｌ０１の位置から、体の方向（向きと傾き）を認識する。

これにより、利用者の向いている方向から、画像を表示する領域を特定することができる。例えば、図３（ｃ）に示すように、特徴点Ｐ０１と、特徴点Ｐ０２から、中心軸に対しての角度が算出され、これにより顔の角度（利用者が向いている角度）θ１が算出される。

また、人体の視点の高さＬ０２（例えば、近似的に特徴点Ｐ０２の高さ）と、顔の角度の法線方向Ｌ０３とから、視線が地上線Ｌ０４に到達する位置を求めることが可能となる（例えば、高さＬ０２×ａｒｃｔａｎθ１）。そして、この位置を表示領域Ｒ０１として、画像を表示することができる。

なお、人体を認識する方法としては、他の方法であっても良い。例えば、カメラを用いた画像処理技術、サーモグラフィや赤外線を用いた認識技術であっても良いし、圧力センサを床に置き、足の方向と荷重方向で人を認識しても良い。また、視線検出技術を利用して、視線を検出しても良い。

ここで、利用者Ｐ（人体）の向きの検出としては、視線の方向、顔の向き、体の向きの順に優先度が高くなっている。すなわち、視線の方向が検出できるのであれば視線の方向を、顔の向きを検出できるのであれば顔の方向を、そうで無ければ体の向きを検出する。これらを複数検出することとしても良いし、単独で方向を検出しても良い。

続いて、画像表示制御部１３０は、接続されている一又は複数の画像表示装置３０に対して、画像の表示を制御するための機能部である。ここで、表示される画像は、複数の表示位置に表示可能である。表示位置は、一の画像表示装置３０が切り替え可能な表示領域により決定されるか、表示する画像表示装置を切り替えて決定することとなる。すなわち、表示領域と、画像表示装置とを組み合わせて、複数の表示位置が構成されればよい。

ここで、画像表示装置３０は、液晶ディスプレイや有機ＥＬディスプレイといった表示装置や、プロジェクタといった投影装置といった画像を表示可能な装置である。なお、本実施形態における画像とは、文字や図形、写真といった静止画像は勿論のこと、動画像も含む概念である。図２では、画像表示装置３２と、画像表示装置３４とが接続されている。

ここで、画像表示装置３０を利用した制御装置１０の画像表示制御方法について、図４及び図５を用いて説明する。図４は、画像表示装置３０が、プロジェクタのように広い表示可能領域を有する場合の図である。

すなわち、プロジェクタが表示可能領域として、領域Ｒ３０が確保されている。この領域Ｒ３０は、壁面や床面といったところに設定可能であり、表示可能領域であれば任意の表示領域を表示位置としてさせることが可能となる。例えば、表示領域Ｒ３０ａ、表示領域Ｒ３０ｂ、表示領域Ｒ３０ｃといった３つの領域を設定している場合、利用者Ｐが向いた方向である表示領域Ｒ３０ａに画像を表示することとなる。

なお、表示可能領域については、例えば大型の液晶ディスプレイであれば、表示画面を複数の領域に分割することにより、同じように実現することが可能である。

また、本実施形態では、図４に示すように予め表示位置に対応する表示領域を設定してあるが、任意の座標としても良い。すなわち、表示領域の頂点座標、大きさ等を指定することにより、表示可能領域内の任意の位置を表示位置として設定してもよい。

図５は、表示位置として、複数の画像表示装置や、表示領域を組み合わせて設定した場合の一例である。例えば、画像表示装置３０として、プロジェクタである画像表示装置３２、３４が接続されており、更に液晶ディスプレイである画像表示装置３６が接続されている。

また、画像表示装置３２は、表示領域Ｒ３２ａ、表示領域Ｒ３２ｂと複数の表示領域に表示可能であり、表示位置として、画像表示装置３４は表示領域Ｒ３４に画像を表示可能である。更に、画像表示装置３６にも画像を表示可能となっている。すなわち、表示領域Ｒ３２ａ、Ｒ３２ｂ、Ｒ３４、画像表示装置３６の４つの表示位置に画像が表示可能である。これにより、利用者Ｐが向いた方向にある表示位置に、適切に画像を表することが可能となる。

記憶部１４０は、制御装置１０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１４０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。

また、記憶部１４０には、表示位置テーブル１４２が記憶されている。ここで、表示位置テーブル１４２の一例を、図６に示す。

表示位置テーブル１４２は、方向（例えば、「Ｘ１方向」）と、画像を表示する画像表示装置（例えば「画像表示装置３２」）と、画像表示装置毎の表示領域（例えば、「表示領域１」）とが記憶されている。なお、表示領域は、表示領域が設定可能は画像表示装置に対応して記憶されている。

制御装置１０は、表示位置テーブル１４２を参照することにより、どの表示位置に画像を表示するかを決定することができる。

この表示位置テーブル１４２は、併せて表示位置を記憶しておいても良い。例えば、空間内の座標を設定し、当該空間内における表示位置がどこに設けられているかを座標で記憶する。これにより、例えば利用者Ｐが向いている方向に対応する表示位置を決定することが可能となり、当該表示位置に対応する画像表示装置３０を特定することが可能となる。

［１．３ 処理の流れ］
続いて、本実施形態における処理の流れについて説明する。まず、人体が検知されると（ステップＳ１０２；Ｙｅｓ）、人体認識処理が実行される（ステップＳ１０４）。本実施形態では、人体認識処理により、関節等に対応する特徴点をそれぞれ検出される。

続いて、各特徴点が認識された後は、人体の方向認識処理を実行する（ステップＳ１０６）。本実施形態においては、主に顔の向き、体の方向等が当該処理にて認識される。なお、最終的には、方向を認識すれば良いため、認識装置２０の構成によっては、人体の方向のみが認識されることとしても良い。例えば、利用者の視線検知を行い、それによって人体の方向として認識しても良い。

続いて、認識された方向から、表示位置決定処理が実行される（ステップＳ１０８）。表示領域決定処理により、画像が表示される領域が決定される。そして、決定された表示領域に画像を表示する（ステップＳ１１０）。

ここで、表示領域決定処理は、利用者が見ている方向と、見ている箇所により表示位置を決定することができる。

１つ目の処理としては、利用者が見ている方向に対応する表示位置を、表示位置テーブル１４２を参照して決定し、画像を表示する処理である。これは、施設の入り口、通路といった利用者の位置がほぼ特定されている場合に有効である。

２つ目の処理としては、利用者が見ている方向に対応する表示位置を、空間内の座標を利用して壁面又は床面の位置まで算出し、表示位置を特定する処理である。この場合、例えば、図３（ｃ）のＲ０１の位置を特定する処理までを実行する。

この場合、視線であったり、顔の高さなど、人体の全体認識が必要であったりはするが、利用者の位置にばらつきであっても、視線の先にある表示位置に画像を表示させるといったことが可能である。

このように、本実施形態によれば、利用者の向きを検出し、利用者が向いている方向にある表示位置に画像（情報）を適切に表示することが出来るようになる。また、例えば利用者の身長に応じて表示位置を変更することも可能となり、例えば大人と、子供とで表示位置を変えることが可能となる。

また、顔の向き（方向）、視線の向き（方向）に表示位置が無かった場合は、当該方向に近傍の表示位置を選択することとしても良い。

また、本実施形態は表示位置としては１つずつ表示しているが複数表示しても良い。例えば、図５のような場合に、体の向きが画像表示装置３６の方向であり、顔の向きが表示領域Ｒ３４の方向である場合、両方の表示位置に画像を表示するといった処理を行っても良い。例えば、利用者がスマートフォンやパンフレット等を見ている状態でたまたま顔を下に向けていた場合、Ｒ３４の画像を見ずに顔を上げることが考えられる。このような場合であっても、適切に画像を表示することで、適切な情報提示を行うことが可能となる。

［２．第２実施形態］
続いて、第２実施形態について説明する。第２実施形態は、複数の利用者を検出した場合の実施形態である。

図８は、本実施形態を説明するための図である。図８に示すように、利用者Ｐ１、利用者Ｐ２が検出された場合の状況である。ここで、認識装置２０、認識部１２０は、複数の利用者（人間）を検出することが出来る。

本実施形態においては、利用者Ｐ１の視線方向をＶ１、利用者Ｐ２の視線方向をＶ２とそれぞれ検出している。したがって、利用者Ｐ１が見る画像をＲ３２ａに、利用者Ｐ２が見る画像をＲ３４にそれぞれ表示する。

続いて、本実施形態の処理の流れについて図９を用いて説明する。第２実施形態の処理の流れは、第１実施形態の処理の流れの図７に置き換えたものであり、共通処理には共通の符号を付すことにより、その説明を省略する。また、機能構成等については、第１実施形態と共通であるため、その説明を省略する。

まず、人体を検知して、人体を認識した後に（ステップＳ１０２、Ｓ１０４）、他に検知される人体があるか否かを判定する（ステップＳ２０２）。もし、他に検知することができる人体があれば、その都度検知する。例えば、上述したキネクトを用いた場合には、同時に６人まで検知することが出来る。

次に、一又は複数の検知された人体の、方向認識処理を実行する（ステップＳ２０４）。これにより、検知された人体がどのよう方向を向いているか、見ているかの視線方向を認識することができる。

続いて、人体が向いている方向、視線の方向から表示位置を決定し、表示する（ステップＳ１０８、Ｓ１１０）。ここで、複数の人体が検知されている場合にはステップＳ１０８、ステップＳ１１０を繰り返し実行する（ステップＳ２０６；Ｙｅｓ）。

なお、この処理は一回実行されても良いし、複数回実行されても良い。すなわち、ループ処理として繰り返し実行されても良いし、タイマを用いて定期的に実行されても良い。

また、Ｓ１１０で表示する画面は利用者に応じた画面を表示することとしても良い。例えば、検出された人体の大きさ等により対象が大人か子供かを判別し、それに応じて表示内容を変化させても良い。

［３．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、ＣＤ（Compact Disc）、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバの記憶装置も本発明に含まれるのは勿論である。

また、上述した実施形態における各装置の一部又は全部を典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現してもよい。各装置の各機能ブロックは個別にチップ化してもよいし、一部又は全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路又は汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能であることは勿論である。

１ ：画像表示システム
１０ ：制御装置
１１０ ：制御部
１２０ ：認識部
１３０ ：画像表示制御部
１４０ ：記憶部
１４２ ：表示位置テーブル
２０ ：認識装置
３０〜３６ ：画像表示装置

Claims (7)

1. 複数の画像表示装置に接続可能な制御装置であって、
   使用者の特徴点を認識し、前記使用者の向き、前記使用者の視線の高さ及び前記使用者の顔の角度を少なくとも認識する認識部と、
   前記複数の画像表示装置のうち前記使用者の向き、前記使用者の視線の高さ及び前記使用者の顔の角度に基づいて算出された前記使用者の視線の到達する位置にある画像表示装置に、画像を表示する制御を行う制御部と、
   を備え、
   前記使用者の顔の角度は、前記使用者の鉛直方向の中心軸に対して前記使用者の顔の上端と下端とを示す特徴点を結ぶ線の角度であることを特徴とする制御装置。
2. 前記制御部は、
   前記画像を表示する範囲を複数の領域に分割し、当該領域に画像を表示する制御を行い、
   前記使用者の視線の到達する位置が、前記使用者がいる床面である場合に、前記画像を前記床面にある領域に表示し、
   前記使用者の視線の到達する位置が、第１向きに配置された第１壁面である場合に、前記画像を前記第１壁面にある領域に表示し、
   前記使用者の視線の到達する位置が、前記第１向きと反対の向きの第２向きに配置された第２壁面である場合に、前記画像を前記第２壁面にある領域に表示する
   ことを特徴とする請求項１に記載の制御装置。
3. 前記認識部は、前記使用者の向きとして、使用者の視線の方向、顔の向き、体の向きを１又は複数検出して、当該使用者の向きを認識することを特徴とする請求項１又は２に記載の制御装置。
4. 前記使用者の向きに対応づけて、前記画像を表示する前記位置を記憶する記憶部を更に有しており、
   前記制御部は、前記認識部により認識された使用者の向きに対応する位置を前記記憶部から読み出すことを特徴とする請求項１から３の何れか一項に記載の制御装置。
5. 前記認識部は、複数の使用者の向きをそれぞれ認識し、
   前記制御部は、認識されたそれぞれの使用者の向きに対応する位置に画像を表示する制御を行うことを特徴とする請求項１から４の何れか一項に記載の制御装置。
6. 複数の画像表示装置と、認識装置と、前記画像表示装置に画像を表示制御する制御装置とを含む画像表示システムにおいて、
   前記制御装置は、
   使用者の特徴点を認識し、前記使用者の向き、前記使用者の視線の高さ及び前記使用者の角度を少なくとも前記認識装置により認識し、
   前記使用者の向き、前記使用者の視線の高さ及び前記使用者の顔の角度に基づいて算出された前記使用者の視線の到達する位置に対応する位置にある画像表示装置に画像を表示する制御を行い、
   前記使用者の顔の角度は、前記使用者の鉛直方向の中心軸に対して前記使用者の顔の上端と下端とを示す特徴点を結ぶ線の角度であることを特徴とする画像表示システム。
7. 複数の画像表示装置に接続可能なコンピュータに、
   使用者の特徴点を認識し、前記使用者の向き、前記使用者の視線の高さ及び前記使用者の顔の角度を少なくとも認識する認識機能と、
   前記複数の画像表示装置のうち前記使用者の向き、前記使用者の視線の高さ及び前記使用者の顔の角度に基づいて算出された前記使用者の視線の到達する位置にある画像表示装置に、画像を表示する制御を行う制御機能と、
   を実現させるためのプログラムであって、
   前記使用者の顔の角度は、前記使用者の鉛直方向の中心軸に対して前記使用者の顔の上端と下端とを示す特徴点を結ぶ線の角度であることを特徴とするプログラム。