JP6529928B2 - 画像処理システム、画像処理方法およびプログラム - Google Patents

Description

本発明は、コンテンツを提示する画像処理システム、画像処理方法およびプログラムに関する。

空港、駅、商業施設などの多数の人が集まる場所において、情報案内を行うための方法の１つとして、案内メッセージなどを示す画像（コンテンツ）を提示面に提示する方法がある。コンテンツの提示面への提示方法としては、施設の壁面などを投影面としてプロジェクタなどの投影装置により投影する方法がある。このような方法は、プロジェクションサインと称され、実用化が進められている。また、別の提示方法として、施設の壁面などに大型のディスプレイ装置を設置し、そのディスプレイ装置の表示面にコンテンツを表示する方法がある。

特許文献１には、プロジェクタによる画像の投影時に、周囲の照明変化を検出し、照明変化に応じて、投影画像の輝度が所定値となるように補正する技術が開示されている。この技術では、プロジェクタの投影画像をカメラにより撮影し、撮影画像から照明変化を検出し、その照明変化に応じて、投影画像全体の輝度を補正している。

また、非特許文献１には、ディスプレイに表示された広告（デジタルサイネージ）の広告効果を測定するために、広告の視認可能エリアに存在するユーザを撮影し、その撮影画像から広告を実際に視認するユーザの属性を推定する技術が開示されている。

特開２０１２−１０２５０号公報

新井啓之、伊藤直己、片岡香織、谷口行信、「画像処理による広告効果測定技術」、ＮＴＴ技術ジャーナル、2013年1月、p.61-64、[online]、[平成28年3月4日検索]、インターネット＜URL：http://www.ntt.co.jp/journal/1301/files/jn201301061.pdf＞

特許文献１に開示されている技術では、周囲の照明変化に応じて、投影画像全体の輝度を補正するだけであるため、コンテンツの提示環境の変化に対して、柔軟な制御を行うことができず、コンテンツの高品質な提示が困難である。

例えば、非常に明るい環境で、細かい文字が含まれているコンテンツを提示する場合、投影画像の輝度を補正しても、細かい文字は視認しにくいままである。そのため、特許文献１に開示されている技術では、コンテンツの提示環境に応じた適切なコンテンツの提示が困難である。

また、情報案内が行われるエリア（例えば、施設）内の混雑状況、人の流れの状況といったエリア状況に応じた案内を行うことが好ましい。例えば、ある地点Ａが混雑しているため、別の地点Ｂに誘導するための案内を行うことがある。この場合、地点Ａから地点Ｂへの移動を促すメッセージであっても、その表現態様に応じて効果が異なり、地点Ａの混雑度と地点Ｂとの混雑度との差に応じて、メッセージの表現態様を異ならせることが効果的である。しかしながら、特許文献１においては、エリア状況に応じた制御は考慮されていない。

また、非特許文献１に開示されている技術は、デジタルサイネージの広告効果を測定するための技術であり、コンテンツの提示環境やエリア状況に応じて、より適切なコンテンツを提示することについては考慮されていない。

上記のような問題点に鑑みてなされた本発明の目的は、コンテンツの提示環境やエリア状況に応じて、より適切なコンテンツの提示を図ることができる画像処理システム、画像処理方法およびプログラムを提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システムであって、前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも１つを推定する推定部と、前記推定部の推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する制御部と、を備える。

また、上記課題を解決するため、本発明に係る画像処理方法は、ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システムにおける画像処理方法であって、推定部が、前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも１つを推定するステップと、制御部が、前記推定部の推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示するステップと、を含む。

また、上記課題を解決するため、本発明に係るプログラムは、ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システム内のコンピュータに、前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも１つを推定する処理と、前記推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する処理と、を実行させる。

本発明に係る画像処理システム、画像処理方法およびプログラムによれば、コンテンツの提示環境やエリア状況に応じて、より適切なコンテンツの提示を図ることができる。

本発明の一実施形態に係る画像処理システムの要部構成を示す図である。 図１に示す画像処理システムによる、コンテンツの提示環境に応じてコンテンツを変更する場合の動作の一例を示すフローチャートである。 コンテンツの一例を示す図である。 図１に示すコンテンツ制御部が管理するコンテンツ情報の構成の一例を示す図である。 図１に示すコンテンツ制御部による、コンテンツを再構成する場合の動作の一例を示すフローチャートである。 図３に示すコンテンツの再構成後のコンテンツの一例を示す図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。なお、本発明は、以下の実施の形態のみに限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることはもちろんである。

図１は、本発明の一実施形態に係る画像処理システム１０の要部構成を示す図である。本実施形態に係る画像処理システム１０は、ユーザに対する情報案内などのためのメッセージを示すコンテンツを提示するものであり、コンテンツを提示する提示環境や情報案内が行われるエリア内の状況であるエリア状況を推定し、推定結果に応じてコンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する。

図１に示す画像処理システム１０は、コンテンツデータ記憶部１１と、プロジェクタ１２と、カメラ１３と、視線計測器１４と、人流計測器１５と、推定部１６と、制御部１７とを備える。

コンテンツデータ記憶部１１は、コンテンツのデータ（コンテンツデータ）を記憶する。ここで、本実施形態においては、詳細は後述するが、コンテンツは、１または複数の要素（図柄、アナウンスなど）からなり、コンテンツデータ記憶部１１は、コンテンツを構成する要素毎に、データを記憶する。したがって、コンテンツデータ記憶部１１では、提示するコンテンツ自体を記憶しておく必要は必ずしも無いが、例えば、種々の環境下、状況下で提示すべき基準となる、１または複数の要素からなるコンテンツ（基準コンテンツ）、および、基準コンテンツを構成する要素と入れ替え可能な１または複数の要素のデータをコンテンツデータとして記憶してもよい。なお、コンテンツやその要素の形式は特定の形式に限られるものではない。コンテンツやその要素には、ｊｐｇ形式やｇｉｆ形式の画像、静止画だけでなく、ｍｐ４形式の動画、ＨＴＭＬ形式のコンテンツ、ＪａｖａＳｃｒｉｐｔ（登録商標）やそのライブラリ（ＨＴＭＬ５におけるｃａｎｖａｓなど）を用いて作成される描画スクリプトなど、種々の形式が含まれる。

プロジェクタ１２は、制御部１７の制御に従い、コンテンツを提示面１（投影面）に提示（投影）する。なお、本実施形態においては、コンテンツの提示として、コンテンツをプロジェクタ１２により投影する例を用いて説明するが、例えば、コンテンツをディスプレイ装置の表示面に表示してもよい。

カメラ１３は、提示面１を含む所定の範囲の撮影を行い、撮影画像を推定部１６に出力する。カメラ１３は、例えば、提示面１に対向し、所定の距離を隔てて設けられる。

視線計測器１４は、カメラやセンサーなどを備え、カメラの撮影画像やセンサーの検出結果に基づいて、提示面１の視認可能な範囲内に存在するユーザの視線を計測し、計測結果を推定部１６に出力する。視線計測器１４は、例えば、提示面１側から提示面１を視認可能な範囲に向かって設けられ、例えば、提示面１の上側に設けられる。ユーザの視線計測技術としては種々の技術があり、また、本発明と直接関係しないため、説明を省略する。

人流計測器１５は、カメラやセンサーなどを備え、カメラの撮影画像やセンサーの検出結果に基づいて、情報案内を行うエリア内（例えば、施設内）の人の流れ（人流）を計測し、計測結果を推定部１６に出力する。人流計測器１５は、情報案内を行うエリア内の１または複数の箇所に設けられる。人流計測技術としては種々の技術があり、また、本発明と直接関係しないため、説明を省略する。

推定部１６は、カメラ１３の撮影画像や、視線計測器１４によるユーザの視線の計測結果、人流計測器１５による情報案内を行うエリア内の人流の計測結果に基づき、コンテンツの提示環境（提示面１の周辺環境の明るさや色合いなど）、情報案内を行うエリアのエリア状況（混雑状況など）など種々の推定を行う。

例えば、推定部１６は、カメラ１３の撮影画像に基づき、コンテンツの提示環境（提示面１およびその周辺の色合い、明るさなど）を推定する。また、推定部１６は、人流計測器１５の計測結果に基づき、情報案内を行うエリア内の各地点の混雑度や人の流れなどの状況（エリア状況）を推定する。また、推定部１６は、カメラ１３の撮影画像に基づき、提示面１を視認可能な範囲内のユーザの属性を推定することもできる。また、推定部１６は、例えば、カメラ１３の撮影画像と視線計測器１４の計測結果とに基づき、提示面１へのコンテンツの提示に応じて反応したユーザの検出などを行うこともできる。推定部１６は、推定結果を制御部１７に出力する。

制御部１７は、コンテンツをプロジェクタ１２に投影させる。ここで、制御部１７は、推定部１６によるコンテンツの提示環境およびエリア状況の少なくとも一方の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツをプロジェクタ１２に投影させる。制御部１７は、コンテンツ制御部１７１と、プロジェクタ管理部１７２とを備える。

コンテンツ制御部１７１は、推定部１６によるコンテンツの提示環境およびエリア状況の少なくとも一方の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更する。具体的には、コンテンツ制御部１７１は、コンテンツにおけるメッセージの表現形式（文字、絵文字、地図、主観映像（ユーザの視線で表現された像）など）を変更したり、メッセージの文章を変更したり、メッセージのデザイン（色、文字のフォント（書体）、文字の大きさなど）を変更したりする。ここで、コンテンツ制御部１７１は、コンテンツが示すメッセージの意味内容は変えることなく、メッセージの表現態様を変更する。

プロジェクタ管理部１７２は、コンテンツ制御部１７１によるコンテンツの変更が必要ない場合には、コンテンツをそのままプロジェクタ１２に投影させ、コンテンツ制御部１７１によりコンテンツが変更された場合には、変更後のコンテンツをプロジェクタ１２に投影させる。

次に、本実施形態に係る画像処理システム１０の動作について説明する。

図２は、コンテンツの提示環境に応じてコンテンツを変更する場合の画像処理システム１０の動作の一例を示すフローチャートである。図２においては、提示面１の周辺の明るさを推定し、推定結果に応じてコンテンツを変更する例を用いて説明する。

カメラ１３は、提示対象のコンテンツが提示された提示面１を撮影する（ステップＳ１１）。

推定部１６は、前処理として、提示対象のコンテンツに対して、プロジェクタ１２による台形補正、投影入射角などに基づく提示対象のコンテンツの変換に対する逆変換を行う（ステップＳ１２）。

次に、推定部１６は、カメラ１３の撮影画像内のコンテンツと、逆変換後のコンテンツとを比較し（ステップＳ１３）、両画像の対応する各画素で、色の特徴値の差が所定の閾値より大きい箇所があるか否かを判定する（ステップＳ１４）。なお、色の特徴値としては、ＨＳＶ色空間における色相Ｈ、彩度Ｓ、明度Ｖ、ＲＧＢ色空間におけるＲ値、Ｇ値、Ｂ値など、各種の値がある。

撮影画像内のコンテンツおよび逆変換後のコンテンツの両画像の対応する各画素で色の特徴値の差が所定の閾値より大きい箇所が無いと判定した場合には（ステップＳ１４：Ｎｏ）、推定部１６は、提示環境によるコンテンツの視認性への影響は小さいと判定する。この場合、ステップＳ１１の処理に戻る。

撮影画像内のコンテンツおよび逆変換後のコンテンツの両画像の対応する各画素で色の特徴値の差が所定の閾値より大きい箇所が有ると判定した場合には（ステップＳ１４：Ｙｅｓ）、推定部１６は、提示環境によるコンテンツの視認性への影響が大きいと判定（推定）し、その旨とともに、比較の結果を提示環境の推定結果として制御部１７に出力する。

コンテンツ制御部１７１は、提示環境によるコンテンツの視認性への影響が大きい旨が推定部１６から出力されると、コンテンツにおけるメッセージの表現態様を変更する（コンテンツを再構成する）（ステップＳ１５）。プロジェクタ管理部１７２は、コンテンツ制御部１７１による変更後のコンテンツをプロジェクタ１２に提示（投影）させる（ステップＳ１６）。

画像処理システム１０は、上述した処理を、所定のタイミング毎に繰り返す。所定のタイミングとしては、所定の時間間隔毎（例えば、１分毎に）、提示対象のコンテンツが切り替わる毎、また、プロジェクタ１２が上下左右などに移動可能なムービングプロジェクタである場合には、プロジェクタ１２の移動毎などのタイミングがある。

次に、コンテンツ制御部１７１によるコンテンツの再構成について説明する。

図３は、コンテンツの一例を示す図であり、より詳細には、空港の出国ゲートの混雑状況を案内するコンテンツを示す図である。図３においては、コンテンツは、北ゲートが空いているため、北ゲートの利用をユーザに薦める旨を示すメッセージを示している。

上述したように、コンテンツは、そのコンテンツが示すメッセージに対応する複数の要素の組み合わせにより構成されている。図３においては、コンテンツは、北ゲート周辺の経路を示す画像２１、北ゲートへの移動経路を示す画像２２、北ゲートが空いている旨を文章で示す画像２３および混雑状況を示す画像２４から構成されている例を示している。

コンテンツ制御部１７１は、提示対象のコンテンツを構成する要素などを示すコンテンツ情報を管理している。図４は、コンテンツ情報の構成の一例を示す図である。

図４に示すように、コンテンツ情報は、コンテンツ用途と、コンテンツタイプと、構成要素と、要素タイプと、画面内構成率と、情報量と、環境影響指数と、内容とからなる。

コンテンツ用途は、例えば、出国口の混雑状況の案内用途であるといった、コンテンツの用途を示す。コンテンツタイプは、コンテンツが、所定の概念を視覚的、観念的に表した図として表現するピクト（ピクトグラム）を用いたタイプであるか、実際の映像（実写）を用いたタイプであるかといった、コンテンツのタイプを示す。

構成要素は、コンテンツが示すメッセージに対応し、コンテンツを構成する要素である。構成要素の例としては、「経路（経路を示す要素）」（図３の北ゲート周辺の経路を示す画像２１および北ゲートへの移動経路を示す画像２２）、「アナウンス（伝達したい事項を文章で告知する要素）」（図４の北ゲートが空いている旨を文章で示す画像２３）、「混雑状況（混雑の度合いを示す要素）」（図４の混雑状況を示す画像２４）などがある。要素タイプは、各構成要素が、どのような態様で表現されるものであるかを示すものであり、例えば、構成要素「経路」の要素タイプとしては、地図画像（北ゲート周辺の地図画像）や、ピクト（北ゲートへの移動を視覚的、観念的に表した図）などがある。また、構成要素「アナウンス」の要素タイプとしては、文字（英語および日本語）がある。また、構成要素「混雑状況」の要素タイプとしては、人の集まり具合を図形化して簡略化したピクトなどがある。

画面内構成率は、各構成要素がコンテンツ内で占める面積の比率である。情報量は、各構成要素により伝達される情報量を数値化したものである。この値が大きい程、より直接的に、ユーザにメッセージを伝達することができる。環境影響指数は、各構成要素の、コンテンツの提示環境による影響の受けやすさ（提示環境により視認性が悪くなる度合い）を示す。内容は、構成要素「アナウンス」で伝達する内容（文章）を示す。

コンテンツ制御部１７１は、提示対象のコンテンツについて、図４に示すような、コンテンツ情報を管理している。

図５は、コンテンツ制御部１７１による、コンテンツを再構成する場合の動作の一例を示すフローチャートである。なお、図５においては、コンテンツ制御部１７１は、コンテンツの提示環境の変化に応じて、コンテンツを変更する例を用いて説明する。

コンテンツ制御部１７１は、推定部１６よりコンテンツの視認性への影響が大きいと推定される提示環境の変化があった旨が通知されたか否かを判定する（ステップＳ２１）。

コンテンツの視認性への影響が大きいと推定される提示環境の変化があった旨が通知されていない場合には（ステップＳ２１：Ｎｏ）、コンテンツ制御部１７１は、ステップＳ２１の処理を繰り返す。

コンテンツの視認性への影響が大きいと推定される提示環境の変化があった旨が通知された場合には（ステップＳ２１：Ｙｅｓ）、コンテンツ制御部１７１は、提示環境の変化によるコンテンツの視認性への影響の度合いを示す影響度Ｉを、例えば、以下の式に基づき、算出する。
影響度Ｉ＝各構成要素の（画面内構成率×情報量）×（１−環境影響指数）の和／各構成要素の（画面内構成率×情報量）の和

次に、コンテンツ制御部１７１は、算出した影響度Ｉが所定の閾値以上であるか否か（すなわち、コンテンツの提示環境の変化によるコンテンツの視認性への影響が大きいか否か）を判定する（ステップＳ２３）。

影響度Ｉが所定の閾値未満であると判定した場合には（ステップＳ２３：Ｎｏ）、コンテンツ制御部１７１は、提示環境の変化によるコンテンツの視認性への影響は小さいと判定し、コンテンツの再構成を行わない。この場合、コンテンツ制御部１７１は、ステップＳ２１の処理に戻る。

影響度Ｉが所定の閾値以上であると判定した場合には（ステップＳ２３：Ｙｅｓ）、コンテンツ制御部１７１は、提示環境の変化によるコンテンツの視認性への影響が大きいと判定し、コンテンツの再構成を行うと決定する。

コンテンツの再構成を行うと決定すると、コンテンツ制御部１７１は、提示対象のコンテンツを構成する要素のうち、１または複数の要素を別の要素に入れ替える（ステップＳ２４）。ここで、コンテンツ制御部１７１は、要素の入れ替えの前後で、コンテンツが示すメッセージの意味内容が変化しないように、要素を入れ替える。すなわち、コンテンツ制御部１７１は、再構成前のコンテンツが示すメッセージ（例えば、北ゲートが空いているため、北ゲートの利用をユーザに薦める旨を示すメッセージ）に対応し、再構成前のコンテンツに含まれる要素を、同じメッセージに対応する別の要素に入れ替える。

次に、コンテンツ制御部１７１は、要素の入れ替え後のコンテンツについて、影響度Ｉを算出し、算出した影響度Ｉは所定の閾値未満であるか否か（要素の入れ替えにより提示環境の変化による視認性への影響が軽減されているか否か）を判定する（ステップＳ２５）。

影響度Ｉが所定の閾値以上であると判定した場合には（ステップＳ２５：Ｎｏ）、コンテンツ制御部１７１は、要素を入れ替えても、提示環境の変化による視認性への影響が大きいままであると判定する。そして、コンテンツ制御部１７１は、ステップＳ２４の処理に戻り、再度、要素の入れ替え行う。

影響度Ｉが所定の閾値未満であると判定した場合には（ステップＳ２５：Ｙｅｓ）、コンテンツ制御部１７１は、要素の入れ替えにより、コンテンツの提示環境の変化による視認性への影響が軽減されたと判定し、コンテンツを変更する（ステップＳ２６）。

図６は、図３に示すコンテンツの再構成後のコンテンツの一例を示す図である。図６においては、再構成後のコンテンツは、北ゲートの方向を矢印で示す画像２５、北ゲートが空いている旨を文章で示す画像２６および混雑状況を示す画像２７から構成されている例を示している。

上述したように、コンテンツ制御部１７１は、再構成前のコンテンツが示すメッセージの意味内容は変更することなく、メッセージの表現対象を変更する。したがって、図６に示すように、再構成後のコンテンツも、北ゲートが空いているため、北ゲートの利用をユーザに薦める旨を示すメッセージを示している。

ここで、再構成前のコンテンツにおける北ゲート周辺の画像２１（地図画像）のような、細かい図柄を含む画像は、例えば、明るい環境下では、視認性が悪くなる。そこで、再構成後のコンテンツでは、地図画像である画像２１は削除されている。こうすることで、提示環境の変化による影響度Ｉの低下を抑制することができる。また、再構成前のコンテンツにおける北ゲートへの移動経路を示す画像２２は、より単純化された北ゲートの方向を矢印で示す画像２５に置き換えられている。また、北ゲートが空いている旨を文章（「Ｎｏｒｔｈ ｓｅｃｕｒｉｔｙ ｇａｔｅ ｉｓｎ’ｔ ｂｕｓｙ ｎｏｗ」、「北は比較的空いています」）で示す画像２３は、北ゲートが空いている旨をより簡略化した（例えば、要約した）文章（「Ｎｏｒｔｈ ｇａｔｅ ｉｓｎ’ｔ ｂｕｓｙ」、「北は空いています」）で示し、文字サイズが拡大された画像２６に置き換えられている。また、混雑状況を示す画像２４は、より単純化された混雑状況を示す画像２７に置き換えられている。なお、文章の要約技術としては、種々の技術があり、また、本発明と直接関係しないため、説明を省略する。

一般に、図６に示すような、単純化、簡略化された要素は、情報量は少ないが、提示環境の影響を受けにくい（環境影響指数が小さい）。そのため、影響度Ｉが所定の閾値未満となるように、コンテンツを構成する各要素を、より単純化、簡略された要素に入れ替えることで、コンテンツの提示環境に変化があっても、情報量は減るものの、コンテンツが示すメッセージの意味内容は変更することなく、コンテンツの視認性を維持する（影響度Ｉの低減を抑制する）ことができる。このように、コンテンツ制御部１７１は、コンテンツが示すメッセージの意味内容は変えることなく、推定部１６の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更する。こうすることで、コンテンツの提示環境に変化があっても、提示されるコンテンツの視認性が悪くなることを防ぎ、より適切なコンテンツの提示を図ることができる。

なお、本実施形態においては、特許文献１のように、コンテンツの輝度ではなく、コンテンツが示すメッセージの表現態様を変更しているため、より柔軟な制御が可能となり、適切なコンテンツの提示を図ることができる。

また、本実施形態においては、コンテンツを構成する要素の入れ替えにより、提示環境が変化しても、視認性の低下が抑制されたコンテンツを作成している（再構成している）。ここで、提示するコンテンツを変更する場合、同じ意味内容のメッセージを示し、メッセージの表現態様が異なる複数のコンテンツを予め用意することも考えられる。この場合、様々な状況に対応するためには、多数のコンテンツを用意する必要が生じてしまい、また、提示環境やエリア状況の変化などに柔軟にまた速やかに対応することが困難である。一方、本実施形態のように、コンテンツを構成する要素の入れ替えによりコンテンツの再構成を行うことで、多数のコンテンツを予め用意しておく必要がなくなり、また、提示環境やエリア状況の変化などに柔軟にまた速やかに対応することができる。

なお、上述した実施形態においては、コンテンツ制御部１７１は、コンテンツの提示環境に応じて、提示対象のコンテンツの再構成を行う例を用いて説明したが、これに限られるものではない。

コンテンツ制御部１７１は、推定部１６により推定されたエリア状況に基づき、コンテンツの再構成を行ってもよい。例えば、情報案内を行うエリア内での混雑度の平衡化を図るために、エリア内の地点Ａから地点Ｂへの移動を促す案内を行う場合を考える。この場合、コンテンツ制御部１７１は、地点Ａと地点Ｂとで混雑度の差が大きい場合と、混雑度の差が小さい場合とで、メッセージの表現態様を異ならせる。例えば、コンテンツ制御部１７１は、地点Ａと地点Ｂとで混雑度の差が大きい場合には、地点Ａと地点Ｂとで混雑度の差が小さい場合と比べて、より強い表現態様で、地点Ａから地点Ｂへの移動を促す文言となるようにコンテンツの再構成を行う。

また、エリア状況に応じたコンテンツの再構成の例としては、災害などの緊急事態に応じた再構成などもある。例えば、情報案内を行うエリア内（施設内）で火災が発生し、避難を促す情報案内を行う場合を考える。この場合、コンテンツ制御部１７１は、例えば、避難開始当初は、避難場所への移動を促すメッセージを示すコンテンツを提示し、未避難者が残り少なくなると、「未避難者はあなただけです。すぐに避難して下さい。」などの、避難場所の移動を促すとともに、より切迫性、緊急性を示すメッセージを示すコンテンツに変更する。

また、例えば、地震が発生し、避難を促す情報案内を行う場合を考える。この場合、コンテンツ制御部１７１は、例えば、避難開始当初は、避難を促すメッセージを示すコンテンツを提示し、地震発生から時間が経過して、津波の到来が予想される状況になると、「より高いフロアに避難して下さい。」などの、避難を促すとともに、津波に対してより切迫性、緊急性を示すメッセージを示すコンテンツに変更する。

上述したように、推定部１６は、カメラ１３の撮影画像などに基づき、提示面１を視認可能な範囲内のユーザの属性を推定することもできる。コンテンツ制御部１７１は、推定部１６により推定されたユーザの属性に応じて、コンテンツの再構成を行ってもよい。

例えば、コンテンツ制御部１７１は、ユーザの属性推定の結果、施設内に子供が多いと推定されると、コンテンツに含まれる文章をより平易な文章に変更したり、漢字にルビを振ったり、漢字をひらがなに変更したりする。また、コンテンツ制御部１７１は、ユーザの属性推定の結果、特定の国籍のユーザが多いと推定されると、その国籍に対応する言語で文章などを示すコンテンツに変更する。また、コンテンツ制御部１７１は、言語の変更に合わせて、例えば、その特定の国籍のユーザが特定の色を好むといった傾向が知られている場合には、その傾向に応じて、コンテンツの色を変更してもよい。また、特定の国籍のユーザが特定の嗜好性を有する（例えば、買い物が好き）という傾向が知られている場合、その特定の国籍のユーザが多いと推定されると、その嗜好に合った情報を付加してもよい。

また、属性によっては、行動の促進理由（ある行動を促す理由）を伝えた方が、行動促進の効果が高いことが知られている。そこで、コンテンツ制御部１７１は、ユーザの属性推定の結果、行動の促進理由を伝えた方が、行動促進の効果の高い属性のユーザが多いと判断した場合には、行動の促進理由を含まないメッセージ（例えば、「Ｂ地点に移動して下さい。」）を示すコンテンツを、行動の促進理由を含むメッセージ（Ａ地点が混雑しているため、Ｂ地点に移動して下さい。）を示すコンテンツに再構成する。

また、コンテンツ制御部１７１は、ユーザの属性推定の結果、施設内に聴覚障害者が存在すると推定されると、音声案内の内容をテキスト化したコンテンツを提示してもよい。

これまでは、コンテンツの提示環境、エリア状況あるいはユーザの属性に応じてコンテンツを変更する例を用いて説明したが、これらを組み合わせてもよい。例えば、コンテンツ制御部１７１は、情報案内を行うエリア内に高齢者が多く（ユーザの属性）、かつ、明るい環境（コンテンツの提示環境）では、コンテンツに含まれる文章を短くし、各文字を大きくしたコンテンツに変更すなどしてもよい。

また、上述した実施形態においては、コンテンツ制御部１７１は、提示環境の変化などによるコンテンツの視認性への影響の度合いを示す影響度Ｉを算出し、算出した影響度Ｉが所定の閾値以上であれば、コンテンツの再構成を行う例を用いて説明した。ここで、所定の閾値としては、提示環境やエリア状況の変化などに対して、一定の値を用いる必要は無い。例えば、コンテンツ制御部１７１は、提示環境が明るくなった場合には、影響度Ｉが３０％以上になると、コンテンツの再構成を行うと決定し、火事などの緊急時には、影響度が１０％以上になると、コンテンツの再構成を行うと決定するようにしてもよい。こうすることで、緊急時などのより速やかにユーザに伝達すべき案内が存在する場合には、より速やかにコンテンツを再構成し、状況に適した表現態様でメッセージを示すコンテンツの提示を行うことができる。

また、上述したように、推定部１６は、例えば、カメラ１３の撮影画像と視線計測器１４の計測結果とに基づき、提示面１に提示されたコンテンツの視認に応じて反応したユーザの検出などを行うこともできる。この推定部１６の推定結果に基づき、コンテンツ制御部１７１は、コンテンツの提示による効果を評価することができる。

例えば、コンテンツ制御部１７１は、Ａ地点からＢ地点への移動を促すメッセージを示すコンテンツを再構成し、再構成後のコンテンツを提示した場合を考える。コンテンツ制御部１７１は、カメラ１３の撮影画像、視線計測器１４の計測結果、人流計測器１５の計測結果から、Ａ地点からＢ地点へのユーザの移動が促進されているか否かを判定する。例えば、コンテンツ制御部１７１は、カメラ１３の撮影画像から、提示されたコンテンツを見ても動かない人が多い場合には、Ａ地点からＢ地点へのユーザの移動が促進されていないと判定する。また、コンテンツ制御部１７１は、人流計測器１５の測定結果から、Ａ地点からＢ地点への人の流れが増加していない場合には、Ａ地点からＢ地点へのユーザの移動が促進されていないと判定する。そして、コンテンツ制御部１７１は、再構成後のコンテンツの提示による効果が低い（意図したユーザの行動が促進されていない）と評価した場合には、提示中のコンテンツの再構成を行う。このように、コンテンツ制御部１７１は、推定部１６の推定結果に基づき、あたかも、機械学習のように、より効果的なメッセージの表現態様などを判別することができる。

なお、コンテンツ制御部１７１は、カメラ１３の撮影画像からコンテンツの提示による効果を評価する場合、ユーザの視野角を考慮して、コンテンツの提示による効果を評価してもよい。例えば、ある行動を促すメッセージを示すコンテンツを提示した場合に、ユーザの視野角内にコンテンツの提示面１が存在し、かつ、ユーザがメッセージにより促される行動を行った場合には、コンテンツ制御部１７１は、コンテンツの提示に応じてユーザが反応したと判定してもよい。

このように本実施形態によれば、画像処理システム１０は、コンテンツを提示する提示環境、情報案内が行われるエリア内の状況であるエリア状況の少なくとも１つを推定する推定部１６と、推定部１６の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する制御部１７とを備える。

ある提示環境やエリア状況では、特定の表現態様（例えば、より単純化、簡略化した表現態様）でメッセージを示すコンテンツの方が、ユーザが視認しやすく、また、案内の効果も高いということがある。そのため、提示環境やエリア状況の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更することで、コンテンツの提示環境やエリア状況に応じて、より適切なコンテンツの提示を図ることができる。

なお、上述した実施形態においては、推定部１６の推定結果に応じて、コンテンツを構成する要素を入れ替える例を用いて説明したが、これに限られるものではない。例えば、推定部１６により、コンテンツの提示環境として、コンテンツの提示面１に日光が差し込んでいる領域が存在すると推定された場合、その日光が差し込んでいる領域にはコンテンツを構成する要素を配置しないようにしてもよい。すなわち、推定部１６の推定結果に応じて、コンテンツを構成する要素の配置を変更してもよい。日光が差し込んでいる領域に提示された要素はユーザからは視認されにくいが、推定部１６によるコンテンツの提示環境などの推定結果に応じてコンテンツを構成する要素の配置を変更することで、各要素がユーザに視認されやすくすることができる。

本発明に係る画像処理システム１０にて行われる方法は、コンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。

本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。

１０ 画像処理システム
１１ コンテンツデータ記憶部
１２ プロジェクタ
１３ カメラ
１４ 視線計測器
１５ 人流計測器
１６ 推定部
１７ 制御部
１７１ コンテンツ制御部
１７２ プロジェクタ管理部

Claims (7)

1. ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システムであって、
   前記コンテンツを提示する提示環境を推定する推定部と、
   前記推定部の推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する制御部と、
   を備え、
   前記コンテンツは、１または複数の要素からなり、
   前記制御部は、
   前記推定部の推定結果に応じて、前記コンテンツを構成し、前記メッセージに対応する１または複数の要素を入れ替えて、前記メッセージの意味内容は変えることなく、前記コンテンツにおけるメッセージの表現態様を変更し、
   前記要素ごとに、該要素により伝達される情報量を数値化した情報量、および、前記要素の前記提示環境による影響の受けやすさを示す環境影響指数を記憶し、
   前記提示環境が変化すると、前記提示環境の変化によるコンテンツの視認性への影響の度合いを示す影響度を、提示しているコンテンツを構成する要素の前記情報量および前記環境影響指数に基づき算出し、該算出した影響度が所定の閾値以上である場合に、提示するコンテンツを変更することを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記制御部は、前記推定部の推定結果に応じて、前記コンテンツを構成する要素の配置を変更することを特徴とする画像処理システム。
3. 請求項１または２に記載の画像処理システムにおいて、
   前記制御部は、前記コンテンツを提示する状況に応じて、前記所定の閾値を変更することを特徴とする画像処理システム。
4. 請求項１から３のいずれか一項に記載の画像処理システムにおいて、
   前記推定部は、前記ユーザの属性をさらに推定し、
   前記制御部は、前記推定部による前記ユーザの属性を含む推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更することを特徴とする画像処理システム。
5. 請求項１から４のいずれか一項に記載の画像処理システムにおいて、
   前記制御部は、前記コンテンツの変更による前記ユーザの反応に基づいて、前記コンテンツの変更による効果を評価し、該評価の結果に応じて、前記コンテンツをさらに変更することを特徴とする画像処理システム。
6. ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システムにおける画像処理方法であって、
   推定部が、前記コンテンツを提示する提示環境を推定するステップと、
   制御部が、前記推定部の推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示するステップと、を含み、
   前記コンテンツは、１または複数の要素からなり、
   前記制御部が、
   前記推定部の推定結果に応じて、前記コンテンツを構成し、前記メッセージに対応する１または複数の要素を入れ替えて、前記メッセージの意味内容は変えることなく、前記コンテンツにおけるメッセージの表現態様を変更し、
   前記要素ごとに、該要素により伝達される情報量を数値化した情報量、および、前記要素の前記提示環境による影響の受けやすさを示す環境影響指数を記憶し、
   前記提示環境が変化すると、前記提示環境の変化によるコンテンツの視認性への影響の度合いを示す影響度を、提示しているコンテンツを構成する要素の前記情報量および前記環境影響指数に基づき算出し、該算出した影響度が所定の閾値以上である場合に、提示するコンテンツを変更する画像処理方法。
7. ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システム内のコンピュータに、
   前記コンテンツを提示する提示環境を推定する処理と、
   前記推定の結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する処理と、を実行させ、
   前記コンテンツは、１または複数の要素からなり、
   前記推定の結果に応じて、前記コンテンツを構成し、前記メッセージに対応する１または複数の要素を入れ替えて、前記メッセージの意味内容は変えることなく、前記コンテンツにおけるメッセージの表現態様を変更させ、
   前記要素ごとに、該要素により伝達される情報量を数値化した情報量、および、前記要素の前記提示環境による影響の受けやすさを示す環境影響指数を記憶させ、
   前記提示環境が変化すると、前記提示環境の変化によるコンテンツの視認性への影響の度合いを示す影響度を、提示しているコンテンツを構成する要素の前記情報量および前記環境影響指数に基づき算出し、該算出した影響度が所定の閾値以上である場合に、提示するコンテンツを変更させるプログラム。

Images