JP7484233B2 - 表示システム、表示制御装置及びプログラム - Google Patents

Description

本発明は、表示システム、表示制御装置及びプログラムに関する。

特許文献１には、デジタルサイネージに関する技術として、携帯端末から配信されるコンテンツデータを共に配信されるスケジュールデータに従って再生端末がディスプレイに表示させる技術が記載されている。

特表２０１９－１６０３１３号公報

例えば、画像や動画を表示したり音声を発したりすることで情報を提示する情報提示装置を広告のために利用するいわゆるデジタルサイネージは多数の人によって視聴される場合があるが、提示される情報が一通りだと、人によっては興味がなかったり時系列に変化する情報を途中から見たりすることになる。
そこで、本発明は、情報を提示する相手によって受け取る情報を異ならせることを目的とする。

本発明の請求項１に係る表示システムは、複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサを備え、前記プロセッサが、前記画素群を視認可能な人物の方向を特定し、２以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させることを特徴とする。

本発明の請求項２に係る表示システムは、請求項１に記載の態様において、前記プロセッサは、前記方向が特定された人物を識別し、識別された人物の方向が移動すると、当該方向に対して同じ画像を表示させ続ける
ことを特徴とする。

本発明の請求項３に係る表示システムは、請求項２に記載の態様において、前記プロセッサは、識別された人物の前記方向が特定されなくなった後に再び特定されると、特定されなくなったときに表示していた画像の続きの画像を再び特定された前記方向に向けて表示させることを特徴とする。

本発明の請求項４に係る表示システムは、請求項１に記載の態様において、前記プロセッサは、前記方向が特定された複数の人物の当該方向の関係から当該複数の人物同士の人間関係を推定し、特定の人間関係と推定された前記複数の人物の方向に向けて同じ画像を表示させることを特徴とする。

本発明の請求項５に係る表示システムは、請求項４に記載の態様において、前記プロセッサは、前記特定の人間関係と推定された前記複数の人物の人数に応じたセット数の前記画素群に前記同じ画像を表示させることを特徴とする。

本発明の請求項６に係る表示システムは、請求項４又は５に記載の態様において、前記プロセッサは、前記特定の人間関係と推定された複数の人物の密集度に応じたセット数の前記画素群に前記同じ画像を表示させることを特徴とする。

本発明の請求項７に係る表示システムは、請求項１から６のいずれか１項に記載の態様において、前記プロセッサは、前記方向が特定された人物の特定の箇所の動きに応じた内容の画像を当該人物の方向に向けて表示させることを特徴とする。

本発明の請求項８に係る表示システムは、請求項１から７のいずれか１項に記載の態様において、前記プロセッサは、前記人物の方向が最初に特定された場合に、当該方向に向けて動画を最初から再生させた画像を表示させることを特徴とする。

本発明の請求項９に係る表示システムは、請求項１から８のいずれか１項に記載の態様において、前記複数の方向のうちから選択された方向に向けて音を放出する指向性のスピーカを備え、前記プロセッサは、特定された前記人物の方向に向けて表示される動画の音声を前記スピーカから当該方向に向けて放出させることを特徴とする。

本発明の請求項１０に係る表示システムは、請求項１から９のいずれか１項に記載の態様において、前記プロセッサは、前記方向が特定された人物が持ち歩く通信端末と無線通信を行い、前記通信端末から取得される情報に応じた画像を前記人物の方向に向けて表示させることを特徴とする。

本発明の請求項１１に係る表示システムは、請求項１０に記載の態様において、前記プロセッサは、前記画素群を備える表示装置の位置から、前記通信端末から取得される情報が表わす目的地までの経路を示す画像を前記情報に応じた画像として表示させることを特徴とする。

本発明の請求項１２に係る表示制御装置は、複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサを備え、前記プロセッサが、前記画素群を視認可能な人物の方向を特定し、２以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させることを特徴とする。

本発明の請求項１３に係るプログラムは、複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサとを備えるコンピュータに、前記画素群を視認可能な人物の方向を特定するステップと、２以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させるステップとを実行させるためのものであることを特徴とする。

請求項１、１２、１３に係る発明によれば、情報を提示する相手によって受け取る情報を異ならせることができる。
請求項２に係る発明によれば、表示システムの前を横切る人物に同じ画像を見続けさせることができる。
請求項３に係る発明によれば、表示システムの前を横切る人物が表示システムから一時的に見えなくなったとしても同じ画像を見続けさせることができる。
請求項４に係る発明によれば、特定の人間関係のグループに対して同じコンテンツの画像を提示することができる。
請求項５、６に係る発明によれば、画像が一瞬消えて再度表示される現象を抑制しつつ画素群を有効に利用することができる。
請求項７に係る発明によれば、画像の視聴者は自分の意志で画像を変更することができる。
請求項８に係る発明によれば、人物が動画を途中から見させられることをなくすことができる。
請求項９に係る発明によれば、方向が特定された人物毎に異なる音声を聞かせることができる。
請求項１０に係る発明によれば、人混みの中にいる人物に画像を提示することができる。
請求項１１に係る発明によれば、通信端末を持ち歩く人物が目的地を指定しなくてもその目的地までの経路を提示させることができる。

実施例に係る多方向表示システムの全体構成を表す図 レンチキュラーシートを拡大して表す図 画像が表示される方向の一例を表す図 画像処理装置のハードウェア構成を表す図 画像処理装置が実現する機能構成を表す図 人物の方向を示す角度の一例を表す図 表示処理における動作手順の一例を表す図 変形例に係る多方向表示システムの全体構成を表す図 変形例の画像処理装置が実現する機能構成を表す図 変形例の多方向表示システムが実現する機能構成を表す図

［１］実施例
図１は実施例に係る多方向表示システム１の全体構成を表す。多方向表示システム１は、複数の方向に向けてそれぞれ異なる画像を表示するシステムであり、本発明の「表示システム」の一例である。多方向表示システム１は、ディスプレイ装置１０と、撮像装置２０と、画像処理装置３０とを備える。

ディスプレイ装置１０は、画像を表示する装置であり、複数の方向に向けてそれぞれ異なる画像を表示する機能を有する。ディスプレイ装置１０は、ディスプレイ本体１１と、レンチキュラーシート１２とを備える。ディスプレイ本体１１は、平面状に並べられた複数の画素から光を発して画像を表示する。ディスプレイ本体１１は、例えば液晶ディスプレイであるが、有機ＥＬ（=Electro-Luminescence）ディスプレイ又はプラズマディスプレイ等であってもよい。

ディスプレイ本体１１の表示面１１１にはレンチキュラーシート１２が取り付けられている。ここで、図１においては、表示面１１１に沿った平面上の座標軸をＸ軸（水平方向に沿った軸）、Ｙ軸（鉛直方向に沿った軸）とし、表示面１１１の法線の反対向きを正とするＺ軸とにより示される３次元座標軸が表されている。以下では、各軸の矢印が示す方向を正方向と言い、その反対向きの方向を負方向と言う。また、各軸に沿った方向を「Ｘ軸方向」、「Ｙ軸方向」、「Ｚ軸方向」と言う。

レンチキュラーシート１２は、細長いかまぼこ状の凸レンズが並べて配置されたシートであり、表示面１１１のＺ軸負方向側に取り付けられている。レンチキュラーシート１２及びディスプレイ本体１１の画素との関係を、図２を参照して説明する。
図２はレンチキュラーシート１２を拡大して表す。図２では、Ｙ軸正方向に見たレンチキュラーシート１２及びディスプレイ本体１１の画素部１１２が模式的に表されている。

レンチキュラーシート１２は、レンズ部１２２－１、１２２－２、１２２－３、１２２－４、１２２－５、１２２－６、・・・（以下では各々を区別しない場合は「レンズ部１２２」と言う）を備える。画素部１１２は、画素１１２－１－１、画素１１２－１－２、画素１１２－１－３、画素１１２－１－３、画素１１２－１－４、画素１１２－１－５、画素１１２－１－６、・・・を有する画素群１１２－１を備える。

複数のレンズ部１２２は、前述したように各々が細長いかまぼこ状の凸レンズであり、Ｘ軸方向に並べて配置されている。つまり、各レンズ部１２２は、各々の長手方向がＹ軸に沿うように配置されている。図２の例では、例えば各レンズ部１２２－１に対向する対向領域１２３－１、１２３－２、１２３－３、１２３－４、１２３－５、１２３－６、・・・（以下では各々を区別しない場合は「対向領域１２３」と言う）に４つの画素がＸ軸方向に並べて配置されている。

なお、図２では、図を見やすくするために各対向領域１２３においてＸ軸方向に並べて配置される画素の数を４つにしているが、ディスプレイ本体１１は、各対向領域１２３においてＮ個（Ｎは自然数）の画素群を有しているものとする。本実施例におけるＮは４よりも大きく、詳細は後述する。

画素群１１２－１の各画素は、いずれも対向領域１２３のＸ軸正方向の端に配置されている。画素群１１２－１の各画素が発した光は、Ｚ軸負方向に進行し、各レンズ部１２２のＸ軸正方向の端において同じ方向（以下「共通方向」と言う）に屈折する。そのため、画素群１１２－１の各画素が発した光は、各光が屈折する共通方向にいる人物の眼まで到達して画像を表示する。

画素群１１２－１の他にも、各対向領域１２３における配置が共通する画素の集合である画素群は、各レンズ部１２２において同じ方向に屈折するため、各々の画素群に対応する共通方向にいる人物の眼まで到達して画像を表示する。このように、ディスプレイ装置１０は、複数（本実施例ではＮ個）の方向に向けてそれぞれ異なる画像を表示可能な複数セット（本実施例ではＮセット）の画素群を備える。Ｎセットの画素群は、Ｘ軸方向に並べられている。

図３は画像が表示される方向の一例を表す。図３では、Ｙ軸正方向に見たディスプレイ装置１０（ディスプレイ本体１１及びレンチキュラーシート１２）が表されている。ディスプレイ装置１０は、表示方向Ｄ０、Ｄ１、Ｄ２、・・・、Ｄ４５、・・・、Ｄ９０までの９１の方向に向けてそれぞれ異なる画像を表示する。つまり、本実施例では、ディスプレイ装置１０は９１セットの画素群を備える。

表示方向Ｄ４５は表示面１１１の法線方向と一致しており、各表示方向は１度ずつ角度が異なっているものとする。つまり、表示方向Ｄ０、Ｄ９０はいずれも表示方向Ｄ４５に対して４５度の角度を成す。以下では、表示方向Ｄ０側の角度を負の値で、表示方向Ｄ９０側の角度を正の値で表すものとする（つまり表示方向Ｄ０は－４５度の方向、表示方向Ｄ９０は４５度の方向）。

撮像装置２０は、例えばデジタルカメラであり、ディスプレイ装置１０の鉛直上側に取り付けられている。撮像装置２０は、レンズが向いている方向（撮影方向）が表示面１１１の向いている方向に向けられており、図３に表す表示方向を全て画角に収めて撮影する。ディスプレイ装置１０及び撮像装置２０は、画像処理装置３０とケーブル等により電気的に接続されている。なお、この接続は無線通信で行われてもよい。

画像処理装置３０は、ディスプレイ装置１０が表示する画像及び撮像装置２０により撮影された画像に関する処理を行う。
図４は画像処理装置３０のハードウェア構成を表す。画像処理装置３０は、プロセッサ３１と、メモリ３２と、ストレージ３３と、デバイスＩ／Ｆ３４とを備えるコンピュータである。プロセッサ３１は、例えば、ＣＰＵ（＝Central Processing Unit）等の演算装置、レジスタ及び周辺回路等を有する。プロセッサ３１は本発明の「プロセッサ」の一例である。

メモリ３２は、プロセッサ３１が読み取り可能な記録媒体であり、ＲＡＭ（＝Random Access Memory）及びＲＯＭ（＝Read Only Memory）等を有する。ストレージ３３は、プロセッサ３１が読み取り可能な記録媒体であり、例えば、ハードディスクドライブ又はフラッシュメモリ等を有する。プロセッサ３１は、ＲＡＭをワークエリアとして用いてＲＯＭやストレージ３３に記憶されているプログラムを実行することで各ハードウェアの動作を制御する。

デバイスＩ／Ｆ３４は、ディスプレイ装置１０及び撮像装置２０という２つのデバイスとのインターフェース（Ｉ／Ｆ：Interface）になる。多方向表示システム１においては、プロセッサ３１がプログラムを実行して各部を制御することで、以下に述べる各機能が実現される。各機能が行う動作は、その機能を実現する装置のプロセッサ３１が行う動作としても表される。

図５は画像処理装置３０が実現する機能構成を表す。画像処理装置３０は、人物方向特定部３０１と、個人識別部３０２と、識別情報記憶部３０３と、コンテンツ選択部３０４と、コンテンツ記憶部３０５と、インテグラルレンダリング部３０６とを備える。人物方向特定部３０１は、上述したディスプレイ装置１０が備える画素群を視認可能な人物の方向を特定する。

人物方向特定部３０１は、例えば、撮像装置２０が撮影した画像を取得し、取得した画像から周知の顔認識技術を用いて画像に写っている人物の顔を認識する。人物方向特定部３０１は、顔が認識された人物は表示面１１１（つまり画素群）を認識可能であると判断し、認識した顔の画像内の位置に基づいて、その顔の人物の方向を特定する。人物方向特定部３０１は、例えば、各画素の座標と実空間における方向とを対応付けた方向テーブルを用いて人物の方向を特定する。

方向テーブルは、例えば多方向表示システム１の提供者が、実空間における特定の方向に対象物を設置し、その対象物が映る画像内の位置を調べることで予め作成しておく。本実施例では、人物の方向が、例えば表示面１１１の法線方向（図３に表す表示方向Ｄ４５と同じ方向）に対して成す角度によって表される。具体的には、人物の方向は、法線方向に対してＸ軸方向に成す角度と、法線方向に対してＹ軸方向に成す角度とによって表される。

法線方向に対してＸ軸方向に成す角度とは、人物の方向を示すベクトルをＸ軸及びＺ軸を含む平面に投影した場合に、投影されたベクトルと法線方向とが成す角度である。また、法線方向に対してＹ軸方向に成す角度とは、人物の方向を示すベクトルをＹ軸及びＺ軸を含む平面に投影した場合に投影されたベクトルと法線方向とが成す角度である。これらの角度について図６を参照して説明する。

図６は人物の方向を示す角度の一例を表す。図６では、表示面１１１の中央を原点とする３次元座標系のベクトルの座標（ｘ、ｙ、ｚ）で人物の方向Ｄ１００が表されているものとする。図６（ａ）では、人物の方向Ｄ１００をＸ軸及びＺ軸を含む平面に投影した投影方向Ｄ１００－ｘ（座標（ｘ、０、ｚ））が表されている。投影方向Ｄ１００－ｘと表示方向Ｄ４５（法線方向）とが成す角度θ１が、人物の方向Ｄ１００が法線方向に対してＸ軸方向に成す角度である。

また、図６（ｂ）では、人物の方向Ｄ１００をＹ軸及びＺ軸を含む平面に投影した投影方向Ｄ１００－ｙ（座標（０、ｙ、ｚ））が表されている。投影方向Ｄ１００－ｙと表示方向Ｄ４５（法線方向）とが成す角度θ２が、人物の方向Ｄ１００が法線方向に対してＹ軸方向に成す角度である。このように、人物方向特定部３０１は、人物のＸ軸方向における角度θ１とＹ軸方向における角度θ２とによって、画素群を視認可能な人物の方向を特定する。

人物方向特定部３０１は、人物の方向を特定すると、特定した方向及び特定の際に認識した顔の画像を示す方向情報を個人識別部３０２に供給する。個人識別部３０２は、人物方向特定部３０１によって方向が特定された人物を識別する。個人識別部３０２は、例えば、供給された方向情報が示す顔の画像の特徴量によって個人を識別する。ここでいう識別とは、方向が特定された人物の個人名及び住所等を特定することではなく、別の画像に顔が写っていた場合に同一人物であることを特定可能にすることを言う。

個人識別部３０２は、新たな人物を識別した場合、その人物の個人の識別に用いた情報（例えば顔の画像）を識別情報記憶部３０３に登録する。識別情報記憶部３０３は、個人識別部３０２により登録された人物の識別情報を記憶する。個人識別部３０２は、人物方向特定部３０１から方向情報が供給されると、識別情報記憶部３０３を参照して、供給された方向情報が示す人物の識別情報の登録の有無を確認する。

個人識別部３０２は、登録がない場合は供給された方向情報が示す人物の識別情報を、新たに識別された個人を示す情報としてコンテンツ選択部３０４に供給する。また、個人識別部３０２は、登録がある場合は、登録されていたその人物の識別情報を識別情報記憶部３０３から読み出して識別済みの個人を示す情報としてコンテンツ選択部３０４に供給する。

コンテンツ選択部３０４は、個人識別部３０２から供給された識別情報により識別される人物に対して提示するコンテンツを、コンテンツ記憶部３０５が記憶するコンテンツの中から選択する。コンテンツ記憶部３０５は、多方向表示システム１の前を通りかかる人物に提示するためのコンテンツを示すコンテンツデータを多数記憶している。コンテンツとは、人物に提示したい情報を画像（静止画又は動画）及び音によって表したものである。

コンテンツ選択部３０４は、新たに識別された個人を示す識別情報が供給された場合は、例えば現在の日時に応じたコンテンツを提示するコンテンツとして新たに選択する。なお、コンテンツ選択部３０４は、ランダムにコンテンツを選択してもよいし、用意された複数のコンテンツを順番に選択してもよい。いずれの場合も、コンテンツ選択部３０４は、２以上の人物の方向が特定された場合には、それぞれ異なるコンテンツを選択することがある（但し同じコンテンツが選択される場合もある）。

また、コンテンツ選択部３０４は、識別済みの個人を示す識別情報が供給された場合は、その識別情報について選択したコンテンツを再び選択する。コンテンツ選択部３０４は、選択したコンテンツを示すコンテンツデータをコンテンツ記憶部３０５から読み出し、インテグラルレンダリング部３０６に供給する。インテグラルレンダリング部３０６は、供給されたコンテンツデータが示すコンテンツの画像をレンチキュラー方式でレンダリングする。

レンダリングとは、表示用の画像データを生成することを言う。レンチキュラー方式でのレンダリングとは、画像を表示させる方向に対応する画素群にその画像を表示させるための画像データであり、且つ、全ての画素の画素値を示す画像データを生成することを言う。インテグラルレンダリング部３０６は、例えば５つの方向が人物の方向として特定された場合、それらの方向に対応する画素群にそれぞれの方向に提示するコンテンツの画像を表示させるための画像データを生成する。本実施例では、インテグラルレンダリング部３０６は、１人の人物に対して１つの画素群を割り当てるものとする。

ディスプレイ装置１０は、上述したようにＮセット（本実施例では９１セット）の画素群を備えており、その中には人物の方向として特定されなかった表示方向に対応する画素群も含まれている。インテグラルレンダリング部３０６は、そのように人物がいない表示方向の画素群については、画像をレンダリングすることなく、例えば全て最小の画素値とする画像データを生成する。

最小の画素値とするのは、画素が光を発していると隣接する画素の光に対して多少なりとも影響を与えるため、その影響を極力少なくするためである。このように、インテグラルレンダリング部３０６は、人物方向特定部３０１により人物の方向として特定されなかった方向に対応する画素群については例えば画素値を最小にして画像を表示させないようにした画像データを生成する。

インテグラルレンダリング部３０６は、以上のとおり画像データを生成することで、２以上の人物の方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を各方向に対応する画素群に表示させる。これにより、多方向表示システム１においては、１つの表示面から情報が提示されているにもかかわらず、情報を提示する相手によって受け取る情報が異なることになる。

また、人物方向特定部３０１が新たな人物の方向を特定すると、コンテンツ選択部３０４が新たなコンテンツを選択することになる。人物の方向が最初に特定され、且つ、選択されたコンテンツが動画であった場合、インテグラルレンダリング部３０６は、特定された方向に向けて動画を最初から再生させた画像を表示させるようにレンダリングを行う。これにより、例えばディスプレイ装置１０の前を通りかかった人物は動画を途中から見させられるということがなくなる。

また、人物が一度識別されるとその人物に対してはコンテンツ選択部３０４が同じコンテンツを選択するので、インテグラルレンダリング部３０６は、識別された人物の方向が移動すると、その方向に対して同じコンテンツの画像を表示させ続けることになる。これにより、例えばディスプレイ装置１０の前を横切る人物がいた場合にその人物は同じコンテンツの画像を見続けることになる。

また、一度識別された人物が移動すると、例えば他の人物の後ろに隠れて一時的に撮像装置２０が撮影した画像に写らなくなる場合がある。その場合、再び撮影画像に写るようになったときに、人物方向特定部３０１によってその人物の方向が特定される。そのように識別された人物の方向が特定されなくなった後に再び特定されると、既に識別されたその人物に対してはコンテンツ選択部３０４が同じコンテンツを選択する。

そのため、インテグラルレンダリング部３０６は、特定されなくなったときに表示していた画像の続きの画像を再び特定された方向に向けて表示させる。これにより、例えばディスプレイ装置１０の前を横切る人物がいた場合に、その人物は他の人物の後ろを通るなどしてディスプレイ装置１０が一時的に見えなくなったとしても、同じコンテンツの画像を見続けることになる。

多方向表示システム１が備える各装置は、上記の構成により、複数の方向の人に対して異なる画像を表示する表示処理を行う。
図７は表示処理における動作手順の一例を表す。まず、撮像装置２０は、画像を撮影し（ステップＳ１１）、撮影した画像を画像処理装置３０に送信する（ステップＳ１２）。画像処理装置３０（人物方向特定部３０１）は、送信されてきた画像に写っている人物の方向を特定する（ステップＳ１３）。

次に、画像処理装置３０（個人識別部３０２）は、方向が特定された人物を識別する（ステップＳ１４）。続いて、画像処理装置３０（コンテンツ選択部３０４）は、識別した人物が既に識別済みの人物であるか否かを判断する（ステップＳ１５）。画像処理装置３０（コンテンツ選択部３０４）は、識別済みでない新たな人物である（ＮＯ）と判断した場合は、新たなコンテンツを選択する（ステップＳ１６）。

画像処理装置３０（コンテンツ選択部３０４）は、識別済みの人物である（ＹＥＳ）と判断した場合は、その人物について既に選択したものと同じコンテンツを選択する（ステップＳ１７）。ステップＳ１６又はＳ１７の後、画像処理装置３０（インテグラルレンダリング部３０６）は、選択されたコンテンツの画像についてレンチキュラー方式でレンダリングする（ステップＳ１８）。

そして、画像処理装置３０（インテグラルレンダリング部３０６）は、レンダリングにより生成された表示用の画像データをディスプレイ装置１０に送信する（ステップＳ１９）。ディスプレイ装置１０は、送信されてきた画像データを用いて、特定された方向毎に画像を表示する（ステップＳ２０）。ステップＳ１１からＳ２０までの動作は、ディスプレイ装置１０が人物の方向毎に画像を表示している間、繰り返し行われる。

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。

［２－１］人物の方向の特定方法
人物方向特定部３０１は、実施例では人物の顔を認識することで人物の方向を特定したが、人物の方向の特定方法はこれに限らない。人物方向特定部３０１は、例えば、画像から人物の目を検出することで人物の方向を特定してもよいし、人物の全身を検出することで人物の方向を特定してもよい。

また、人物がスマートフォン等の測位手段（自端末の位置を測定する手段）を備える通信端末を所持している場合に、人物方向特定部３０１は、通信端末が測定した位置を示す位置情報を取得して、予め記憶しておいたディスプレイ装置１０の位置情報との関係から人物の方向を特定してもよい。その場合は撮像装置２０がなくても人物の方向が特定される。

［２－２］グループ
ディスプレイ装置１０が表示するコンテンツの画像を数人のグループが見る場合がある。グループとは、例えば、家族、友達又は恋人等である。多方向表示システム１は、それらのグループに属する人物に対して同じコンテンツの画像を提示してもよい。本変形例では、例えば、コンテンツ選択部３０４が、方向が特定された複数の人物のそれらの方向の関係からそれらの複数の人物同士の人間関係を推定する。

コンテンツ選択部３０４は、例えば、２人の人物について特定された２つの方向が水平方向に成す角度の一定時間における平均値θ１１と鉛直方向に成す角度の一定時間における平均値θ１２とを算出する。コンテンツ選択部３０４は、平均値θ１１が閾値Ｔｈ１１未満で且つ平均値θ１２が閾値Ｔｈ２１未満である場合は２人が夫婦又は恋人と推定し、平均値θ１１が閾値Ｔｈ１２未満で且つ平均値θ１２が閾値Ｔｈ２１未満である場合は２人が友人と推定する。

このように閾値を設定したのは、夫婦、恋人及び友人は一定の距離を保って移動する一方、密着度は夫婦及び恋人の方が友人よりも高いからである。また、コンテンツ選択部３０４は、平均値θ１１が閾値Ｔｈ１１未満で且つ平均値θ１２が閾値Ｔｈ２２以上Ｔｈ２３未満である場合は２人が親子と推定する。このように閾値を設定したのは、親子の場合、密着度は高いが背の高さの関係で鉛直方向に顔が離れるためである。

また、コンテンツ選択部３０４は、友人と推定された２人の人物のうちの１人が他の人物と友人と推定される場合、３人の人物をまとめて友人と推定する。コンテンツ選択部３０４は、同じ要領で多人数の友人グループを推定する。また、コンテンツ選択部３０４は、決まった人数（例えば１０人程度）以上になると、友人グループではなくクラスメイト又はチームメイトと推定する。

コンテンツ選択部３０４は、以上のとおり人間関係を推定すると、特定の人間関係と推定した複数の人物については同じコンテンツを選択する。コンテンツ選択部３０４は、例えば、夫婦、恋人又は友人と推定した複数の人物については同じコンテンツを選択する。一方、コンテンツ選択部３０４は、親子と推定した複数の人物については異なるコンテンツを選択する。

上記のとおりコンテンツが選択された結果、インテグラルレンダリング部３０６は、特定の人間関係と推定された複数の人物の方向に向けて同じコンテンツの画像を表示させる。これにより、特定の人間関係のグループに対しては同じコンテンツの画像が提示されることになる。

［２－３］画素群の割り当て
インテグラルレンダリング部３０６は、実施例では、１人の人物に対して１つの画素群を割り当てたが、１人の人物に対して２以上の画素群を割り当ててもよい。２以上の画素群を割り当てるとは、インテグラルレンダリング部３０６が２以上の画素群に対して同じ画像の表示用の画像データを生成し、それら２以上の画素群に同じ画像を表示させることである。

インテグラルレンダリング部３０６は、例えば、複数の人物が上記変形例で述べた特定の人間関係と推定された場合に、それら複数の人物の人数に応じたセット数の画素群に同じ画像を表示させる。特定の人間関係とは、例えば夫婦、恋人、友人、友人グループ又はクラスメイト等である。インテグラルレンダリング部３０６は、例えば複数の人物の人数が多いほど割り当てる画素群のセット数を多くする。

具体的には、インテグラルレンダリング部３０６は、１人の人物には１セットの画素群を割り当てるが、特定の人間関係の複数の人物には例えば人数の倍のセット数（２人なら４セット、３人なら６セット）の画素群を割り当てる。１人の人物に１セットの画素群しか割り当てられてない場合、その人物が移動すると隣の画素群が同じ画像を表示するまでにタイムラグ（方向の特定、個人の識別、コンテンツの選択に要する時間）が生じるため、画像が一瞬消えて再度表示されるという画像の点滅現象が発生する。

画素群のセット数を増やすほど、人物が移動したときに隣の画素群も同じ画像を表示している可能性が高まり、画像の点滅現象が生じにくくなる。一方で、画素群のセット数には限りがあるので、１人の人物に際限なく割り当ててしまうと、他の人物に割り当てる画素群が少なくなってしまう。ここで、例えば夫婦のように密着度の高い２人以上の人物に同じ画像を提示する場合、その２人の間の方向に他の画像を表示しても、２人以外の人物がその画像を見る可能性は少ない。

そこで、本変形例では、上記のとおり画素群のセット数を増やして割り当てることで、割り当てる画素群のセット数を一律にする場合に比べて、画像の点滅現象が抑制されつつ画素群が有効に利用されることになる。ここでいう有効な利用とは、将来他の人物に画像を表示する可能性が高い画素群は使わずにいつでも利用可能にしておき、他の人物に画像を表示する可能性が低い画素群を使って画像の点滅現象を抑制することを言う。

また、インテグラルレンダリング部３０６は、複数の人物が特定の人間関係と推定された場合に、それら複数の人物の密集度に応じたセット数の画素群に同じ画像を表示させてもよい。インテグラルレンダリング部３０６は、上記変形例で述べた平均値θ１１（２つの方向が水平方向に成す角度の平均値）及び平均値θ１２（２つの方向が鉛直方向に成す角度の平均値）が小さいほど密集度が高いと判断する。

インテグラルレンダリング部３０６は、例えば複数の人物の密集度が高いほど割り当てる画素群のセット数を多くする。複数の人物の密集度が高いほど、それらの人物の間の方向に他の画像を表示しても他の人物がその画像を見る可能性は少ない。従って、この場合も、割り当てる画素群のセット数を一律にする場合に比べて、画像の点滅現象が抑制されつつ画素群が有効に利用されることになる。

［２－４］ジェスチャ
画像を見ている人物のジェスチャによる画像操作を受け付けてもよい。本変形例では、例えば、人物方向特定部３０１が、人物の方向を特定すると共に、その人物の特定の箇所の決められた動きを特定する。特定の箇所の決められた動きとは、例えば、手を上げる動き又は手を下げる動きである。

人物方向特定部３０１は、例えば、画像に写った人物の骨格を認識する周知の技術（例えば特開２０１９－２１１８５０号公報に開示された技術）を用いて手の部分の決められた動きを特定する。なお、本変形例では、撮像装置２０にステレオカメラのような３次元画像データを取得可能なカメラが用いられるものとする。人物方向特定部３０１は、特定の箇所の決められた動きがあったことを特定すると、動きを特定した人物の顔の画像を示す動き情報を個人識別部３０２に供給する。

個人識別部３０２は、動きが特定された人物の識別情報を読み出してコンテンツ選択部３０４に供給する。コンテンツ選択部３０４は、供給された識別情報により識別される人物に対して提示するための新たなコンテンツを選択する。コンテンツ選択部３０４は、例えば、該当人物に対して現在選択されているコンテンツがシリーズ物であれば、同じシリーズの次のコンテンツを選択する。

また、コンテンツ選択部３０４は、同じコンテンツの別言語バージョンを選択してもよいし、新たなコンテンツをランダムに選択してもよい。また、コンテンツ選択部３０４は、同じコンテンツを再度選択し直してもよい。その場合、例えば動画のコンテンツであれば、再度最初から再生されることになる。

上記のとおりコンテンツが選択されることで、インテグラルレンダリング部３０６は、方向が特定された人物の特定の箇所の動きに応じた内容の画像をその人物の方向に向けて表示させる。これにより、コンテンツの画像が提示される人物（視聴者）は、自分の特定の箇所に決められた動きをさせることで、自分の意志でコンテンツの画像を変更することになる。

［２－５］指向性の音
多方向表示システムは、画像を表示するとともに、音を発してもよい。
図８は変形例に係る多方向表示システム１ａの全体構成を表す。多方向表示システム１ａは、ディスプレイ装置１０と、指向性スピーカ４０とを備える（撮像装置及び画像処理装置は図示を省略している）。

指向性スピーカ４０は、複数の方向のうちから選択された方向に向けて音を放出するスピーカである。指向性スピーカ４０は、図３に表す表示方向Ｄ０、Ｄ１、Ｄ２、・・・、Ｄ４５、・・・、Ｄ９０までの９１の方向に向けて音を放出するものとする。
図９は本変形例の画像処理装置３０ａが実現する機能構成を表す。画像処理装置３０ａは、図５に表す各部に加えて音方向制御部３０７を備える。

コンテンツ選択部３０４は、選択したコンテンツを示すコンテンツデータを音方向制御部３０７にも供給する。音方向制御部３０７には、人物方向特定部３０１から特定した人物の方向を示す方向情報も供給される。音方向制御部３０７は、供給された方向情報が示す方向、すなわち、人物方向特定部３０１により特定された人物の方向に向けて表示される動画の音声を指向性スピーカ４０からその方向に向けて放出させる。これにより、方向が特定された各人物がそれぞれ異なる音声を聞くことになる。

［２－６］通信端末
多方向表示システムは、人物が通信端末を持ち歩いている場合に、その通信端末から得られる情報に基づいて人物の方向を特定したりコンテンツを選択したりしてもよい。
図１０は本変形例の多方向表示システム１ｂが実現する機能構成を表す。多方向表示システム１ｂは、画像処理装置３０ｂと、通信端末５０とを備える（撮像装置及び画像処理装置は図示を省略している）。

画像処理装置３０ｂは、図５に表す各部に加えて端末情報取得部３０８を備える。通信端末５０は、測位部５０１と、属性記憶部５０２とを備える。測位部５０１は、自端末の位置を測定する。測位部５０１は、例えば、ＲＴＫ（Real Time Kinematic）測位技術を用いて数ｃｍの誤差で自機の位置を測定する。測位部５０１は、測定した位置及び自端末を識別する端末ＩＤを示す位置情報を画像処理装置３０ｂに送信する。

画像処理装置３０ｂの端末情報取得部３０８は、送信されてきた位置情報を、人物が持ち歩く通信端末５０に関する端末情報として取得する。端末情報取得部３０８は、取得した位置情報を人物方向特定部３０１に供給する。人物方向特定部３０１は、供給された位置情報が示す位置に基づいて人物の方向を特定する。具体的には、人物方向特定部３０１は、ディスプレイ装置１０の位置を予め記憶しておき、記憶している位置と供給された位置情報が示す位置とに基づいて人物の方向を特定する。

通信端末５０の属性記憶部５０２は、自端末の持ち主である人物の属性を記憶する。属性とは、例えば、人物の年齢、性別、趣味又は買い物の履歴等の情報であり、本人の趣味趣向を判断する際に利用可能な情報が含まれている。属性記憶部５０２は、記憶している属性と端末ＩＤとを示す属性情報を画像処理装置３０ｂに送信する。端末情報取得部３０８は、送信されてきた属性情報を、人物が持ち歩く通信端末５０に関する端末情報として取得する。

端末情報取得部３０８は、以上のとおり方向が特定された人物の通信端末と無線通信を行い端末情報を取得して、取得した端末情報をコンテンツ選択部３０４に供給する。コンテンツ選択部３０４は、供給された属性情報が示す属性に応じたコンテンツを選択する。コンテンツ選択部３０４は、属性とコンテンツの種類とを対応付けたコンテンツテーブルを用いてコンテンツを選択する。

コンテンツテーブルでは、例えば、年齢が１０代ならアニメ又はバラエティ番組、２０代、３０代ならバラエティ番組又はドラマ、４０代、５０代ならドラマ又はニュース番組というように属性とコンテンツの種類とが対応付けられている。コンテンツ選択部３０４は、属性情報が示す属性にコンテンツテーブルにおいて対応付けられている種類のコンテンツを選択する。

上記のとおりコンテンツが選択されることで、インテグラルレンダリング部３０６は、通信端末５０から取得される端末情報に応じた画像を通信端末５０を持ち歩く人物の方向に向けて表示させる。これにより、例えば人混みの中にいて撮像装置２０が撮影した画像からは顔が認識されない人物であってもその人物に対してコンテンツの画像が提示されることになる。

［２－７］目的地までの経路
通信端末５０を持ち歩く人物が或る目的地に向けて歩いている場合に、多方向表示システムがその目的地までの経路を提示してもよい。その場合、端末情報取得部３０８は、通信端末５０を持ち歩く人物の目的地を示す目的地情報を端末情報として取得する。目的地情報としては、例えば、通信端末５０でスケジュールが管理されている場合はそのスケジュールに記載されている直近の予定が行われる場所を示す情報が用いられる。

また、他にも、例えば通信端末５０で店舗の検索が行われていた場合にはその店舗を示す情報が目的地情報として用いられてもよい。複数の店舗が検索されている場合は、最後に検索された店舗、電話が掛けられた店舗又は最も長い時間閲覧された店舗を示す情報が目的地情報として用いられればよい。端末情報取得部３０８は、目的地情報を取得すると、取得した目的地情報をコンテンツ選択部３０４に供給する。

コンテンツ選択部３０４は、供給された目的地情報が示す目的地までの経路を示す画像をコンテンツとして選択する。コンテンツ選択部３０４は、ディスプレイ装置１０の設置場所を示す情報を記憶しておき、地図アプリの機能を用いて設置場所から目的地までの経路を示す画像を生成し、生成した画像をコンテンツとして選択してインテグラルレンダリング部３０６に供給する。

上記のとおりコンテンツが選択されることで、インテグラルレンダリング部３０６は、ディスプレイ装置１０の位置から、通信端末５０から取得される端末情報が表わす目的地までの経路を示す画像を端末情報に応じた画像として表示させる。これにより、通信端末５０を持ち歩く人物が目的地を指定しなくてもその目的地までの経路が提示されることになる。

［２－８］レンチキュラーシート
レンチキュラーシートは、実施例では、各々が細長いかまぼこ状の凸レンズである複数のレンズ部１２２がＸ軸方向に並べて配置されていたが、これに限らない。レンチキュラーシートは、例えば、細長いかまぼこ状の凸レンズを直交させて重ねた場合（理論的に重ねるということ）に重なった部分の形状を有する凸レンズであるレンズ部を、Ｘ軸方向及びＹ軸方向に平面的且つ格子状に並べて配置したものであってもよい。

本変形例のディスプレイ本体は、各レンズ部の対向領域において、Ｘ軸方向に並べられたＮ個（Ｎは自然数）の画素群と、Ｙ軸方向に並べられたＭ個（Ｍは自然数）の画素群とを有している。これにより、ディスプレイ本体は、Ｘ軸方向に並ぶ画素群に加え、Ｙ軸方向に並ぶ画素群も有することになる。それらのＹ軸方向に並ぶ画素群に対してインテグラルレンダリング部３０６がレンチキュラー方式でレンダリングすることで、本変形例のディスプレイ装置は、Ｘ軸方向に特定された方向毎であり且つＹ軸方向にも特定された方向毎に画像を表示する。これにより、例えば目線の高い大人と目線の低い子供とで異なる画像が表示されることになる。

［２－９］機能構成
多方向表示システム１において図５等に表す機能を実現する方法は実施例で述べた方法に限らない。例えば、ディスプレイ装置１０が図４に記載されたものに相当するハードウェア構成を備えていれば、ディスプレイ装置１０が図５等に表す機能を全て実現してもよい。また、ディスプレイ装置１０が撮像装置２０を内蔵していてもよいし、さらに指向性スピーカ４０を内蔵していてもよい。

それらの場合はディスプレイ装置１０が単体で本発明の「表示システム」の一例となる。このように、本発明の「表示システム」は、１つの筐体内に全ての構成要素を備えていてもよいし、２以上の筐体に分離して構成要素を備えていてもよい。また、撮像装置２０は表示システムの一部であってもよいし、外部構成であってもよい。

また、例えば上述した変形例ではコンテンツ選択部３０４が複数の人物同士の人間関係を推定したが、この推定を行う機能が別途設けられていてもよい。また、例えばコンテンツ選択部３０４及びインテグラルレンダリング部３０６が行う動作を、１つの機能が行ってもよい。要するに、画像読取システム全体として図５等に表された機能が実現されていれば、各機能を実現する装置の構成と、各機能が行う動作の範囲とは自由に定められてよい。

［２－１０］プロセッサ
上記各実施例において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU：Central Processing Unit、等）や、専用のプロセッサ（例えばGPU：Graphics Processing Unit、ASIC：Application Specific Integrated Circuit、FPGA：Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

また上記各実施例におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

［２－１１］発明のカテゴリ
本発明は、ディスプレイ装置という表示装置、撮像装置及び画像処理装置の他、それらの装置を備える表示システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等の通信回線を介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。

１…多方向表示システム、１０…ディスプレイ装置、１１…ディスプレイ本体、１２…レンチキュラーシート、２０…撮像装置、３０…画像処理装置、４０…指向性スピーカ、５０…通信端末、１１２…画素部、１１２－１…画素群、３０１…人物方向特定部、３０２…個人識別部、３０３…識別情報記憶部、３０４…コンテンツ選択部、３０５…コンテンツ記憶部、３０６…インテグラルレンダリング部、３０７…音方向制御部、３０８…端末情報取得部、５０１…測位部、５０２…属性記憶部。

Claims (11)

1. 複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサを備え、
   前記プロセッサが、
   前記画素群を視認可能な人物の方向を特定し、
   ２以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させ、
   前記方向が特定された２以上の人物を識別し、
   識別された２以上の人物の方向が移動すると、当該人物毎に当該方向に対して同じ画像を表示させ続け、
   識別された２以上の人物の前記方向が特定されなくなった後に再び特定されると、当該人物毎に、特定されなくなったときに表示していた画像の続きの画像を再び特定された前記方向に向けて表示させる
   表示システム。
2. 前記プロセッサは、
   前記方向が特定された複数の人物の当該方向の関係から当該複数の人物同士の人間関係を推定し、
   特定の人間関係と推定された前記複数の人物の方向に向けて同じ画像を表示させる
   請求項１に記載の表示システム。
3. 前記プロセッサは、
   前記特定の人間関係と推定された前記複数の人物の人数に応じたセット数の前記画素群に前記同じ画像を表示させる
   請求項２に記載の表示システム。
4. 前記プロセッサは、
   前記特定の人間関係と推定された複数の人物の密集度に応じたセット数の前記画素群に前記同じ画像を表示させる
   請求項２又は３に記載の表示システム。
5. 前記プロセッサは、
   前記方向が特定された人物の特定の箇所の動きに応じた内容の画像を当該人物の方向に向けて表示させる
   請求項１から４のいずれか１項に記載の表示システム。
6. 前記プロセッサは、
   前記人物の方向が最初に特定された場合に、当該方向に向けて動画を最初から再生させた画像を表示させる
   請求項１から５のいずれか１項に記載の表示システム。
7. 前記複数の方向のうちから選択された方向に向けて音を放出する指向性のスピーカを備え、
   前記プロセッサは、
   特定された前記人物の方向に向けて表示される動画の音声を前記スピーカから当該方向に向けて放出させる
   請求項１から６のいずれか１項に記載の表示システム。
8. 前記プロセッサは、
   前記方向が特定された人物が持ち歩く通信端末と無線通信を行い、
   前記通信端末から取得される情報に応じた画像を前記人物の方向に向けて表示させる
   請求項１から７のいずれか１項に記載の表示システム。
9. 前記プロセッサは、
   前記画素群を備える表示装置の位置から、前記通信端末から取得される情報が表わす目的地までの経路を示す画像を前記情報に応じた画像として表示させる
   請求項８に記載の表示システム。
10. 複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサを備え、
    前記プロセッサが、
    前記画素群を視認可能な人物の方向を特定し、
    ２以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させ、
    前記方向が特定された２以上の人物を識別し、
    識別された２以上の人物の方向が移動すると、当該人物毎に当該方向に対して同じ画像を表示させ続け、
    識別された２以上の人物の前記方向が特定されなくなった後に再び特定されると、当該人物毎に、特定されなくなったときに表示していた画像の続きの画像を再び特定された前記方向に向けて表示させる
    表示制御装置。
11. 複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサとを備えるコンピュータに、
    前記画素群を視認可能な人物の方向を特定するステップと、
    ２以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させるステップと、
    前記方向が特定された２以上の人物を識別するステップと、
    識別された２以上の人物の方向が移動すると、当該人物毎に当該方向に対して同じ画像を表示させ続けるステップと、
    識別された２以上の人物の前記方向が特定されなくなった後に再び特定されると、当該人物毎に、特定されなくなったときに表示していた画像の続きの画像を再び特定された前記方向に向けて表示させるするステップと
    を実行させるためのプログラム。

Images