JPWO2011155192A1 - 映像生成装置、方法及び集積回路 - Google Patents

Abstract

テレビ（１０１１）は、テレビ画面を分割して、複数操作者に割り当てる場合において、操作者の位置関係、画面との距離、操作者の位置の入れ替わり等に応じて、分割画面の表示位置・サイズを適切に制御する。すなわち、ジェスチャ操作の位置情報（１０２１１）を取得する外部情報取得部（２０３０）を備えており、かつ、この外部情報取得部（２０３０）とともに、複数の前記位置情報による相対的な位置関係に基づいて設定されたレイアウトによる映像を生成する生成部（２０２０ｘ）を備えている。

Description

本発明は、映像を生成する映像生成装置、映像生成方法及び集積回路に関する。

テレビの一機能に、二画面表示機能、あるいはPicture-In-Picture機能と呼ばれる機能がある。これは、テレビ画面を、複数の領域に分割し、それぞれの領域を、異なる表示用途に用いることにより（例えば、異なる２つのチャンネルの放送を表示することにより）、利用者の利便性を向上させる機能である。ところが、このような複数画面機能を、リモコンで操作する場合に、いくつかの課題がある。複数の利用者が、それぞれ別の画面領域を視聴している場合、リモコンを手に持った人しか操作ができない。すなわち、各利用者が、画面を操作する都度、利用者の間での、リモコンの受け渡しが必要になる。また、画面に対する操作の前に、操作対象とする画面領域を指定する操作が必要となり、操作が煩雑になるという問題があった。

複数の利用者が、テレビの複数画面を、１つのリモコンで操作することによって生じる、これらの課題に対する従来技術に、特許文献１がある。特許文献１では、（１）リモコン信号の発信元を識別し、過去に既に受信したリモコン信号の発信元の第１のリモコンにより操作される第１の表示画面と、新規のリモコン信号の発信元の第２のリモコンにより操作される第２の表示画面とに、表示画面を分割し、（２）リモコン信号の受信順序に基づき、発信元のリモコンで操作される表示画面の位置及び大きさを決定する。このことにより、テレビの複数の表示画面を、複数個のリモコンで、同時に操作する技術が特許文献１で開示されている。

特開２００８−０１１０５０号公報

ここで、ジェスチャ操作により、テレビを操作するシステムを考える。ジェスチャ操作では、リモコン等の機器を必要としないため、複数利用者が、テレビの複数の画面を操作する場合に、同時に操作がなされることがあり得る。このため、各利用者のジェスチャ操作の意図を、適切にテレビ操作に反映するように制御する必要がある。このような、ジェスチャ操作がされるテレビでの技術は、複数操作者が、複数画面を同時に操作するという点では、特許文献１と同じ技術であるが、ジェスチャ操作の場合、利用者の利便性の観点で、さらなる課題が存在する。

すなわち、ジェスチャ操作においては、直観的な操作を実現する。このため、テレビ画面と操作者との位置関係が重要であり、複数の分割画面と、複数操作者の位置とを、適切に紐付け、制御することが必要となる。

本発明は、上記課題を解決するためになされたものであり、その目的は、テレビ画面を分割し、複数操作者に割り当てる場合に、操作者の位置関係、画面との距離、操作者の位置の入れ替わり等に応じて、分割画面の表示位置・サイズを適切に制御する映像生成装置を提供することである。

他方、発明者側においては、本出願に際して、その他の技術として、建物の壁面などの壁に、使用者により視聴される画面が表示されることも考えられる。そして、画面が表示される箇所が、壁における複数の箇所のうちの、使用者の位置の前方の箇所にされることが考えられる。そして、一方の使用者の画面が、当該一方の使用者の位置の前方の箇所に表示され、他方の使用者の画面が、当該他方の使用者の位置の前方の箇所に表示されることが考えられる。

しかし、テレビの前の複数の使用者の位置は、壁の前の複数の使用者の位置よりも、互いに、比較的近い位置であることが多い。また、使用者の位置が、テレビが設けられたリビングルーム内でのみ移動可能などで、それらの複数の位置を互いに離すことが困難であることが多い。

そして、このように、複数の使用者の位置が互いに近いにも関わらず、それぞれの使用者の位置の前方の箇所に、その使用者の画面が表示されると、一方の使用者の画面の一部等に、他方の使用者の画面が重なるなどして、不適切な箇所への、画面の表示がされてしまう。つまり、複数の使用者の位置の間の相対的な位置関係により、不適切な表示がされてしまい、確実に、適切な表示ができない。

そこで、本発明は、複数の使用者の相対的な位置関係に関わらずに、確実に、適切な表示ができる映像生成装置を提供することを他の目的とする。

上記課題を解決するために、本発明の映像生成装置は、ジェスチャ操作を行う複数の操作者（それぞれの操作者がジェスチャを行う複数の操作者）の位置を示す位置情報（それぞれの操作者のジェスチャ操作の位置を示す位置情報が含まれてなる複数の位置情報）を取得する情報取得部と、映像のレイアウトを、取得された複数の前記位置情報により示される複数の前記位置の間の相対的な位置関係に基づいて設定し、設定された、前記位置関係に対応した前記レイアウトによる前記映像（映像信号）を生成する映像生成部とを備える。なお、このように、ジェスチャ操作をする主体（操作者）が、複数存在する。

つまり、情報取得部は、複数の位置情報を取得する。そして、取得される複数の位置情報のうちのそれぞれは、その位置情報のジェスチャ操作がされた位置を示してもよい。そして、取得される複数の位置情報は、複数のジェスチャ操作に対応してもよい。そして、互いに異なる２つの位置情報は、互いに異なる２つのジェスチャ操作に対応してもよい。

なお、設定されるレイアウトは、例えば、予め定められた方向（図３右欄の方向Ｄｘ参照）についての、互いに異なる（方向Ｄｘにおける座標が互いに異なる）複数の位置（位置Ｐ１、Ｐ２）の、複数の操作領域（画面１０１２、１０１３）に、表示領域（表示領域１０１１Ｐ）が分割されるレイアウトなどである。つまり、例えば、当該方向（方向Ｄｘ）の座標軸での座標が互いに異なる（複数の位置の）複数の操作領域（画面１０１２、１０１３）に、分割がされてもよい。

テレビ画面を分割し、複数の操作者に割り当てる場合に、操作者の位置関係、画面との距離、操作者の位置の入れ替わり等に応じて、分割画面の表示位置・サイズを適切に制御することが可能となり、しかも、複数の使用者の位置関係に関わらずに、確実に、適切な表示ができる。

図１は、本発明に係る実施の形態１、実施の形態２及び、実施に形態３の、ジェスチャ認識によるテレビ操作システムの構成を示した図である。 図２は、本発明に係る実施の形態１におけるテレビの構成を示したブロック図である。 図３は、本発明に係る実施の形態１におけるテレビの画面表示を説明するための図である。 図４は、本発明に係る実施の形態１におけるテレビの画面表示を説明するための図である。 図５は、本発明に係る実施の形態１におけるテレビの画面表示を説明するための図である。 図６は、本発明に係る実施の形態２におけるテレビの構成を示したブロック図である。 図７は、本発明に係る実施の形態２におけるテレビの画面表示を説明するための図である。 図８は、本発明に係る実施の形態３におけるテレビの構成を示したブロック図である。 図９は、セットトップボックス及びテレビを示す図である。 図１０は、テレビの動作のフローチャートである。 図１１は、３人の操作者などを示す図である。 図１２は、テレビなどを示す図である。 図１３は、テレビなどを示す図である。

以下、本発明を実施するための形態について、図面を参照して、説明する。

実施形態の映像生成装置は、ジェスチャ操作を行う複数の操作者の位置を示す位置情報（位置情報１０２１１）を取得する情報取得部（外部情報取得部２０３０）と、映像（表示領域１０１１Ｐの映像）のレイアウトを、取得された複数の位置情報（それぞれの操作者のジェスチャ操作の位置を示す位置情報１０２１１が含まれてなる複数の位置情報１０２１１）により示される複数の位置の間の相対的な位置関係（例えば、図４右欄における、操作者１０４２の方が、操作者１０４１よりも、テレビ１０１１により近い位置関係）に基づいて設定し、設定された位置関係に対応したレイアウト（図４右欄でのレイアウト（長さ１０１２ｚＲ、１０１３ｚＲ））による映像（映像信号）を生成する映像生成部（生成部２０２０ｘ）とを備える映像生成装置（テレビ１０１１）である。

つまり、例えば、取得された複数の位置情報による位置関係が、第１の位置関係（例えば図４左欄）である場合に、第１の位置関係に適する第１のレイアウトでの第１の映像（左欄）が生成され、第２の位置関係（図４右欄）である場合に、第２の位置関係に適する第２のレイアウトでの第２の映像（右欄）が生成されてもよい。

これにより、複数の使用者の位置の間の位置関係に関わらずに、確実に、適切な表示ができる。

つまり、例えば、他方の時刻（図４右欄での時刻）における、第１の操作者（例えば、図４の操作者１０４１）の位置が、一方の時刻（左欄での時刻）での、第１の操作者の位置と同じである。そして、例えば、他方の時刻での、第２の操作者（操作者１０４２）の位置（位置１０４２Ｒ）が、一方の時刻での第２の操作者の位置（位置１０４２Ｌ）とは異なる位置である。そして、他方の時刻において、第１の操作者の位置は同じであるにも関わらず、第２の操作者の位置が異なることにより、一方の時刻での、第１の操作者の操作領域（画面１０１２Ｌ）とは異なる操作領域（画面１０１２Ｌのサイズとは異なるサイズの画面１０１２Ｒ）が設定される。これにより、他方の時刻において、第２の操作者の位置も同じで、二人の操作者の位置関係が同じである場合だけではなく、異なる場合にも、適切な操作領域（画面１０１２Ｒ）が設定される。これにより、位置関係に関わらず、適切に設定がされて、より確実に、適切な設定ができる。

なお、本映像生成装置（テレビ１０１１）において、例えば、映像生成部は、レイアウトを選択し、生成される映像のレイアウトとして、選択されたレイアウトを設定する制御部２０４０と、設定されたレイアウトによる映像（映像信号）を生成し、生成された映像を表示パネル２０２０ｐに出力して、表示させる画面出力部２０２０とを含んでもよい。

具体的には、例えば、情報取得部は、複数の使用者（例えば、図４における、操作者１０４１、操作者１０４２の２人の操作者）を撮像すると共に、撮像結果から、それぞれの使用者のジェスチャ操作の種類（例えば、電源オンオフ、チャンネル切替など）及び、当該使用者によるジェスチャ操作の位置の位置情報を取得し、生成される映像の表示を行う表示部（表示パネル２０２０ｐ）を備えてもよい。そして、当該映像生成装置は、生成された映像を、表示部により表示する表示装置（テレビ１０１１）であり、映像生成部は、ジェスチャ操作によって操作可能な操作領域（図１等の画面１０１１Ｓを参照）を、生成された映像が表示される、表示部における表示領域（表示領域１０１１Ｐ）に設定し、表示領域に対し、取得したジェスチャ操作の数に応じて、操作領域（画面１０１１Ｓ）を複数個（例えば、ジェスチャ操作の数と同じ個数だけ）、設定すると共に、それぞれの操作領域の、表示領域における表示位置及び、表示サイズを、その操作領域に対応する位置情報などの１以上の位置情報に基づいて変更してもよい。

なお、映像生成部は、それぞれの操作領域（例えば、図４の画面１０１２）が、複数のレイアウト（図４の左欄、右欄）のうちの、取得された複数の位置情報での位置関係（例えば右欄での位置関係）に対応するレイアウト（右欄のレイアウト）における、その操作領域（画面１０１２Ｒ）の表示位置（比較的左側の位置）及び、表示サイズ（長さ１０１２ｚＲ）で含まれる映像（図４右欄での映像）を生成してもよい。

なお、当該映像生成装置は、具体的には、例えば、図９に示されるように、当該映像生成装置の外部に設けられたテレビ（テレビ１０１１ｓｔ）の表示領域（表示領域１０１１ｓｔＡ）に、生成された映像を表示させるセットトップボックス（セットトップボックス１０１１Ｔ）などでもよい。

なお、映像生成部は、複数の位置の間の位置関係が第１の位置関係（例えば、図４左欄の位置関係）で、第１のレイアウトでの第１の映像が生成される場合には、予め定められた音（例えば、左の画面１０１２の音）が出力されるのを制御する際に、第１の位置関係の場合に適する第１の制御（例えば、右の画面１０１３の音の大きさと同じ大きさで出力をさせる制御）を行い、第２の位置関係で、第２のレイアウトでの第２の映像が生成される場合には（右欄）、第２の位置関係の場合に適する第２の制御（例えば、右の画面１０１３での大きさより大きな大きさで出力をさせる制御）を行ってもよい。

なお、第１の制御（例えば、図５の左欄での制御）は、予め定められた音（例えば、例えば、画面１０１２の音）を、２つのスピーカ（例えば、図１３のスピーカ１０１１ａ、１０１１ｂ）のうちの一方のスピーカ（左のスピーカ１０１１ａ）で出力させる制御（図５左欄での音１０１２ｓを参照）であり、第２の制御（図５右欄での制御）は、他方のスピーカ（右のスピーカ１０１１ｂ）で出力させる制御（右欄での音１０１２ｓを参照）でもよい。

これにより、位置関係に対応したレイアウトでの映像が生成されるにも関わらず、音の出力の制御として、不適切な制御がされず、適切な制御がされ、音の出力の制御でも適切な制御がされ、確実に、適切な制御ができる。

こうして、テレビ１０１１により、操作者へと情報（映像、音など）が出力され、その出力の制御（映像のレイアウトの制御、音の出力の制御）がされるのに際し、位置関係に対応しない不適切な制御がされてしまうことが回避され、対応する適切な制御ができる。

（実施の形態１）
図１は、本発明に係る一実施の形態における、ジェスチャ認識によるテレビ操作システム１００１の構成を示した図である。

ジェスチャ認識によるテレビ操作システム１００１は、テレビ１０１１と、ジェスチャ認識センサ１０２１と（符号１０１１ｘにより指される２つの装置）から構成される。

ジェスチャ認識センサ１０２１は、通常、テレビ１０１１の近傍に設置される。

第１の操作者１０４１及び第２の操作者１０４２は、ジェスチャ認識範囲１０３１の範囲内で、所定のジェスチャ動作を行うことにより、テレビ１０１１の電源オンオフ、チャンネル切替などの操作を行うことができる。

また、テレビ１０１１は、画面分割機能を備えており、画面１０１２（画面Ａ）と画面１０１３（画面Ｂ）とを別々の用途、例えば、同時に２つの放送を視聴することなどに使用することが可能である。

図２は、本発明に係る一実施の形態における表示装置（映像生成装置）であるテレビ１０１１の構成を示したブロック図である。

放送処理部２０１０は、テレビ放送の受信、表示を行うブロックである。

放送受信部２０１１は、放送波２０５０の受信、復調、デスクランブルを行い、映像音声デコーダ部２０１２に入力する。

映像音声デコーダ部２０１２は、入力された放送ストリームに含まれる映像、音声データのデコード処理を行い、映像を、画面出力部２０２０へ出力し、音声を、音声出力部２０２１へ出力する。

外部情報取得部２０３０は、ジェスチャ認識センサ１０２１から入力されたデータを処理し、ジェスチャコマンドと、ユーザの位置情報とをそれぞれ出力するブロックである。

なお、ジェスチャ認識センサ１０２１は、図２に示されるように、例えば、テレビ１０１１の一部でもよい。

なお、ジェスチャ認識センサ１０２１には、さまざまな方式が存在するが、ここでは、２次元画像と、距離画像（ジェスチャ認識センサ１０２１からの、操作者に対する、奥行き方向（例えば、図３の方向Ｄｚ）の距離を表す画像）とを組み合わせて、ジェスチャ認識を行う方式を例にとって説明する。

操作者（操作者１０４：図１）は、テレビの電源オンオフや、チャンネル切替などの操作を実行したいときには、ジェスチャ認識範囲１０３１の中で、ジェスチャ認識センサ１０２１に向かって、各テレビ操作に対応する、所定のジェスチャ動作を行う。

ジェスチャ認識部２０３１は、ジェスチャ認識センサ１０２１から入力された、２次元画像と距離画像とにより、操作者の体の動きを検出する。そして、ジェスチャ認識部２０３１は、検出された動きを、パターン認識処理により、各テレビ操作に対応する、特定のジェスチャコマンドとして認識する。

一方、位置情報取得部２０３２（図２）は、ジェスチャ認識センサ１０２１から入力された２次元画像により、左右方向（図３の方向Ｄｘ）の位置情報を認識する。位置情報取得部２０３２は、これと共に、距離画像から、奥行き方向の位置情報を認識して、操作者が、テレビ１０１１の前の、どこに位置しているかを示す位置情報を出力する。

外部情報取得部２０３０が出力するジェスチャコマンドと、位置情報とは、制御部２０４０に入力される。

制御部２０４０のジェスチャ操作領域設定部２０４２は、外部情報取得部２０３０からジェスチャコマンドが入力されると、操作者の位置情報に基づいて、テレビ１０１１の画面（表示領域１０１１Ｐ）上に、ジェスチャ操作領域（画面１０１１Ｓ）を設定する。その際に、ジェスチャ操作領域設定部２０４２は、操作者情報保持部２０４３に、ジェスチャ操作領域と、そのジェスチャ操作領域の操作者の間の紐付け情報を保存する。設定されたジェスチャ操作領域は、画面レイアウト設定部２０４１に通知される。

画面レイアウト設定部２０４１は、例えばテレビ画面（表示領域１０１１Ｐ）を、２画面（例えば画面１０１２、１０１３）に分割するなどのレイアウト処理を行い、画面出力部２０２０で、テレビ放送等の映像と組み合わせて、組み合わせされた画像が、テレビ画面に表示される。つまり、例えば、表示領域１０１１Ｐのなかで、２つの画面１０１２、１０１３のそれぞれにおいて、その画面のチャンネルの、テレビ放送の映像が表示される。

図３は、本発明に係る実施の形態１における、テレビ１０１１の画面表示を説明するための図である。

まず、テレビ１０１１のジェスチャ認識範囲１０３１には、第１の操作者１０４１だけがいる場合を考える（左欄）。例えば、この場合、ジェスチャ操作領域設定部２０４２は、テレビ１０１１の画面全体にあたる画面Ａ １０１２を、第１の操作者１０４１のジェスチャ操作領域として割り当てる。このことで、第１の操作者１０４１のジェスチャ操作は、画面Ａ １０１２に対するジェスチャ操作として、テレビ１０１１によって処理されることになる。

ここで、第２の操作者１０４２が、ジェスチャ操作範囲（領域）１０３１に入ってきた場合（右欄）、位置情報取得部２０３２によって、第１の操作者１０４１と、第２の操作者１０４２とのそれぞれの位置情報が、ジェスチャ操作領域設定部２０４２に入力される。この場合、第２の操作者１０４２は、第１の操作者１０４１に対して、テレビ１０１１に向かって左側（方向Ｄｚに向いた際における左側、つまり、図３における、左から右への方向（方向Ｄｘ）の順序における、比較的早い順序の側）に位置し、テレビ１０１１との距離（方向Ｄｚでの距離）は、ほぼ同じである。

そして、上述された、入力される、２個の位置情報は、二人の位置をそれぞれ特定することにより、操作者１０４２の方が、より左側の順序であるなどの、それら２つの位置の間の相対的な位置関係を特定する。なお、位置関係が特定されることにより、その位置関係を有する、操作者（例えば操作者１０４２）の相対位置（より左側の位置）が特定されてもよい。

ジェスチャ操作領域設定部２０４２は、入力される、この、２個の位置情報に基づいて、テレビ１０１１の画面（表示領域１０１１Ｐ）を、画面Ａ １０１２（テレビ画面に向かって右側）と、画面Ｂ １０１３（テレビ画面に向かって左側）との２画面表示に設定する。そして、これと共に、二人の操作者１０４の、左右の位置関係（第２の操作者１０４２が、より左側である関係）に対応して、画面Ａ １０１２と第１の操作者１０４１との組、及び、画面Ｂ １０１３と操作者１０４２との組の、それぞれの組の紐付け情報を、操作者情報保持部２０４３に保存する。

図４は、本発明に係る実施の形態１におけるテレビ１０１１の画面表示を説明するための図である。

第１の操作者１０４１は、第２の操作者１０４２に対して、テレビ１０１１に向かって、左側に位置し、テレビ１０１１との距離はほぼ同じである（図４左欄）。この場合、図３で説明した処理を行うことにより、画面Ａ １０１２と画面Ｂ １０１３とが、それぞれ、第１の操作者１０４１と第２の操作者１０４２に割り当てられる。

ここで、第２の操作者１０４２が、テレビ１０１１に近づき、第１の操作者１０４１がテレビ１０１１から遠ざかった場合を考える（図４右欄）。なお、第１の操作者１０４１が遠ざかった距離は、比較的小さくてもよい。つまり、例えば、右欄での第１の操作者の位置は、左欄での位置と同じでもよい。位置情報取得部２０３２によって、位置情報を入力されたジェスチャ操作領域設定部２０４２は、テレビ１０１１から相対的に、距離が遠い位置にいる第１の操作者１０４１と紐付けられた画面Ａ １０１２の画面領域の大きさを、テレビ１０１１から相対的に距離が近い位置にいる第２の操作者１０４２と紐付けられた画面Ｂよりも、大きく設定する。なお、図示されるように、例えば、右欄では、操作者１０４１の画面１０１２の、方向Ｄｙの向きの長さ１０１２ｚＲが、操作者１０４２の画面１０１３の長さ１０１３ｚＲよりも長い一方で、左欄では、長さ１０１２ｚＬが、長さ１０１３ｚＬよりも長くなくてもよい。

図５は、本発明に係る実施の形態１における、テレビの画面表示を説明するための図である。

図５の左欄で、第１の操作者１０４１は、第２の操作者１０４２に対して、テレビ１０１１に向かって、左側に位置し、テレビ１０１１との距離は、ほぼ同じである。この場合、図３で説明した処理を行うことにより、画面Ａ １０１２と、画面Ｂ １０１３とが、それぞれ、第１の操作者１０４１と、第２の操作者１０４２とに割り当てられる。

ここで、第１の操作者１０４１と、第２の操作者１０４２との左右の位置関係が、入れ替わった場合（図５右欄）を考える。位置情報取得部２０３２によって、位置情報を入力されたジェスチャ操作領域設定部２０４２は、第１の操作者１０４１の画面Ａ １０１２と、第２の操作者１０４２の画面Ｂ １０１３との左右の位置を入れ替えて、ジェスチャ操作領域を、再設定する。つまり、例えば、図５の左から右への方向Ｄｘに関して、左欄では、操作者１０４１の順序の方が、より早い順序（より左側の順序）で、表示領域１０１１Ｐにおいても、操作者１０４１の画面１０１２の順序の方が、より早い順序でもよい。そして、例えば、右欄では、操作者１０４１の順序の方が、より遅い順序（より右側の順序）で、画面１０１２の順序も、より遅い順序でもよい。

以上のような、ジェスチャ操作領域の設定を行うことにより、テレビの前の操作者の人数と位置に応じて、テレビ画面上に、ジェスチャ操作領域を設定することが可能となり、操作者は、自然なジェスチャ操作で、テレビを操作することが可能となる。また、操作者の位置の移動にも追随した、ジェスチャ操作領域の設定を行うことも可能となる。

なお、こうして、実施の形態の映像生成装置においては、例えば、具体的には、映像生成部は、情報取得部が、使用者（例えば操作者１０４１）の位置情報により示される位置の変化を検出した場合に、表示領域（表示領域１０１１Ｐ）における、（変化が検出された当該使用者に）対応する操作領域（画面１０１２）を再設定して、当該表示領域（のレイアウト）を再設定してもよい。つまり、検出がされた後（例えば図４右欄）には、当該使用者（例えば操作者１０４１）の操作領域（画面１０１２）として、検出がされる前（左欄）の領域（画面１０１２Ｌ）とは異なる領域（画面１０１２Ｒ）が表示されてもよい。

なお、先述された情報取得部は、外部情報取得部２０３０だけでなく、ジェスチャ認識センサ１０２１などの他の構成を更に含んでもよい。

また、情報取得部は、例えば、操作者（操作者１０４１等）の手により持たれた、その操作者のジェスチャ操作の位置を検出するリモコン等の装置から、位置情報の取得をしてもよい。つまり、その装置により当該情報取得部へとアップロード（例えば無線通信）される、検出された位置を特定する位置情報が取得されてもよい。

また、例えば、情報取得部は、２つの画像の間の視差を特定することにより、特定する視差を生じさせる距離の位置を特定する視差情報を取得してもよい。なお、この視差情報は、例えば、上記の２つの画像でもよい。

また、情報取得部は、例えば、先述された、２次元画像と距離画像とのうちの、２次元画像のみを取得してもよい。そして、例えば、取得された２次元画像が解析されて、ジェスチャ操作をした操作者の距離が遠いほど小さい、取得される２次元画像における、操作者の一部又は全部の画像の大きさが特定されてもよい。そして、特定された大きさに対応する距離の位置が、そのジェスチャ操作の位置として特定されるなどしてもよい。

また、取得される位置情報は、（テレビ１０１１のある部屋等における）床面に設けられた、操作者１０４の（足などの）位置を検出するセンサから取得される、検出がされた位置を示す情報でもよい。

なお、こうして、例えば、操作者１０４１の位置情報と、操作者１０４２の位置情報との２個の位置情報などの複数の位置情報が取得され、取得された複数の位置情報により示される、複数のジェスチャ操作の位置にそれぞれ対応する、複数の画面１０１１Ｓ（画面１０１２、１０１３）が表示されてもよい。

そして、具体的には、例えば、上述のように、それら複数の位置情報は、互いに異なる複数の操作者１０４（操作者１０４１、１０４２）の位置の位置情報でもよい。そして、複数の操作者１０４にそれぞれ対応する、複数の画面１０１１Ｓが表示されてもよい。

他方で、例えば、取得される、それら複数の位置情報は、操作者の左手により行われたジェスチャ操作の位置の位置情報と、その操作者による、右手でのジェスチャ操作の位置の位置情報との２つの位置情報などの、一人の操作者が行った複数のジェスチャ操作での、複数の位置情報でもよい。そして、このような、一人の操作者による複数のジェスチャ操作にそれぞれに対応する、複数の画面１０１１Ｓが表示されてもよい。

（実施の形態２）
図６は、本発明に係る実施の形態２における、テレビの構成を示したブロック図である。

図６では、図１のブロック図に対して、視線情報検出部６００１が付加された構成となっている。視線情報検出部６００１は、例えば、カメラ装置と、画像認識技術となどによって実現される。視線情報検出部６００１は、テレビ１０１１の前の操作者が、テレビ画面上の、どの領域を視ているかを検出するブロックである。なお、例えば、操作者（第３の操作者７００１（図７）など）の視線（例えば視線１０１１Ｐｖ）の方向が検知されて、検知された方向での視線で視られる領域（例えば画面１０１３）が、その操作者の視ている領域として検出されてもよい。

図７は、本発明に係る実施の形態２における、テレビの画面表示を説明するための図である。

実施の形態１で説明した、ジェスチャ操作領域の設定処理により、第１の操作者１０４１と第２の操作者１０４２に対して、それぞれ画面Ａ １０１２と画面Ｂ １０１３が紐付けられている（左欄）。また、視線情報検出部６００１によって、第１の操作者１０４１と、第２の操作者１０４２とが、それぞれ画面Ａ １０１２と画面Ｂ １０１３とを視ていることも検出している。

ここで、図７右欄に示されるように、第３の操作者７００１が、ジェスチャ認識範囲１０３１に入り、しばらくジェスチャ操作を行わずに、画面Ｂ １０１３を視聴していた場合を考える。この場合に、視線情報検出部６００１は、第３の操作者７００１が、画面Ｂ １０１３を視聴していることを検出し、その情報（視聴情報）を、ジェスチャ操作領域設定部２０４２に通知する。ジェスチャ操作領域設定部２０４２は、この通知を受けると、第３の操作者７００１と、画面Ｂ １０１３とを紐付けて、操作者情報保持部２０４３に保存する。この紐付け処理によって、第３の操作者７００１が、テレビ１０１１に対して、操作を行った場合には、新たな画面分割を行わずに、行われた操作を、第３の操作者７００１に紐付けられた画面Ｂ １０１３に対するジェスチャ操作として、処理を行う。

以上のような、ジェスチャ操作領域の設定を行うことにより、１つの画面領域を、複数人で視聴している場合にも、適切な、ジェスチャ操作領域の設定を行うことが可能となる。

こうして、例えば、第３の操作者７００１により、表示領域１０１１Ｐにおける１以上の画面（画面１０１２、１０１３）のうちの何れかの画面（例えば画面１０１３）が視聴されるか、何れの画面も視聴されないかを示す視聴情報（視線情報）が検出されてもよい。なお、視聴情報は、上述のように、例えば、視線の方向が、予め定められた方向か否かを示すことにより、何れかの画面が視聴されるか、何れも視聴されないかを示してもよい。そして、何れかの画面が視聴されると示される場合には、新たな分割（上述）がされず、検出の前における、画面の個数（画面１０１２、１０１３の２個）と同じ個数（２個）の画面が、検出の後にも表示され、画面の個数が増加（変更）されなくてもよい。そして、何れも視聴されないと示される場合にのみ、新たな分割（上述）がされて、個数が増加（例えば２個から３個へ増加）されてもよい。

こうして、例えば、本映像生成装置においては、情報取得部は、使用者（第３の操作者７００１）により、表示領域の何れかの画面に対して、視聴がされるか、何れの画面も視聴されないかを示す視聴情報（視線情報）を検出して、映像生成部は、検出された視聴情報（視線情報）に基づき、何れも視聴されないことが示される場合にのみ、新たな分割（上述）をさせるなどして、表示領域に対する、操作領域の設定の個数を変更（増加）させ、何れかの画面が視聴されると示される場合には、新たな分割（上述）をさせないなどして、個数を変更（増加）させなくてもよい。

（実施の形態３）
図８は、本発明に係る実施の形態３におけるテレビの構成を示したブロック図である。

図８では、図１のブロック図に対して、リソース情報取得部８００１が付加された構成となっている。リソース情報取得部８００１は、映像音声デコーダ部２０１２の機能上、あるいは性能上の制約情報を取得し、制御部２０４０に通知する。例えば、画面の分割については、２画面までの分割が可能であることなどを通知する。つまり、例えば、分割が可能である画面の個数の最大値（上述の場合、２個）を特定する制約情報の通知がされてもよい。

ジェスチャ操作領域設定部２０４２は、ジェスチャ領域の設定を行う場合に、リソース情報取得部８００１からの情報を用いる。例えば、３人目の操作者が、テレビ画面に対して、ジェスチャ操作を行った場合でも、リソース情報取得部８００１からの情報で、２画面分割までしか対応できないことが示される場合には、新たな画面分割は行わない。

以上のような、ジェスチャ操作領域の設定を行うことにより、各々のテレビの、機能上、あるいは性能上の制約に応じた、ジェスチャ操作領域の設定を行うことが可能となる。

こうして、例えば、本映像生成装置は、ＣＰＵ及び映像デコーダの少なくとも一方ｎ利用状況に関する（利用状況を特定する）リソース情報（例えば、上記の制約情報）を取得するリソース情報取得部（リソース情報取得部８００１）を備え、映像生成部は、取得されたリソース情報に基づき、操作領域の設定される個数を（、取得されたリソース情報により示される最大値以下の個数に）変更し、当該最大値の個数より多い個数には変更しなくてもよい。

なお、制約情報により、先述のようにして、可能である、画面の個数の最大値が特定されるのと同様に、可能である、操作領域（画面１０１１Ｓ）の、表示領域（表示領域１０１１Ｐ）に対する表示サイズの最大値が特定され、当該最大値以下の表示サイズに、操作領域の、表示領域に対する表示サイズが変更されてもよい。

こうして、先述のように、複数の使用者（例えば操作者１０４１、１０４２）の位置の間の位置関係（先述）が、第１の位置関係（例えば図４左欄）である場合に、第１の位置関係に適する第１のレイアウトでの映像（図４左欄）が生成され、第２の位置関係（右欄）である場合に、第２の位置関係に適する第２のレイアウトでの映像（右欄）が生成されてもよい。

そして、先述された位置関係は、例えば、図４で示されるように、一方の操作者（例えば操作者１０４２）が、他方の操作者（例えば操作者１０４１）よりも、テレビ１０１１に、より近くないか（左欄）、より近いか（右欄）（についての関係）でもよい。つまり、位置関係は、例えば、ある方向（方向Ｄｚ）における順序（より近くない順序か（左欄）、より近い順序か（右欄））でもよい。

同様に、位置関係は、方向Ｄｘ（表示領域１０１１Ｐの左右方向、水平方向）についての順序（図５参照）などでもよい。

また、あるレイアウト（例えば図３左欄）での、画面１０１１Ｓの個数（１個）が、他のレイアウト（図３右欄）での個数（１個）と異なってもよい。

また、あるレイアウト（例えば図４左欄）での、ある画面（例えば画面１０１２）のサイズ（例えば長さ１０１２ｚＬ）が、他のレイアウト（右欄）での、その画面（画面１０１２）のサイズ（長さ１０１２ｚＲ）と異なってもよい。

また、あるレイアウト（例えば図４左欄）における、一方の画面（例えば画面１０１２）のサイズ（長さ１０１２ｚＬ）と、他方の画面（画面１０１３）のサイズ（長さ１０１３ｚＬ）との間の比が、他のレイアウト（右欄）での、当該一方の画面のサイズ（長さ１０１２ｚＲ）と、当該他方の画面のサイズ（長さ１０１３ｚＲ）との間の比と異なってもよい。

また、あるレイアウト（例えば図５左欄）での、ある画面（例えば画面１０１２）の位置（比較的左側の位置）が、他のレイアウト（右欄）での、その画面の位置（比較的左側ではなく、右側である位置）と異なってもよい。

なお、あるレイアウト（画面１０１１Ｓの個数が複数であるレイアウト（図３右欄など））では、予め定められた方向（方向Ｄｘ、水平方向、横方向）についての互いに異なる複数の位置（図３右欄の位置Ｐ１、Ｐ２）の、複数の画面１０１１Ｓ（画面１０１２、１０１３）に、表示領域１０１１Ｐが分割されてもよい。なお、方向Ｄｘ以外の、例えば縦方向（鉛直方向、方向Ｄｙ）などの他の方向での分割がされてもよい（図略）。

また、あるレイアウトでは、ピクチャ・イン・ピクチャで、複数の画面１０１１Ｓの表示がされてもよい。

なお、レイアウトは、例えば、これらの、画面１０１１Ｓの個数（１個、２個…、図３参照）、サイズ（図４参照）などの各要素のうちの１又は複数により特定される、１以上の画面１０１１Ｓでの形式でもよい。つまり、複数のレイアウトからレイアウトが選択され、設定ることにより、複数の形式のうちで、選択されたレイアウトの形式が選択され、設定されてもよい。

なお、外部情報取得部２０３０、制御部２０４０等を含み、当該制御部２０４０により、レイアウトを特定するレイアウト情報を生成して、生成するレイアウト情報により特定されるレイアウトでの映像を生成させる集積回路２０４０ｘ（図２）が構築されてもよい。

なお、先述された、壁への表示の例では、使用者（一方の使用者）の位置の前方の箇所に、当該使用者の画面が表示される。そして、この画面は、他の人（当該一方の使用者とは異なる他方の使用者）が有する、当該使用者（一方の使用者）の位置に対する相対位置（位置関係）が、比較的遠い第１の相対位置（第１の位置関係）である場合には、複数の画面の重なりが生じない、適切な画面である一方で、比較的近い第２の相対位置（第２の位置関係）である場合には、重なりが生じる、適切でない画面である。

このため、先述のように、壁への表示の例では、適切な表示が確実にできない。

これに対して、本映像生成装置（テレビ１０１１）においては、例えば、次の動作がされてもよい。

つまり、例えば、本映像生成装置は、家におけるリビングルームなどに設けられる、生成された映像を表示するテレビ（テレビ１０１１）などでもよい。

そして、予め定められた使用者は、そのリビングルームの中に居る、テレビ１０１１を視聴する、その家の複数の住人（例えば、図４の操作者１０４１、１０４２）のうちの一人（例えば操作者１０４１）などでもよい。そして、当該予め定められた使用者は、表示される、生成された映像を見ることにより、当該映像生成装置を使用してもよい。

そして、当該予め定められた使用者（操作者１０４１）によるジェスチャ操作がされる操作領域（画面１０１２）が表示されてもよい。

そして、当該使用者（操作者１０４１）以外の他の人（例えば操作者１０４２）が有する、当該使用者（操作者１０４１）の位置に対する相対位置（位置関係）が、第１の相対位置（図４左欄での、操作者１０４１より、テレビ１０１１に、より近くない相対位置（位置１０４２Ｌ））であるか（第１の位置関係）、第２の相対位置（右欄での、より近い相対位置（位置１０４２Ｒ））であるか（第２の位置関係）を特定する情報（例えば、操作者１０４１及び操作者１０４２の２つの位置情報：相対位置情報）が取得されてもよい（図１０のＳ１、位置情報取得部２０３２）。

ここで、当該第１の相対位置（左欄）は、例えば、他の人（操作者１０４２）の相対位置が、当該第１の相対位置である場合には、当該使用者（操作者１０４１）の操作領域（画面１０１２）として、第１の領域（例えば、図４左欄の画面１０１２Ｌ）が表示されるのが適切である相対位置でもよく、第２の相対位置（右欄）は、第２の領域（画面１０１２Ｒ）が表示されるのが適切である相対位置でもよい。

そして、取得される当該相対位置情報により示される相対位置が、第１の相対位置である場合にのみ（図４左欄、Ｓ２１：ＮＯ）、当該操作領域（画面１０１２）として第１の領域（左欄での画面１０１２Ｌ）が表示され（Ｓ２２ａ、生成部２０２０ｘ（図２））、第２の相対位置である場合には（右欄、Ｓ２１：ＹＥＳ）、第２の領域（画面１０１２Ｒ）が表示されてもよい（Ｓ２２ｂ）。

これにより、単に、他の人（操作者１０４２）が第１の相対位置（図４左欄の位置１０４２Ｌ参照）を有する場合に適切な表示がされるだけに止まらず、第２の相対位置（右欄の位置１０４２Ｒ）を有する場合にも、第２の領域が表示されて、適切な表示がされる。これにより、他の人の位置（他の人の位置との間の相対的な位置関係）に関わらず、適切な表示がされて、確実に、適切な標示ができる。

つまり、例えば、第１の位置関係（図４左欄、第１の相対位置）のときに、当該第１の位置関係に適する第１の領域（画面１０１２Ｌ）が表示される第１のレイアウトが用いられるのと共に、第２の位置関係（右欄、第２の相対位置）のときに、当該第２の位置関係に適する第２の領域（画面１０１２Ｒ）が表示される第２のレイアウトが用いられて、適切な表示が確実にできてもよい。

なお、上述された、取得される相対位置情報は、例えば、当該他の人の位置を示すことにより、その位置までの、当該予め定められた操作者の位置からの距離、方向などを特定して、それらの位置の間の、相対的な位置関係を特定する情報などでもよい。

なお、こうして、ある場合における、表示領域１０１１Ｐの映像（図４左欄）に、操作者１０４１の画面１０１２Ｌ（図４左欄）が含まれる形式（長さ１０１２ｚＬ、画面１０１２Ｌの性質、属性、面積、長さ、大きさ、位置など）は、他の場合（右欄）における、当該操作者１０４１の画面１０１２Ｒが含まれる形式（長さ１０１２ｚＲ等）と異なってもよい。

こうして、本映像生成装置においては、複数の構成を備えることにより、適切な表示が確実にできる一方で、先述の、壁の例などでは、これらの構成の全部又は一部を欠き、適切な表示が確実にできない。この点で、本映像生成装置は、壁の例などの、考えられる他の技術とは相違する。

しかも、壁への表示の例などにおいては、そもそも、先述のように、他の人の相対位置が、近い第２の相対位置であることが少なく、また、相対位置を、遠い第１の相対位置へと遠ざけることが容易である。このため、上記のような、適切な表示が確実にできない問題が、実際には発生し難く、着目され難い。このため、当該問題を解決する構成を作ろうとすることには想到し難い。

なお、例えば、上述された、本映像生成装置の動作のうちの一部（または全部）は、ある局面においてのみ行なわれ、他の局面では行われなくてもよい。

つまり、このように、実施形態の映像生成装置は、例えば、家庭のリビングルームなどに設けられて、表示され、その家庭の住人などにより見られる映像を生成する、テレビ（テレビ１０１１）、又は、セットトップボックス（セットトップボックス１０１１Ｔ）などでもよい。

そして、予め定められた使用者（一方の使用者（図４の操作者１０４１）など）以外の他の人（他方の使用者（操作者１０４２）など）の位置を特定する位置情報が取得されてもよい。

そして、取得された位置情報により特定される、他の人の位置が、第１の位置（位置１０４２Ｌ、第１の位置関係、第１の相対位置）である場合には（図４左欄）、次の通りでもよい。つまり、その場合には、当該予め定められた使用者（操作者１０４１）によるジェスチャ操作がされる操作領域（画面１０１２）として、他の人の位置が、第１の位置（位置１０４２Ｌ）である場合に適する第１の領域（小さい長さ１０１２ｚＬでの画面１０１２Ｌ）が表示される第１のレイアウトでの第１の映像（左欄の映像）が生成されてもよい。

そして、特定される、他の人の位置が、第２の位置（位置１０４２Ｒ、第２の位置関係、第２の相対位置）の場合には、次の通りでもよい。つまり、その場合には、当該使用者（操作者１０４１）の操作領域（画面１０１２）として、第２の位置の場合に適する第２の領域（大きい長さ１０１２ｚＲの画面１０１２Ｒ）が表示される第２のレイアウトでの第２の映像が生成されてもよい。

これにより、他の人の位置（位置関係、相対位置）が、第２の位置（第２の位置関係、第２の相対位置）である場合にも、当該使用者（操作者１０４１）の操作領域（画面１０１２）として、第２の領域（画面１０１２Ｒ）が表示されることにより、適切な表示がされ、他の人（操作者１０４２）の位置（位置関係、相対位置）に関わらずに、確実に、適切な表示ができる。

そして、上記された第１の位置（位置１０４２Ｌ）は、当該使用者（操作者１０４１）の位置よりも、テレビ１０１１に、より近くない第１の範囲（左欄）内の位置でもよい。そして、例えば、第２の位置（位置１０４２Ｒ）は、当該使用者（操作者１０４１）の位置よりも、テレビ１０１１に、より近い第２の範囲（右欄）内の位置でもよい。

このように、第１の位置（位置１０４２Ｌ）は、当該予め定められた使用者（操作者１０４１）の位置から特定される、第１の領域が適切である第１の範囲内（第２の範囲外）の位置でもよい。そして、例えば、第２の位置（位置１０４２Ｒ）は、当該使用者の位置から特定される、第２の領域が適切である第２の範囲内の位置でもよい。

そして、上述された第１の位置関係（左欄）は、他の人の位置が、第１の範囲内である位置関係でもよく、第１の相対位置は、第１の範囲内の位置でもよい。そして、第２の位置関係（右欄）は、第２の範囲内での関係でもよく、第２の相対位置は、第２の範囲内での位置でもよい。

つまり、位置関係（相対位置）とは、他の人の位置が、第１の範囲内か、第２の範囲内かを特定する情報でもよい。当該情報は、例えば、他の人（操作者１０４２）の位置情報と、予め定められた使用者（操作者１０４１）の位置情報との２つの位置情報を含んでもよいし、当該使用者（操作者１０４１）が移動しないケースなどにおいては、他の人（操作者１０４２）の位置情報のみから構成されてもよいし、その他の構成が採用されてもよい。

そして、レイアウトを設定するとは、例えば、設定されるレイアウトのデータを生成することでもよい。そして、生成されるデータは、当該使用者（操作者１０４１）の操作領域（画面１０１２）として、上述された第１、第２の領域（画面１０１２Ｌ、１０１２Ｒ）のうちから、他の人の位置（位置１０４２Ｌ、１０４２Ｒ）が属する範囲（第１または第２の範囲）に対応した方の適切な領域を特定するデータでもよい。つまり、生成されるデータは、このことにより、特定される当該適切な領域（画面１０１２Ｌまたは１０１２Ｒ）が表示される映像（第１または第２の映像）を生成させるデータでもよい。

これにより、テレビ１０１１における、予め定められた使用者の操作領域（画面１０１２）として、当該使用者（操作者１０４１）以外の他の人（操作者１０４２）の位置に関わらずに、確実に、適切な領域（画面１０１２Ｌまたは１０１２Ｒ）が表示されて、確実に、適切な表示ができる。

図１１は、操作者１０４の人数が３人以上であるケースを示す図である。

先述のように、操作者１０４の人数は、３人以上でもよい。また、表示領域１０１１Ｐに、３個以上の画面１０１１Ｓが表示されてもよい。

なお、図１１では、一例として、操作者１０４の人数が３人であり、画面１０１１Ｓの個数が、３個であるケースが例示される。

図１２は、表示の一例を示す図である。

例えば、ある局面などにおいて、次のような表示がされてもよい。

図１２の左欄では、操作者１０４１の位置と、操作者１０４２の位置との間の位置関係が、操作者１０４１の位置の方が、より左側である位置関係である。

そして、図１２の左欄では、操作者１０４１の画面１０１２が表示される箇所と、操作者１０４２の画面１０１３が表示される箇所との間の関係が、画面１０１２の箇所の方が、より左側である関係である。

一方で、図１２の右欄での、操作者１０４１、１０４２の位置の間の位置関係は、左欄での位置関係とは異なり、操作者１０４１の位置の方が、より右側である位置関係である。

そして、図１２の右欄での、画面１０１２、１０１３の箇所の間の関係は、画面１０１２の方が、より左側である関係で、左欄での関係と同じ関係に維持される。

つまり、画面１０１２、１０１３のレイアウト（先述）について、右欄でのレイアウトは、左欄でのレイアウトと同じレイアウトであり、同じレイアウトに維持される。

こうして、二人の操作者（操作者１０４１、１０４２）の間の位置関係が、異なる位置関係へと変化するにも関わらず、変化後（右欄）でのレイアウトが、変化前（左欄）でのレイアウトと同じであり、同じレイアウトに維持されてもよい。

なお、次の動作が行われてもよい。

つまり、図５、図１２の例などでは、テレビ画面を、領域Ａ（画面１０１２）と領域Ｂ（画面１０１３）とに２分割している状態が示される。

そして、ケース（１）としては、一方の領域Ａを見ている操作者が１名であり、他方の領域Ｂを見ている操作者も１名であるケースが考えられる。

一方で、ケース（２）としては、領域Ａを見ている操作者が２名であり、領域Ｂを見ている操作者が１名であるケースも考えられる。

そこで、上述のケース（１）では、操作者の位置が入れ替わった後に（図５の右欄）、図５で示される、画面を入れ替える動作がされてもよい。

そして、上述のケース（２）において、領域Ａを見ている２名の操作者のうち、１名の操作者が位置を変えた後には、このような、図５で示される、画面を入れ替える動作がされないで、図１２の動作がされ、画面の入れ替えがされなくてもよい。

つまり、例えば、次の動作が行われてもよい。

すなわち、上述のケース（２）のように、１つの領域（例えば領域Ａ）が、２名（２名以上）の操作者により見られることがある。

そして、１つの領域を見る、それら２名の操作者のうちの一方の操作者の位置のみが変わり、他方の操作者の位置が変わらない場合がある。

もしも、この場合にまで、画面の入れ替え（図５参照）がされれば、他の操作者の位置が変わらないのに、入れ替えがされて、不適切な表示がされてしまう。

そこで、上述の場合か否かが判定されてもよい。

つまり、１つの領域（例えば領域Ａ）が、２名の操作者により見られ（条件Ｃ１）、かつ、２名により見られた後に、それら２名の操作者のうちの一方の操作者の位置のみが変わった（条件Ｃ２）という場合であるか否かが判定されてもよい。

この判定は、例えば、先述された制御部２０４０により行われてもよい。

なお、上述の判定では、１つの領域（例えば領域Ａ）が２名（２名以上）の操作者により見られ、複数の操作者が１つの同じ領域を見ているか否かを示す情報に基づいて行われてもよい。

この情報は、例えば、テレビ１０１１に設けられた、図６の視線情報検出部６００１により取得された情報などでもよい。

なお、こうして、上述の判定に基づいて、画面の入れ替えがされるか否か（図５の動作がされるか、図１２の動作がされるか）が切り替えられてもよい。

なお、こうして、条件（切り替え条件）に基づいて、画面の入れ替えがされるか（図５）、されないか（図１２）が切り替えられてもよい。

図１３は、テレビ１０１１などを示す図である。

テレビ１０１１は、複数のスピーカを備えてもよい。

複数のスピーカは、例えば、図１３で示されるように、ステレオでの音の出力をするための２つのスピーカ１０１１ａ、１０１１ｂなどでもよい。

なお、図１３では、図示の便宜上、これら２つのスピーカ１０１１ａ、１０１１ｂについて、模式的な図示がされる。

左側のスピーカ１０１１ａは、図１３に示される方向Ｄｚの向きを向いて、テレビ１０１１の表示領域１０１１Ｐを見る際における、比較的左側の位置に設けられ、より左側の位置からの音４ａを出力する。

右側のスピーカ１０１１ｂは、比較的右側の位置に設けられ、より右側の位置からの音４ｂを出力する。

そして、図１３のケースでは、左側の位置１０４１Ｐの操作者１０４１と、右側の位置１０４２Ｐの操作者１０４２とがいる。

そして、左側の操作者１０４１の画面は、左側の画面１０１２であり、右側の操作者１０４２の画面は、右側の画面１０１３である。

そこで、左側の操作者１０４１により聞かれる、左側の画面１０１２の音は、左側の位置からの音４ａとして、左側のスピーカ１０１１ａにより出力されてもよい。

そして、右側の操作者１０４１により聞かれる、右側の画面１０１３の音は、右側の位置からの音４ｂとして、右側のスピーカ１０１１ｂにより出力されてもよい。

なお、このような動作をさせる制御が、制御部２０４０などにより行われてもよい。

こうして、それぞれの操作者の画面（画面１０１２、１０１３）の音が、２つのスピーカ１０１１ａ、１０１１ｂのうちの、その画面の操作者の位置に対応する方のスピーカ（スピーカ１０１１ａ、１０１１ｂ）から出力されてもよい。

こうして、それぞれの音が、２つのスピーカ１０１１ａ、１０１１ｂのうちで、その音の画面の操作者の位置に対応する、適切な方のスピーカから出力されてもよい。

なお、次の動作がされてもよい。

つまり、音が鳴っているように感じられる場所である、その音の音像が定位する定位位置がある。

そこで、左側の画面１０１２の音の定位位置を、より左側にさせると共に、右側の画面１０１３の音の定位位置を、より右側にさせる制御がされてもよい。

具体的には、音が出力される際における、左側のスピーカ１０１１ａでの出力と、右側のスピーカ１０１１ｂでの出力との間でのバランスがある。

つまり、左側の画面１０１２の音の出力における、このバランスは、左側のスピーカ１０１１ａでの出力が、比較的大きいバランスにされてもよい。

そして、右側の画面１０１３の音の出力でのバランスは、左側のスピーカ１０１１ａでの出力が、比較的小さいバランスにされてもよい。

こうして、音の出力に際して、２つのスピーカ１０１１ａ、１０１１ｂでの出力のバランスについて、その音を聞く操作者の位置に対応する適切なバランスでの出力がされてもよい。

例えば、こうして、操作者の位置に対応するバランスで出力がされることにより、定位位置が、そのバランスで出力がされる際の定位位置にされて、先述されたような、適切な定位位置での出力がされてもよい。

なお、次の動作が行われてもよい。

つまり、例えば、ある局面などでは、図４の右欄で示されるように、一方の操作者１０４１から、テレビ１０１１までの距離が比較的遠い一方で、他方の操作者１０４２の、テレビ１０１１までの距離が比較的近くてもよい。

そこで、遠い距離の操作者１０４１の画面１０１２の音としては、より大きな音（より大きなボリュームでの音、より大きな増幅幅の増幅での音）が出力されてもよい。

そして、より近い距離の操作者１０４２の画面１０１３の音としては、より小さな音が出力されてもよい。

このような動作をさせる制御が、制御部２０４０などによりされてもよい。

こうして、それぞれの画面（画面１０１２、１０１３）の音として、その画面の操作者の位置に対応する適切な大きさの音が出力されてもよい。

このようにして、画面の音が出力されるのに際して、その出力が制御されてもよい。

そして、それぞれの画面の音の出力に際して、複数の制御のうちで、その画面（例えば画面１０１２）の操作者（操作者１０４１）の位置に対応する適切な制御がされてもよい。

なお、図１２右欄での表示がされる場合などに、次の動作がされてもよい。

つまり、複数の画面（図１２の例では画面１０１２、１０１３）のうちから１の画面（画面１０１３）が特定されてもよい。

つまり、複数の操作者（操作者１０４１、１０４２）のうちから、１の操作者（操作者１０４２）が、位置１０４Ｐが検出された操作者１０４ｘと同じ操作者として特定されてもよい。

そして、先述のように、それぞれの操作者と、その操作者の画面との間の対応関係が、操作者情報保持部２０４３などにより記憶されてもよい。

そして、特定された操作者（操作者１０４２）に対応付けられた画面（画面１０１３）が特定されてもよい。

そして、検出された位置１０４Ｐでの、その位置１０４Ｐの操作者１０４ｘのジェスチャ操作が、特定された画面（画面１０１３）に対する操作と特定されてもよい。

これにより、ジェスチャ操作（位置１０４Ｐでのジェスチャ操作）が、適切な画面（画面１０１３）に対する操作と特定されて、適切な処理ができる。

具体的には、位置１０４Ｐが検出された操作者１０４ｘの外観の特徴が表れた画像が撮像されてもよい（図２のジェスチャ認識センサ１０２１を参照）。

そして、複数の操作者のうちのそれぞれの操作者の特徴を特定するデータが、制御部２０４０などにより記憶されてもよい。

そして、撮像された画像に表れた、位置１０４Ｐの操作者１０４ｘの特徴と同じ特徴の操作者が、上述された１の操作者として特定されてもよい。

なお、このような処理は、いわゆる画像認識処理でもよい。

なお、近年では、デジタルスチルカメラなどでも、画像認識処理がされることがある。本技術での画像認識処理は、例えば、単なる、デジタルスチルカメラでの処理が流用されただけのものなどでもよい。

また、位置１０４Ｐが検出された操作者１０４ｘの、その検出がされた時刻（図１２右欄の時刻）よりも前の時刻（左欄の時刻）での位置（位置１０４２Ｌ）が特定されてもよい。

そして、複数の操作者（操作者１０４１、１０４２）のうちで、特定された位置（１０４２Ｌ）に、上述された前の時刻（左欄の時刻）にいた操作者（操作者１０４２）が、先述の１の操作者として特定されてもよい。

なお、実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。また、複数の実施の形態で説明された複数の要素などの、互いに離れた箇所で説明された複数の要素を任意に組み合わせて実現される形態も本発明に含まれる。

また、本発明は、装置として実現できるだけでなく、当該装置を構成する処理手段をステップとする方法として実現できる。そして、本発明は、それらステップをコンピュータに実行させるプログラムとして実現できる。更に、本発明は、そのプログラムを記憶したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記憶媒体として実現できる。また、上記の機能が実装された集積回路としても実現できる。

テレビ画面を分割し、複数の操作者に割り当てる場合に、操作者の位置関係、画面との距離、操作者の位置入れ替わり等に応じて、分割画面の表示位置・サイズを適切に制御することが可能となり、しかも、複数の使用者の位置関係に関わらずに、確実に、適切な表示ができる。

１００１ テレビ操作システム
１０１１ テレビ
１０１２、１０１３ 画面
１０２１ ジェスチャ認識センサ
１０３１ ジェスチャ認識範囲
１０４１、１０４２ 操作者
２０１０ 放送処理部
２０１１ 放送受信部
２０１２ 映像音声デコーダ部
２０２０ 画面出力部
２０２０ｘ 生成部
２０２１ 音声出力部
２０３０ 外部情報取得部
２０３１ ジェスチャ認識部
２０３２ 位置情報取得部
２０４０ 制御部
２０４１ 画面レイアウト設定部
２０４２ ジェスチャ操作領域設定部
２０４３ 操作者情報保持部
２０５０ 放送波
２０６０ ジェスチャ操作
６００１ 視線情報検出部
７００１ 第３の操作者
８００１ リソース情報取得部
１０２１１ 位置情報

本発明は、映像を生成する映像生成装置、映像生成方法及び集積回路に関する。

テレビの一機能に、二画面表示機能、あるいはPicture-In-Picture機能と呼ばれる機能がある。これは、テレビ画面を、複数の領域に分割し、それぞれの領域を、異なる表示用途に用いることにより（例えば、異なる２つのチャンネルの放送を表示することにより）、利用者の利便性を向上させる機能である。ところが、このような複数画面機能を、リモコンで操作する場合に、いくつかの課題がある。複数の利用者が、それぞれ別の画面領域を視聴している場合、リモコンを手に持った人しか操作ができない。すなわち、各利用者が、画面を操作する都度、利用者の間での、リモコンの受け渡しが必要になる。また、画面に対する操作の前に、操作対象とする画面領域を指定する操作が必要となり、操作が煩雑になるという問題があった。

複数の利用者が、テレビの複数画面を、１つのリモコンで操作することによって生じる、これらの課題に対する従来技術に、特許文献１がある。特許文献１では、（１）リモコン信号の発信元を識別し、過去に既に受信したリモコン信号の発信元の第１のリモコンにより操作される第１の表示画面と、新規のリモコン信号の発信元の第２のリモコンにより操作される第２の表示画面とに、表示画面を分割し、（２）リモコン信号の受信順序に基づき、発信元のリモコンで操作される表示画面の位置及び大きさを決定する。このことにより、テレビの複数の表示画面を、複数個のリモコンで、同時に操作する技術が特許文献１で開示されている。

特開２００８−０１１０５０号公報

ここで、ジェスチャ操作により、テレビを操作するシステムを考える。ジェスチャ操作では、リモコン等の機器を必要としないため、複数利用者が、テレビの複数の画面を操作する場合に、同時に操作がなされることがあり得る。このため、各利用者のジェスチャ操作の意図を、適切にテレビ操作に反映するように制御する必要がある。このような、ジェスチャ操作がされるテレビでの技術は、複数操作者が、複数画面を同時に操作するという点では、特許文献１と同じ技術であるが、ジェスチャ操作の場合、利用者の利便性の観点で、さらなる課題が存在する。

すなわち、ジェスチャ操作においては、直観的な操作を実現する。このため、テレビ画面と操作者との位置関係が重要であり、複数の分割画面と、複数操作者の位置とを、適切に紐付け、制御することが必要となる。

本発明は、上記課題を解決するためになされたものであり、その目的は、テレビ画面を分割し、複数操作者に割り当てる場合に、操作者の位置関係、画面との距離、操作者の位置の入れ替わり等に応じて、分割画面の表示位置・サイズを適切に制御する映像生成装置を提供することである。

他方、発明者側においては、本出願に際して、その他の技術として、建物の壁面などの壁に、使用者により視聴される画面が表示されることも考えられる。そして、画面が表示される箇所が、壁における複数の箇所のうちの、使用者の位置の前方の箇所にされることが考えられる。そして、一方の使用者の画面が、当該一方の使用者の位置の前方の箇所に表示され、他方の使用者の画面が、当該他方の使用者の位置の前方の箇所に表示されることが考えられる。

しかし、テレビの前の複数の使用者の位置は、壁の前の複数の使用者の位置よりも、互いに、比較的近い位置であることが多い。また、使用者の位置が、テレビが設けられたリビングルーム内でのみ移動可能などで、それらの複数の位置を互いに離すことが困難であることが多い。

そして、このように、複数の使用者の位置が互いに近いにも関わらず、それぞれの使用者の位置の前方の箇所に、その使用者の画面が表示されると、一方の使用者の画面の一部等に、他方の使用者の画面が重なるなどして、不適切な箇所への、画面の表示がされてしまう。つまり、複数の使用者の位置の間の相対的な位置関係により、不適切な表示がされてしまい、確実に、適切な表示ができない。

そこで、本発明は、複数の使用者の相対的な位置関係に関わらずに、確実に、適切な表示ができる映像生成装置を提供することを他の目的とする。

上記課題を解決するために、本発明の映像生成装置は、ジェスチャ操作を行う複数の操作者（それぞれの操作者がジェスチャを行う複数の操作者）の位置を示す位置情報（それぞれの操作者のジェスチャ操作の位置を示す位置情報が含まれてなる複数の位置情報）を取得する情報取得部と、映像のレイアウトを、取得された複数の前記位置情報により示される複数の前記位置の間の相対的な位置関係に基づいて設定し、設定された、前記位置関係に対応した前記レイアウトによる前記映像（映像信号）を生成する映像生成部とを備える。なお、このように、ジェスチャ操作をする主体（操作者）が、複数存在する。

つまり、情報取得部は、複数の位置情報を取得する。そして、取得される複数の位置情報のうちのそれぞれは、その位置情報のジェスチャ操作がされた位置を示してもよい。そして、取得される複数の位置情報は、複数のジェスチャ操作に対応してもよい。そして、互いに異なる２つの位置情報は、互いに異なる２つのジェスチャ操作に対応してもよい。

なお、設定されるレイアウトは、例えば、予め定められた方向（図３右欄の方向Ｄｘ参照）についての、互いに異なる（方向Ｄｘにおける座標が互いに異なる）複数の位置（位置Ｐ１、Ｐ２）の、複数の操作領域（画面１０１２、１０１３）に、表示領域（表示領域１０１１Ｐ）が分割されるレイアウトなどである。つまり、例えば、当該方向（方向Ｄｘ）の座標軸での座標が互いに異なる（複数の位置の）複数の操作領域（画面１０１２、１０１３）に、分割がされてもよい。

テレビ画面を分割し、複数の操作者に割り当てる場合に、操作者の位置関係、画面との距離、操作者の位置の入れ替わり等に応じて、分割画面の表示位置・サイズを適切に制御することが可能となり、しかも、複数の使用者の位置関係に関わらずに、確実に、適切な表示ができる。

図１は、本発明に係る実施の形態１、実施の形態２及び、実施に形態３の、ジェスチャ認識によるテレビ操作システムの構成を示した図である。 図２は、本発明に係る実施の形態１におけるテレビの構成を示したブロック図である。 図３は、本発明に係る実施の形態１におけるテレビの画面表示を説明するための図である。 図４は、本発明に係る実施の形態１におけるテレビの画面表示を説明するための図である。 図５は、本発明に係る実施の形態１におけるテレビの画面表示を説明するための図である。 図６は、本発明に係る実施の形態２におけるテレビの構成を示したブロック図である。 図７は、本発明に係る実施の形態２におけるテレビの画面表示を説明するための図である。 図８は、本発明に係る実施の形態３におけるテレビの構成を示したブロック図である。 図９は、セットトップボックス及びテレビを示す図である。 図１０は、テレビの動作のフローチャートである。 図１１は、３人の操作者などを示す図である。 図１２は、テレビなどを示す図である。 図１３は、テレビなどを示す図である。

以下、本発明を実施するための形態について、図面を参照して、説明する。

実施形態の映像生成装置は、ジェスチャ操作を行う複数の操作者の位置を示す位置情報（位置情報１０２１１）を取得する情報取得部（外部情報取得部２０３０）と、映像（表示領域１０１１Ｐの映像）のレイアウトを、取得された複数の位置情報（それぞれの操作者のジェスチャ操作の位置を示す位置情報１０２１１が含まれてなる複数の位置情報１０２１１）により示される複数の位置の間の相対的な位置関係（例えば、図４右欄における、操作者１０４２の方が、操作者１０４１よりも、テレビ１０１１により近い位置関係）に基づいて設定し、設定された位置関係に対応したレイアウト（図４右欄でのレイアウト（長さ１０１２ｚＲ、１０１３ｚＲ））による映像（映像信号）を生成する映像生成部（生成部２０２０ｘ）とを備える映像生成装置（テレビ１０１１）である。

つまり、例えば、取得された複数の位置情報による位置関係が、第１の位置関係（例えば図４左欄）である場合に、第１の位置関係に適する第１のレイアウトでの第１の映像（左欄）が生成され、第２の位置関係（図４右欄）である場合に、第２の位置関係に適する第２のレイアウトでの第２の映像（右欄）が生成されてもよい。

これにより、複数の使用者の位置の間の位置関係に関わらずに、確実に、適切な表示ができる。

つまり、例えば、他方の時刻（図４右欄での時刻）における、第１の操作者（例えば、図４の操作者１０４１）の位置が、一方の時刻（左欄での時刻）での、第１の操作者の位置と同じである。そして、例えば、他方の時刻での、第２の操作者（操作者１０４２）の位置（位置１０４２Ｒ）が、一方の時刻での第２の操作者の位置（位置１０４２Ｌ）とは異なる位置である。そして、他方の時刻において、第１の操作者の位置は同じであるにも関わらず、第２の操作者の位置が異なることにより、一方の時刻での、第１の操作者の操作領域（画面１０１２Ｌ）とは異なる操作領域（画面１０１２Ｌのサイズとは異なるサイズの画面１０１２Ｒ）が設定される。これにより、他方の時刻において、第２の操作者の位置も同じで、二人の操作者の位置関係が同じである場合だけではなく、異なる場合にも、適切な操作領域（画面１０１２Ｒ）が設定される。これにより、位置関係に関わらず、適切に設定がされて、より確実に、適切な設定ができる。

なお、本映像生成装置（テレビ１０１１）において、例えば、映像生成部は、レイアウトを選択し、生成される映像のレイアウトとして、選択されたレイアウトを設定する制御部２０４０と、設定されたレイアウトによる映像（映像信号）を生成し、生成された映像を表示パネル２０２０ｐに出力して、表示させる画面出力部２０２０とを含んでもよい。

具体的には、例えば、情報取得部は、複数の使用者（例えば、図４における、操作者１０４１、操作者１０４２の２人の操作者）を撮像すると共に、撮像結果から、それぞれの使用者のジェスチャ操作の種類（例えば、電源オンオフ、チャンネル切替など）及び、当該使用者によるジェスチャ操作の位置の位置情報を取得し、生成される映像の表示を行う表示部（表示パネル２０２０ｐ）を備えてもよい。そして、当該映像生成装置は、生成された映像を、表示部により表示する表示装置（テレビ１０１１）であり、映像生成部は、ジェスチャ操作によって操作可能な操作領域（図１等の画面１０１１Ｓを参照）を、生成された映像が表示される、表示部における表示領域（表示領域１０１１Ｐ）に設定し、表示領域に対し、取得したジェスチャ操作の数に応じて、操作領域（画面１０１１Ｓ）を複数個（例えば、ジェスチャ操作の数と同じ個数だけ）、設定すると共に、それぞれの操作領域の、表示領域における表示位置及び、表示サイズを、その操作領域に対応する位置情報などの１以上の位置情報に基づいて変更してもよい。

なお、映像生成部は、それぞれの操作領域（例えば、図４の画面１０１２）が、複数のレイアウト（図４の左欄、右欄）のうちの、取得された複数の位置情報での位置関係（例えば右欄での位置関係）に対応するレイアウト（右欄のレイアウト）における、その操作領域（画面１０１２Ｒ）の表示位置（比較的左側の位置）及び、表示サイズ（長さ１０１２ｚＲ）で含まれる映像（図４右欄での映像）を生成してもよい。

なお、当該映像生成装置は、具体的には、例えば、図９に示されるように、当該映像生成装置の外部に設けられたテレビ（テレビ１０１１ｓｔ）の表示領域（表示領域１０１１ｓｔＡ）に、生成された映像を表示させるセットトップボックス（セットトップボックス１０１１Ｔ）などでもよい。

なお、映像生成部は、複数の位置の間の位置関係が第１の位置関係（例えば、図４左欄の位置関係）で、第１のレイアウトでの第１の映像が生成される場合には、予め定められた音（例えば、左の画面１０１２の音）が出力されるのを制御する際に、第１の位置関係の場合に適する第１の制御（例えば、右の画面１０１３の音の大きさと同じ大きさで出力をさせる制御）を行い、第２の位置関係で、第２のレイアウトでの第２の映像が生成される場合には（右欄）、第２の位置関係の場合に適する第２の制御（例えば、右の画面１０１３での大きさより大きな大きさで出力をさせる制御）を行ってもよい。

なお、第１の制御（例えば、図５の左欄での制御）は、予め定められた音（例えば、例えば、画面１０１２の音）を、２つのスピーカ（例えば、図１３のスピーカ１０１１ａ、１０１１ｂ）のうちの一方のスピーカ（左のスピーカ１０１１ａ）で出力させる制御（図５左欄での音１０１２ｓを参照）であり、第２の制御（図５右欄での制御）は、他方のスピーカ（右のスピーカ１０１１ｂ）で出力させる制御（右欄での音１０１２ｓを参照）でもよい。

これにより、位置関係に対応したレイアウトでの映像が生成されるにも関わらず、音の出力の制御として、不適切な制御がされず、適切な制御がされ、音の出力の制御でも適切な制御がされ、確実に、適切な制御ができる。

こうして、テレビ１０１１により、操作者へと情報（映像、音など）が出力され、その出力の制御（映像のレイアウトの制御、音の出力の制御）がされるのに際し、位置関係に対応しない不適切な制御がされてしまうことが回避され、対応する適切な制御ができる。

（実施の形態１）
図１は、本発明に係る一実施の形態における、ジェスチャ認識によるテレビ操作システム１００１の構成を示した図である。

ジェスチャ認識によるテレビ操作システム１００１は、テレビ１０１１と、ジェスチャ認識センサ１０２１と（符号１０１１ｘにより指される２つの装置）から構成される。

ジェスチャ認識センサ１０２１は、通常、テレビ１０１１の近傍に設置される。

第１の操作者１０４１及び第２の操作者１０４２は、ジェスチャ認識範囲１０３１の範囲内で、所定のジェスチャ動作を行うことにより、テレビ１０１１の電源オンオフ、チャンネル切替などの操作を行うことができる。

また、テレビ１０１１は、画面分割機能を備えており、画面１０１２（画面Ａ）と画面１０１３（画面Ｂ）とを別々の用途、例えば、同時に２つの放送を視聴することなどに使用することが可能である。

図２は、本発明に係る一実施の形態における表示装置（映像生成装置）であるテレビ１０１１の構成を示したブロック図である。

放送処理部２０１０は、テレビ放送の受信、表示を行うブロックである。

放送受信部２０１１は、放送波２０５０の受信、復調、デスクランブルを行い、映像音声デコーダ部２０１２に入力する。

映像音声デコーダ部２０１２は、入力された放送ストリームに含まれる映像、音声データのデコード処理を行い、映像を、画面出力部２０２０へ出力し、音声を、音声出力部２０２１へ出力する。

外部情報取得部２０３０は、ジェスチャ認識センサ１０２１から入力されたデータを処理し、ジェスチャコマンドと、ユーザの位置情報とをそれぞれ出力するブロックである。

なお、ジェスチャ認識センサ１０２１は、図２に示されるように、例えば、テレビ１０１１の一部でもよい。

なお、ジェスチャ認識センサ１０２１には、さまざまな方式が存在するが、ここでは、２次元画像と、距離画像（ジェスチャ認識センサ１０２１からの、操作者に対する、奥行き方向（例えば、図３の方向Ｄｚ）の距離を表す画像）とを組み合わせて、ジェスチャ認識を行う方式を例にとって説明する。

操作者（操作者１０４：図１）は、テレビの電源オンオフや、チャンネル切替などの操作を実行したいときには、ジェスチャ認識範囲１０３１の中で、ジェスチャ認識センサ１０２１に向かって、各テレビ操作に対応する、所定のジェスチャ動作を行う。

ジェスチャ認識部２０３１は、ジェスチャ認識センサ１０２１から入力された、２次元画像と距離画像とにより、操作者の体の動きを検出する。そして、ジェスチャ認識部２０３１は、検出された動きを、パターン認識処理により、各テレビ操作に対応する、特定のジェスチャコマンドとして認識する。

一方、位置情報取得部２０３２（図２）は、ジェスチャ認識センサ１０２１から入力された２次元画像により、左右方向（図３の方向Ｄｘ）の位置情報を認識する。位置情報取得部２０３２は、これと共に、距離画像から、奥行き方向の位置情報を認識して、操作者が、テレビ１０１１の前の、どこに位置しているかを示す位置情報を出力する。

外部情報取得部２０３０が出力するジェスチャコマンドと、位置情報とは、制御部２０４０に入力される。

制御部２０４０のジェスチャ操作領域設定部２０４２は、外部情報取得部２０３０からジェスチャコマンドが入力されると、操作者の位置情報に基づいて、テレビ１０１１の画面（表示領域１０１１Ｐ）上に、ジェスチャ操作領域（画面１０１１Ｓ）を設定する。その際に、ジェスチャ操作領域設定部２０４２は、操作者情報保持部２０４３に、ジェスチャ操作領域と、そのジェスチャ操作領域の操作者の間の紐付け情報を保存する。設定されたジェスチャ操作領域は、画面レイアウト設定部２０４１に通知される。

画面レイアウト設定部２０４１は、例えばテレビ画面（表示領域１０１１Ｐ）を、２画面（例えば画面１０１２、１０１３）に分割するなどのレイアウト処理を行い、画面出力部２０２０で、テレビ放送等の映像と組み合わせて、組み合わせされた画像が、テレビ画面に表示される。つまり、例えば、表示領域１０１１Ｐのなかで、２つの画面１０１２、１０１３のそれぞれにおいて、その画面のチャンネルの、テレビ放送の映像が表示される。

図３は、本発明に係る実施の形態１における、テレビ１０１１の画面表示を説明するための図である。

まず、テレビ１０１１のジェスチャ認識範囲１０３１には、第１の操作者１０４１だけがいる場合を考える（左欄）。例えば、この場合、ジェスチャ操作領域設定部２０４２は、テレビ１０１１の画面全体にあたる画面Ａ １０１２を、第１の操作者１０４１のジェスチャ操作領域として割り当てる。このことで、第１の操作者１０４１のジェスチャ操作は、画面Ａ １０１２に対するジェスチャ操作として、テレビ１０１１によって処理されることになる。

ここで、第２の操作者１０４２が、ジェスチャ操作範囲（領域）１０３１に入ってきた場合（右欄）、位置情報取得部２０３２によって、第１の操作者１０４１と、第２の操作者１０４２とのそれぞれの位置情報が、ジェスチャ操作領域設定部２０４２に入力される。この場合、第２の操作者１０４２は、第１の操作者１０４１に対して、テレビ１０１１に向かって左側（方向Ｄｚに向いた際における左側、つまり、図３における、左から右への方向（方向Ｄｘ）の順序における、比較的早い順序の側）に位置し、テレビ１０１１との距離（方向Ｄｚでの距離）は、ほぼ同じである。

そして、上述された、入力される、２個の位置情報は、二人の位置をそれぞれ特定することにより、操作者１０４２の方が、より左側の順序であるなどの、それら２つの位置の間の相対的な位置関係を特定する。なお、位置関係が特定されることにより、その位置関係を有する、操作者（例えば操作者１０４２）の相対位置（より左側の位置）が特定されてもよい。

ジェスチャ操作領域設定部２０４２は、入力される、この、２個の位置情報に基づいて、テレビ１０１１の画面（表示領域１０１１Ｐ）を、画面Ａ １０１２（テレビ画面に向かって右側）と、画面Ｂ １０１３（テレビ画面に向かって左側）との２画面表示に設定する。そして、これと共に、二人の操作者１０４の、左右の位置関係（第２の操作者１０４２が、より左側である関係）に対応して、画面Ａ １０１２と第１の操作者１０４１との組、及び、画面Ｂ １０１３と操作者１０４２との組の、それぞれの組の紐付け情報を、操作者情報保持部２０４３に保存する。

図４は、本発明に係る実施の形態１におけるテレビ１０１１の画面表示を説明するための図である。

第１の操作者１０４１は、第２の操作者１０４２に対して、テレビ１０１１に向かって、左側に位置し、テレビ１０１１との距離はほぼ同じである（図４左欄）。この場合、図３で説明した処理を行うことにより、画面Ａ １０１２と画面Ｂ １０１３とが、それぞれ、第１の操作者１０４１と第２の操作者１０４２に割り当てられる。

ここで、第２の操作者１０４２が、テレビ１０１１に近づき、第１の操作者１０４１がテレビ１０１１から遠ざかった場合を考える（図４右欄）。なお、第１の操作者１０４１が遠ざかった距離は、比較的小さくてもよい。つまり、例えば、右欄での第１の操作者の位置は、左欄での位置と同じでもよい。位置情報取得部２０３２によって、位置情報を入力されたジェスチャ操作領域設定部２０４２は、テレビ１０１１から相対的に、距離が遠い位置にいる第１の操作者１０４１と紐付けられた画面Ａ １０１２の画面領域の大きさを、テレビ１０１１から相対的に距離が近い位置にいる第２の操作者１０４２と紐付けられた画面Ｂよりも、大きく設定する。なお、図示されるように、例えば、右欄では、操作者１０４１の画面１０１２の、方向Ｄｙの向きの長さ１０１２ｚＲが、操作者１０４２の画面１０１３の長さ１０１３ｚＲよりも長い一方で、左欄では、長さ１０１２ｚＬが、長さ１０１３ｚＬよりも長くなくてもよい。

図５は、本発明に係る実施の形態１における、テレビの画面表示を説明するための図である。

図５の左欄で、第１の操作者１０４１は、第２の操作者１０４２に対して、テレビ１０１１に向かって、左側に位置し、テレビ１０１１との距離は、ほぼ同じである。この場合、図３で説明した処理を行うことにより、画面Ａ １０１２と、画面Ｂ １０１３とが、それぞれ、第１の操作者１０４１と、第２の操作者１０４２とに割り当てられる。

ここで、第１の操作者１０４１と、第２の操作者１０４２との左右の位置関係が、入れ替わった場合（図５右欄）を考える。位置情報取得部２０３２によって、位置情報を入力されたジェスチャ操作領域設定部２０４２は、第１の操作者１０４１の画面Ａ １０１２と、第２の操作者１０４２の画面Ｂ １０１３との左右の位置を入れ替えて、ジェスチャ操作領域を、再設定する。つまり、例えば、図５の左から右への方向Ｄｘに関して、左欄では、操作者１０４１の順序の方が、より早い順序（より左側の順序）で、表示領域１０１１Ｐにおいても、操作者１０４１の画面１０１２の順序の方が、より早い順序でもよい。そして、例えば、右欄では、操作者１０４１の順序の方が、より遅い順序（より右側の順序）で、画面１０１２の順序も、より遅い順序でもよい。

以上のような、ジェスチャ操作領域の設定を行うことにより、テレビの前の操作者の人数と位置に応じて、テレビ画面上に、ジェスチャ操作領域を設定することが可能となり、操作者は、自然なジェスチャ操作で、テレビを操作することが可能となる。また、操作者の位置の移動にも追随した、ジェスチャ操作領域の設定を行うことも可能となる。

なお、こうして、実施の形態の映像生成装置においては、例えば、具体的には、映像生成部は、情報取得部が、使用者（例えば操作者１０４１）の位置情報により示される位置の変化を検出した場合に、表示領域（表示領域１０１１Ｐ）における、（変化が検出された当該使用者に）対応する操作領域（画面１０１２）を再設定して、当該表示領域（のレイアウト）を再設定してもよい。つまり、検出がされた後（例えば図４右欄）には、当該使用者（例えば操作者１０４１）の操作領域（画面１０１２）として、検出がされる前（左欄）の領域（画面１０１２Ｌ）とは異なる領域（画面１０１２Ｒ）が表示されてもよい。

なお、先述された情報取得部は、外部情報取得部２０３０だけでなく、ジェスチャ認識センサ１０２１などの他の構成を更に含んでもよい。

また、情報取得部は、例えば、操作者（操作者１０４１等）の手により持たれた、その操作者のジェスチャ操作の位置を検出するリモコン等の装置から、位置情報の取得をしてもよい。つまり、その装置により当該情報取得部へとアップロード（例えば無線通信）される、検出された位置を特定する位置情報が取得されてもよい。

また、例えば、情報取得部は、２つの画像の間の視差を特定することにより、特定する視差を生じさせる距離の位置を特定する視差情報を取得してもよい。なお、この視差情報は、例えば、上記の２つの画像でもよい。

また、情報取得部は、例えば、先述された、２次元画像と距離画像とのうちの、２次元画像のみを取得してもよい。そして、例えば、取得された２次元画像が解析されて、ジェスチャ操作をした操作者の距離が遠いほど小さい、取得される２次元画像における、操作者の一部又は全部の画像の大きさが特定されてもよい。そして、特定された大きさに対応する距離の位置が、そのジェスチャ操作の位置として特定されるなどしてもよい。

また、取得される位置情報は、（テレビ１０１１のある部屋等における）床面に設けられた、操作者１０４の（足などの）位置を検出するセンサから取得される、検出がされた位置を示す情報でもよい。

なお、こうして、例えば、操作者１０４１の位置情報と、操作者１０４２の位置情報との２個の位置情報などの複数の位置情報が取得され、取得された複数の位置情報により示される、複数のジェスチャ操作の位置にそれぞれ対応する、複数の画面１０１１Ｓ（画面１０１２、１０１３）が表示されてもよい。

そして、具体的には、例えば、上述のように、それら複数の位置情報は、互いに異なる複数の操作者１０４（操作者１０４１、１０４２）の位置の位置情報でもよい。そして、複数の操作者１０４にそれぞれ対応する、複数の画面１０１１Ｓが表示されてもよい。

他方で、例えば、取得される、それら複数の位置情報は、操作者の左手により行われたジェスチャ操作の位置の位置情報と、その操作者による、右手でのジェスチャ操作の位置の位置情報との２つの位置情報などの、一人の操作者が行った複数のジェスチャ操作での、複数の位置情報でもよい。そして、このような、一人の操作者による複数のジェスチャ操作にそれぞれに対応する、複数の画面１０１１Ｓが表示されてもよい。

（実施の形態２）
図６は、本発明に係る実施の形態２における、テレビの構成を示したブロック図である。

図６では、図１のブロック図に対して、視線情報検出部６００１が付加された構成となっている。視線情報検出部６００１は、例えば、カメラ装置と、画像認識技術となどによって実現される。視線情報検出部６００１は、テレビ１０１１の前の操作者が、テレビ画面上の、どの領域を視ているかを検出するブロックである。なお、例えば、操作者（第３の操作者７００１（図７）など）の視線（例えば視線１０１１Ｐｖ）の方向が検知されて、検知された方向での視線で視られる領域（例えば画面１０１３）が、その操作者の視ている領域として検出されてもよい。

図７は、本発明に係る実施の形態２における、テレビの画面表示を説明するための図である。

実施の形態１で説明した、ジェスチャ操作領域の設定処理により、第１の操作者１０４１と第２の操作者１０４２に対して、それぞれ画面Ａ １０１２と画面Ｂ １０１３が紐付けられている（左欄）。また、視線情報検出部６００１によって、第１の操作者１０４１と、第２の操作者１０４２とが、それぞれ画面Ａ １０１２と画面Ｂ １０１３とを視ていることも検出している。

ここで、図７右欄に示されるように、第３の操作者７００１が、ジェスチャ認識範囲１０３１に入り、しばらくジェスチャ操作を行わずに、画面Ｂ １０１３を視聴していた場合を考える。この場合に、視線情報検出部６００１は、第３の操作者７００１が、画面Ｂ １０１３を視聴していることを検出し、その情報（視聴情報）を、ジェスチャ操作領域設定部２０４２に通知する。ジェスチャ操作領域設定部２０４２は、この通知を受けると、第３の操作者７００１と、画面Ｂ １０１３とを紐付けて、操作者情報保持部２０４３に保存する。この紐付け処理によって、第３の操作者７００１が、テレビ１０１１に対して、操作を行った場合には、新たな画面分割を行わずに、行われた操作を、第３の操作者７００１に紐付けられた画面Ｂ １０１３に対するジェスチャ操作として、処理を行う。

以上のような、ジェスチャ操作領域の設定を行うことにより、１つの画面領域を、複数人で視聴している場合にも、適切な、ジェスチャ操作領域の設定を行うことが可能となる。

こうして、例えば、第３の操作者７００１により、表示領域１０１１Ｐにおける１以上の画面（画面１０１２、１０１３）のうちの何れかの画面（例えば画面１０１３）が視聴されるか、何れの画面も視聴されないかを示す視聴情報（視線情報）が検出されてもよい。なお、視聴情報は、上述のように、例えば、視線の方向が、予め定められた方向か否かを示すことにより、何れかの画面が視聴されるか、何れも視聴されないかを示してもよい。そして、何れかの画面が視聴されると示される場合には、新たな分割（上述）がされず、検出の前における、画面の個数（画面１０１２、１０１３の２個）と同じ個数（２個）の画面が、検出の後にも表示され、画面の個数が増加（変更）されなくてもよい。そして、何れも視聴されないと示される場合にのみ、新たな分割（上述）がされて、個数が増加（例えば２個から３個へ増加）されてもよい。

こうして、例えば、本映像生成装置においては、情報取得部は、使用者（第３の操作者７００１）により、表示領域の何れかの画面に対して、視聴がされるか、何れの画面も視聴されないかを示す視聴情報（視線情報）を検出して、映像生成部は、検出された視聴情報（視線情報）に基づき、何れも視聴されないことが示される場合にのみ、新たな分割（上述）をさせるなどして、表示領域に対する、操作領域の設定の個数を変更（増加）させ、何れかの画面が視聴されると示される場合には、新たな分割（上述）をさせないなどして、個数を変更（増加）させなくてもよい。

（実施の形態３）
図８は、本発明に係る実施の形態３におけるテレビの構成を示したブロック図である。

図８では、図１のブロック図に対して、リソース情報取得部８００１が付加された構成となっている。リソース情報取得部８００１は、映像音声デコーダ部２０１２の機能上、あるいは性能上の制約情報を取得し、制御部２０４０に通知する。例えば、画面の分割については、２画面までの分割が可能であることなどを通知する。つまり、例えば、分割が可能である画面の個数の最大値（上述の場合、２個）を特定する制約情報の通知がされてもよい。

ジェスチャ操作領域設定部２０４２は、ジェスチャ領域の設定を行う場合に、リソース情報取得部８００１からの情報を用いる。例えば、３人目の操作者が、テレビ画面に対して、ジェスチャ操作を行った場合でも、リソース情報取得部８００１からの情報で、２画面分割までしか対応できないことが示される場合には、新たな画面分割は行わない。

以上のような、ジェスチャ操作領域の設定を行うことにより、各々のテレビの、機能上、あるいは性能上の制約に応じた、ジェスチャ操作領域の設定を行うことが可能となる。

こうして、例えば、本映像生成装置は、ＣＰＵ及び映像デコーダの少なくとも一方ｎ利用状況に関する（利用状況を特定する）リソース情報（例えば、上記の制約情報）を取得するリソース情報取得部（リソース情報取得部８００１）を備え、映像生成部は、取得されたリソース情報に基づき、操作領域の設定される個数を（例えば、取得されたリソース情報により示される最大値以下の個数に）変更し、当該最大値の個数より多い個数には変更しなくてもよい。

なお、制約情報により、先述のようにして、可能である、画面の個数の最大値が特定されるのと同様に、可能である、操作領域（画面１０１１Ｓ）の、表示領域（表示領域１０１１Ｐ）に対する表示サイズの最大値が特定され、当該最大値以下の表示サイズに、操作領域の、表示領域に対する表示サイズが変更されてもよい。

こうして、先述のように、複数の使用者（例えば操作者１０４１、１０４２）の位置の間の位置関係（先述）が、第１の位置関係（例えば図４左欄）である場合に、第１の位置関係に適する第１のレイアウトでの映像（図４左欄）が生成され、第２の位置関係（右欄）である場合に、第２の位置関係に適する第２のレイアウトでの映像（右欄）が生成されてもよい。

そして、先述された位置関係は、例えば、図４で示されるように、一方の操作者（例えば操作者１０４２）が、他方の操作者（例えば操作者１０４１）よりも、テレビ１０１１に、より近くないか（左欄）、より近いか（右欄）（についての関係）でもよい。つまり、位置関係は、例えば、ある方向（方向Ｄｚ）における順序（より近くない順序か（左欄）、より近い順序か（右欄））でもよい。

同様に、位置関係は、方向Ｄｘ（表示領域１０１１Ｐの左右方向、水平方向）についての順序（図５参照）などでもよい。

また、あるレイアウト（例えば図３左欄）での、画面１０１１Ｓの個数（１個）が、他のレイアウト（図３右欄）での個数（１個）と異なってもよい。

また、あるレイアウト（例えば図４左欄）での、ある画面（例えば画面１０１２）のサイズ（例えば長さ１０１２ｚＬ）が、他のレイアウト（右欄）での、その画面（画面１０１２）のサイズ（長さ１０１２ｚＲ）と異なってもよい。

また、あるレイアウト（例えば図４左欄）における、一方の画面（例えば画面１０１２）のサイズ（長さ１０１２ｚＬ）と、他方の画面（画面１０１３）のサイズ（長さ１０１３ｚＬ）との間の比が、他のレイアウト（右欄）での、当該一方の画面のサイズ（長さ１０１２ｚＲ）と、当該他方の画面のサイズ（長さ１０１３ｚＲ）との間の比と異なってもよい。

また、あるレイアウト（例えば図５左欄）での、ある画面（例えば画面１０１２）の位置（比較的左側の位置）が、他のレイアウト（右欄）での、その画面の位置（比較的左側ではなく、右側である位置）と異なってもよい。

なお、あるレイアウト（画面１０１１Ｓの個数が複数であるレイアウト（図３右欄など））では、予め定められた方向（方向Ｄｘ、水平方向、横方向）についての互いに異なる複数の位置（図３右欄の位置Ｐ１、Ｐ２）の、複数の画面１０１１Ｓ（画面１０１２、１０１３）に、表示領域１０１１Ｐが分割されてもよい。なお、方向Ｄｘ以外の、例えば縦方向（鉛直方向、方向Ｄｙ）などの他の方向での分割がされてもよい（図略）。

また、あるレイアウトでは、ピクチャ・イン・ピクチャで、複数の画面１０１１Ｓの表示がされてもよい。

なお、レイアウトは、例えば、これらの、画面１０１１Ｓの個数（１個、２個…、図３参照）、サイズ（図４参照）などの各要素のうちの１又は複数により特定される、１以上の画面１０１１Ｓでの形式でもよい。つまり、複数のレイアウトからレイアウトが選択され、設定ることにより、複数の形式のうちで、選択されたレイアウトの形式が選択され、設定されてもよい。

なお、外部情報取得部２０３０、制御部２０４０等を含み、当該制御部２０４０により、レイアウトを特定するレイアウト情報を生成して、生成するレイアウト情報により特定されるレイアウトでの映像を生成させる集積回路２０４０ｘ（図２）が構築されてもよい。

なお、先述された、壁への表示の例では、使用者（一方の使用者）の位置の前方の箇所に、当該使用者の画面が表示される。そして、この画面は、他の人（当該一方の使用者とは異なる他方の使用者）が有する、当該使用者（一方の使用者）の位置に対する相対位置（位置関係）が、比較的遠い第１の相対位置（第１の位置関係）である場合には、複数の画面の重なりが生じない、適切な画面である一方で、比較的近い第２の相対位置（第２の位置関係）である場合には、重なりが生じる、適切でない画面である。

このため、先述のように、壁への表示の例では、適切な表示が確実にできない。

これに対して、本映像生成装置（テレビ１０１１）においては、例えば、次の動作がされてもよい。

つまり、例えば、本映像生成装置は、家におけるリビングルームなどに設けられる、生成された映像を表示するテレビ（テレビ１０１１）などでもよい。

そして、予め定められた使用者は、そのリビングルームの中に居る、テレビ１０１１を視聴する、その家の複数の住人（例えば、図４の操作者１０４１、１０４２）のうちの一人（例えば操作者１０４１）などでもよい。そして、当該予め定められた使用者は、表示される、生成された映像を見ることにより、当該映像生成装置を使用してもよい。

そして、当該予め定められた使用者（操作者１０４１）によるジェスチャ操作がされる操作領域（画面１０１２）が表示されてもよい。

そして、当該使用者（操作者１０４１）以外の他の人（例えば操作者１０４２）が有する、当該使用者（操作者１０４１）の位置に対する相対位置（位置関係）が、第１の相対位置（図４左欄での、操作者１０４１より、テレビ１０１１に、より近くない相対位置（位置１０４２Ｌ））であるか（第１の位置関係）、第２の相対位置（右欄での、より近い相対位置（位置１０４２Ｒ））であるか（第２の位置関係）を特定する情報（例えば、操作者１０４１及び操作者１０４２の２つの位置情報：相対位置情報）が取得されてもよい（図１０のＳ１、位置情報取得部２０３２）。

ここで、当該第１の相対位置（左欄）は、例えば、他の人（操作者１０４２）の相対位置が、当該第１の相対位置である場合には、当該使用者（操作者１０４１）の操作領域（画面１０１２）として、第１の領域（例えば、図４左欄の画面１０１２Ｌ）が表示されるのが適切である相対位置でもよく、第２の相対位置（右欄）は、第２の領域（画面１０１２Ｒ）が表示されるのが適切である相対位置でもよい。

そして、取得される当該相対位置情報により示される相対位置が、第１の相対位置である場合にのみ（図４左欄、Ｓ２１：ＮＯ）、当該操作領域（画面１０１２）として第１の領域（左欄での画面１０１２Ｌ）が表示され（Ｓ２２ａ、生成部２０２０ｘ（図２））、第２の相対位置である場合には（右欄、Ｓ２１：ＹＥＳ）、第２の領域（画面１０１２Ｒ）が表示されてもよい（Ｓ２２ｂ）。

これにより、単に、他の人（操作者１０４２）が第１の相対位置（図４左欄の位置１０４２Ｌ参照）を有する場合に適切な表示がされるだけに止まらず、第２の相対位置（右欄の位置１０４２Ｒ）を有する場合にも、第２の領域が表示されて、適切な表示がされる。これにより、他の人の位置（他の人の位置との間の相対的な位置関係）に関わらず、適切な表示がされて、確実に、適切な標示ができる。

つまり、例えば、第１の位置関係（図４左欄、第１の相対位置）のときに、当該第１の位置関係に適する第１の領域（画面１０１２Ｌ）が表示される第１のレイアウトが用いられるのと共に、第２の位置関係（右欄、第２の相対位置）のときに、当該第２の位置関係に適する第２の領域（画面１０１２Ｒ）が表示される第２のレイアウトが用いられて、適切な表示が確実にできてもよい。

なお、上述された、取得される相対位置情報は、例えば、当該他の人の位置を示すことにより、その位置までの、当該予め定められた操作者の位置からの距離、方向などを特定して、それらの位置の間の、相対的な位置関係を特定する情報などでもよい。

なお、こうして、ある場合における、表示領域１０１１Ｐの映像（図４左欄）に、操作者１０４１の画面１０１２Ｌ（図４左欄）が含まれる形式（長さ１０１２ｚＬ、画面１０１２Ｌの性質、属性、面積、長さ、大きさ、位置など）は、他の場合（右欄）における、当該操作者１０４１の画面１０１２Ｒが含まれる形式（長さ１０１２ｚＲ等）と異なってもよい。

こうして、本映像生成装置においては、複数の構成を備えることにより、適切な表示が確実にできる一方で、先述の、壁の例などでは、これらの構成の全部又は一部を欠き、適切な表示が確実にできない。この点で、本映像生成装置は、壁の例などの、考えられる他の技術とは相違する。

しかも、壁への表示の例などにおいては、そもそも、先述のように、他の人の相対位置が、近い第２の相対位置であることが少なく、また、相対位置を、遠い第１の相対位置へと遠ざけることが容易である。このため、上記のような、適切な表示が確実にできない問題が、実際には発生し難く、着目され難い。このため、当該問題を解決する構成を作ろうとすることには想到し難い。

なお、例えば、上述された、本映像生成装置の動作のうちの一部（または全部）は、ある局面においてのみ行なわれ、他の局面では行われなくてもよい。

つまり、このように、実施形態の映像生成装置は、例えば、家庭のリビングルームなどに設けられて、表示され、その家庭の住人などにより見られる映像を生成する、テレビ（テレビ１０１１）、又は、セットトップボックス（セットトップボックス１０１１Ｔ）などでもよい。

そして、予め定められた使用者（一方の使用者（図４の操作者１０４１）など）以外の他の人（他方の使用者（操作者１０４２）など）の位置を特定する位置情報が取得されてもよい。

そして、取得された位置情報により特定される、他の人の位置が、第１の位置（位置１０４２Ｌ、第１の位置関係、第１の相対位置）である場合には（図４左欄）、次の通りでもよい。つまり、その場合には、当該予め定められた使用者（操作者１０４１）によるジェスチャ操作がされる操作領域（画面１０１２）として、他の人の位置が、第１の位置（位置１０４２Ｌ）である場合に適する第１の領域（小さい長さ１０１２ｚＬでの画面１０１２Ｌ）が表示される第１のレイアウトでの第１の映像（左欄の映像）が生成されてもよい。

そして、特定される、他の人の位置が、第２の位置（位置１０４２Ｒ、第２の位置関係、第２の相対位置）の場合には、次の通りでもよい。つまり、その場合には、当該使用者（操作者１０４１）の操作領域（画面１０１２）として、第２の位置の場合に適する第２の領域（大きい長さ１０１２ｚＲの画面１０１２Ｒ）が表示される第２のレイアウトでの第２の映像が生成されてもよい。

これにより、他の人の位置（位置関係、相対位置）が、第２の位置（第２の位置関係、第２の相対位置）である場合にも、当該使用者（操作者１０４１）の操作領域（画面１０１２）として、第２の領域（画面１０１２Ｒ）が表示されることにより、適切な表示がされ、他の人（操作者１０４２）の位置（位置関係、相対位置）に関わらずに、確実に、適切な表示ができる。

そして、上記された第１の位置（位置１０４２Ｌ）は、当該使用者（操作者１０４１）の位置よりも、テレビ１０１１に、より近くない第１の範囲（左欄）内の位置でもよい。そして、例えば、第２の位置（位置１０４２Ｒ）は、当該使用者（操作者１０４１）の位置よりも、テレビ１０１１に、より近い第２の範囲（右欄）内の位置でもよい。

このように、第１の位置（位置１０４２Ｌ）は、当該予め定められた使用者（操作者１０４１）の位置から特定される、第１の領域が適切である第１の範囲内（第２の範囲外）の位置でもよい。そして、例えば、第２の位置（位置１０４２Ｒ）は、当該使用者の位置から特定される、第２の領域が適切である第２の範囲内の位置でもよい。

そして、上述された第１の位置関係（左欄）は、他の人の位置が、第１の範囲内である位置関係でもよく、第１の相対位置は、第１の範囲内の位置でもよい。そして、第２の位置関係（右欄）は、第２の範囲内での関係でもよく、第２の相対位置は、第２の範囲内での位置でもよい。

つまり、位置関係（相対位置）とは、他の人の位置が、第１の範囲内か、第２の範囲内かを特定する情報でもよい。当該情報は、例えば、他の人（操作者１０４２）の位置情報と、予め定められた使用者（操作者１０４１）の位置情報との２つの位置情報を含んでもよいし、当該使用者（操作者１０４１）が移動しないケースなどにおいては、他の人（操作者１０４２）の位置情報のみから構成されてもよいし、その他の構成が採用されてもよい。

そして、レイアウトを設定するとは、例えば、設定されるレイアウトのデータを生成することでもよい。そして、生成されるデータは、当該使用者（操作者１０４１）の操作領域（画面１０１２）として、上述された第１、第２の領域（画面１０１２Ｌ、１０１２Ｒ）のうちから、他の人の位置（位置１０４２Ｌ、１０４２Ｒ）が属する範囲（第１または第２の範囲）に対応した方の適切な領域を特定するデータでもよい。つまり、生成されるデータは、このことにより、特定される当該適切な領域（画面１０１２Ｌまたは１０１２Ｒ）が表示される映像（第１または第２の映像）を生成させるデータでもよい。

これにより、テレビ１０１１における、予め定められた使用者の操作領域（画面１０１２）として、当該使用者（操作者１０４１）以外の他の人（操作者１０４２）の位置に関わらずに、確実に、適切な領域（画面１０１２Ｌまたは１０１２Ｒ）が表示されて、確実に、適切な表示ができる。

図１１は、操作者１０４の人数が３人以上であるケースを示す図である。

先述のように、操作者１０４の人数は、３人以上でもよい。また、表示領域１０１１Ｐに、３個以上の画面１０１１Ｓが表示されてもよい。

なお、図１１では、一例として、操作者１０４の人数が３人であり、画面１０１１Ｓの個数が、３個であるケースが例示される。

図１２は、表示の一例を示す図である。

例えば、ある局面などにおいて、次のような表示がされてもよい。

図１２の左欄では、操作者１０４１の位置と、操作者１０４２の位置との間の位置関係が、操作者１０４１の位置の方が、より左側である位置関係である。

そして、図１２の左欄では、操作者１０４１の画面１０１２が表示される箇所と、操作者１０４２の画面１０１３が表示される箇所との間の関係が、画面１０１２の箇所の方が、より左側である関係である。

一方で、図１２の右欄での、操作者１０４１、１０４２の位置の間の位置関係は、左欄での位置関係とは異なり、操作者１０４１の位置の方が、より右側である位置関係である。

そして、図１２の右欄での、画面１０１２、１０１３の箇所の間の関係は、画面１０１２の方が、より左側である関係で、左欄での関係と同じ関係に維持される。

つまり、画面１０１２、１０１３のレイアウト（先述）について、右欄でのレイアウトは、左欄でのレイアウトと同じレイアウトであり、同じレイアウトに維持される。

こうして、二人の操作者（操作者１０４１、１０４２）の間の位置関係が、異なる位置関係へと変化するにも関わらず、変化後（右欄）でのレイアウトが、変化前（左欄）でのレイアウトと同じであり、同じレイアウトに維持されてもよい。

なお、次の動作が行われてもよい。

つまり、図５、図１２の例などでは、テレビ画面を、領域Ａ（画面１０１２）と領域Ｂ（画面１０１３）とに２分割している状態が示される。

そして、ケース（１）としては、一方の領域Ａを見ている操作者が１名であり、他方の領域Ｂを見ている操作者も１名であるケースが考えられる。

一方で、ケース（２）としては、領域Ａを見ている操作者が２名であり、領域Ｂを見ている操作者が１名であるケースも考えられる。

そこで、上述のケース（１）では、操作者の位置が入れ替わった後に（図５の右欄）、図５で示される、画面を入れ替える動作がされてもよい。

そして、上述のケース（２）において、領域Ａを見ている２名の操作者のうち、１名の操作者が位置を変えた後には、このような、図５で示される、画面を入れ替える動作がされないで、図１２の動作がされ、画面の入れ替えがされなくてもよい。

つまり、例えば、次の動作が行われてもよい。

すなわち、上述のケース（２）のように、１つの領域（例えば領域Ａ）が、２名（２名以上）の操作者により見られることがある。

そして、１つの領域を見る、それら２名の操作者のうちの一方の操作者の位置のみが変わり、他方の操作者の位置が変わらない場合がある。

もしも、この場合にまで、画面の入れ替え（図５参照）がされれば、他の操作者の位置が変わらないのに、入れ替えがされて、不適切な表示がされてしまう。

そこで、上述の場合か否かが判定されてもよい。

つまり、１つの領域（例えば領域Ａ）が、２名の操作者により見られ（条件Ｃ１）、かつ、２名により見られた後に、それら２名の操作者のうちの一方の操作者の位置のみが変わった（条件Ｃ２）という場合であるか否かが判定されてもよい。

この判定は、例えば、先述された制御部２０４０により行われてもよい。

なお、上述の判定では、１つの領域（例えば領域Ａ）が２名（２名以上）の操作者により見られ、複数の操作者が１つの同じ領域を見ているか否かを示す情報に基づいて行われてもよい。

この情報は、例えば、テレビ１０１１に設けられた、図６の視線情報検出部６００１により取得された情報などでもよい。

なお、こうして、上述の判定に基づいて、画面の入れ替えがされるか否か（図５の動作がされるか、図１２の動作がされるか）が切り替えられてもよい。

なお、こうして、条件（切り替え条件）に基づいて、画面の入れ替えがされるか（図５）、されないか（図１２）が切り替えられてもよい。

図１３は、テレビ１０１１などを示す図である。

テレビ１０１１は、複数のスピーカを備えてもよい。

複数のスピーカは、例えば、図１３で示されるように、ステレオでの音の出力をするための２つのスピーカ１０１１ａ、１０１１ｂなどでもよい。

なお、図１３では、図示の便宜上、これら２つのスピーカ１０１１ａ、１０１１ｂについて、模式的な図示がされる。

左側のスピーカ１０１１ａは、図１３に示される方向Ｄｚの向きを向いて、テレビ１０１１の表示領域１０１１Ｐを見る際における、比較的左側の位置に設けられ、より左側の位置からの音４ａを出力する。

右側のスピーカ１０１１ｂは、比較的右側の位置に設けられ、より右側の位置からの音４ｂを出力する。

そして、図１３のケースでは、左側の位置１０４１Ｐの操作者１０４１と、右側の位置１０４２Ｐの操作者１０４２とがいる。

そして、左側の操作者１０４１の画面は、左側の画面１０１２であり、右側の操作者１０４２の画面は、右側の画面１０１３である。

そこで、左側の操作者１０４１により聞かれる、左側の画面１０１２の音は、左側の位置からの音４ａとして、左側のスピーカ１０１１ａにより出力されてもよい。

そして、右側の操作者１０４１により聞かれる、右側の画面１０１３の音は、右側の位置からの音４ｂとして、右側のスピーカ１０１１ｂにより出力されてもよい。

なお、このような動作をさせる制御が、制御部２０４０などにより行われてもよい。

こうして、それぞれの操作者の画面（画面１０１２、１０１３）の音が、２つのスピーカ１０１１ａ、１０１１ｂのうちの、その画面の操作者の位置に対応する方のスピーカ（スピーカ１０１１ａ、１０１１ｂ）から出力されてもよい。

こうして、それぞれの音が、２つのスピーカ１０１１ａ、１０１１ｂのうちで、その音の画面の操作者の位置に対応する、適切な方のスピーカから出力されてもよい。

なお、次の動作がされてもよい。

つまり、音が鳴っているように感じられる場所である、その音の音像が定位する定位位置がある。

そこで、左側の画面１０１２の音の定位位置を、より左側にさせると共に、右側の画面１０１３の音の定位位置を、より右側にさせる制御がされてもよい。

具体的には、音が出力される際における、左側のスピーカ１０１１ａでの出力と、右側のスピーカ１０１１ｂでの出力との間でのバランスがある。

つまり、左側の画面１０１２の音の出力における、このバランスは、左側のスピーカ１０１１ａでの出力が、比較的大きいバランスにされてもよい。

そして、右側の画面１０１３の音の出力でのバランスは、左側のスピーカ１０１１ａでの出力が、比較的小さいバランスにされてもよい。

こうして、音の出力に際して、２つのスピーカ１０１１ａ、１０１１ｂでの出力のバランスについて、その音を聞く操作者の位置に対応する適切なバランスでの出力がされてもよい。

例えば、こうして、操作者の位置に対応するバランスで出力がされることにより、定位位置が、そのバランスで出力がされる際の定位位置にされて、先述されたような、適切な定位位置での出力がされてもよい。

なお、次の動作が行われてもよい。

つまり、例えば、ある局面などでは、図４の右欄で示されるように、一方の操作者１０４１から、テレビ１０１１までの距離が比較的遠い一方で、他方の操作者１０４２の、テレビ１０１１までの距離が比較的近くてもよい。

そこで、遠い距離の操作者１０４１の画面１０１２の音としては、より大きな音（より大きなボリュームでの音、より大きな増幅幅の増幅での音）が出力されてもよい。

そして、より近い距離の操作者１０４２の画面１０１３の音としては、より小さな音が出力されてもよい。

このような動作をさせる制御が、制御部２０４０などによりされてもよい。

こうして、それぞれの画面（画面１０１２、１０１３）の音として、その画面の操作者の位置に対応する適切な大きさの音が出力されてもよい。

このようにして、画面の音が出力されるのに際して、その出力が制御されてもよい。

そして、それぞれの画面の音の出力に際して、複数の制御のうちで、その画面（例えば画面１０１２）の操作者（操作者１０４１）の位置に対応する適切な制御がされてもよい。

なお、図１２右欄での表示がされる場合などに、次の動作がされてもよい。

つまり、複数の画面（図１２の例では画面１０１２、１０１３）のうちから１の画面（画面１０１３）が特定されてもよい。

つまり、複数の操作者（操作者１０４１、１０４２）のうちから、１の操作者（操作者１０４２）が、位置１０４Ｐが検出された操作者１０４ｘと同じ操作者として特定されてもよい。

そして、先述のように、それぞれの操作者と、その操作者の画面との間の対応関係が、操作者情報保持部２０４３などにより記憶されてもよい。

そして、特定された操作者（操作者１０４２）に対応付けられた画面（画面１０１３）が特定されてもよい。

そして、検出された位置１０４Ｐでの、その位置１０４Ｐの操作者１０４ｘのジェスチャ操作が、特定された画面（画面１０１３）に対する操作と特定されてもよい。

これにより、ジェスチャ操作（位置１０４Ｐでのジェスチャ操作）が、適切な画面（画面１０１３）に対する操作と特定されて、適切な処理ができる。

具体的には、位置１０４Ｐが検出された操作者１０４ｘの外観の特徴が表れた画像が撮像されてもよい（図２のジェスチャ認識センサ１０２１を参照）。

そして、複数の操作者のうちのそれぞれの操作者の特徴を特定するデータが、制御部２０４０などにより記憶されてもよい。

そして、撮像された画像に表れた、位置１０４Ｐの操作者１０４ｘの特徴と同じ特徴の操作者が、上述された１の操作者として特定されてもよい。

なお、このような処理は、いわゆる画像認識処理でもよい。

なお、近年では、デジタルスチルカメラなどでも、画像認識処理がされることがある。本技術での画像認識処理は、例えば、単なる、デジタルスチルカメラでの処理が流用されただけのものなどでもよい。

また、位置１０４Ｐが検出された操作者１０４ｘの、その検出がされた時刻（図１２右欄の時刻）よりも前の時刻（左欄の時刻）での位置（位置１０４２Ｌ）が特定されてもよい。

そして、複数の操作者（操作者１０４１、１０４２）のうちで、特定された位置（１０４２Ｌ）に、上述された前の時刻（左欄の時刻）にいた操作者（操作者１０４２）が、先述の１の操作者として特定されてもよい。

なお、実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。また、複数の実施の形態で説明された複数の要素などの、互いに離れた箇所で説明された複数の要素を任意に組み合わせて実現される形態も本発明に含まれる。

また、本発明は、装置として実現できるだけでなく、当該装置を構成する処理手段をステップとする方法として実現できる。そして、本発明は、それらステップをコンピュータに実行させるプログラムとして実現できる。更に、本発明は、そのプログラムを記憶したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記憶媒体として実現できる。また、上記の機能が実装された集積回路としても実現できる。

テレビ画面を分割し、複数の操作者に割り当てる場合に、操作者の位置関係、画面との距離、操作者の位置入れ替わり等に応じて、分割画面の表示位置・サイズを適切に制御することが可能となり、しかも、複数の使用者の位置関係に関わらずに、確実に、適切な表示ができる。

１００１ テレビ操作システム
１０１１ テレビ
１０１２、１０１３ 画面
１０２１ ジェスチャ認識センサ
１０３１ ジェスチャ認識範囲
１０４１、１０４２ 操作者
２０１０ 放送処理部
２０１１ 放送受信部
２０１２ 映像音声デコーダ部
２０２０ 画面出力部
２０２０ｘ 生成部
２０２１ 音声出力部
２０３０ 外部情報取得部
２０３１ ジェスチャ認識部
２０３２ 位置情報取得部
２０４０ 制御部
２０４１ 画面レイアウト設定部
２０４２ ジェスチャ操作領域設定部
２０４３ 操作者情報保持部
２０５０ 放送波
２０６０ ジェスチャ操作
６００１ 視線情報検出部
７００１ 第３の操作者
８００１ リソース情報取得部
１０２１１ 位置情報

Claims (13)

1. ジェスチャ操作を行う複数の操作者の位置を示す位置情報を取得する情報取得部と、
   映像のレイアウトを、取得された複数の前記位置情報により示される複数の前記位置の間の相対的な位置関係に基づいて設定し、設定された、前記位置関係に対応した前記レイアウトによる前記映像を生成する映像生成部とを備える映像生成装置。
2. 前記情報取得部は、複数の使用者を撮像すると共に、撮像結果から、それぞれの前記使用者のジェスチャ操作及び、当該使用者による前記ジェスチャ操作の位置の前記位置情報を取得し、
   生成された前記映像の表示を行う表示部を備え、
   当該映像生成装置は、生成された前記映像を、前記表示部により表示する表示装置であり、
   前記映像生成部は、
   前記ジェスチャ操作によって操作可能な操作領域を、生成された前記映像が表示される、前記表示部における表示領域に設定し、
   前記表示領域に対し、取得した前記ジェスチャ操作の数に応じて、前記操作領域を複数個、設定すると共に、当該操作領域の、前記表示領域に対する表示位置及び、表示サイズを、前記位置情報に基づいて変更する請求項１記載の映像生成装置。
3. 前記映像生成部は、前記情報取得部が、前記使用者の前記位置情報の変化を検出した場合に、当該位置情報の変化が検出された当該使用者によりジェスチャ操作がされる前記操作領域の表示サイズを再設定する請求項２記載の映像生成装置。
4. 前記情報取得部は、前記使用者の、前記表示領域に対する視線情報を検出し、
   前記映像生成部は、検出された前記視線情報に基づき、前記表示領域に対する前記操作領域の設定個数を変更する請求項２記載の映像生成装置。
5. 前記映像生成装置は、ＣＰＵ（Central Processing Unit）及び映像デコーダの利用状況に関するリソース情報を取得するリソース情報取得部を備え、
   前記映像生成部は、取得された前記リソース情報に基づき、前記操作領域の、前記表示領域に対する表示サイズ、又は、設定個数を変更する請求項２記載の映像生成装置。
6. 前記操作領域の個数が複数個である場合に設定される前記レイアウトは、予め定められた方向についての、互いに異なる複数の位置の、複数の前記操作領域に、前記表示領域が分割されるレイアウトである請求項２記載の映像生成装置。
7. 当該映像生成装置は、当該映像生成装置の外部に設けられたテレビの表示領域に、生成される前記映像を表示させるセットトップボックスである請求項２記載の映像生成装置。
8. 前記映像生成部は、それぞれの前記操作領域が、複数の前記レイアウトのうちの、取得された複数の前記位置情報での前記位置関係に対応する前記レイアウトにおける、その操作領域の前記表示位置及び、前記表示サイズで含まれる前記映像を生成する請求項２記載の映像生成装置。
9. 生成される前記映像は、予め定められた条件が満たされる場合にのみ、前記位置関係に対応する前記レイアウトでの映像であり、満たされない場合には、他のレイアウトでの映像であり、
   前記他のレイアウトでの前記映像は、当該映像が生成されるよりも前に生成された映像でのレイアウトと同じレイアウトでの映像である請求項１記載の映像生成装置。
10. 前記映像生成部は、
    複数の前記位置の前記位置関係が第１の位置関係で、第１のレイアウトでの第１の前記映像が生成される場合には、予め定められた音が出力されるのを制御する際に、第１の位置関係の場合に適する第１の制御を行い、
    第２の位置関係で、第２のレイアウトでの第２の前記映像が生成される場合には、第２の位置関係の場合に適する第２の制御を行う請求項１記載の映像生成装置。
11. 前記第１の制御は、前記予め定められた音を、２つのスピーカのうちの一方の前記スピーカで出力させる制御であり、
    前記第２の制御は、他方の前記スピーカで出力させる制御である請求項１０記載の映像生成装置。
12. ジェスチャ操作を行う複数の操作者の位置を示す位置情報を取得する情報取得工程と、
    映像のレイアウトを、取得された複数の前記位置情報により示される複数の前記位置の間の相対的な位置関係に基づいて設定し、設定された、前記位置関係に対応した前記レイアウトによる前記映像を生成する映像生成工程とを含む映像生成方法。
13. ジェスチャ操作を行う複数の操作者の位置を示す位置情報を取得する情報取得部と、
    映像のレイアウトを、取得された複数の前記位置情報により示される複数の前記位置の間の相対的な位置関係に基づいて設定し、設定する当該レイアウトを特定するレイアウト情報を出力する制御部とを備える集積回路。

Images