JP5168834B2 - 視聴覚システム - Google Patents

視聴覚システム Download PDF

Info

Publication number
JP5168834B2
JP5168834B2 JP2006193417A JP2006193417A JP5168834B2 JP 5168834 B2 JP5168834 B2 JP 5168834B2 JP 2006193417 A JP2006193417 A JP 2006193417A JP 2006193417 A JP2006193417 A JP 2006193417A JP 5168834 B2 JP5168834 B2 JP 5168834B2
Authority
JP
Japan
Prior art keywords
image
projector
unit
floor
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006193417A
Other languages
English (en)
Other versions
JP2007108677A (ja
Inventor
哲二郎 近藤
哲志 小久保
靖 立平
健司 田中
仁志 向井
啓文 日比
和政 田中
哲彦 有光
淳一 嶋
継彦 芳賀
宣之 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006193417A priority Critical patent/JP5168834B2/ja
Publication of JP2007108677A publication Critical patent/JP2007108677A/ja
Application granted granted Critical
Publication of JP5168834B2 publication Critical patent/JP5168834B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Tables And Desks Characterized By Structural Shape (AREA)

Description

この発明は、例えば映像コンテンツに係る画像を室内の所定位置に表示するための視聴覚システムに関する。
プロジェクタとして、床上もしくは机や台の上に置いて使用され、スクリーンあるいは壁などに映像を投影するものがある。この場合、プロジェクタの使用時には当該プロジェクタを投影場所に相対する位置に持ち運び、また使用後には当該プロジェクタを片づけることが必要となる。
また、プロジェクタとして、天井に吊り下げて使用され、スクリーンあるいは壁などに映像を投影するものがある。このようなつり下げ型のプロジェクタは比較的大型のものが多い。この場合、常に天井にプロジェクタが吊り下げられているので、室内の景観を妨げるという問題がある。
そこで、例えば特許文献1には、未使用時には家具に収納しておき、使用時には当該家具から取り出して使用するプロジェクタが提案されている。また例えば、特許文献2には、未使用時には天井に収納しておき、使用時には当該天井から取り出して使用するプロジェクタが提案されている。
特開2004−260564号公報 特開2005−138998号広報
上述したように、未使用時にプロジェクタを家具あるいは天井に収納しておき、使用時には当該プロジェクタを家具あるいは天井から取り出して使用する構成とすることで、プロジェクタを使用する際あるいは使用後に片付ける際のユーザの手間を軽減でき、プロジェクタによって室内の景観が妨げられるということもなくなる。
しかしこの場合、プロジェクタの設置位置が固定されるものであるため、当該プロジェクタによる映像の投影位置が固定されるという問題点がある。すなわちこの場合、複数位置のスクリーンあるいは壁に映像を投影するためには、複数台のプロジェクタを用意することが必要となる。
この発明の目的は、室内の雰囲気を乱さずに、しかも複数台のプロジェクタを用意することなくユーザが室内の複数位置で映像を鑑賞可能にすることにある。
この発明の概念は、
少なくとも天井と天井裏との間の空間、床と床下との間の空間、あるいは内壁と外壁との間の空間を有する部屋と、
上記空間に配置されるプロジェクタとを備え、
上記部屋は、
上記プロジェクタが配置される空間に対応した、少なくとも上記天井、上記床あるいは上記内壁に、上記プロジェクタから出射される映像光を通すための投影用窓を有し、
上記プロジェクタは、
上記空間内を移動するための移動機構と、
上記空間内の所定位置に移動した状態で上記部屋内の所定位置に映像光を、上記投影用窓を介して照射する投影機構とを有する
視聴覚システムにある。
この発明において、プロジェクタは、天井の裏側、床の裏側、あるいは壁の裏側に配置されて使用されるものである。例えば、例えば天井と天井裏との間の空間、床と床下との間の空間、あるいは内壁と外壁との間の空間を有する部屋の、当該空間に配置されて使用される。そして、このプロジェクタは移動機構により裏側(空間内)の複数位置に選択的に移動可能とされている。そして、このプロジェクタの投影機構により、所定位置に移動した状態で、室内の所定位置、例えばスクリーン、壁、家具などに映像光が照射される。このように、プロジェクタは室内に配置されるものでなく、室内の雰囲気を乱すことがない。また、プロジェクタは裏側(空間内)の複数位置に選択的に移動して室内に映像光を照射できるものであり、複数台のプロジェクタを用意することなく、ユーザは室内の複数位置で映像を鑑賞できる。
例えば、プロジェクタが配置される空間に対応した、少なくとも天井、床あるいは内壁に、プロジェクタから出射される映像光を通すための投影用窓が設けられている。この場合、プロジェクタの使用時にも、このプロジェクタを室内に取り出すものではなく、使用時における室内の雰囲気を乱すこともない。
例えば、プロジェクタは、少なくとも投影機構で映像光を得るために使用される画像データおよび移動機構を制御するためのコントロール信号を受信する無線受信部とを備えている。この場合、プロジェクタと映像機器との間、およびプロジェクタとリモートコマンダとの間が無線で接続されるので、上述したようにプロジェクタが空間内を移動する際にケーブルが邪魔になるなどということはない。
また例えば、プロジェクタは、投影機構から出射される映像光を所定方向に反射するミラーと、このミラーの位置および角度のいずれかまたは両方を変化させるミラー可動機構とを備えている。これにより、投影機構から出射される映像光が向かう室内位置を調整でき、映像表示位置の選択の自由度が高まる。
また例えば、部屋は垂直方向に連続した第1の部屋および第2の部屋からなり、プロジェクタはこれら第1、第2の部屋の間の空間に配置され、投影機構により第1の部屋内の所定位置あるいは第2の部屋内の所定位置に選択的に映像光を照射するようにされる。
また例えば、部屋は水平方向に連続した複数の部屋からなり、プロジェクタは、複数の部屋の天井と天井裏との間の空間、または複数の部屋の床と床下との間の空間に配置され、投影機構により複数の部屋の所定位置に選択的に映像光を照射するようにされる。この場合、1台のプロジェクタで、複数の部屋に映像を投影することが可能となる。
この発明によれば、プロジェクタは、例えば天井と天井裏との間の空間等に配置されて使用され、当該空間内を複数の位置に選択的に移動し、所定位置に移動した状態で室内の所定位置に映像光を照射するものであり、室内の雰囲気を乱さずに、しかも複数台のプロジェクタを用意することなくユーザが室内の複数位置で映像を鑑賞できる。
(1)視聴覚システム
図1は、視聴覚システムの構成を示している。この視聴覚システムは、一の面の壁が所定の間隔をもって配された内壁2および外壁3とからなる視聴覚室(部屋)1と、内壁2および外壁3との間の空間に配置され、内壁2に少なくとも映像表示機能または音声出力機能を発揮させるためのプロジェクタ10等の機材とを備えている。
視聴覚室1は、一般家庭に形成された視聴覚室であり、通常の一般家庭の1室を形成する4面の壁のうちの一の面に内壁2が設けられ、この一の面の壁が内壁2と外壁3とからなる二重構造とされたものである。この視聴覚室1は、残る3面の壁および外壁3が、通常の家屋における壁と同一に、例えば建物構造体による壁面に化粧板を配置する等により形成される。また天井、床にあっても、通常の家屋における天井、床と同一に形成される。
内壁2は、図2に示すように、天井、床との間に、一定のピッチにより垂直フレーム4を設置した後、さらにこの垂直フレーム4,4の間に水平フレーム5を水平に配置して骨組みが形成され、この骨組みに、図1に示すように板状ユニット6A〜6Dが配置されて形成される。ここで、板状ユニット6A〜6Dは板状部材を構成している。
図3を参照して、内壁2のフレーム構成の詳細についてさらに説明する。この図3は、一対の垂直フレーム4,4に対応したフレーム部分24のみを示している。図3の上側は、フレーム部分24を図中正面から見たときの図を示し、図3の下側は、フレーム部分24を図中上側から見たときの図を示している。すなわち、フレーム部分24は、板状ユニットを固定する面の断面がコの字型の形状をしている。
フレーム部分24は、図3の上側で示すように、6本のフレーム51A〜51Fで構成されている。ここで、フレーム51E,51Fはそれぞれ図2に示す垂直フレーム4を構成しており、フレーム51A〜51Dはそれぞれ図2に示す水平フレーム5を構成している。これらフレーム51A〜51Fは、それぞれ、例えば、金属などの素材から形成されている。
また、フレーム51A〜51Fのそれぞれには、所定の位置に長穴(または丸穴)が設けられており、それらの長穴は、フレーム51A〜51Fのそれぞれを等分割する所定の位置にそれぞれ設けられている。例えば、フレーム51(フレーム51A〜51F)の一部を拡大して見た場合、フレーム51には、図4の例で示すように、短手方向に長い長穴53−1〜53−4が、それぞれ、所定の間隔をもって穿設されている。
すなわち、フレーム部分24においては、図3に示すように、フレーム51A〜51Fのうち、水平フレーム5を構成するフレーム51A〜51Dのそれぞれには、縦長の長穴が設けられ、垂直フレーム4を構成するフレーム51E,51Fのそれぞれには、横長の長穴が設けられている。
フレーム51E,51Fは、L字アングル材として形成され、直線型となるフレーム51A〜51Dのそれぞれと、例えば、溶接により固定される。例えば、フレーム部分24においては、図5に示すように、直線型のフレーム(水平フレーム)51AおよびL字型のフレーム(垂直フレーム)51Eが溶接により固定されることにより、図3の下側で示すように、その断面がコの字型の形状となる。
すなわち、詳細は後述するが、フレーム部分24は、その断面がコの字型の形状をしているので、図中正面側からだけでなく、左右の側面側からも、フレーム51E,51Fのそれぞれに設けられた長穴を利用することができる。
次に、上述したフレーム部分24に対する板状ユニットの取り付けの詳細について説明する。なお、以下の説明においては、フレーム51A〜51Fを個々に区別する必要がない場合、単に、フレーム51と称する。
図6および図7を参照して、板状ユニットを、フレーム部分24に取り付ける際に、加重方向に支える加重方向支え25について説明する。図6は、加重方向支え25をフレーム51に固定するときの斜視図を示し、図7は、図6を上側から見た場合の図を示している。
加重方向支え25は、例えば、金属などの素材から形成される。加重方向支え25は、図6に示すように、L字アングル材からなり、そのL字アングル材には、フレーム51に設けられている長穴に嵌めることが可能となるボルト61Aおよびボルト61Bのそれぞれが設けられている。ここで、フレーム51は水平フレームであって、フレーム51B〜51Dが対応する。
加重方向支え25をフレーム51に固定する際、図7に示すように、加重方向支え25のボルト61Aおよびボルト61Bのそれぞれを、フレーム51の所定の長穴に嵌め込み、この嵌め込まれたボルト61Aおよびボルト61Bのそれぞれに、ナット62Aおよびナット62Bを螺合させる。
図8、図9を参照して、板状ユニットを、フレーム部分24に取り付ける際に、前後方向に支える前後方向支え26について説明する。前後方向支え26は、例えば、金属などの素材から形成される。前後方向支え26(26A,26B)は、図8に示すように、断面コの字型の形状で形成され、フレーム部分24に着脱自在に取り付けられる。この前後方向支え26は、図9に示すように、そのコの字型の形状を利用して、前後方向支え26A,26Bにより板状ユニット36を挟み込むことで、当該板状ユニット36を前後方向で支える。
図9に示すように、前後方向支え26A,26Bのそれぞれには、例えば、フレーム部分24のフレーム(垂直フレーム)51に設けられている長穴に嵌めることが可能となる所定の個数のボルト(図示せず)が設けられており、それらのボルトは、フレーム51の長穴に嵌め込まれ、ボルトの個数に対応した個数のナット(図9の例ではナット73Aおよびナット73B)により固定されている。
また、前後方向支え26A,26Bのそれぞれは、板状ユニット36を挟み込む場合、当該板状ユニット36とともに、この板状ユニット36をさらに挟むようにして所定の形状の緩衝材(図9では、緩衝材71A、緩衝材71B、緩衝材72A、および緩衝材72B)も一緒に挟み込む。
緩衝材71A、緩衝材71B、緩衝材72A、および緩衝材72Bのそれぞれは、例えば、ウレタン(スポンジ)またはゴムなどの素材により形成される。緩衝材71Aおよび緩衝材71Bのそれぞれは、板状ユニット36の前方に設けられ、緩衝材72Aおよび緩衝材72Bのそれぞれは、板状ユニット36の後方に設けられて、当該板状ユニット36にかかる衝撃を吸収して保護している。
また、フレーム部分24から板状ユニット36を取り外す場合、前後方向支え26Aに設けられたボルトに螺合されているナット73Aを緩め、前後方向支え26Aをフレーム51の長穴に沿って右側に移動させる。また、同様に、前後方向支え26Bに設けられたボルトに螺合されているナット73Bを緩め、前後方向支え26Bをフレーム51の長穴に沿って左側に移動させる。これにより、板状ユニット36の取り外しが可能となる。
ナット73A,73Bをボルトから完全に外した状態として、前後方向支え26A,26Bに設けられているボルトをフレーム51の長穴から引き出し、当該前後方向支え26A,26Bをフレーム部分24から取り外すことでも、板状ユニット36の取り外しが可能となる。
図2に示す内壁2のフレーム構成では、上述したフレーム部分24が水平方向に所定個数だけ配された構成となっている。図10を参照して、フレーム部分24を水平方向に連結させる場合について説明する。この図10は、連結されたフレーム部分24-1,14-2を上側から見た場合の図を示している。
フレーム部分24-1,24-2において、垂直フレームであるフレーム51E,51Fのそれぞれは、図3および図5により説明したように、L字アングル材として形成されており、正面側からだけでなく、左右の側面側からも、当該フレーム51E,51Fのそれぞれに設けられた長穴を利用することができる。すなわち、フレーム部分24-1,24-2のそれぞれは、板状ユニット36A,36Bのそれぞれを固定する面の断面が、コの字型の形状となるので、そのコの字型の形状を利用して、当該フレーム部分24-1,14-2を水平方向に連結させる。
ジョイント部81は、例えば、ボルト81Aおよびナット81Bより、フレーム部分24-1の図中左側の側面と、フレーム部分24-2の図中右側の側面とを固定する。すなわち、ジョイント部81は、フレーム部分24-1のL字型のフレーム51Fと、フレーム部分24-2のL字型のフレーム51Eとのそれぞれを水平方向に並べたとき、L字型の形状となる面のうち、向き合っている面のそれぞれに設けられている長穴を、所定の個数のボルト81Aとナット81Bとにより固定する。
上述したように、内壁2は、交換可能に保持された複数の板状ユニット(板状部材)からなっている。なお、図1には、内壁2の全面が板状ユニットからなるものを示したが、内壁2の一部のみが交換可能に保持された複数の板状ユニットからなるようにしてもよい。これにより、必要に応じて化粧の異なる板状ユニットに交換することで、室内の雰囲気を種々に変更できる。また、リアプロジェクション用のスクリーンの大きさの変更、あるいは振動子が取り付けられた振動板の位置の変更などを容易に行うことができる。
図1に戻って、板状ユニット6A〜6Dは、映像コンテンツの視聴に係る各種機能ユニットであり、この視聴覚室1に求められる機能、デザイン等に応じて、骨組みに配置される。この図1に示す例では、この内壁2の両端の垂直フレーム4間に、スピーカの機能を担う板状ユニット6Aが3個ずつ配置される。以下、このスピーカの機能を担う板状ユニット6Aを、適宜、スピーカユニットと呼ぶ。
ここで、スピーカユニット6Aは、音声信号による駆動により振動する振動子8が、この振動子8の振動により振動する振動板9に、一定のピッチで配置されて構成されている。これにより、音声信号に基づいて振動子8が駆動されることで振動板9が振動してスピーカとして機能するように形成される。なお、スピーカユニット6Aは、図示しない枠体に自在に振動可能に振動板9を保持し、これにより充分な強度を確保すると共に、垂直フレーム4に配置可能に形成される。なお振動板9の表側面には、サラン等による化粧部材が設けられる。
この視聴覚室1では、このスピーカユニット6Aの内側の垂直フレーム4,4間に、単なる目隠し機能を担う板状ユニット6B、スクリーンとしての機能を担う板状ユニット6Cが配置されている。なお、以下において、この目隠し機能を担う板状ユニットをブランクユニットと呼び、スクリーンとしての機能を担う板状ユニット6Cをスクリーンユニットと呼ぶ。ここで、ブランクユニット6Bは、単なる目隠し機能を担うことにより、表側面に化粧を施した石膏ボード等の板材により形成される。
これに対して、スクリーンユニット6Cは、背面投影型プロジェクタのスクリーンの機能を担い、これにより背面投影型プロジェクタのスクリーンに適用される板材を枠体により補強して形成される。具体的に、曇りガラス、不透明アクリル板等を枠体により保持して形成される。この視聴覚室1は、このスクリーンユニット6Cに対応して、このスクリーンユニット6Cの背面に位置する外壁3にプロジェクタ10が配置される。これにより、この視聴覚室1は、スクリーンユニット6Cにより各種映像コンテンツの映像を鑑賞できるように作成される。
また、この視聴覚室1は、このスクリーンユニット6Cに続く垂直フレーム4,4間に、ブランクユニット6Bと、映像機器の操作部の機能を担う板状ユニット6Dとが配置される。なお、以下において、この操作部の機能を担う板状ユニットを操作ユニットと呼ぶ。
ここで、操作ユニット6Dには、映像機器等が配置されたベイ11が設けられている。例えば、ベイ11には、視聴覚室1に設けられる映像機器のうちで、ユーザによる操作を直接受け付けることが必要な機器、例えば記録媒体を交換することが必要なDVD(Digital Versatile Disc)プレーヤ、ビデオテープレコーダ等が設けられる。また例えば、ベイ11には、各映像機器の遠隔制御に必要なリモートコマンダからのリモコン信号を受信する受信部が設けられる。
上述した記録媒体に係る機器以外の機器にあっては、内壁2と外壁3との間の空間に配置される。また内壁2と外壁3との間の間隔Dは、内壁2と外壁3との間の空間に人間が侵入して各種映像機器を設置、メンテナンスするのに充分な間隔に設定され、さらにこの内壁2と外壁3との間の空間に人間が侵入する侵入口を形成できるように、ブランクユニット6Bの1つは、前方より取り外すことができるように設置される。
図1に示す視聴覚システムでは、視聴覚室1の4つの壁のうちの一の面の壁が所定の間隔をもって配された内壁2と外壁3とにより形成され、この内壁2にスクリーンユニット6Cおよびスピーカユニット6Aが配置されている。そして、これらプロジェクタ10、スピーカユニット6Aは、内壁2と外壁3との間の空間に配置された映像機器(ベイ11に配置された記録媒体に係る機器も含む)から得られる映像コンテンツに係る映像信号および音声信号により駆動される。これにより、スクリーンユニット6Cにはプロジェクタ10から映像が投影されて映像表示が行われ、またスピーカユニット6Aから音声が出力される。
図1に示す視聴覚室システムによれば、4つの壁のうちの1面が、間に空間を有する内壁2と外壁3とにより形成され、この内壁2にスクリーンユニット6Cおよびスピーカユニット6Aが配置され、内壁2と外壁3との間の空間に、プロジェクタ10およびその他の映像コンテンツに係る機器(機材)が配置されるものであり、視聴覚室1の室内に映像コンテンツに係る機器が配置されるものではなく、室内の雰囲気を乱さずにコンテンツの視聴を良好に行うことができる。
また、図1に示す視聴覚システムによれば、内壁2および外壁3は人が侵入可能な大きさを持つ所定間隔をもって配されているため、各種映像機器を内壁2および外壁3の間の空間に配置する際、さらにはこの空間に配置した各種映像機器のメンテナンスを行う際には、サービスマン等が当該空間に侵入して作業することができ、作業性の向上を図ることができる。
また、図1に示す視聴覚システムによれば、内壁2が複数の板材ユニットにより形成され、所定数の板状ユニットがスピーカユニット6Aを構成するものであり、これにより壁面自体にスピーカの機能が盛り込まれる。そのため、この視聴覚システムでは、別途、視聴覚室1の室内にスピーカを配置しなくても、映像コンテンツの音声を鑑賞することができ、これによっても一段と室内の雰囲気を乱さないようにすることができる。またこの場合、このスピーカに係る内壁が複数に分割されていることにより高音質の音を提供することも可能になる。
また、図1に示す視聴覚システムによれば、内壁2が交換可能に保持された複数の板状ユニットにより形成されるものであり、必要に応じて化粧の異なる板材に交換することにより、視聴覚室の雰囲気を種々に変更することができ、さらには、スクリーンの大きさの変更、あるいはスピーカ位置の変更などを容易に行うことができる。また、この板材ユニットを取り外して空間への侵入口とすることができる。
図11は、視聴覚システムの他の構成例を示している。この視聴覚システムは、対応する2面の壁が所定の間隔をもって配された内壁2および外壁3とからなる視聴覚室(部屋)21と、内壁2および外壁3との間の空間に配置され、内壁2に少なくとも映像表示機能または音声出力機能を発揮させるためのプロジェクタ10等の機材とを備えている。この図11において、図1と対応する部分には同一符号を付して示している。
すなわち、この視聴覚システムは、4面の壁のうちの、対向する2面が、間に空間を有する内壁2と外壁3とにより形成される。またこの対向する2面のうちの、一方の内壁2をスピーカユニット6Aとブランクユニット6Bとにより形成し、またこの一方の側の内壁2と外壁3との間の空間に、スピーカユニット6Aを駆動するアンプ23を配置する。
また、他方の内壁2をスクリーンユニット6C、ブランクユニット6B、スピーカユニット6Aにより形成し、このスクリーンユニット6Cを設けた側の内壁2と外壁3との間の空間に、映像機器22を配置する。またこのスクリーンユニット6Cを設けた側の映像機器22よりアンプ23に、例えばBluetooth等の無線通信により音声データを伝送する。
この図11に示す視聴覚システムは、上述した構成を除いて、図1に示す視聴覚システムと同様に構成される。この図11に示す視聴覚システムのように4面の壁のうちの対向する2面を内壁2および外壁3により形成するようにしても、図1に示す視聴覚システムと同様の効果を得ることができる。またこの場合、スクリーンの背面側にもスピーカが設けられることにより、臨場感のある音場を得ることが可能となる。
図12は、視聴覚システムの他の構成例を示している。この視聴覚システムは、視聴覚室31の内壁2に、大画面のスクリーンユニット6Cが設けられると共に、この大画面のスクリーンユニット6Cの背面に複数台のプロジェクタ10が配置され、これら複数台のプロジェクタ10によるマルチ画面表示により、高解像度の映像を大画面により表示するものである。
ここで、図13に示すように、各プロジェクタ10は短辺方向が壁厚方向となるように外壁3に固定される。これにより、当該プロジェクタ10が外壁3に固定されても内壁2および外壁3との間はそれほど狭くはならない。
また、図13に示すように、各プロジェクタ10は、映像光(映像の表示に供する出射光)を壁面に取った方向に出射する。この映像光は、その光路上に配置したミラー32により反射されて映像光をスクリーンユニット6Cに照射される。この場合、ミラー32で映像光の光路が折り曲げられるので、図14との対比により図13に示すように、内壁2と外壁3との間の距離を短くして、大画面表示できる。
なお、これによりプロジェクタ10の取り付け向きは、上向きに限らず、下向き、横向き等により設けるようにしてもよい。図13および図14に示す寸法は、一定の大きさによる画面の表示に必要な内壁2と外壁3との間の間隔を示す例である。
この図12に示す視聴覚システムは、上述した構成を除いて、図1に示す視聴覚システムと同様に構成される。この図12に示す視聴覚システムによれば、図1に示す視聴覚システムと同様の効果を得ることができる。またこの場合、上述したように外壁3に沿った方向にプロジェクタ10から映像光を出射した後、ミラー32によりスクリーンユニット6Cに向けて映像光を反射するものであり、内壁2と外壁3との間の距離を短くして大画面表示することができる。また、強固な外壁3に対して、プロジェクタ10を安定して取りつけることができ、また外壁3と内壁2の間の空間がそれほど狭くならないので、メンテナンス性等を向上させることができる。
図15A,Bは、視聴覚システムの他の構成例を示している。図15Aは斜視図を示し、図15Bは側面図を示している。この視聴覚システムは、視聴覚室41の4面の壁の全てが、内壁2と外壁3とにより形成されて、人間の侵入可能に空間が形成される。また、視聴覚室41は、天井2Aが天井裏3Aに対して所定の間隔をもって配された二重天井構造を有すると共に、床2Bが床下3Bに対して所定の間隔をもって配された二重床構造を有している。
そして、内壁2、天井2Aおよび床2Bで構成される直方体の構造体が、床下3Bに対して複数の脚42をもって支持されている。すなわち、床2Bが複数の脚42により床下3Bに対して支持され、4面の内壁2がこの床2Bに保持され、さらにこの4面の内壁2に天井2Aが保持され、上述したように内壁2、天井2Aおよび床2Bで構成される直方体の構造体が床下3Bに対して複数の脚42をもって支持された状態となっている。
この視聴覚室41は、例えば、一の面の内壁2にスクリーンユニット6C、スピーカユニット6Aが設けられ、残る内壁面、床面、天井面に、スピーカユニット6Aが設けられ、これによりサラウンド音場により映像コンテンツを鑑賞できるように作成される。
この図15に示す視聴覚システムは、上述した構成を除いて、図1に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、二重天井構造あるいは二重床構造を有するので、例えば天井裏あるいは床下にプロジェクタ、アンプ等の機材を配置することも可能となる。また、内壁2、天井2Aおよび床2Bで構成される直方体の構造体が床下3Bに対して複数の脚42をもって支持されるものであり、壁、天井、床の全てに簡易かつ確実に空間を形成でき、しかも内壁、天井および床で構成される構造体は外壁に対して完全に独立した状態とできる。
図16A,Bは、視聴覚システムの他の構成例を示している。図16Aは斜視図を示し、図16Bは側面図を示している。この視聴覚システムは、視聴覚室51の4面の壁の全てが、内壁2と外壁3とにより形成されて、人間の侵入可能に空間が形成される。また、視聴覚室51は、天井2Aが天井裏3Aに対して所定の間隔をもって配された二重天井構造を有すると共に、床2Bが床下3Bに対して所定の間隔をもって配された二重床構造を有している。そして、天井2Aおよび床2Bは外壁3に固定され、内壁2は天井2Aおよび床2Bに固定されている。
この視聴覚室51は、例えば、一の面の内壁2にスクリーンユニット6C、スピーカユニット6Aが設けられ、残る内壁面、床面、天井面に、スピーカユニット6Aが設けられ、これによりサラウンド音場により映像コンテンツを鑑賞できるように作成される。
この図16に示す視聴覚システムは、上述した構成を除いて、図1に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、二重天井構造あるいは二重床構造を有するので、例えば天井裏あるいは床下にプロジェクタ、アンプ等の機材を配置することも可能となる。また、天井2Aおよび床2Bは外壁3に固定され、内壁2は天井2Aおよび床2Bに固定されるものであり、壁、天井、床の全てに簡単かつ確実に空間を形成でき、しかも内壁2を天井2Aおよび床2Bを介して外壁3に安定して固定保持できる。
図17は、視聴覚システムの他の構成例を示している。この視聴覚システムにおける視聴覚室61は、図15、図16に示す視聴覚システムの視聴覚室41,51と同様に、天井、床、壁が二重構造とされている。また、図18に示すように、視聴覚室61は、外部から外壁3および内壁2を通じて内部に入るための部屋用入り口62を有している。この場合、ユーザは、部屋用入り口62を構成するトンネル状の通路を通って内壁2に設けられたドア63から視聴覚室61の内部に入る。そして、この部屋用入り口62の側面、つまりトンネル状の通路側面に、内壁2および外壁3の間の空間に入るための空間用入り口(ドア)64が設けられている。
また、視聴覚室61には、図17に示すように、内壁2と外壁3との間の空間に、カーテン65による吸音材が設けられ、これによりスピーカユニット6Cで発生した音波が外壁3により反射して、スピーカユニット6Cによる音声の再生に悪影響を与えないようにされる。なおこのような吸音材にあっては、外壁3の内側に、マット状のグラスウールを貼り付けるようにしてもよく、種々の部材、配置方法を広く適用することができる。
この図17に示す視聴覚システムは、上述した構成を除いて、図1に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、内壁2あるいは外壁3に空間用入り口64を設けるものではなく、当該空間用入り口64を容易に設けることができ、しかもサービスマン等はこの空間用入り口64から内壁2および外壁3の間の空間に容易に侵入することができる。
なお、上述した視聴覚システムの構成例においては、4面の壁のうちの1面、2面、4面を内壁2、外壁3により作成する場合等について述べたが、本発明はこれに限らず、視聴覚室(部屋)を構成する壁、天井、床を必要に応じて二重構造として、上述の構成例と同様の効果を得ることができる。
(2)画像表示装置
図19は、上述した視聴覚システムで、視聴覚室を構成する内壁2に画像を表示するための画像表示システム101の構成例を示している。この画像表示システム101は、データ処理装置102と、画像表示装置111と、照明120とからなっている。そして、画像表示装置111は、メディアデータベース112、音場処理部113C、画像処理部113B、表示情報選択部113A、照明情報選択部113E、照明情報生成部113D、背景画像表示部115、鳥瞰画像表示部117およびタッチパネル118からなるリモートコマンダ116、照明用コントローラ119およびスピーカ122を有している。ここで、音場処理部113C、画像処理部113B、表示情報選択部113A、照明情報選択部113Eおよび照明情報生成部113Dはそれぞれ制御部113を構成している。
データ処理装置102は、画像表示装置111に、全周囲画像データD3を供給する。データ処理装置102は、事前に撮影地点で取得された撮像結果による画像データD1から、全周囲画像データD3を生成する。
すなわち、この画像表示システム101では、事前に、所定の撮影地点で、例えば撮像装置(カメラ)を一定角度ずつパンさせながら撮像結果が取得され、これにより1画面では表示困難な広い範囲を撮影した広角の画像による撮像結果が取得される。この実施の形態では、撮像装置をパンさせながら撮像結果を取得して当該撮像装置を1周させることにより、この広角の画像による撮像結果に、この撮影地点で見渡すことができる全周囲の画像が適用される。
なおここで、この撮影では、撮像装置が1回転した際に、この撮像装置が始めの位置に正しく戻るように、撮像装置のパンに係る回転軸等が精密に調整される。またこれによりこのように始めの位置で撮影した撮像結果と、1回転して初めの位置に戻って撮影した撮像結果とを比較し、この比較結果により、元の位置に正しく戻っていない場合には、改めて回転軸等を調整し直して撮影が繰り返される。またこの撮影では、オート絞り調整により、各撮像結果でそれぞれ露出が最適となるように設定される。
この画像表示システム101では、この静止画による撮像結果の取得時に、併せて、一定時間の間、この撮影地点の音声がサラウンド方式により録音される。なお、このサラウンド方式としては、例えば5.1チャンネルによるサラウンド方式が適用される。このとき、この音声にあっては、固定した複数のマイクロフォンにより、一定の方位を基準にして録音される。
この画像表示システム101では、事前に設定された複数地点で、これらの撮影、音声の録音が実行され、この撮影、録音による画像データD1、音声データD2が、データ処理装置102に提供される。
データ処理装置102は、例えば画像処理可能なコンピュータにより形成され、このように取得した画像データD1を画像表示装置111により容易に処理可能に、この画像データD1による画像を処理し、撮影地点毎に、全周囲画像データD3を生成する。ここで、図20Aに示すように、全周囲画像データD3は、各撮影地点の周囲を、所定の角度範囲で区切った複数の画像(以下、「部分画像」と呼ぶ)に係る画像データである。全周囲画像データD3は、この部分画像がJPEG(Joint Photographic Coding Experts Group )等による画像ファイルの集合により形成される。なおここで、図20Bは、元の画像データD1による画像を示し、また図20Aにおいて、符号FLにより示す枠は、画像表示システム101により表示される1画面の大きさを示すものである。
これにより、データ処理装置102は、各撮影地点でそれぞれ撮影された複数の撮像結果を繋ぎ合わせて全周囲の画像を生成した後、部分画像を切り出し、これにより全周囲画像データD3を生成する。また撮影地点における各部分画像の方位を検出可能に、各部分画像の方位情報を設定して全周囲画像データD3を生成する。
ところで、このようにして撮像装置により得られる画像は、ピンホールカメラのピンホールに代表される絞りを介して入射する被写体からの光を、撮像素子により形成される平坦な撮像面で撮像して取得されるものであり、これにより画像の周辺部分で図形歪みが大きくなる。これにより順次、パンさせて撮影した画像にあっては、違和感なく自然に繋ぎ合わせることが困難で、繋ぎ合わせの部分で、例えば建物の屋根が折れ曲がったり、ずれたりする。
このためデータ処理装置102は、画像データD1による画像よりこの画像歪みを除去した後、全周囲画像を生成して部分画像を切り出す。このためデータ処理装置102は、図21に示すように、撮像面に対応する平面による結像スクリーン104に撮像結果による画像を投影して撮像装置105よりこの結像スクリーン104の投影画像を見るものとして、画像歪みを除去可能な仮想結像スクリーン106に、結像スクリーン104に投影された画像を投影し直す処理を演算処理により実行し、これによりこの種の画像歪みを除去する。ここで、データ処理装置102は、処理の簡略化のために、画像の長手方向(水平方向)にのみ曲面となった面によりこの仮想結像スクリーン106を定義してこの演算処理を実行する。これにより仮想結像スクリーン106は、軸に平行な面により円筒を部分的に切り取った形状により形成される。
これによりデータ処理装置102は、図21に示すように、結像スクリーン104と仮想結像スクリーン106とが例えば中央で接しているものとして、この接した個所を原点に設定して3次元座標空間を定義する。また視点の座標を(0,0,−a)とする。なおここでは、結像スクリーン104における画像の横幅の1/2を値1とした場合の、画角の1/2がθの場合に、tan θ=1/aにより定義され、仮想結像スクリーン106の半径である。
データ処理装置102は、図22に示すように、撮像結果による各画素を結像スクリーン104にマッピングし、各画素と視点(0,0,−a)の点とを結ぶ直線が仮想結像スクリーン106を横切る交点のXY座標を検出する。データ処理装置102は、結像スクリーン104における各画素のXY座標値をこの交点によるXY座標に置き換えて各画素の位置を補正し、これにより画像歪みの除去処理を実行する。
なおこの場合、図22との対比により図23に示すように、3次元座標系による処理に代えて、極座標系による処理により、この一連の処理を実行するようにしてもよい。
データ処理装置102は、このようにして画像歪みを補正して全周囲の画像(以下、「全周囲画像」と呼ぶ)を生成した後、部分画像を切り出し、各部分画像の画像データをそれぞれデータ圧縮して複数の画像データファイルを生成する。またこの部分画像による画像データファイルを撮影地点毎にまとめて全周囲画像データD3を生成する。またこのとき各撮影地点で取得された音声データD2を付加して全周囲画像データD3を生成する。なおこの場合、全周囲画像データD3と対応付けして、音声データD2を別ファイルとしてもよい。
さらに、データ処理装置102は、全周囲画像データD3毎に消失点を検出し、この消失点のY座標値をそれぞれ全周囲画像データD3に付加する。ここで消失点は、図24に示すように、透視変換によって三次元空間中の平行線を画像平面上に投影した場合に、この平行線に対応する画面平面上の直線L1、L2、……、Ln、……が収束する点のことである。すなわち消失点とは、実際は奥行きを有している空間が投影された平面画像上において、「無限に遠い点」であり、奥行き方向に平行な線(例えば、部屋の画像であれば、その稜線)の延長線が交わる点や、奥行き方向に伸びる面(例えば、部屋の画像であれば、奥行き方向に伸びる床、壁、天井に対応するそれぞれの平面)の延長が無限遠方に収束する点として認識されるものである。消失点から画像内で水平方向に描画された直線は、地平線である。
データ処理装置102は、1つの撮影地点で取得された各画像を画像処理して奥行き方向の平行線を検出し、この平行線の交点のY座標値を検出して消失点の座標値とする。なおこの平行線の検出に係る画像処理は、特徴点を検出して統計的に処理することにより実行される。またデータ処理装置102は、平行線の組み合わせ毎に消失点のY座標値を検出して統計的に処理し、1つの画像に1つのY座標値を検出する。また全周囲画像の作成に供する複数画像で検出されるY座標値をさらに統計的に処理することにより、全周囲画像毎に、消失点に係るY座標値を検出し、このY座標値を各全周囲画像データD3に付加する。なおこれにより図21について上述した結像スクリーン104と仮想結像スクリーン106との接点のY座標値は、このようにして検出される消失点のY座標値に設定される。またこれら一連の処理に係る統計的処理は、例えば平均値化の処理である。
また、データ処理装置102は、このようにして部分画像より全周囲画像データD3を生成する際に、複数画像間における絞りの相違を補正するように、各画像における階調を補正し、これにより全周囲画像データD3による部分画像を、絞り一定の条件により撮影した画像により形成する。具体的にデータ処理装置102は、全周囲画像データの生成に供する全ての画像で、画素値の最大値おおび最小値を検出し、これら画素値の最大値および最小値がダイナミックレンジを越えないようにして、連続する画像の繋ぎ目で輝度レベルが急激に変化しないように、各画像の階調を補正し、これにより絞り一定の条件により撮影した場合の全周囲画像データD3を生成する。
なお、撮像装置による撮像結果において、充分なダイナミックレンジを確保できている場合には、このようなオート絞り制御により撮影した複数画像の事後的な階調の補正に代えて、全周囲画像データの生成に供する撮像結果を絞り一定により撮像するようにしてもよい。
画像表示システム101は、このようにして生成された全周囲画像データD3を、対応する鳥瞰画像データD4と共に画像表示装置111に供給し、メディアデータベース112に記録する。
ここで、鳥瞰画像データD4は、鳥瞰画像の画像データである。また、鳥瞰画像は、全周囲画像データD3の取得に係る撮影地点(個所)を上空より見た画像であり、実写による画像、イラストによる画像、コンピュータグラフィックスによる画像等が適用される。また、鳥瞰画像は、マーク等により全周囲画像データD3の取得に係る撮影地点を確認できるように、また対応する全周囲画像データD3を検索可能に作成される。具体的には、例えば鳥瞰画像は、全周囲画像データD3の取得に係る撮影地点にマークが配置されて作成され、対応する全周囲画像データD3を特定するリンク情報が各マークに設定されて作成される。またこれに代えて、鳥瞰画像に撮影地点をマークできるように、全周囲画像データD3側に同様のリンク情報が設定される。全周囲画像データD3、鳥瞰画像データD4は、光ディスク、磁気ディスク、メモリカード等の各種記録媒体から読み出されて画像表示装置111に供給され、あるいはインターネット等のネットワークを介したダウンロードにより画像表示装置111に供給される。
メディアデータベース112は、例えば大容量のハードディスク装置により形成され、制御部113の制御により、これら全周囲画像データD3、鳥瞰画像データD4を記録して保持し、また保持したこれら全周囲画像データD3、鳥瞰画像データD4を再生して出力する。また制御部113から出力される照明の制御に係る照明制御情報D5を記録して保持し、またこの保持した照明制御情報D5を再生して制御部113に出力する。
背景画像表示部115は、大画面による表示装置であり、制御部113から出力されるビデオデータDV1による画像を表示する。この背景画面表示部115は、例えば上述した視聴覚システムを構成する内壁2(スクリーンユニット6C)およびプロジェクタ10等からなっている。ここで、このビデオデータDV1は、全周囲画像データD3により生成されるビデオデータであり、これにより画像表示装置111は、この背景画像表示部115によりユーザの所望する撮影地点の、所望する方向の風景画像を表示する。
リモートコマンダ116は、鳥瞰画像を表示すると共に、この鳥瞰画像等に係る各種ユーザ操作を無線通信等により制御部113に通知する。すなわち、鳥瞰画像表示部117は、このリモートコマンダ116に配置された液晶表示パネルにより形成され、背景画像表示部115で表示される画像の撮影地点に係る鳥瞰画像を表示する。タッチパネル118は、この鳥瞰画像表示部117によるユーザの各種操作を制御部113に通知する。なお、このリモートコマンダ116は、例えば後述するように視聴覚室の室内に配置されるテーブルの表面に形成される。
照明用コントローラ119は、この画像表示装置111が配置された部屋(視聴覚室)の照明120を制御する制御手段であり、制御部113の指示に従って照明120の明るさ、色温度を可変する。
制御部113は、この画像表示装置111に係る一連の処理を実行するコンピュータであり、図示しないメモリに記録されたプログラムの実行により各部の動作を制御する。制御部113は、このプログラムの実行により各種機能ブロックを構成する。なお、この実施の形態において、この制御部113の処理に係るプログラムは、この画像表示装置111に事前にインストールされて提供されるものの、このような事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の種々の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
ここで、表示情報選択部113Aは、リモートコマンダ116からの通知に従って、鳥瞰画像表示部117、背景画像表示部115で表示する画像を選択し、この選択結果によりメディアデータベース112に画像データD3、D4および音声データD2の出力を指示する。画像処理部113Bは、このメディアデータベース112から出力される画像データD3、D4を処理して、鳥瞰画像表示部117、背景画像表示部115の駆動に供するビデオデータDV2,DV1を生成して鳥瞰画像表示部117、背景画像表示部115に出力する。
音場処理部113Cは、メディアデータベース112から出力される音声データD2を処理して、サラウンド音場の生成に供するスピーカ122を駆動する。このスピーカ122は、上述した視聴覚システムでは、内壁2(スピーカユニット6A)で構成される。
このとき音場処理部113Cは、背景画像表示部115で表示される画像に応じて、この音声データD2による音像の定位位置を変化させ、これにより背景画像表示部115で表示される画像の向きに対応する音像の定位によりスピーカ122を駆動する。なお、このような音像の定位位置の変化は、例えばスピーカ122を駆動する各音声信号のチャンネルの切り換えにより、定位位置を大きく変化させた後、これらチャンネル間で加減算処理して、定位位置を細かく変化させることにより実行される。
照明情報生成部113Dは、メディアデータベース112から出力される画像データD3を処理し、照明120の制御に必要な照明制御情報D5を生成してメディアデータベース112に記録する。照明情報選択部113Eは、リモートコマンダ116からの通知に従って、照明情報生成部113Dにより生成してメディアデータベース112に記録した照明制御情報D5から、背景画像表示部115で表示される画像に対応する照明制御情報D5を選択的に取得し、この取得した照明制御情報D5により照明用コントローラ119の動作を制御する。
図25は、制御部113の基本的な処理に係る処理手順を示すフローチャートである。制御部113は、画像表示装置111の電源が立ち上げられると、この処理手順を開始してステップSP1からステップSP2に移り、ここでメディアデータベース112の記録から鳥瞰画像の選択に供するメニュー画面を表示する。またさらに,このメニュー画面におけるユーザの選択により、表示に供する鳥瞰画像の選択を受け付け、この鳥瞰画像の鳥瞰画像データD4をメディアデータベース112から取得する。
制御部113は、図26(A1)に示すように、この取得した鳥瞰画像データD4により鳥瞰画像表示部117に鳥瞰画像131を表示する。またこのとき、この鳥瞰画像131において、全周囲画像データD3の撮影地点をマークM1〜M5により示す。なお、この図26に示す鳥瞰画像においては、このマークM1〜M5を丸印により表し、「A」及び「B」の文字は、それぞれ各文字を表示した場所に実在する建築物を示すものとする。
続いて、制御部113は、ステップSP3に移り、ここでユーザによるタッチパネル118の操作を検出し、ユーザによるマークM1〜M5の選択により、これらマークM1〜M5により表される撮影地点のうち何れの撮影地点で撮影した画像を背景画像表示部115で表示するかを受け付ける。またさらに表示の向きの受け付けにより、この選択した撮影地点において、何れの方向を見て得られる画像を背景画像表示部115で表示するかを受け付ける。制御部113は、図26(A1)に示すように、ユーザによりマークが選択されると、この選択されたマークの上に、向きおよび選択されたことを示すマークMKを表示し、ユーザによるタッチパネル118の操作によりこのマークMKの向きを可変し、これによりこれら撮影地点、向きの入力を受け付ける。なお、図26(A1)に示すように、この実施の形態では、この向きおよび選択されたことを示すマークMKに、カメラの図案が適用される。
このようにして撮影地点、向きの入力を受け付けると、制御部113は、ステップSP4に移り、選択されたマークM1に設定されたリンク情報により対応する全周囲画像データD3をメディアデータベース112から取得する。
また、図27に示すように、続くステップSP5において、この取得した全周囲画像データD3(図27(A))による複数の部分画像から、ステップSP3で設定された向きに対応する部分画像を選択して繋ぎ合わせ(図27(B1))、この繋ぎ合わせた画像からステップSP3で設定された向きに応じて1画面分の画像を切り出して背景画像表示部115に表示する(図27(C1))。なお、図21〜図23について上述した歪み補正の処理は、全周囲画像データD3の作成時に代えて、このステップSP5における処理において、併せて実行するようにしてもよい。また同様に、上述した絞り一定の条件により撮影したように階調を補正する処理を、全周囲画像データD3の作成時に代えて、このステップSP5における処理において、併せて実行するようにしてもよい。
このようにして1画面分の画像を切り出して背景画像表示部115に表示する際に、制御部113は、図28(A)に示すように、背景画像表示部115の設置時、サービスマンにより設定された背景画像表示部115におけるユーザの画像鑑賞時の目の高さと、全周囲画像データD3に設定された消失点のY座標値とを比較し、図28(B)に示すように、背景画像表示部115に表示する画像の消失点の位置が、このユーザの目の高さとなるように、表示位置を補正して表示する。これにより制御部113は、このようにして画像を表示して違和感なくユーザが風景等を鑑賞できるようにする。
このようにして全周囲画像データD3による画像を表示すると、制御部113は、ステップSP6に移り、この全周囲画像データD3に係る音声データの再生を開始してスピーカ122を駆動する。このとき制御部113は、上述した音場処理部113Cの機能ブロックによる処理により、背景画像表示部115により表示した画像に対応する位置に音像を定位させるように、音像の定位位置を可変して音場を設定する。
これらにより、制御部113は、鳥瞰画像においてユーザが指示した場所に、ユーザが指示した向きにユーザが立ち至った場合に、このユーザが目にする風景を背景画像表示部115に表示し、またこのユーザが耳にする各種の音をスピーカ122により再生し、図26(A1)により示す例では、図26(A2)により示すような画像を背景画像表示部115に表示する。
このようにして画像を表示して音声データの再生を開始すると、制御部113は、ステップSP7に移り、タッチパネル118の操作によりユーザが向きの変更を指示したか否か判断する。ここで否定結果が得られると、制御部113は、ステップSP8に移り、タッチパネル118の操作によりユーザが別のマークM1〜M4を選択し、ユーザが移動を指示したか否か判断する。ここで否定結果が得られると、制御部113は、ステップSP7に戻る。
これにより、制御部113は、ユーザによる向きの変更、移動の指示を待ち、ユーザにより向きの変更が指示されると、ステップSP7で肯定結果が得られることにより、ステップSP7からステップSP10で向きを検出した後に、ステップSP11(図29)に移る。ここで制御部113は、図27(A)において符号Bにより示すように、ユーザにより変更が指示された向きの分、徐々に背景画像表示部115で表示する画像をスクロールさせる。なおこの場合に、図27(B1)および(C1)との対比により図27(B2)および(C2)に示すように、必要に応じて部分画像を繋ぎ併せて切り出す領域を徐々に変更し、これにより全周囲画像データD3による全周囲画像上で、スクロールの処理を実行する。
また、続くステップSP12において、音場処理部113Cの機能ブロックによる処理を切り換え、背景画像表示部115におけるスクロールに連動するように、スピーカ122により形成する音像の位置を徐々に移動させ、図25のステップSP7に戻る。またこのとき図26(A1)との対比により図26(B1)に示すように、向きを示すマークMKを、背景画像表示部115におけるスクロールに連動するように可変する。これにより、この図26(B1)の例では、図26(B2)により示す符号Bによる建造物の遠景を背景画像表示部115で表示することになる。
これに対して、ユーザにより移動が指示されると、ステップSP8で肯定結果が得られることにより、制御部113は、ステップSP8からステップSP13(図30)に移る。ここで制御部113は、ユーザにより指示されたマークM1〜M5により移動先の撮影地点(位置)を検出し、続くステップSP14において、ステップSP11、ステップSP12について上述したと同様にして、この移動先の撮影地点の向きに背景画像表示部115の表示、音場の設定を変更する。
また、続くステップSP15において、この移動先について、ステップSP4について上述したと同様にして全周囲画像データD3をメディアデータベース112から取得する。また、続くステップSP16において、ステップSP5について上述したと同様にして、このメディアデータベース112から取得した全周囲画像データD3から移動先での表示に係る画像を生成する。
制御部113は、続くステップSP17において、背景画像表示部115に表示中の画像を徐々にズームインさせながら、クロスフェードによりそれまでの表示をステップSP15で生成した画像に切り換える。なおこのようなズームイン、クロスフェードによる遷移に代えて、モザイク等、種々のエフェクトによる遷移を必要に応じて適用することができる。また、続くステップSP18において、このような表示の切り換えに連動して、クロスフェードにより、又は一旦フェードアウトした後、フェードインすることにより、移動先に対応する音声データD2による音場にスピーカ122による音場を切り換え、ステップSP7に戻る。
これにより制御部113は、図26(B1)により示すように、ユーザがマークM1による撮影地点を指定して北側の風景を背景画像表示部115により表示している状態で、北西に配置されたマークM2への移動を指示した場合、図26(A1)により示すように、マークM2に向きを変更するように、背景画像表示部115の表示、音場を変更した後、図26(C1)および(C2)により示すように、マークM2に向かって移動するように背景画像表示部115の表示、音場を変更し、マークM2の位置による画像および音場をユーザに提供する。また、制御部113は、これらの表示の切り換えに連動するように、制御部113は、鳥瞰画像の表示におけるマークMKの位置、向きを可変する。
これらにより、この画像表示装置111では、実写における画像を用いてウォークスルーを体感できるように、画像および音声を提供する。
なお、現実世界において、場所を移動する場合、例えば正面以外の方向に目標物を捕らえて移動する場合もある。これによりユーザにより移動が指示された場合に、このように移動先の方向に向き直って移動するように背景画像表示部115の表示を切り換える一連の処理において、移動先に向き直る処理を省略してもよい。なおこの場合、移動後に提供する画像にあっては、移動直前の向きによる画像としてもよく、ユーザにより指示された目標物の向きによる画像としてもよい。またこのような場合に、表示の切り換え時における遷移にあっては、移動方向に係るスクロールの処理をズームの処理と併せて実行するようにしてもよい。また、表示の切り換え時における表示の遷移にあっては、一旦、鳥瞰画像に表示を切り換えて遷移するようにしてもよい。
図31は、ユーザが背景画像上での遷移を指示した場合の、背景画像表示部115の表示の説明に供する略線図である。制御部113は、タッチパネル118の操作によりユーザが背景画像上での遷移を指示すると、一定時間の間、鳥瞰画像で表示したマークM1〜M5に対応するマークN1〜N4をこの背景画像表示部115による画像上で表示する。なおこの背景画像表示部115の表示に係るマークN1〜N4は、全周囲画像データD3を生成する際に、データ処理装置102により全周囲画像データD3にマークN1〜N4の表示位置情報を付加しておき、この位置情報に基づいて表示する。なおこの場合に、対応する鳥瞰画像に設定されているマークM1〜M5に基づいて、制御部113により全周囲画像データD3による画像上でマークN1〜N4の表示位置を計算して表示するようにしてもよい。
制御部113は、このようにしてマークN1〜N4を表示すると、鳥瞰画像表示部117にこれらマークN1〜N4のフォーカスを切り換えるメニュー、決定のメニュー、左右へのスクロールを指示するメニューを表示し、これらのメニューの操作により、ユーザが何れかのマークN1〜N4を選択すると、図25、図29および図30について上述したと同様にして、このマークN1〜N4に対応する全周囲画像データD3を取得して背景画像表示部115の表示を切り換える。
なお、この表示の切り換えにあっては、ユーザにより選択されたマークの表示位置が画面中央になるように、それまでの表示をスクロールさせながらズームインさせ、クロスフェードによりユーザにより選択されたマークに係る画像に表示を切り換える。また、このときの表示切り換え後の画像にあっては、元の画像に係る撮影地点からユーザにより選択されたマークに係る撮影地点を見た向きにより表示される。
これに対して、ユーザがスクロールのメニューを選択すると、矢印C1およびC2により表示に供する領域の変化を示すように、制御部113は、全周囲画像から切り出して表示する領域をユーザにより指示された方向に徐々に変化させ、これにより背景画像表示部115における表示をスクロールさせる。なお、制御部113は、これらの処理においても、背景画像表示部115における表示に対応するように、音場を変更し、これにより臨場感を確保する。
これにより、制御部113は、いちいち鳥瞰図により現在位置を把握しなくても、表示された画像上で移動先を選択して、さらには向きを変えてウォークスルーを体感することができようにし、さらに一段と没入感を向上できるようにする。
なお、上述の図25、図29、図30の処理では、鳥瞰画像表示部117には鳥瞰画像のみが表示されるように説明したが、鳥瞰画像が表示されている状態(以下、「鳥瞰モード」と呼ぶ)で、ユーザ操作によってマーク選択によって表示すべき撮影地点が指定されると、背景画像表示部115に表示される画像と同じ画像が表示される状態(以下、「没入モード」と呼ぶ)に移行し、この没入モードで、ユーザによるリターン操作がされると、再び鳥瞰モードに移行するというように、鳥瞰画像表示部117の表示状態を、上述した鳥瞰モードと没入モードとに自由に切り換え可能としてもよい。
図32Aは鳥瞰モードにおける鳥瞰画像表示部117の表示例を示し、図32Bは没入モードにおける鳥瞰画像表示部117の表示例を示している。図32Aに示す鳥瞰モードでは、鳥瞰画像表示部117には鳥瞰画像が表示される。この鳥瞰画像における全周囲画像の撮影地点M1〜M5に対応して矩形の表示領域D1〜D5が設けられている。図32Aではこれらの表示領域表示領域D1〜D5は空白となっているが、実際には各表示領域にはそれぞれの地点における現在の向きにおける画像が表示されている。
この鳥瞰モードでは、鳥瞰画像表示部117には、鳥瞰画像に重畳されて向き選択ボタンBL,BRが表示されている。ユーザは、タッチパネル118で選択ボタンBL,BRを操作することで、向きを任意に選択できる。この向きの選択に応じて鳥瞰画像表示部117に表示される鳥瞰画像の向きも変更され、さらに表示領域D1〜D5のそれぞれに表示される画像も対応して変更される。
ここで、鳥瞰画像の変更は、上述したようにメディアデータベース112から読み出す鳥瞰画像データD4を向きに応じたものとすることで達成できる。この場合、メディアデータベース112には各向きに対応した鳥瞰画像データD4が蓄積されている。なお、鳥瞰画像の向きの変更は座標変換処理によっても達成できる。また、各表示領域の表示画像の変更は、上述したように各地点の全周囲画像から切り出す部分を向きに応じて変更することで達成できる。
この鳥瞰モードで、ユーザは、タッチパネル118で、撮影地点M1〜M5のうちいずれかをタッチすることで、撮影地点を選択できる。これにより、メディアデータベース112からその選択された地点の全周囲画像データD3が読み出され、背景画像表示部115には、選択された撮影地点の画像が、鳥瞰モードで選択された向きで表示される。このとき、鳥瞰画像表示部117の表示状態は、図32Bに示すように、没入モードとなり、背景画像表示部115に表示される画像と同じ画像が表示される状態となる。
この没入モードでは、鳥瞰画像表示部117には、画像に重畳されて向き選択ボタンBL,BRが表示されている。ユーザは、タッチパネル118で選択ボタンBL,BRを操作することで、向きを任意に選択できる。この向きの選択に応じて、背景画像表示部115に表示される画像が変更されると共に、この鳥瞰画像表示部117に表示される画像もそれに対応して変更される。この画像の変更は、上述したように選択された地点の全周囲画像から切り出す部分を向きに応じて変更することで達成できる。
また、この没入モードでは、鳥瞰画像表示部117には、画像に重畳されて、その画像内に存在する他の撮影地点を示すマークN2,N3が表示されている。ユーザは、タッチパネル118で撮影地点のマークをタッチすることで、他の撮影地点を直接選択できる。このように、没入モードで他の撮影地点が選択される場合には、メディアデータベース112からその撮影地点の全周囲画像データD3が読み出され、背景画像表示部115には、その撮影地点の画像がその選択時点における向きで表示される。この場合、鳥瞰画像表示部117に表示されている画像もその撮影地点のものに変更される。
また、この没入モードでは、鳥瞰画像表示部117には、画像に重畳されてリターンボタンRBが表示されている。ユーザは、タッチパネル118でこのリターンボタンRBを操作することで、没入モードから鳥瞰モードに移行し、鳥瞰画像表示部117に、図32Aに示すように、鳥瞰画像が表示された状態に復帰する。
図33は、上述した鳥瞰画像表示部117の表示状態の遷移図を示している。鳥瞰モードではモードを変更せずに向きの変更を行うことができる。そして、この鳥瞰モードで地点選択があると、没入モードに遷移する。没入モードではモードを変更せずに向きの変更を行うことができる。また、この没入モードでは、モードを変更せずに地点選択を行うことができる。そして、この没入モードでリターン操作がされることで、鳥瞰モードに遷移する。
ところで、有名観光地、テーマパーク等を鳥瞰画像により表示する場合、マークが密に配置される場合が予測され、これにより鳥瞰画像によっては、所望する場所の画像を簡易に表示できなくなる恐れがある。またこの場合、上述の背景画像表示部115の表示画面上のマークにより移動する場合にあっても、マークが密に表示され、これによりこの場合も所望する場所の画像を簡易に表示できなくなる恐れがある。
そのため、制御部113は、タッチパネル118の操作によりユーザが全周囲画像の並列表示を指示すると、図34に示すように、背景画像表示部115に、ユーザにより指示された2つの撮影地点に係る全周囲画像D3Aの全部を並べて表示する。なおこの場合に、要は、2つの撮影地点に係る全周囲画像を上下に並べて表示すればよく、背景画像表示部115で表示可能な範囲で、全周囲画像の一部だけを表示するようにしてもよい。また背景画像表示部115と、鳥瞰画像表示部117とに2つの画像を分けて表示してもよく、鳥瞰画像表示部117にまとめて表示するようにしてもよい。またさらに、第3の表示装置を設けて、表示するようにしてよい。制御部113は、ユーザによる指示によりこの表示をスクロールさせ、移動先の入力を受け付ける。
すなわち、図35は、この全周囲画像の並列表示に係る制御部113の処理手順を示すフローチャートである。制御部113は、この処理手順を開始すると、ステップSP21からステップSP22に移り、鳥瞰画像表示部117により鳥瞰画像を表示し、続くステップSP23において、この鳥瞰画像で表示したマークM1〜M5の選択をタッチパネル118により検出し、これによりユーザにより指示された撮影地点を受け付ける。このとき制御部113は、2つのマークM1〜M5の選択を受け付け、これにより並列表示に供する2つの画像について、撮影地点の選択を受け付ける。
続いて、制御部113は、ステップSP24に移り、ステップSP23で取得した撮影地点に係る2つの全周囲画像データD3をメディアデータベース112から読み出し、この読み出した2つの全周囲画像データD3による全周囲画像D3Aを図34に示すように、上下に並べて表示する。
続いて、制御部113は、ステップSP25に移り、タッチパネル118の操作により、ユーザが上側に表示した全周囲画像のスクロールを指示したか否か判断し、ここで肯定結果が得られると、ステップSP26に移り、図34において矢印Dにより示すように、上側に表示した全周囲画像D3Aをスクロールさせ、ステップSP25に戻る。これに対してステップSP25で否定結果が得られると、制御部113は、ステップSP25からステップSP27に移り、タッチパネル118の操作により、ユーザが下側に表示した全周囲画像D3Aのスクロールを指示したか否か判断する。ここで肯定結果が得られると、制御部113は、ステップSP27からステップSP28に移り、図34において矢印Eにより示すように、下側に表示した全周囲画像をスクロールさせ、ステップSP25に戻る。
これに対して、ステップSP27で否定結果が得られると、制御部113は、ステップSP29に移り、タッチパネル118の操作により、ユーザが決定のメニューを操作したか否かを判断する。ここで、否定結果が得られると、制御部113は、ステップSP29からステップSP25に戻る。これらにより、制御部113は、ユーザ操作に応動して上下に表示した全周囲画像D3Aをそれぞれスクロールさせる。
これに対して、ステップSP29で肯定結果が得られると、制御部113は、ステップSP30に移る。ここで制御部113は、上下に表示した全周囲画像D3Aの水平方向の中央位置が、複数の撮影地点のうち何れの方向であるかを検出する。また、図36により鳥瞰画像131上で示すように、この検出結果により、各撮影地点より検出した方向に延長する直線L1およびL2の交点Pを検出し、この交点Pの最近傍の撮影地点(この場合、マークM3による撮影地点である)を検出する。これにより制御部113は、ユーザの所望する移動先を検出し、続くステップSP31において、この移動先に係る全周囲画像データD3を取得して背景画像表示部115で表示した後、ステップSP32に移ってこの処理手順を終了する。
これにより制御部113は、全周囲画像の全画面表示において、移動先が画面中央になるように、2つの全周囲画像の表示をスクロールさせ、これら2つの全周囲画像により移動先の入力を受け付けて表示を切り換え、これらにより一段と使い勝手を向上させる。
なお、このようなスクロールにより移動先方向の設定に代えて、全周囲画像上にカーソルを表示して移動させることにより、移動先方向の設定を受け付けるようにしてもよい。またこのような並列的な全周囲画像の表示にあっては、鳥瞰画像表示部117で表示する場合には、タッチパネル118の操作により移動先方向の設定を受け付けるようにしてもよい。
このような背景画像表示部115における一連の画像表示に係る処理と同時並列的に、制御部13は、照明用コントローラ119の制御により、背景画像表示部115に表示する画像に応じて照明120を種々に変化させる。
このため、制御部113は、上述した一連の処理において、最初に全周囲画像データD3を取得すると、この全周囲画像データD3について照明制御情報D5を生成してメディアデータベース112に記録する。
すなわち、制御部113は、全周囲画像データD3を構成する部分画像毎に、部分画像を構成する画素値の平均値を計算し、これにより各部分画像の平均輝度レベルを検出する。ここで図37に示すように、部分画像は、1つの撮影地点で撮像装置を順次パンして撮影していることにより、太陽の方向を背にした撮影では輝度レベルの高い撮像結果を得ることができるのに対し、太陽の方向を向いた撮影では、いわゆる逆光であることにより輝度レベルの低い撮像結果が得られる。
これにより、図38に示すように、このようにして検出される平均輝度レベルは、太陽の方向に対する部分画像の位置に応じて正弦波形状により変化することになる。制御部113は、このようにして検出される全周囲画像の各部の平均輝度レベルに応じて、照明120を変化させるように照明制御情報D5を生成する。
具体的に、この実施の形態では、各部分画像で検出された平均輝度レベルに照明120の明るさが比例するように、各部分画像毎に、照明制御情報D5を生成する。また各部分画像で検出された平均輝度レベルに照明の色温度が比例するように、各部分画像毎に、照明制御情報D5を生成する。これらにより背景画像表示部115で表示する画像が明るい程、照明120が明るくなるように設定し、背景画像表示部115に表示した画像の見かけのコントラストを増大させる。すなわちこの場合、輝度レベルの高い部分をより明るく見せ、これにより見かけのコントラストを増大させる。また輝度レベルの高い部分の色温度を高くし、これにより輝度レベルの高い画像程、太陽光による画像であるように見せ、これによっても見かけのコントラストを増大させる。
制御部113は、図39に示すように、このようにして生成した照明制御情報D5を、対応する部分画像を識別する識別コードである画像IDと共にメディアデータベース112に記録して保持する。また背景画像表示部115に表示する全周囲画像の部分に応じて、このメディアデータベース112に記録した照明制御情報D5を検索して対応する照明制御情報D5を検出し、この検出した照明制御情報D5による照明用コントローラ119の制御により照明120の明るさ、色温度を制御する。
図40は、この照明120の制御に係る制御部113の処理手順を示すフローチャートである。制御部113は、この処理手順を開始すると、ステップSP41からステップSP42に移り、全周囲画像を取得する。また続くステップSP43において、この取得した全周囲画像から上述したようにして照明制御情報D5を生成し、メディアデータベース112に記録して保持する。
また、続くステップSP44において、背景画像表示部115で表示する画像が選択されると、続くステップSP45において、この表示に供する画像に対応する照明制御情報D5をメディアデータベース112より取得し、続くステップSP46においてステップSP44で選択された画像を背景画像表示部115で表示する。また続くステップSP47において、ステップSP45で取得した照明制御情報D5により照明120を制御する。また、続くステップSP48でユーザにより背景画像表示部115で表示する画像の変更指示が得られると、ステップSP44に戻る。
なお、制御部113に充分な処理能力を確保できる場合等にあっては、このような事前の照明制御情報の生成に代えて、リアルタイムで照明制御情報を生成するようにしてもよく、またこれとは逆に、全周囲画像データD3の生成時に作成して、全周囲画像データD3と共に提供するようにしてもよい。
以上の構成によれば、鳥瞰画像におけるユーザによる操作により、撮影地点の異なる広角の画像表示を切り換え、またこの画像表示をスクロールさせることにより、実写による画像の表示に関して、従来に比して高い没入感を確保することができる。
また、広角の画像に対応する音声データにより、広角の画像表示の切り換え、スクロールに連動させて、ユーザに提供する音声データを切り換え、音像の位置を可変することにより、音声によってもさらに臨場感を向上することができ、さらに一段と高い没入感を得ることができる。
また、広角に係る表示画像上におけるユーザによる入力よっても、広角の画像表示を切り換え、またこの画像表示をスクロールさせることにより、ユーザの使い勝手を向上することができる。
また、広角画像を並べて表示し、ユーザによる指示に係る方向の撮影場所に係る画像に表示を切り換えることによっても、ユーザの使い勝手を向上することができる。
また、背景画像表示部の表示の切り換え、広角画像に係るスクロールに連動して、室内の照明を可変することにより、画像に応じて雰囲気を可変して、さらにはコントラストを増大させて、一段と没入感を向上することができる。
具体的に、この照明の可変が、明るさおよび色温度のいずれかまたは双方の可変であり、さらに輝度レベルに応じて、明るさを増大させ、色温度を高くする可変であることにより、一段と没入感を向上することができる。
なお、上述した照明の制御とは逆に、各部分画像で検出された平均輝度レベルに照明の明るさ、色温度が逆比例するように、各部分画像毎に、照明制御情報D5を生成するようにしてもよい。
すなわち、背景画像表示部115で表示する画像が明るい程、照明120が暗くなるように設定し、背景画像表示部115に表示した画像の見かけのコントラストを増大させる。すなわちこの場合、輝度レベルの低い部分をより暗く見せ、これにより見かけのコントラストを増大させる。また輝度レベルの低い部分の色温度を高くし、これにより輝度レベルの低い画像程、太陽光による画像であるように見せ、これによっても見かけのコントラストを増大させる。
照明に係る明るさ、色温度の可変が、背景画像表示部で表示する画像の輝度レベルに応じて、明るさを低下させ、色温度を低くする可変であることによっても、コントラストを増大させて、一段と没入感を向上することができる。
また、表示に供する画像に応じて、各部分画像で検出された平均輝度レベルに照明の明るさ、色温度を比例させる比例制御と、それとは逆に各部分画像で検出された平均輝度レベルに照明の明るさ、色温度を反比例させる反比例制御とを切り換えるようにしてもよい。これにより、表示に供する画像に応じて照明の制御を適応的に切り換える。具体的に、例えば海辺の風景等の表示では、比例制御により照明を制御し、屋内で撮影した画像の表示では、反比例制御により照明を制御する。このように、表示に供する画像に応じて、照明に係る制御を切り換えるようにしても、一段と没入感を向上することができる。
また、全周囲画像データの生成に供する画像の撮影時、太陽の方向を記録して保持し、全周囲画像データD3にこの太陽の方向を特定する情報を付加するようにしてもよい。画像表示装置111では、この太陽の方向を特定する情報により、背景画像表示部115で表示する画像の、撮影時における太陽の方角に応じて照明の明るさ、色温度を可変する。このように、背景画像表示部115で表示する画像の、撮影時における太陽の方角に応じて照明の明るさ、色温度を可変することでも、没入感を向上させることができる。
また、全周囲画像データD3に、撮影時刻を特定する撮影時の時刻情報を付加し、この撮影時の時刻情報により照明を制御するようにしてもよい。具体的に、撮影時刻が夕方の場合、照明の明るさを暗くし、また色温度を低下させる。また撮影時刻が夜間の場合、一段と照明の明るさを暗くし、また色温度を低下させる。また撮影時刻が昼間の場合、照明の明るさを明るくし、また色温度を高くする。このように、背景画像表示部115で表示する画像の撮影時刻に応じて照明を可変するようにしても、没入感を向上させることができる。
図41は、他の画像表示システム141の構成を示すブロック図である。この画像表示システム141は、ネットワーク上のサーバであるメディアデータベース144A〜144Cに全周囲画像データ、鳥瞰画像データが保持される。これにより、この画像表示システム141において、画像表示装置142は、広帯域ネットワーク143を介してメディアデータベース144A〜144Cをアクセスして全周囲画像データ、鳥瞰画像データを取得する点を除いて、上述した画像表示装置111(図19参照)と同一に構成される。このように、画像データに係る記録再生部をネットワーク上に配置する場合であっても、上述の実施の形態と同様の効果を得ることができる。
なお、上述の実施の形態においては、全周囲画像より部分画像を生成して全画像データとする場合について述べたが、本発明はこれに限らず、元の撮像結果による複数画像の画像ファイルにより全画像データを構成するようにしてもよく、また1つの全周囲画像により全周囲画像データを構成するようにしてもよい。
また、上述の実施の形態においては、静止画による画像を表示する場合について述べたが、本発明はこれに限らず、動画による画像を表示する場合にも広く適用することができる。この場合、図41について上述したようなネットワークにより全周囲画像データを供給するサーバに接続することが考えられる。また、サーバにあっては、上述の全周囲画像データの生成に供する複数の撮像結果を動画により提供し、画像表示装置側にあっては、この複数の動画による撮像結果の画像合成により、種々に向きを変化させて、背景画像表示部に動画による映像を表示することができる。
また、全周囲より動画を撮像する専用の撮像機構により動画による撮像結果を取得して提供し、この動画による撮像結果の画像処理により、種々に向きを変化させて、背景画像表示部に動画による映像を表示することもできる。なおこのような全周囲より動画を撮像する専用の撮像機構は、例えば曲面ミラーを用いる方法、角錐ミラーを用いる場合等があり、画像表示装置側では、この場合、撮像機構に応じて、伝送された撮像結果を画像変換させることが必要になる。
また、上述の実施の形態においては、1画面により表示困難な広角の画像として、全周囲画像を適用する場合について述べたが、本発明はこれに限らず、例えば前方だけの画像を適用する場合等、必要に応じて種々の広がりを有する画像の表示に広く適用することができる。
また、上述の実施の形態においては、水平方向に広がりを有する広角画像の表示に本発明を適用する場合について述べたが、本発明はこれに限らず、これに代えて、又はこれに加えて上下方向に広がりを有する広角画像の表示にも広く適用することができる。
また、上述の実施の形態においては、照明の明るさ、色温度を制御する場合について述べたが、本発明はこれに限らず、照明の分布を制御するようにしてもよい。すなわち、例えば逆光による画像を表示する場合に、この画像を表示している側を明るくし、これとは逆側を暗くすることにより、照明の分布により太陽の方向を感じ取ることができ、一段と臨場感を向上することができる。またこれとは逆に、太陽を背にして撮影した画像を表示する場合に、背景側を明るくすることによっても、照明の分布により太陽の方向を感じ取ることができ、一段と臨場感を向上することができる。
また、上述の実施の形態においては、音声、照明により没入感を増大する場合について述べたが、本発明はこれに限らず、さらに風、温度等の制御によりさらに没入感を増大させるようにしてもよい。
(3)プロジェクタの配置例
上述したように、天井と天井裏との間の空間、床と床下との間の空間、あるいは内壁と外壁との間の空間を有する視聴覚室(部屋)で、これらの空間にプロジェクタを配置する場合の種々の例を説明する。
図42は、内壁2、天井2A、床2Bで囲まれた視聴覚室(部屋)401の内部の様子を示している。この視聴覚室401は、それぞれ天井2Aおよび床2Bの複数個所、図示の例では2箇所に、開口部としての投影用窓404が設けられている。ここで、投影用窓404は、室内に設けられたスクリーン等に、天井2Aと天井裏3A(図15、図16参照)との間の空間、床2Bと床下3B(図15、図16参照)との間の空間に配置されたプロジェクタ402(図42には図示せず)から映像光を照射できるように、開口部として、あるいは開口部にガラス等の透明板材を配置して形成される。なお、投影用窓404は、単に開口部により形成された場合は、蓋(図示せず)が設けられ、未使用時はこの蓋により覆われる。
天井2Aと天井裏3Aとの間に配置されるプロジェクタ402は、天井2Aの面に沿って、この天井2Aに形成された投影用窓404のいずれかの位置に選択的に移動し、当該投影用窓404を介して視聴覚室401の室内の所定位置に映像光を照射し、当該所定位置に映像を表示する。同様に、床2Bと床下3Bとの間に配置されるプロジェクタ4021は、床2Bの面に沿って、この床2Bに形成された投影用窓404のいずれかの位置に選択的に移動し、当該投影用窓404を介して視聴覚室401の室内の所定位置に映像光を照射し、当該所定位置に映像を表示する。このようにプロジェクタ402から投影用窓404を介して映像光を室内の所定位置に照射する構成とすることで、プロジェクタ402の使用時にも、このプロジェクタ402を室内に取り出すものではなく、使用時における室内の雰囲気を乱すこともない。
プロジェクタ402が、2箇所の投影用窓404の位置に選択的に移動できるように、例えばこれら2箇所の投影用窓404の間にガイド部材が配置された構成とされる。この場合、ガイド部材は、プロジェクタ402を案内すると共に、当該プロジェクタ402に電源を供給する電源ラインとしても使用される。このようにプロジェクタ402は、ガイド部材に案内されて2箇所の投影用窓404の位置に選択的に移動するが、当該投影用窓404に対応した位置に正しく移動するように、位置検出機構を有している。この位置検出機構は、各投影用窓404の位置に設けられた位置検出用部材を検出することで、当該位置にいるか否かを検出する。
例えば、位置検出機構が光学的手法による場合には、位置検出用部材としての反射シート等が天井2Aの裏面あるいはガイド部材等に貼り付けられる。また例えば位置検出機構がICタグを利用する場合には、ICタグが天井2Aの裏面あるいはガイド部材等に取り付けられる。このように、位置検出機構が採用する位置検出の手法に対応して、種々の位置検出用部材が天井2Aの裏面などに配設される。
図43は、プロジェクタ402の移動機構の一例を示している。プロジェクタ402の底面の両端がスクリューのついた2つの土台451で支えられ、それぞれの土台451がスクリューのついた2本のレール452に噛み合わされて設置される。2本のレール452がモータ453によって同期して回転することで、プロジェクタ402が前後(X方向)に移動する。
また、この2本のレール452のそれぞれの両端もスクリューのついた構造とされており、それぞれのレール452がスクリューのついた2本のレール454に噛み合わされて設置される。2本のレールがモータ455によって同期して回転することで、プロジェクタ402が左右(Y方向)に移動する。
図43に示すプロジェクタ402の移動機構の場合、上述したように2箇所の投影用窓404の位置にプロジェクタ402を案内するガイド部材は、例えばレール452あるいはレール454によって構成されている。
また、プロジェクタ402は、投影機構から出射される映像光を所定方向に反射するミラーと、このミラーの位置および角度を変化させるミラー可動機構とを有している。図44は、ミラー可動機構の一例を示している。プロジェクタ402の上面にシリンダ461が取り付けられ、このシリンダ461の先端にミラー462が取り付けられている。このシリンダ461により、ミラー462のプロジェクタ402からの距離が調整可能とされている。
また、シリンダ461のミラー462の取付位置に2軸のモータ463が設けられている。この2軸のモータ463によってミラー462の向きが調整可能とされている。このようにシリンダ461および2軸のモータ463によってミラー462の位置および角度を変えることができ、これによりプロジェクタ402の投影機構から出射される映像光が向かう方向、つまり映像が投影される室内位置を調整でき、映像表示位置の選択の自由度を高めることができる。
図42に戻って、視聴覚室401には、上述した天井2Aおよび床2Bのそれぞれの一方の投影用窓404に対応する箇所に、事前の設置により、またはユーザによる移動により、スクリーン405a,405bが配置されている。
図45は、上述したプロジェクタ402の構成を示している。プロジェクタ402は、全体の動作を制御するコントローラ402aと、上述した移動機構402b(図43参照)と、ミラー可動機構402d(図44参照)と、映像光を投影するための投影機構402cと、リモートコマンダ471から無線送信されるコントロール信号を受信するリモコン受信部402eと、DVDプレーヤ、パーソナルコンピュータ、テレビチューナ等の映像機器472から無線送信される映像信号を受信する映像受信部402fと、この映像受信部402fで受信された映像信号に対し、投影機構402cによって室内の所定位置に投影される映像の歪み、例えば台形歪みを補正するための補正処理を行う補正処理部402gと、位置検出機構402hを有している。映像機器472は、例えば内壁2および外壁3との間の空間に収容されている。
なお、リモコン受信部402eはリモートコマンダ471から無線送信されるコントロール信号を受信し、また映像受信部402fは映像機器472から無線送信される映像信号を受信するものであり、プロジェクタ402と映像機器472との間、およびプロジェクタ402とリモートコマンダ471との間が無線で接続されるので、プロジェクタ402が空間内を移動する際にケーブルが邪魔になるなどということはない。
投影機構402cは、映像受信部402fで受信される映像信号に基づき、映像光を生成して出射する。つまり、この投影機構402cは、従来周知のように、光源と、この光源の出射光を映像信号により空間変調して映像光を生成する液晶パネル等の光空間変調素子、この映像光を出射する光学系等により形成されている。
リモコン受信部402eは、リモートコマンダ471からのコントロール信号を受信してコントローラ402aに通知する。位置検出機構402hは、上述した位置検出用部材の検出により、投影用窓404が設けられた位置へのこのプロジェクタ402の移動を検出してコントローラ402に通知する。移動機構402bは、コントローラ402aの制御により、モータの駆動力によってスクリューを回転させ(図43参照)、これにより天井、床などの空間に設けられたレールに沿ってこのプロジェクタ402を移動させる。
図45に示すプロジェクタ402の動作を簡単に説明する。ユーザがリモートコマンダ471を操作して、所定の空間に配置されているプロジェクタ402から、所定の投影用窓404を通して室内の所定位置に映像光を照射することを指示するコントロール信号を出した場合について述べる。
この場合、リモートコマンダ471からのコントロール信号がリモコン受信部402eで受信され、このコントロール信号はコントローラ402aに供給される。コントローラ402aは、このコントロール信号を受け、移動機構402bを制御し、プロジェクタ402を上述した所定の投影用窓404に対応した位置に移動することを開始させる。そして、コントローラ402aは、位置検出機構402hにより所定の投影用窓404の位置へのプロジェクタ402の移動が検出されると、移動機構402bを制御してプロジェクタ402の移動を停止させる。
この場合、図46に示すように、例えば天井2Aと天井裏3Aとの間の空間に配置されたプロジェクタ402は、ユーザによる指示により、天井面に沿って、それまで位置していた投影用窓404の位置から次の投影用窓(所定の投影用窓404)の位置に移動する。またこの場合、図47に示すように、例えば床2Bと床下3Bとの間の空間に配置されたプロジェクタ402は、ユーザによる指示により、床面に沿って、それまで位置していた投影用窓404の位置から次の投影用窓(所定の投影用窓404)の位置に移動する。
コントローラ402aは、このようにプロジェクタ402が所定の投影用窓404の位置に移動すると、ミラー可動機構402dを制御し、ミラー463を、映像光が当該所定の投影用窓404を通って室内の所定位置に照射されるように、ミラー402dの位置および角度を調整する。
また、コントローラ402aは、このようにプロジェクタ402が所定の投影用窓404の位置に移動すると、投影機構402b、補正処理部402gおよび映像処理部402fの動作を立ち上げる。映像受信部402fは映像機器472から映像信号を受信し、この映像信号を、補正処理部402gを介して投影機構402cに供給する。
これにより、投影機構402cから、映像信号に基づく映像光が出射され、この映像光はミラー402dで反射された後に、室内の所定位置に照射される。そして、この室内の所定位置には、映像機器472から映像受信部402fに供給される映像信号による映像が表示される。
なお、コントローラ402aは、このように室内の所定位置に映像を表示した状態で、リモコン受信部からの通知により、ユーザによるフォーカス、ズームなどの操作に応じて、投影機構402cのフォーカス、ズーム倍率を調整する。
ここで、図48に示すように、天井2Aと天井裏3Aとの間の空間に配置されるプロジェクタ402は、投影機構402cより出射される映像光の光路上にミラー462が配置され、このミラー462により天井面に沿った方向に向かって出射した映像光の光路を折り曲げ、天井2Aに設けられた投影用窓404を介して室内のスクリーン405に照射する。なおこの場合、ミラー462の傾きの可変により照射位置を調整できる。
また、図49に示すように、床2Bと床下3Bとの間の空間に配置されるプロジェクタ402は、同様に、投影機構402cより出射される映像光の光路上にミラー462が配置され、このミラー462により床面に沿った方向に向かって出射した映像光の光路を折り曲げ、床2Bに設けられた投影用窓404を介してスクリーン405に投影する。
なお、これら図48および図49に示す構成では、スクリーン405に対して斜めに映像光を照射していることにより、台形歪み等が発生する。これにより、プロジェクタ402の補正処理部402gでは、映像信号に対して、この台形歪み等を防止する処理が行われる。
なお、補正処理部402gでは、上述したように、投影機構402cによって室内の所定位置に投影される映像の歪みが補正されるように、映像受信部402fで受信された映像信号に補正処理が行われて投影機構402cに供給される。これにより、室内の所定位置には、歪みのない良好な映像が表示される。
なお、投影用窓404が蓋を備えている場合には、リモートコマンダ471により投影用窓404の開閉が制御される。すなわち、上述したようにプロジェクタ402から所定の投影用窓404を通して室内の所定位置に映像光を照射することを指示するコントロール信号がプロジェクタ402のリモコン受信部402eに送信される場合、当該所定の投影用窓404に蓋を開くように指示するコントロール信号が供給される。
また、上述したように映像光が照射される室内の所定位置がスクリーン405であって、常には巻き取られている場合には、リモートコマンダ471によりスクリーン405の開閉が制御される。すなわち、上述したようにプロジェクタ402から所定の投影用窓404を通して室内の所定位置に映像光を照射することを指示するコントロール信号がプロジェクタ402のリモコン受信部402eに送信される場合、当該スクリーン405に開くように指示するコントロール信号が供給される。
上述したように、プロジェクタ402は天井2Aと天井裏3Aとの間の空間、床2Bと床下3Bとの間の空間、あるいは内壁2と外壁3との間の空間に配置されるものであって、視聴覚室401の室内に配置されるものでなく、室内の雰囲気を乱すことがない。また、プロジェクタ402はユーザ操作に応じて空間内の複数位置に選択的に移動して室内に映像光を照射できるものであり、複数台のプロジェクタを用意することなく、ユーザは室内の複数位置で映像を鑑賞できる。
図50は、上述した図42との対比により、視聴覚室(部屋)401の内部の様子を示している。図42では、スクリーン405に映像を投影しているが、図50では、天井2A、床2Bに映像を投影している。すなわち、天井2Aと天井裏3Aとの間の空間に配置されたプロジェクタ402からの映像光が当該天井2Aに設けられた投影用窓404を通して床2Bに照射されている。また、床2Bと床下3Bとの間の空間に配置されたプロジェクタ402からの映像光が当該床2Bに設けられた投影用窓404を通して天井2Aに照射されている。なお、図50には、プロジェクタ402、天井裏3A、床下3Bは、図示していない。
図51は、上述した図42との対比により、視聴覚室(部屋)401の内部の様子を示している。図42では、スクリーン405に映像を投影しているが、図51では、内壁2および窓430に映像を投影している。すなわち、天井2Aと天井裏3Aとの間の空間に配置されたプロジェクタ402からの映像光が当該天井2Aに設けられた投影用窓404を通して内壁2に照射されている。また、床2Bと床下3Bとの間の空間に配置されたプロジェクタ402からの映像光が当該床2Bに設けられた投影用窓404を通して内壁2に形成された窓430に照射されている。なお、図51には、プロジェクタ402、天井裏3A、床下3Bは、図示していない。
図52は、上述した図42との対比により、視聴覚室(部屋)401の内部の様子を示している。図42では、スクリーン405に映像を投影しているが、図52では、テーブル420に映像を投影している。すなわち、床2Bと床下3Bとの間の空間に配置されたプロジェクタ402からの映像光が当該床2Bに設けられた投影用窓404を通してテーブル420に照射されている。なお、図52には、プロジェクタ402、床下3Bは、図示していない。
ここで、図52に示すように、テーブル420は、上方から見てほぼ正方形形状のテーブル面423を有し、このテーブル面423の四隅をそれぞれ脚422により支える構造となっている。このテーブル面423は、図53に示すように、例えば強化ガラス等の透明板材で形成されている。また、テーブル面423はほぼ全面に、リアプロジェクション用のスクリーン425が配置される。これにより、テーブル420は、床2Bに設けられた投射窓404からの映像光をこのスクリーン425により受光し、床2Bと床下3Bとの間の空間に配置されたプロジェクタ402による映像を表示する。
図54は、上述した図42との対比により、視聴覚室(部屋)401の内部の様子を示している。図42では、スクリーン405に映像を投影しているが、図54では、テーブル420に映像を投影している。すなわち、天井2Aと天井裏3Aとの間の空間に配置されたプロジェクタ402からの映像光が当該天井2Aに設けられた投影用窓404を通してテーブル420に照射されている。なお、図54には、プロジェクタ402、天井裏3Aは、図示していない。
図55、図56は、図48および図49との対比により、視聴覚室システムの一部構成を示している。この視聴覚システムにおいては、上下方向(垂直方向)に連続する2つの視聴覚室(部屋)401U,401Dに、1台のプロジェクタ402によって、映像を表示する。なお、図55は、階下の視聴覚室401Dにはスクリーン405に映像が表示され、階上の視聴覚室401Uにもスクリーン405に映像が表示される例である。これに対して、図56は、階下の視聴覚室401Dにはスクリーン405に映像が表示され、階上の視聴覚室401Uにはテーブル420のテーブル面に映像が表示される例である。
すなわち、プロジェクタ402は、階下の視聴覚室401Dの天井2Aと階上の視聴覚室401Uの床2Bとの間の空間に配置されている。そして、このプロジェクタ402は、階下の視聴覚室401Dの天井2Aに設けられた投影用窓404の位置または階上の視聴覚室401Uの床2Bに設けられた投影用窓404の位置に、選択的に移動可能とされている。この場合、図示せずも、空間内には、これらの投影用窓404の位置にプロジェクタ402を案内するためのガイド部材(図43のレール参照)が、設けられている。
プロジェクタ402は、階下の視聴覚室401Dのリモートコマンダ471の操作により、当該視聴覚室401Dの天井2Aに設けられた投影用窓404の位置に移動する。また、階上の視聴覚室401Uのリモートコマンダ471の操作により、当該視聴覚室401Uの床2Bに設けられた投影用窓404の位置に移動する。
プロジェクタ402が階下の視聴覚室401Dの天井2Aに設けられた投影用窓404の位置に移動すると、この投影用窓404を介して視聴覚室401Dの所定位置に映像を表示するように、ミラー462の向きが切り換えられる。また、階下の視聴覚室401Dの天井2Aに設けられた投影用窓404の位置に移動すると、この投影用窓404を介して視聴覚室401Dの所定位置に映像を表示するように、ミラー462の向きが切り換えられる。
この図55、図56に示すように構成することで、2つの視聴覚室401U,401Dで、1台のプロジェクタ402を兼用でき、その分構成を簡略化できる。
図57は、図55,図56との対比により、視聴覚室システムの一部構成を示している。この視聴覚システムにおいては、左右方向(水平方向)に連続する2つの視聴覚室(部屋)401L,401Rに、1台のプロジェクタ402によって、映像を表示する。
すなわち、プロジェクタ402は、視聴覚室401L,401Rの天井2Aと天井裏3Aとの間の空間に配置されている。そして、このプロジェクタ402は、左側の視聴覚室401Lの天井2Aに設けられた投影用窓404の位置または右側の視聴覚室401Rの天井2Aに設けられた投影用窓404の位置に、選択的に移動可能とされている。この場合、図示せずも、空間内には、これらの投影用窓404の位置にプロジェクタ402を案内するためのガイド部材(図43のレール参照)が、設けられている。
プロジェクタ402は、左側の視聴覚室401Lのリモートコマンダ471の操作により、当該視聴覚室401Lの天井2Aに設けられた投影用窓4の位置に移動する。また、右側の視聴覚室401Rのリモートコマンダ471の操作により、当該視聴覚室401Rの天井2Aに設けられた投影用窓404の位置を移動する。
プロジェクタ402が左側の視聴覚室401Lの天井2Aに設けられた投影用窓404の位置に移動すると、この投影用窓404を介して視聴覚室401Lの所定位置に映像を表示するように、ミラー462の向きが切り換えられる。また、右側の視聴覚室401Rの天井2Aに設けられた投影用窓404の位置に移動すると、この投影用窓404を介して視聴覚室401Rの所定位置に映像を表示するように、ミラー462の向きが切り換えられる。
この図57に示すように構成することで、2つの視聴覚室401L,401Rで、1台のプロジェクタ402を兼用でき、その分構成を簡略化できる。なお、水平方向に並ぶさらに多くの視聴覚室で1台のプロジェクタを同様にして兼用できることは勿論である。なお、図57では、天井2Aと天井裏3Aの間の空間にプロジェクタ402を配置したものであるが、このプロジェクタ402を床と床下との間の空間に配置するものも同様に構成できる。
図58は、上述した図50との対比により、視聴覚室(部屋)401の内部の様子を示している。図50では、天井2Aに2個の投影用窓404が設けられたものを示したが、図58では、天井2Aには1個の帯状の投影用窓404が設けられている。この投影用窓404は、例えば透明ガラスにより覆われて作成される。この場合、プロジェクタ402をこの帯状の投影用窓404の各部に移動して、映像の投影位置を種々に変更できる。
図59は、上述した図58との対比により、視聴覚室(部屋)401の内部の様子を示している。図58では、天井2Aに1個の帯状の投影用窓404が設けられたものを示したが、図59では、内壁2に1個の帯状の投影用窓404が設けられている。この投影用窓404は、例えば透明ガラスにより覆われて作成される。この場合、内壁2と外壁3との間の空間に配置されるプロジェクタ402をこの帯状の投影用窓404の各部に移動して、反対側の内壁2における映像の投影位置を種々に変更できる。
なお、上述実施の形態においては、プロジェクタ402のガイド部材がレールであるものを示したが、この発明はこれに限定されるものではなく、種々の手法を広く適用することができる。
また、上述実施の形態においては、スクリーン405、テーブル420、床2B、天井2A、内壁2等に映像を投影する場合について述べたが、これに限らず、例えばテーブル以外の家具に投影する場合等、投影場所にあっては種々に設定することができる。
また、上述の実施の形態においては、天井、床、壁を二重構造により形成する場合について述べたが、これに限らず、要は、天井面、床面、壁面に沿ってプロジェクタを移動可能に、天井の裏側、床の裏側、壁の裏側に配置すればよく、種々の構造による視聴覚室に広く適用することができる。
(4)リモートコマンダの構成例
上述した画像表示システム101のリモートコマンダ116、あるいは上述したプロジェクタ402を制御するリモートコマンダ471として使用し得るリモートコマンダについて説明する。
図60は、リモートコマンダ201の構成を示す略線図である。このリモートコマンダ201は、テーブル202によりユーザによる操作を受け付ける。ここで、テーブル202は、図61に示すように、上方から見てほぼ正方形形状のテーブル面203持ち、このテーブル面203の四隅がそれぞれ脚204により支えられた構造となっている。このテーブル面203は、強化ガラス等の透明板材により形成されている。このテーブル面203のほぼ全面に、背面投射型プロジェクタのスクリーン206および透明タッチパネル207がこの順に積層配置されている。タッチパネル207は、ユーザ操作による指示を検出するセンシング部を構成している。ここで、テーブル面203は全部が透明部分からなっていてもよいが、少なくともスクリーン206に対応した一部が透明部分であればよい。
また、図61に示すように、テーブル202は、テーブル面203の下側であって、脚204の内側に、テーブル台208を備えている。すなわち、図62Aおよび図62Bにそれぞれ側面図および底面図を示すように、テーブル台208はテーブル面203の下側の全面をほぼ覆う角筒形状に形成されている。後述するようにテーブル202の下方位置に配置されるプロジェクタ210は、このテーブル台208で覆い隠された状態とされる。なおここで、このテーブル台208によりテーブル面203の全体を支えるようにし、脚204を省略するようにしてもよい。
ここで、プロジェクタ210は、背面投射型プロジェクタであり、DVDプレーヤ、ビデオテープレコーダ、テレビチューナ等の映像機器(図示せず)から無線送信されて送受信部212で受信された映像信号SVによる映像光を上方に向けて出射する。これにより、図63に模式的に示すように、テーブル面203に設けられたスクリーン206に、当該映像信号SVによる映像が表示される。
信号処理部211は、ユーザによるタッチパネル207の操作による指示を検出し、この指示を送受信部212に通知する。送受信部212は、このユーザ操作による指示を、映像機器に無線送信する。また、送受信部212は、映像機器と無線通信し、当該映像機器から映像信号SVを受信し、これをプロジェクタ210に供給する。
図60に示すリモートコマンダ201の動作を説明する。例えば、ユーザがタッチパネル207の有効画面外をタッチ操作すると、信号処理部211ではメニュー画面の要求指示が検出される。このメニュー画面の要求指示は、送受信部212を通じて映像機器に送信される。
そして、このメニュー画面の要求指示により映像機器から送られてくるメニュー画面用の映像信号が送受信部212で受信され、この映像信号SVはプロジェクタ210に供給される。プロジェクタ210からは、この映像信号SVによる映像光が出射され、テーブル面203に配置されたスクリーン206に照射される。これにより、スクリーン206には、メニュー画面が表示される。
また、このようにスクリーン206にメニュー画面が表示されている状態で、ユーザがタッチパネル207を操作することで、信号処理部211では所定のメニューの選択指示が検出される。このメニューの選択指示は、送受信部212を通じて映像機器に送信される。これにより、映像機器の動作を種々に制御できる。この映像機器の動作には、リモートコマンダ201に所定の映像信号を送る動作も含まれる。
また、この映像機器の動作には、上述した図19の画像表示システムの制御部113の動作も含まれる。この場合、スクリーン206は、鳥瞰画像表示部117を構成し、例えば図32A,Bに示すような鳥瞰モード、没入モードの操作画面の表示が行われる。なおこの場合、上述したようなメニュー画面の表示はなく、最初はスクリーン206に鳥瞰モードの表示が行われ、そして、その後のユーザ操作に応じて鳥瞰モード、没入モードの操作画面のいずれかが表示される。このような操作画面に係る映像信号は、画面内容が変更する毎に、映像機器(図19の画像処理部113B対応)から無線送信され、送受信部212で受信されることになる。
このように、図60に示すリモートコマンダ201によれば、家具としてのテーブル202に配置されたスクリーン206に映像を表示し、このスクリーン206上におけるユーザ操作による指示をセンシング部としてのタッチパネル207で検出するものであり、従来のリモートコマンダのように操作しようとしたとき見つからないということがなく、ユーザの使い勝手を向上できる。
図64は、図60との対比により、リモートコマンダ201Aの一部を示している。この図64において、図60と対応する部分には同一符号を付して示している。このリモートコマンダ201Aにおいて、テーブル202は、床2Bの一定個所に固定して保持される。このようにテーブル202が固定保持される床2Bの部分には、プロジェクタ210からの映像光を通すための投影用窓213が設けられている。
この投影用窓213は、開口により形成してもよく、また開口にガラス等の透明板材を配置して形成してもよい。また、この投影用窓213に対応して蓋(図示せず)を設け、使用時のみこの蓋を開けるようにしてもよい。
プロジェクタ210は、床2Bと床下3Bとの間の空間に、上述した投影用窓213に対応して配置されている。このプロジェクタ210から出射される映像光は、床2Bに設けられた投影用窓213を介して、テーブル202のテーブル面203に配置されたスクリーン206に照射され、このスクリーン206に映像が表示される。
このリモートコマンダ201Aは、上述したようなプロジェクタ210の配置位置に関する構成を除いて、図60に示すリモートコマンダ201と同様に構成されている。このリモートコマンダ201Aは、リモートコマンダ201と同様の効果を得ることができる他、プロジェクタ210は床2Bと床下3Bとの間の空間に配置され、室内には配置されていないので、上述した図60に示すリモートコマンダ201におけるような、プロジェクタ210を覆い隠すためのテーブル台208を省略でき、さらにプロジェクタ210を床2Bと床下3Bとの間の空間に配置しているので、プロジェクタ210からスクリーン206までの光路を稼ぐことができ、テーブル202の下側構成の厚みを薄くして大画面による映像表示が可能となる。
図65は、図60との対比により、リモートコマンダ201Bの一部を示している。この図65において、図60と対応する部分には同一符号を付して示している。このリモートコマンダ201Bにおいては、プロジェクタ210は床2Bの上に配置されていると共に、このプロジェクタ210の光路上には光路短縮用のレンズ222が設けられている。この場合、プロジェクタ210から出射された映像光は、レンズ222を介してスクリーン206に照射される。
このリモートコマンダ201Bは、上述したようなレンズ222に係る構成を除いて、図60に示すリモートコマンダ201と同様に構成されている。このリモートコマンダ201Bは、リモートコマンダ201と同様の効果を得ることができる他、レンズ222によりプロジェクタ210からスクリーン206までの光路が短縮されるので、テーブル202の下側構成の厚みを薄くして大画面による映像表示が可能となる。
図66は、図64との対比により、リモートコマンダ201Cの一部を示している。この図66において、図64と対応する部分には同一符号を付して示している。このリモートコマンダ201Cにおいては、プロジェクタ210は、床2Bと床下3Bとの間の空間に配置されていると共に、プロジェクタ210から出射される映像光の光路を折り曲げるためのミラー234が設けられている。
この場合、プロジェクタ210は、映像光が床面に沿った方向に出射されるように配置されている。このようにプロジェクタ210から出射された映像光は、ミラー234によって直交する方向に反射され、床2Bに設けられた投影用窓213を介してスクリーン206に照射される。
このリモートコマンダ201Cは、上述したようなミラー234に係る構成を除いて、図64に示すリモートコマンダ201Aと同様に構成されている。このリモートコマンダ201Cは、リモートコマンダ201Aと同様の効果を得ることができる他、ミラー234で光路を折り曲げるものであり、テーブル202の下側構成の厚みを薄くしても、スクリーン206に照射する映像光の光路を十分に確保でき、大画面による映像表示が可能となる。
図67は、図66との対比により、リモートコマンダ201Dの一部を示している。この図67において、図66と対応する部分には同一符号を付して示している。このリモートコマンダ201Dにおいては、プロジェクタ210の光路上には光路短縮用のレンズ245が設けられている。この場合、プロジェクタ210から出射された映像光は、レンズ245およびミラー234を介してスクリーン206に照射される。
このリモートコマンダ201Dは、上述したようなレンズ245に係る構成を除いて、図66に示すリモートコマンダ201Cと同様に構成されている。このリモートコマンダ201Dは、リモートコマンダ201Cと同様の効果を得ることができる他、レンズ245によりプロジェクタ210からスクリーン206までの光路が短縮されるので、テーブル202の下側構成の厚みをさらに薄くして大画面による映像表示が可能となる。
図68および図69は、図60および図61との対比により、リモートコマンダ201Eが配置された視聴覚室(部屋)401の様子を示している。この図68および図69において、図60、図61と対応する部分には同一符号を付して示している。ここで、視聴覚室401は、内壁2、天井2Aおよび床2Bで囲まれている。リモートコマンダ201Eを構成するテーブル202は床2Bの上に置かれている。
テーブル202の透明板材で構成されるテーブル面203のほぼ全面に、液晶フィルム206Aおよび透明タッチパネル207がこの順に積層配置される。つまり、このリモートコマンダ201Eでは、図60および図61に示すリモートコマンダ201の背面投射型プロジェクタのスクリーン206の代わりに液晶フィルム206Aが配置された状態とされる。
この液晶フィルム206Aは、2枚の透明電極を有する透明フィルムの間に液晶を配置して形成されたシート材である。この液晶フィルム206Aは、透明電極に印加される電圧値によって厚み方向の透過率が大きく変化する。ここでは、例えばテーブル202の側面に設けられたスイッチの操作により、この液晶フィルム206Aへの印加電圧を切り換え、当該液晶フィルム206Aを透明の状態と、プロジェクタ210のスクリーンとして使用可能な程度の半透明な状態とに、選択的に切り換え可能とされている。
この場合、図68に示すように、液晶フィルム206Aを半透明状態として、プロジェクタ210からの映像光をこの液晶フィルム206Aに照射することで、テーブル202のテーブル面203(液晶フィルム206A)に映像を表示できる。また、図69に示すように、液晶フィルム206Aを透明状態として、プロジェクタ210からの映像光をこの液晶フィルム206Aを通過させて天井2Aに照射し、この天井2Aに映像を表示できる。なお、プロジェクタ210は、このような映像光の照射対象の切り換えに追従して、フォーカス調整できるように構成されている。
このリモートコマンダ201Eは、上述したような液晶フィルム206Aに係る構成を除いて、リモートコマンダ201と同様に構成されている。このリモートコマンダ201Eは、リモートコマンダ201と同様の効果を得ることができる他、液晶フィルム206Aを透明状態として天井2Aに映像を表示でき、ユーザの使い勝手をさらに向上できる。
図70は、図60との対比により、リモートコマンダ201Fの構成を示している。この図70において、図60と対応する部分には同一符号を付して示している。このリモートコマンダ201Fにおいては、リモートコマンダ201におけるタッチパネル207および信号処理部211に変えて、撮像装置(カメラ)266および画像処理部267が設けられている。これら撮像装置266および画像処理部267は、ユーザ操作による指示を検出するセンシング部を構成している。
ここで、撮像装置266は、プロジェクタ210に隣接して配置され、スクリーン206上におけるユーザによる指等の操作を、スクリーン206に表示された映像と共に撮像し、撮像結果としてのビデオデータを画像処理部267に出力する。画像処理部267は、このビデオデータを処理することにより、スクリーン206上におけるユーザによる指等の操作による指示を検出し、この指示を送受信部212に通知する。送受信部212は、このユーザ操作による指示を、映像機器に無線送信する。
このリモートコマンダ201Fは、上述したようなセンシング部に係る構成を除いて、図60に示すリモートコマンダ201と同様に構成されている。このリモートコマンダ201Fにおいても、リモートコマンダ201と同様の効果を得ることができる他、テーブル面203にユーザ操作のためのタッチパネル207を配置する必要がなくなるという効果がある。
図71は、図70との対比により、リモートコマンダ201Gの一部を示している。この図71において、図70と対応する部分には同一符号を付して示している。このリモートコマンダ201Gにおいて、テーブル202は、床2Bの一定個所に固定して保持される。このようにテーブル202が固定保持される床2Bの部分には、図64に示すリモートコマンダ201Aと同様に、プロジェクタ210からの映像光を通すための投影用窓213が設けられている。
プロジェクタ210および撮像装置266は、床2Bと床下3Bとの間の空間に、上述した投影用窓213に対応して配置されている。このプロジェクタ210から出射される映像光は、床2Bに設けられた投影用窓213を介して、テーブル202のテーブル面203に配置されたスクリーン206に照射され、このスクリーン206に映像が表示される。また、撮像装置266は、床2Bに設けられた投影用窓213を介して、スクリーン206上におけるユーザによる指等の操作を、スクリーン206に表示された映像と共に撮像する。
このリモートコマンダ201Gは、上述したようなプロジェクタ210および撮像装置266の配置位置に関する構成を除いて、図70に示すリモートコマンダ201Fと同様に構成されている。このリモートコマンダ201Gは、リモートコマンダ201Fと同様の効果を得ることができる他、プロジェクタ210および撮像装置266は床2Bと床下3Bとの間の空間に配置され、室内には配置されていないので、室内の雰囲気を乱すことがない。
図72は、図70との対比により、リモートコマンダ201Hの一部を示している。この図71において、図70と対応する部分には同一符号を付して示している。このリモートコマンダ201Hにおいて、撮像装置266からのビデオデータを処理する画像処理部267Aは、スクリーン206上における移動体のドラッグの操作による指示を、単なるスクリーン206へのタッチ操作による指示とは識別して検出し、この指示を送受信部212に通知する。
このリモートコマンダ201Hは、画像処理部267Aに係る構成を除いて、図70に示すリモートコマンダ201Fと同様に構成されている。このリモートコマンダ201Hにおいても、リモートコマンダ201Fと同様の効果を得ることができる他、画像処理部267Aではスクリーン206への単なるタッチ操作による指示と移動体のドラッグによる指示とを識別して検出するものであり、ユーザ操作による指示の種類を増すことができる。
なお、上述実施の形態においては、透明板材からなるテーブル面203にスクリーン206が配置されるものを示したが、スクリーン206自体がテーブル面203を構成している場合であってもよい。また、上述実施の形態においては、テーブルを用いたリモートコマンダについて説明したが、それぞれの構成を適宜組み合わせるようにしてもよい。
また、上述の実施の形態においては、背面投射型のプロジェクタ210により映像を投影する場合について述べたが、本発明はこれに限らず、フロント投射型のプロジェクタにより映像を投影するようにしてもよい。なおこの場合、床下等へのプロジェクタの配置に代えて、天井等にプロジェクタを配置することになる。
また、上述の実施例の形態においては、家具がテーブルであるものを示したが、例えば本棚、机、タンス等、その他の家具によっても同様のリモートコマンダを得ることができる。また、上述実施の形態においては、映像機器のリモートコマンダについて述べたが、これに限らず、種々の機器のリモートコマンダに広く適用することができる。
(5)鳥瞰画像表示部における表示
上述した図19に示す画像表示システム101で、リモートコマンダ116を構成する鳥瞰画像表示部117には、例えば鳥瞰画像と共に、この鳥瞰画像上で特定される撮影地点(撮影個所)で撮影された撮影画像が同時に表示される(図32A参照)。ここでは、この表示のための画像処理の詳細を説明する。
図73は、上述したように撮影画像が配置された鳥瞰画像を表示するための画像処理装置301の構成を示している。この図73において、図19と対応する部分には同一符号を付し、適宜その詳細説明を省略する。この画像処理装置301は、メディアデータベース112と、制御部113と、鳥瞰画像表示部117と、タッチパネル118とを有している。この画像表示装置301は、充分な画像処理能力を有するコンピュータによって構成される。
メディアデータベース112は、上述したように、記録再生部、例えば大容量のハードディスク装置により形成されている。このメディアデータベース112は、画像表示装置301の動作に必要な各種プログラム、複数種類の鳥瞰画像の画像データ、それぞれの鳥瞰画像上で特定される撮影地点で撮影された撮影画像の画像データ等を記録保持し、またこれら保持した画像データを再生して出力する。
ここで、鳥瞰画像は撮影画像の撮影地点を上空より見た画像であって、この鳥瞰画像として実写による画像、イラストによる画像、コンピュータグラフィックスによる画像、地図画像等を適用できる。この実施の形態では鳥瞰画像として地図画像が適用されている。すなわち、メディアデータベース112は鳥瞰画像の画像データとして、地図画像の画像データD4を記録して保持する。
撮影画像は、図74に地図Mを用いて示すように、地図画像に設定された撮影地点P1〜P3で撮影された各種の画像であり、この実施の形態では撮影画像としてパノラマ画像が適用されている。すなわち、メディアデータベース112は撮影画像の画像データとして、パノラマ画像の画像データD3を記録して保持する。このパノラマ画像は、魚眼レンズにより周囲を撮影して取得されたものであり、円形形状に形成されている。各撮影地点のパノラマ画像には、それぞれ、地図画像上での撮影地点を特定する、リンク情報としての撮影地点の情報が設定されている。
なお、このようなパノラマ画像側へのリンク情報の設定に代えて、地図画像側の撮影地点に、対応するパノラマ画像を特定するリンク情報を設定するようにしてもよい。また、このパノラマ画像としては、双曲面ミラーを使用した撮像結果を適用してもよく、撮像装置(カメラ)を一定角度ずつパンさせて撮影した複数画像による撮像結果を適用してもよく、種々の方式によるパノラマ画像を広く適用することができる。また、各パノラマ画像は、特定の方向が一定の方位となるように撮影され、撮影地点の高度を示す高度情報が添付されて提供される。
なお、メディアデータベース112は、これらパノラマ画像の画像データD3、地図画像の画像データD4、さらにはこの画像処理装置301の処理に必要なプログラムが、事前にインストールされて提供されるが、この事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の種々の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
鳥瞰画像表示部117は、例えば液晶表示パネルにより形成され、画像処理部113Bより出力されるビデオデータDV2による画像を表示し、これにより地図画像上にパノラマ画像を配置した画像を表示する。
タッチパネル118はユーザ操作部を構成している。このタッチパネル118により、ユーザは、視点の位置を変更するための操作、シーン切り替えの操作などを行うことができる。このタッチパネル118からの操作情報は表示情報選択部113Aに通知される。なお、ユーザ操作部としては、このタッチパネル118の代わりに、マウス、加速度センサ、ジョイスティックなどの操作デバイスなどを用いることもできる。
制御部113は、メディアデータベース112に記録されたプログラムを実行する演算手段であり、このプログラムの実行により各種機能ブロックを構成する。すなわち、この制御部113は、画像処理部113Bと、表示画像選択部113Aとを有している。さらに、この画像処理部113Bは、全方位画像変換部304A、地図画像/パノラマ画像配置部304Bおよび視点座標変換部304Cを含んでいる。
全方位画像変換部304Aは、図75A,Bに示すように、撮像結果A1〜A3による円形形状のパノラマ画像を構成する各画素を、水平方向に細長い長方形形状の領域にマッピングし、これによりこれら円形形状によるパノラマ画像A1〜A3を、水平方向に広画角な長方形形状によるパノラマ画像B1〜B3に画像変換処理する。なお、双曲面ミラーを使用して撮影したパノラマ画像については、同様のマッピング処理による画像変換処理により、このように水平方向に広画角な長方形形状によるパノラマ画像B1〜B3を生成することができる。また、撮像装置を一定角度ずつパンさせて撮影した複数画像によるパノラマ画像は、これら複数画像を繋ぎ合わせることにより、このようなパノラマ画像B1〜B3を作成することができる。
地図画像/パノラマ画像配置部304Bは、地図画像データD4による地図画像上にパノラマ画像を配置する。この場合、パノラマ画像を視点に向くように配置する。視点座標変換部304Cは、このようにパノラマ画像が配置された画像を、視点方向から見た画像に変換する視点座標変換処理を行い、その処理結果によるビデオデータDV2を鳥瞰画像表示部117に出力する。
表示情報選択部113Aは、タッチパネル118から操作情報の通知に従って、画像処理部113Bで処理すべき、つまり鳥瞰画像表示部117に表示すべき、地図画像およびパノラマ画像を選択する。この場合、選択された地図画像およびパノラマ画像の画像データがメディアデータベース112から読み出されて画像処理部113Bに供給される。また、表示情報選択部113Aは、タッチパネル118から操作情報の通知に従って、視点の情報を画像処理部113Bの視点座標変換部304Cに与える。
次に、パノラマ画像が配置された地図画像の表示に係る制御部113の処理手順を、図76〜図79のフローチャートを参照して説明する。
制御部113は、ステップST1で、電源の投入により、あるいはユーザがタッチパネル118をタッチすることで、表示処理を開始し、ステップST2に進む。ここで、制御部113は、メディアデータベース112から、初期状態で表示すべき地図画像の画像データD4およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データD3、さらには撮影地点を示す撮影地点の情報を読み込む。この初期状態で表示すべき地図画像は、予め設定されている固定したもの、あるいは前回の最後に表示されていたもの等とされる。
続いて、制御部113は、ステップST3で、全方位画像変換部304Aの機能ブロックに係る処理により、ステップST2で取得した円形形状によるパノラマ画像A1〜A3を、横長の長方形形状のパノラマ画像B1〜B3に画像変換処理する(図75参照)。以上のステップST2およびステップST3の処理が初期化の処理となる。
続いて、制御部113は、テップST4に進み、風景画像の表示処理をする。図77は、風景画像表示処理の手順を示している。すなわち、制御部113は、ステップST111で、風景画像表示処理を開始し、ステップST112に進む。ここで、制御部113は、図80に示すように、地図画像/パノラマ画像配置部304Bの機能ブロックに係る処理により、撮影地点の情報に基づいて、地図画像M上の撮影地点P1〜P3に一定の大きさの平面である風景画像表示ボードC1〜C3を配置すると共に、このボードC1〜C3を視点PSの方向に正対するように、傾ける。
なおここで、正対とは、各ボードC1〜C3の中央と視点PSとを結ぶ直線が各ボードの面と直交する関係である。またここで、地図画像Mに沿った方向についてだけ視点PSの方向に正対するようにして、各ボードC1〜C3の視点PSを見上げる方向の傾き(仰角)にあっては、必要に応じて変更するようにしてもよく、各ボードC1〜C3が地図画像M上に直立するようにしてもよい。
続いて、制御部113は、ステップST113で、地図画像/パノラマ画像配置部304Bの機能ブロックに係る処理により、図81に示すように、パノラマ画像B1〜B3を、各ボードC1〜C3の大きさに対応した一定幅の領域ARにより切り出す。このようにパノラマ画像B1〜B3から一定幅の領域ARを切り出し、後述するように各ボードC1〜C3に表示されるパノラマ画像D1〜D3の横方向の長さを制限することで、移動する視点PSに対して各ボードC1〜C3、従ってパノラマ画像D1〜D3を正対させるようにしても、パノラマ画像D1〜D3同士が干渉しないようにし(ぶつかり合わないようにし)、さらには見易さを向上するためである。
なおここで、パノラマ画像B1〜B3から切り出す切り出し領域ARを、視点PSに応じたものとする。すなわち、制御部113は、この切り出し領域ARを、視点方向から見て取られる領域に設定する。例えば、視点が地図画像Mの北方向に存在する場合には、パノラマ画像B1〜B3の南側の部分を切り出す。またこれとは逆に、視点が地図画像Mの南方向に存在する場合には、パノラマ画像B1〜B3の北側の部分を切り出す。制御部113は、視点の移動により、矢印Cで示すように、切り出し領域ARを順次移動させる。
続いて、制御部113は、ステップST114で、上述したようにパノラマ画像B1〜B3から切り出した切り出し領域ARの画像D1〜D3を、それぞれ、ボードC1〜C3に貼り付け、これにより地図画像Mの撮影地点P1〜P3に、この撮影地点P1〜P3で撮影されたパノラマ画像D1〜D3が配置される。
続いて、制御部113は、ステップST115で、視点座標変換部304Cの機能ブロックに係る処理により、パノラマ画像D1〜D3が配置された地図画像Mを、視点PSから見た画像となるように視点座標変換処理を実行し、この処理で得られる表示画像のビデオデータDV2を鳥瞰画像表示部117に供給する。なお、この実施の形態では平行変換処理により視点座標変換処理を実行するが、必要に応じて種々の手法を適用することができる。これにより、鳥瞰画像表示部117には、図82A,Bに示すように、地図画像Mにパノラマ画像D1〜D3を配置した画像が、視点PSから見た状態で表示される。なおここで、図82A,Bの表示例は、それぞれ、逆側に視点PSを配置した関係にある。
なおこの場合、制御部113は、地図画像M上に、撮影地点を先端により指し示すように、頂点を下向きとした三角形形状によるマークM1〜M3を配置し、このマークM1〜M3の上方にパノラマ画像D1〜D3を表示し、これによりパノラマ画像D1〜D3に対応した撮影地点を詳細に把握できるようにする。
また、各パノラマ画像データに設定された高度情報に基づいて、撮影地点の高度に比例するようにこのマークM1〜M3の長さLを設定し、これにより撮影地点の高度を大まかに把握できるようにする。なお、このようなマークにあっては、種々の形状を広く適用することができ、例えば地面に刺したポールの上に看板を表示するかのような形態によりマークとパノラマ画像とを表示し、このポールの長さにより高度を示すようにしてもよい。さらに、制御部113は、ユーザが視点の移動を制御するためのボタンB1、B2を手前側に表示する。
なお、これらにより制御部113は、実際上、このように地図画像M上にパノラマ画像D1〜D3を配置して視点PSの方向より見た2次元画像を形成した後、この2次元画像上に、地図画像M、パノラマ画像A1〜A3の対応する画素値をマッピングしてこれら一連の処理を実行する。
制御部113は、ステップST115の処理の後、ステップST116で、風景画像表示処理を終了し、図76のステップST5に進み、視点変換の処理をする。図78は、視点変換処理の手順を示している。すなわち、制御部113は、ステップST211で、視点変換処理を開始し、ステップST212に進む。ここで、制御部113は、タッチパネル118からの操作情報に基づき、表示画像選択部113Aの機能ブロックに係る処理により、ズームイン操作がなされているか否かを判断し、ズームイン操作がなされているときは、ステップST213に進み、ズームインの視点移動処理を行い、その後にステップST218で、視点変換処理を終了する。
ステップST212でズームイン操作がなされていないときは、制御部113は、ステップST214に進み、ズームアウト操作がなされているか否かを判断する。ズームアウト操作がなされているときは、ステップST215に進み、ズームアウトの視点移動処理を行い、その後にステップST218で、視点変換処理を終了する。
ここで、上述したズームインおよびズームアウトの視点移動処理は、図83に示すように、地図画像Mから視点PSまでの距離Dを一定値だけ変化させる処理である。この場合、ズームインの視点移動処理では、距離Dを一定値だけ小さくし、視点PSを地図画像Mに一定値だけ近づける。一方、ズームアウトの視点移動処理では、距離Dを一定値だけ大きくし、視点PSを地図画像Mから一定値だけ遠ざける。表示画像選択部113Aは、このように変更された視点の情報を上述した視点座標変換部304Cに与える。
ズームイン操作あるいはズームアウト操作が継続してなされている場合、ステップST213あるいはステップST215の視点移動処理が繰り返し行われ、視点PSが連続的に変化していく。このようにズームインあるいはズームアウトの視点移動処理によって変更された視点の情報が視点座標変換部304Cに与えられ、この視点座標変換部304Cで変更された視点から見た画像となるように視点座標変換処理が実行されることで、図84に示すように、鳥瞰画像表示部117に表示される画像がズームインあるいはズームアウトされる。
ステップST214で、ズームアウト操作がなされていないときは、ステップST216で、鳥瞰視点移動操作がなされているか否かを判定する。鳥瞰視点移動操作がなされているときは、制御部113は、ステップST217に進み、表示画像選択部113Aの機能ブロックに係る処理により、鳥瞰視点移動処理を行い、その後にステップST218で、視点変換処理を終了する。
ここで、上述した鳥瞰視点移動処理は、例えば図85A〜Cに示すように、視点PSの位置を移動する処理である。図85Aは、注目点を中心に上空を旋回するように視点PSを所定の速度で移動させる例である。図85Bは、注目点を中心とする半球の球面上を所定の速度および経路で移動させる例である。これら図85A,Bの例は一旦設定されると、その設定を解除するまで鳥瞰視点移動操作がなされているものと判断する。これに対して、図85Cは、ユーザが例えば画面上をドラッグすることで視点PSを水平移動させる例である。なお、画面上にされる表示される視点の移動を制御するボタンB1,B2(図82参照)の操作も、この鳥瞰視点移動操作に含まれる。
鳥瞰視点移動操作が継続してなされている場合、ステップST217の視点移動処理が繰り返し行われこととなり、視点PSが連続的に変化していく。このように鳥瞰視点移動処理によって変更された視点の情報が視点座標変換部304Cに与えられ、この視点座標変換部304Cで変更された視点から見た画像となるように視点座標変換処理が実行される。これにより、例えば図80において、矢印DおよびE1〜E3により示すように、視点PSの移動に追従させて、地図画像MおよびボードC1〜C3の向きを変更し、またこのボードC1〜C3に表示するパノラマ画像D1〜D3の内容も変更する。
制御部113は、ステップST218で、視点変換処理を終了した後、図76のステップST6に進む。ここで、制御部113は、タッチパネル118からの操作情報に基づき、表示画像選択部113Aの機能ブロックに係る処理により、シーン切り替えの操作があったか否かを判断する。シーン切り替え操作があるときは、ステップST7に進む。
ユーザによるシーン切り替え操作は、タッチパネル118により、鳥瞰画像表示部117に表示すべき新たな地図画像(鳥瞰画像)を選択することで行われる。なおこの場合、ユーザの要求によって、制御部113は鳥瞰画像表示部117にメニュー画面を単独であるいは地図画像と共に表示し、ユーザはそのメニュー画面に基づいて所望する地図画像を選択するようにしてもよい。
図79は、シーン切り替え処理の手順を示している。すなわち、制御部113は、ステップST311で、シーン切り替え処理を開始し、ステップST312に進む。ここで、制御部113は、メディアデータベース112から、選択された地図画像の画像データD4およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データD3、さらには撮影地点を示す撮影地点の情報を読み込む。
続いて、制御部113は、ステップST313で、全方位画像変換部304Aの機能ブロックに係る処理により、ステップST312で取得した円形形状によるパノラマ画像A1〜A3を、横長の長方形形状のパノラマ画像B1〜B3に画像変換処理する(図75参照)。以上のステップST312およびステップST313の処理は、上述したステップST2およびステップST3の初期化処理に相当する処理である。
制御部113は、ステップST313の処理の後、ステップST314で、シーン切り替え理を終了し、図76のステップST8に進む。シーン切り替え処理で、上述したようにメディアデータベース112から新たな地図画像データD4等を読み込むことで、上述した風景画像表示処理では、この新たな地図画像データD4等を用いて処理が行われため、鳥瞰画像表示部117には新たな地図画像M等が表示され、シーン切り替えが行われる。
図76のフローチャートで、ステップST6で、シーン切り替え操作がなされていないときは、直ちにステップST8に進む。ここで、制御部113は、鳥瞰画像表示部117への表示を終了するか否かを判断する。例えば、制御部113は、電源オフ、あるいはタッチパネル118の所定部分をユーザが2回連続してタッチする操作を行った場合には終了と判断する。また例えば、制御部113は、ユーザによるタッチパネル118による操作の最終時刻から所定時間が経過した場合には終了と判断する。なお、終了の判断条件はこれに限定されるものではない。
終了と判断しないとき、制御部113は、ステップST4に戻って、上述したと同様の処理を繰り返す。一方、終了と判断するとき、制御部113は、ステップST9に進み、表示処理を終了する。
上述したように、図73の画像表示装置301では、電源の投入により、あるいはユーザがタッチパネル118のいずれかをタッチすることで、表示処理が開始される。そして、最初は、メディアデータベース112から制御部113に、初期状態で表示すべき地図画像の画像データD4およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データD3、さらには撮影地点を示す撮影地点の情報が読み込まれる。制御部113では、それらの画像データ等を用いて表示画像が生成される。この場合、地図画像の各撮影地点にそこで撮影されて得られたパノラマ画像が配置され、しかもそれが視点から見た画像に変換される。これにより、鳥瞰画像表示部117に、地図画像にパノラマ画像を配置した画像が視点から見た状態で表示される(図82A,B参照)。
このように鳥瞰画像表示部117にパノラマ画像が配置された地図画像が表示された後、タッチパネル118でユーザが視点変換のための操作(ズームイン操作、ズームアウト操作、鳥瞰視点移動操作など)を行うと、制御部113で視点移動処理が行われ、鳥瞰画像表示部117に表示される地図画像にパノラマ画像を配置した画像は、視点位置の移動に伴って変化したものとなる。
また、このように鳥瞰画像表示部117にパノラマ画像が配置された地図画像が表示されたのち、タッチパネル118でユーザがシーン切り替えの操作を行うと、メディアデータベース112から制御部113に、新たに選択された地図画像の画像データD4およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データD3、さらには撮影地点の情報が読み込まれ、鳥瞰画像表示部117に新たな地図画像データD4等による画像が表示され、シーン切り替えが行われる。
このように、図73に示す画像表示装置301によれば、鳥瞰画像表示部117に表示される画像は、地図画像M(鳥瞰画像)の撮影地点にそこで撮影されたパノラマ画像(撮影画像)が配置されたものとなる。そのため、複数のパノラマ画像、上述の実施の形態ではパノラマ画像D1〜D3の地理的な関係を容易に把握できる。
また、図73に示す画像表示装置301によれば、地図画像Mの撮影地点に配置されるパノラマ画像は視点PSに向くように配置され、さらにこのパノラマ画像が配置された地図画像Mが視点より見た画像に変換されて表示画像が得られるものである。そのため、視点PSから見た状態で地図画像Mが表示され、しかもこの視点PSに正対した状態でパノラマ画像が表示されるので、見る方向との整合性の図られた画像を表示することができ、複数のパノラマ画像の地理的な関係の把握がより容易となる。
また、図73に示す画像表示装置301によれば、地図画像Mの撮影地点に、広角画像であるパノラマ画像から視点に対応した一部領域が切り出されて配置されるものである(図81参照)。そのため、地図画像M上に表示されるパノラマ画像は、視点に対応したもの、つまり視点方向から見ることができる画像となり、ユーザはその画像を確認できるので、地図画像、パノラマ画像により紹介される場所の理解を十分に図ることができる。
また、図73に示す画像表示装置301によれば、ユーザがユーザ操作部であるタッチパネル118を用いて視点PSの位置を変更できる。そのため、ユーザは視点位置を変更して表示される地図画像Mの方向を変えることができ、これに伴って地図画像M上に配置されるパノラマ画像の内容も変わるので、複数のパノラマ画像の地理的な関係の把握がより容易となる。
また、図73に示す画像表示装置によれば、地図画像M上へのパノラマ画像の配置が、パノラマ画像の一部領域が切り出されて配置されることにより実行される(図81参照)。そのため、横長のパノラマ画像を多数表示する場合でも、パノラマ画像間の重なり合いが防止されて見易さが確保され、またこれによってもパノラマ画像間の地理的な関係を容易に把握することが可能となる。
なお、地図画像M上に配置するパノラマ画像が少ない場合には、切り出す処理を省略して直接パノラマ画像を配置するようにしてもよく、この場合には、地図画像M上に配置したパノラマ画像において、視点方向から見て取ることができる部分が、パノラマ画像の水平方向、中央となるように、パノラマ画像中における各部の表示をスクロールさせることにより、視点により見る方向と、実際に現場にて見て取ることができる風景との整合を図ることができる。
なお、上述実施の形態においては、図73に示す画像表示装置301を、図19に示す画像表示システム101のリモートコマンダ116における鳥瞰画像表示部117への鳥瞰画像の表示に適用したものである。図86は、リモートコマンダ116を家具であるテーブルに形成し、テーブル面に鳥瞰画像表示部116が配置されている例を示している。
また、図73に示す画像表示装置301は、図87に示すように、カーナビゲーション装置にも適用できる。
この場合、例えば、GPS(Global Positioning System )等により検出される現在位置、ユーザにより指示された目的地に対応する地図画像上に、対応するパノラマ画像を配置して表示する。またこのとき、デフォルトの方向に視点を設定して、さらにはGPS等により検出される自動車の向きに応じて視点を設定して、地図画像およびパノラマ画像を表示する。
また、表示画面上に配置したタッチパネルの操作により、地図画像上で目的地の選択を受け付け、さらにはパノラマ画像の選択により目的地の選択を受け付ける。また同様のタッチパネルの操作により、視点の位置を種々の方向に移動させる。なおこの視点の移動にあっては、表示した地図の中央個所を中心にした回転等による移動と、表示した地図に対する平行移動とであり、回転の場合には、所望する場所を種々の方向から眺めて確認することができ、平行移動の場合には、例えば移動経路の沿った経路を確認することができる。
また、図73に示す画像表示装置301は、図87に示すように、駅、コンビニエンスストア等に配置される端末装置等にも同様に適用できる。
また、上述実施の形態においては、地図画像上にパノラマ画像を配置して表示する場合について述べたが、これに限らず、パノラマ画像に代えて、一画面によっては表示困難な大きさの広角の画像を表示する場合、さらには通常の画角による画像を表示する場合等にも広く適用することができる。
また、上述実施の形態においては、HDD等で構成されるメディアデータベース112より画像データを取得して表示する場合について述べたが、これに限らず、例えばネットワーク上のサーバをアクセスして画像データを取得する場合にも広く適用することができる。
また、上述実施の形態においては、撮像画像に静止画を適用する場合について述べたが、これに限らず、撮像画像に動画を適用するようにしてもよい。
また、上述実施の形態においては、画像表示システムのリモートコマンダ、カーナビゲーション装置に適用する場合について述べたが、これに限らず、例えば画像ビュアー等、種々の画像表示に広く適用することができる。
この発明は、室内の雰囲気を乱さずに、しかも複数台のプロジェクタを用意することなくユーザが室内の複数位置で映像を鑑賞できるものであり、例えば室内に風景等を表示する場合などに適用できる。
二重壁構造の視聴覚システムの構成を示す斜視図である。 内壁のフレーム構成を示す図である。 内壁のフレーム構成を説明するための図である。 フレームの一部を拡大して示した図である。 水平、垂直フレームの溶接状態を示す図である。 加重方向支えの水平フレームへの固定の仕方を説明するための図である。 加重方向支えの水平フレームへの固定の仕方を説明するための図である。 板状ユニットの前後方向支えを示す図である。 前後方向支えのフレーム部分への固定の仕方を説明するための図である。 複数のフレーム部分の連結の仕方を説明するための図である。 視聴覚システムの他の構成を示す図である。 視聴覚しステムの他の構成を示す図である。 プロジェクタの設置状態を説明するための図である。 プロジェクタの設置状態(比較例)を示す図である。 視聴覚システムの他の構成を示す図である。 視聴覚システムの他の構成を示す図である。 視聴覚システムの他の構成を示す図である。 部屋用入り口と空間用入り口とを示す図である。 背景画像表示部および鳥瞰画像表示部に画像を表示するための画像表示システムの構成を示すブロック図である。 全周囲画像データを説明するための図である。 画像歪みを説明するための図である。 画像歪みの補正を説明するための図である。 画像歪みの補正を説明するための図である。 消失点を説明するための図である。 画像処理装置の制御部の処理手順を示すフローチャートである。 鳥瞰画像と背景画像表示部の表示との関係を示す図である。 背景画像表示部の画像表示を説明するための図である。 消失点による画像表示位置の補正を説明するための図である。 画像処理装置の制御部の処理手順を示すフローチャートである。 画像処理装置の制御部の処理手順を示すフローチャートである。 背景画像表示部の表示における入力を説明するための図である。 鳥瞰画像表示部における鳥瞰モードおよび没入モードの表示例を模式的に示した図である。 鳥瞰画像表示部の表示状態遷移を示す状態遷移図である。 全周囲画像の並列表示を示す図である。 全周囲画像の並列表示に係る制御部の処理手順を示すフローチャートである。 交点のマーク検出を説明するための図である。 太陽の方向と撮影方向との関係を説明するための図である。 撮影の向きによる輝度レベルの変化を示す図である。 照明制御情報を説明するための図である。 照明制御情報の処理に係る制御部の処理手順を示すフローチャートである。 画像表示システムの他の構成を示すブロック図である。 内壁、天井、床で囲まれた視聴覚室(部屋)の内部の様子(映像光をスクリーンに照射)を示す斜視図である。 プロジェクタの移動機構の構成を示す分解斜視図である。 プロジェクタのミラー可動機構を示す斜視図である。 プロジェクタの構成を示すブロック図である。 天井と天井裏との間の空間に配置されたプロジェクタの天井面に沿った移動を説明するための図である。 床と床下との間の空間に配置されたプロジェクタの床面に沿った移動を説明するための図である。 天井と天井裏との間の空間に配置されたプロジェクタからの映像光の投影例を示す図である。 床と床下との間の空間に配置されたプロジェクタからの映像光の投影例を示す図である。 内壁、天井、床で囲まれた視聴覚室(部屋)の内部の様子(映像光を天井、床に照射)を示す斜視図である。 内壁、天井、床で囲まれた視聴覚室(部屋)の内部の様子(映像光を壁、窓に照射)を示す斜視図である。 内壁、天井、床で囲まれた視聴覚室(部屋)の内部の様子(映像光を床側からテーブル面に照射)を示す斜視図である。 映像光が照射されるテーブルの構成を示す図である。 内壁、天井、床で囲まれた視聴覚室(部屋)の内部の様子(映像光を天井側からテーブル面に照射)を示す斜視図である。 上下方向(垂直方向)に連続する2つの視聴覚室(部屋)に1台のプロジェクタでスクリーンに映像を表示する視聴覚室システムの一部構成を示す図である。 上下方向(垂直方向)に連続する2つの視聴覚室(部屋)に1台のプロジェクタでスクリーンおよびテーブルに映像を表示する視聴覚室システムの一部構成を示す図である。 左右方向(水平方向)に連続する2つの視聴覚室(部屋)1台のプロジェクタで映像を表示する視聴覚室システムの一部構成を示す図である。 内壁、天井、床で囲まれた視聴覚室(部屋)の内部の様子(映像光を天井の帯状の投影用窓を通して床に照射)を示す斜視図である。 内壁、天井、床で囲まれた視聴覚室(部屋)の内部の様子(映像光を内壁の帯状の投影用窓を通して対向する内壁に照射)を示す斜視図である。 リモートコマンダの構成(プロジェクタを床に配置)を示す図である。 リモートコマンダを構成するテーブルを示す斜視図である。 テーブルを構成するテーブル台の側面図および底面図である。 テーブル面に配置されたスクリーンにプロジェクタから映像光を照射し、当該スクリーンに映像を表示している状態を示す図である。 リモートコマンダの他の構成(プロジェクタを床と床下との間の空かに配置)を示す図である。 リモートコマンダの他の構成(プロジェクタを床に配置し、光路短縮用のレンズを使用)を示す図である。 リモートコマンダの他の構成(プロジェクタを床と床下との間の空間に配置し、ミラーで光路を折り曲げる)を示す図である。 リモートコマンダの他の構成(プロジェクタを床と床下との間の空間に配置し、ミラーで光路を折り曲げ、さらに光路短縮用のレンズを使用)を示す図である。 テーブルによるリモートコマンダが配置された視聴覚室の内部の様子(スクリーンを構成する液晶フィルムは半透明状態)を示す斜視図である。 テーブルによるリモートコマンダが配置された視聴覚室の内部の様子(スクリーンを構成する液晶フィルムは透明状態)を示す斜視図である。 リモートコマンダの他の構成(センシング部が撮像装置等からなり、プロジェクタを床に配置)を示す図である。 リモートコマンダの他の構成(センシング部が撮像装置等からなり、プロジェクタを床と床下との間の空間に配置)を示す図である。 リモートコマンダの他の構成(センシング部が撮像装置等からなり、移動体のドラッグ等も検出)を示す図である。 撮影画像が配置された鳥瞰画像を表示するための画像処理装置の構成を示すブロック図である。 撮影画像としてのパノラマ画像を説明するための図である。 全方位画像変換部の処理を説明するための図である。 画像表示装置を構成する制御部における表示処理の手順を示すフローチャートである。 表示処理における風景画像表示処理の手順を示すフローチャートである。 表示処理における視点変換処理の手順を示すフローチャートである。 表示処理におけるシーン切り替え処理の手順を示すフローチャートである。 地図画像にパノラマ画像を配置する際の、風景画像表示ボードの配置と視点による傾き調整を説明するための図である。 パノラマ画像からの視点に対応した一部領域の切り出しを説明するための図である。 地図画像上にパノラマ画像を配置した画像の表示例を示す図である。 ズームイン、ズームアウトの視点移動処理を説明するための図である。 鳥瞰画像表示部におけるズームイン、ズームアウトの表示例を示す図である。 鳥瞰視点移動処理の例を示す図である。 テーブル面に鳥瞰画像表示部が配置されてなるリモートコマンダの一例を示す図である。 カーナビゲーション装置への適用例を示す図である。 駅、コンビニエンスストア等の端末装置への適用例を示す図である。
符号の説明
1・・・視聴覚室、2・・・内壁、2A・・・天井、2B・・・床、3・・・外壁、3A・・・天井裏、3B・・・床下、4・・・垂直フレーム、5・・・水平フレーム、6A〜6D・・・板状ユニット、8・・・振動子、9・・・振動板、10・・・プロジェクタ、11・・・ベイ、21,31,41,51,61・・・視聴覚室、24・・・フレーム部分、25・・・加重方向支え、26・・・前後方向支え、32・・・ミラー、62・・・部屋用入り口、63・・・ドア、64・・・空間用入り口、101・・・画像表示システム、102・・・データ処理装置、111・・・画像表示装置、112・・・メディアデータベース、113・・・制御部、113A・・・表示情報選択部、113B・・・画像処理部、113C・・・音場処理部、113D・・・照明情報生成部、113E・・・照明情報選択部、115・・・背景画像表示部、116・・・リモートコマンダ、117・・・鳥瞰画像表示部、118・・・タッチパネル、119・・・照明用コントローラ、120・・・照明、122・・・スピーカ、141・・・画像表示システム、142・・・画像表示装置、143・・・広帯域ネットワーク、144A〜144C・・・メディアデータベース、201,201A〜201H・・・リモートコマンダ、202・・・テーブル、203・・・テーブル面、204・・・脚、206・・・スクリーン、206A・・・液晶パネル、207・・・タッチパネル、208・・・テーブル台、210・・・プロジェクタ、212・・・送受信部、211・・・信号処理部、213・・・投影用窓、222,245・・・光路短縮用のレンズ、234・・・ミラー、266・・・撮像装置、267・・・画像処理部、267A、301・・・画像表示装置、304A・・・全方位画像変換部、304B・・・地図画像/パノラマ画像配置部、304C・・・視点座標変換部、401・・・視聴覚室、402・・・プロジェクタ、402a・・・コントローラ、402b・・・移動機構、402c・・・投影機構、402d・・・ミラー可動機構、402e・・・リモコン受信部、402f・・・映像受信部、402g・・・補正処理部、402h・・・位置検出機構、404・・・投影用窓、405・・・スクリーン、430・・・窓、451・・・土台、452,454・・・レール、453,455・・・モータ、461・・・シリンダ、462・・・ミラー、463・・・2軸のモータ、471・・・リモートコマンダ、472・・・映像機器

Claims (3)

  1. 少なくとも天井と天井裏との間の空間、床と床下との間の空間、あるいは内壁と外壁との間の空間を有する部屋と、
    上記空間に配置されるプロジェクタとを備え、
    上記部屋は、
    上記プロジェクタが配置される空間に対応した、少なくとも上記天井、上記床あるいは上記内壁に、上記プロジェクタから出射される映像光を通すための投影用窓を有し、
    上記プロジェクタは、
    上記空間内を移動するための移動機構と、
    上記空間内の所定位置に移動した状態で上記部屋内の所定位置に映像光を、上記投影用窓を介して照射する投影機構とを有する
    視聴覚システム。
  2. 上記プロジェクタは、
    少なくとも上記投影機構で上記映像光を得るために使用される画像データおよび上記移動機構を制御するためのコントロール信号を受信する無線受信部をさらに有する
    請求項1に記載の視聴覚システム。
  3. 上記プロジェクタは、
    上記投影機構から出射される映像光を所定方向に反射するミラーと、
    上記ミラーの位置および角度のいずれかまたは両方を変化させるミラー可動機構とをさらに有する
    請求項1または2に記載の視聴覚システム。
JP2006193417A 2005-09-14 2006-07-13 視聴覚システム Expired - Fee Related JP5168834B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006193417A JP5168834B2 (ja) 2005-09-14 2006-07-13 視聴覚システム

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2005266259 2005-09-14
JP2005266259 2005-09-14
JP2005266262 2005-09-14
JP2005266262 2005-09-14
JP2005266260 2005-09-14
JP2005266260 2005-09-14
JP2005267803 2005-09-15
JP2005267803 2005-09-15
JP2005269556 2005-09-16
JP2005269556 2005-09-16
JP2006193417A JP5168834B2 (ja) 2005-09-14 2006-07-13 視聴覚システム

Publications (2)

Publication Number Publication Date
JP2007108677A JP2007108677A (ja) 2007-04-26
JP5168834B2 true JP5168834B2 (ja) 2013-03-27

Family

ID=38034549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006193417A Expired - Fee Related JP5168834B2 (ja) 2005-09-14 2006-07-13 視聴覚システム

Country Status (1)

Country Link
JP (1) JP5168834B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5207030B2 (ja) 2008-02-04 2013-06-12 ソニー株式会社 通信装置、通信方法、及び、プログラム
JP5394816B2 (ja) * 2009-05-08 2014-01-22 下西技研工業株式会社 プロジェクタ支持装置
KR101415471B1 (ko) 2012-08-03 2014-08-06 유국일 텔레비전용 스피커장치
JP6155764B2 (ja) * 2013-03-29 2017-07-05 株式会社コナミデジタルエンタテインメント ゲーム機
JP6116031B2 (ja) * 2013-06-21 2017-04-19 Necディスプレイソリューションズ株式会社 画像表示装置及び画像表示方法
JP6549837B2 (ja) * 2014-11-28 2019-07-24 トヨタホーム株式会社 映像投影システム
CN104614929B (zh) * 2015-02-12 2017-02-01 南京中科神光科技有限公司 一种多画面投影显示装置及多画面投影方法
KR102605411B1 (ko) * 2015-10-26 2023-11-22 량 콩 몰입식 올인원 pc 시스템
JP6701873B2 (ja) * 2016-03-28 2020-05-27 セイコーエプソン株式会社 プロジェクター
WO2021048908A1 (ja) * 2019-09-10 2021-03-18 三菱電機株式会社 案内システム及び出力装置
CN112802372A (zh) * 2021-01-11 2021-05-14 中国人民解放军联勤保障部队第九〇〇医院 一种vr手术示教投影设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5868772U (ja) * 1981-10-30 1983-05-10 日本電気ホームエレクトロニクス株式会社 投写型テレビジヨン受像装置
FR2558973B1 (fr) * 1984-01-30 1987-02-20 Bourdier Jean Claude Procede d'ajustement dimensionnel d'images en serie, a combiner avec des images naturelles propres - notamment derriere un miroir - pour passer en revue des collections de parures telles que vetements, bijoux, etc.; installation et collections d'images pour la mise en oeuvre de ce procede et images mixtes ainsi obtenues
JPH0356951A (ja) * 1989-07-26 1991-03-12 Komatsu Wall Ind Co Ltd プロジェクタの天井移動装置
JP2581757Y2 (ja) * 1991-04-26 1998-09-24 ミサワホーム株式会社 ビデオプロジェクターの投影装置

Also Published As

Publication number Publication date
JP2007108677A (ja) 2007-04-26

Similar Documents

Publication Publication Date Title
JP4853149B2 (ja) 画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体
JP5168834B2 (ja) 視聴覚システム
US7980704B2 (en) Audiovisual system including wall-integrated audiovisual capabilities
US10397556B2 (en) Perspective altering display system
JP5272293B2 (ja) リモートコマンダおよび電子機器の操作入力方法
JP4929887B2 (ja) 画像表示装置、画像表示方法、プログラムおよび記録媒体
JP5406813B2 (ja) パノラマ画像表示装置およびパノラマ画像表示方法
US20060114251A1 (en) Methods for simulating movement of a computer user through a remote environment
BRPI0924076B1 (pt) Sistema de telepresença e método de telepresença
JP2010114522A (ja) カメラ制御装置及びカメラ制御方法
JP2009010915A (ja) 映像表示方法及び映像システム
JP2015119277A (ja) 表示機器、表示方法及び表示プログラム
US9372530B2 (en) Aspect-ratio independent, multimedia capture and editing systems and methods thereof
JP2021525043A (ja) タイムラプス撮影の制御方法および制御装置、撮像システムならびにプログラム
JP4997853B2 (ja) 視聴覚システム
US20080129818A1 (en) Methods for practically simulatnig compact 3d environments for display in a web browser
KR100928723B1 (ko) 실제환경과 중첩되도록 영상을 보여주기 위한 뷰어시스템및 이를 이용한 영상출력방법
JP2006081128A (ja) 撮影システム、カラオケシステム、撮影方法
JP2002199252A (ja) スタジオセット用ディスプレイ装置およびこれを用いたスタジオセット
US8054332B2 (en) Advanced input controller for multimedia processing
JP5646033B2 (ja) 画像表示装置および画像表示方法
JP2002269298A (ja) 展示物解説システム
JP2001298733A (ja) パノラマ再現装置
JP3702495B2 (ja) 景観表示システム
JP2003284017A (ja) 端末装置、双方向対話型システム、ヘッドセット及びマルチウィンドウ表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121217

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees