WO2022130876A1 - 画像表示装置、画像表示方法、及びプログラム - Google Patents

画像表示装置、画像表示方法、及びプログラム Download PDF

Info

Publication number
WO2022130876A1
WO2022130876A1 PCT/JP2021/042045 JP2021042045W WO2022130876A1 WO 2022130876 A1 WO2022130876 A1 WO 2022130876A1 JP 2021042045 W JP2021042045 W JP 2021042045W WO 2022130876 A1 WO2022130876 A1 WO 2022130876A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display device
screen
image display
main display
Prior art date
Application number
PCT/JP2021/042045
Other languages
English (en)
French (fr)
Inventor
一平 反畑
晃己 渡部
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022569791A priority Critical patent/JPWO2022130876A1/ja
Priority to US18/256,182 priority patent/US20240038108A1/en
Publication of WO2022130876A1 publication Critical patent/WO2022130876A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

本願発明は、高品質な視聴体験を実現することが可能な画像表示装置、画像表示方法、及びプログラムを提供することを目的とする。 上記目的を達成するため、本技術の一形態に係る画像表示装置は、スクリーンと、表示部とを具備する。前記スクリーンは、所定の軸に沿って延在する円筒状である。前記表示部は、前記スクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させる。これにより、高品質な視聴体験を実現することが可能となる。

Description

画像表示装置、画像表示方法、及びプログラム
 本技術は、画像を表示する画像表示装置に関する。
 特許文献1には、第1のスクリーンと第2のスクリーンとを有する表示部と、第1の画像と第2の画像と投射する表示部を具備する画像表示装置が記載されている。第1のスクリーンは曲面状である。第2のスクリーンは、透明性を有し、第1のスクリーンの前方に間隙を開けて配置される。表示部により、第1のスクリーンに第1の画像が投射され、第2のスクリーンに第2の画像が投射される。これにより、2つの曲面上に画像が重畳して表示され、奥行き感のある画像表示を広い視野角で実現される(特許文献1の明細書段落[0049]~[0055]図1等)。
国際公開第2020/080111号
 このように、スクリーンに表示される画像の位置関係を正確に認識でき、高品質な視聴体験を実現することが可能な技術が求められている。
 以上のような事情に鑑み、本技術の目的は、高品質な視聴体験を実現することが可能な画像表示装置、画像表示方法、及びプログラムを提供することにある。
 上記目的を達成するため、本技術の一形態に係る画像表示装置は、スクリーンと、表示部とを具備する。
 前記スクリーンは、所定の軸に沿って延在する円筒状である。
 前記表示部は、前記スクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させる。
 この画像表示装置では、所定の軸に沿って延在する円筒状のスクリーンの表面の略全体に表示される表面画像と、スクリーンの内部空間に存在するように表示される主表示画像とが重畳される。これにより、高品質な視聴体験を実現することが可能となる。
 前記画像表示装置であって、さらに、観察者の位置情報を含む周辺情報に基づいて、前記主表示画像を制御する画像制御部を具備してもよい。
 前記周辺情報は、前記スクリーン周辺に存在する環境光を含んでもよい。
 前記画像制御部は、前記環境光の位置に基づいて、前記主表示画像に影が重畳されるように制御を行ってもよい。
 前記表示部は、前記位置情報に基づいて、前記主表示画像を表示してもよい。
 前記画像表示装置であって、さらに、前記表面画像及び前記主表示画像を生成する生成部を具備してもよい。
 前記生成部は、前記観察者の位置情報に基づいて、3Dオブジェクトから前記主表示画像を生成してもよい。
 前記生成部は、前記スクリーンの形状に基づいて、平面画像から前記表面画像を生成してもよい。
 前記画像制御部は、前記環境光の位置に基づいて、前記表面画像の制御を行ってもよい。
 前記画像制御部は、前記観察者の位置と前記スクリーンに表示される前記表面画像の位置とに基づいて、前記観察者との距離が近い前記スクリーンの領域に投射される前記表面画像よりも、前記観察者との距離が遠い前記スクリーンの領域とは異なる他の領域に投射される前記表面画像の解像度を下げる制御を行ってもよい。
 本技術の一形態に係る画像表示方法は、コンピュータシステムが実行する画像表示方法であって、所定の軸に沿って延在する円筒状のスクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させることを含む。
 本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
 所定の軸に沿って延在する円筒状のスクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させるステップ。
画像表示装置を模式的に示す図である。 主表示画像の画像表示例を示す模式図である。 画像表示装置の構成例を示すブロック図である。 表示画像及び主表示画像の表示方法を示すフローチャートである。 表示画像及び主表示画像の表示方法を示すフローチャートである。 表示画像及び主表示画像の画像制御例を示す模式図である。 表示画像の制御例を示す模式図である。 画像表示装置のハードウェア構成例を示すブロック図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 <第1の実施形態>
 図1は、本技術の第1の実施形態に係る画像表示装置を模式的に示す図である。
 図1に示すように、画像表示装置100は、台座10と、表示部20と、スクリーン30とを有する。
 台座10は、円筒形状であり画像表示装置100の下方の部分に設けられる。台座10は、図示しない任意の保持機構により、表示部20、スクリーン30、及び反射ミラー32を保持する。また台座10には、図示しないバッテリー等の電源供給源やスピーカ、その他画像表示装置100の動作に必要な素子等が適宜設けられる。台座10の形状等は限定されず、例えば直方体等の任意の形状が用いられてよい。
 表示部20は、円筒形状の台座10の略中心の位置に、上方に向けて設置される。表示部 は、上下方向に延在する光軸1に沿って、画像を構成する画像光を出射する。本実施形態では、光軸1は、所定の軸に相当する。
 表示部20としては、例えばRGBの各色に対応したレーザ光をスキャンして各画素を表示するレーザ走査方式のカラープロジェクタ等が用いられる。表示部20の具体的な構成は限定されず、例えば小型のモバイルプロジェクタ(ピコプロジェクタ)や単色のレーザ光を用いたプロジェクタ等が、画像表示装置100のサイズや用途等に応じて適宜用いられてよい。この他、画像光を投射可能な任意のプロジェクタが用いられてよい。
 スクリーン30は、円筒形状であり光軸1の周囲の全周にわたって配置される。本実施形態では、スクリーン30(円筒形状)の中心軸と表示部20の光軸1とが略一致するようにスクリーン30が設けられる。図1に示す例では、台座10と同様の直径を有するスクリーン30が示されている。これに限定されず、スクリーン30の直径や高さ等は適宜設定されてよい。
 スクリーン30は、光軸1の周囲の全周にわたって配置される透過型ホログラムである。透過型ホログラムは、例えば拡散板による拡散光の干渉縞が記録されており、入射した画像光を拡散する拡散機能を有する。これに限定されず、例えば拡散機能を持たない透過型ホログラムの外側(光軸1とは反対側)に画像光を拡散する光拡散層等が積層されてもよい。本実施形態において、スクリーン30は、ホログラムスクリーンとして機能する。
 透過型ホログラムの内側から入射した画像光は、透過型ホログラムにより様々な方向に拡散(散乱)されて外側に向けて出射される。
 スクリーン30の具体的な構成は限定されず、例えば微粒子等の散乱体やマイクロレンズ等を使って光を拡散するスクリーン等が適宜用いられてよい。この他、画像光を拡散可能な任意のフィルムや膜等が透過型のスクリーンとして用いられてよい。
 図1に示すように、本実施形態では、表示部20は、表面画像2及び主表示画像3をスクリーン30に表示する。
 表面画像とは、スクリーン30表面に存在するように観察者(ユーザ)が見ることができる画像である。例えば、図1では、鳥かごの檻を模した黒い線2が表示される。本実施形態では、表面画像はスクリーン30の略全体に表示される。
 主表示画像とは、スクリーン30の内部に存在するように観察者が見ることができる画像である。例えば、図1では、鳥かごの檻の内部(スクリーン30内の空間)に鳥3が飛んでいる姿が表示される。また本実施形態では、主表示画像は、表示部20により観察者の位置情報に基づいて、画像が表示される。具体例は図2を用いて説明する。
 なお、略全体とは、表面画像2及び主表示画像3をスクリーン30に重畳させた際の、スクリーン30表面とスクリーン30(円筒)内部との視差効果が増し、観察者にスクリーン30表面とスクリーン30内部とに分布する画像(オブジェクト)の位置関係を認識させるのに十分な量である。つまり、スクリーン30の表面積の所定の割合を表面画像2が埋めるかを限定するわけではない。
 本実施形態では、表面画像2は、平面画像5から生成される。具体的には、後述する表面画像生成部11により、スクリーン30の形状に基づいて、平面画像5から表面画像2が生成される。
 また主表示画像3は、仮想3Dオブジェクト6から生成される。仮想3Dオブジェクトとは、オブジェクトを水平方向及び鉛直方向に360度撮影されたオブジェクトである。具体的には、後述する主表示画像生成部13により、観察者の位置情報(例えば、視点)に基づいて、仮想3Dオブジェクト6から主表示画像3が生成される。すなわち、主表示画像とは、観察者の位置情報から仮想3Dオブジェクトを見た場合に表示される画像である。
 すなわち、画像表示装置100は、スクリーン30の形状及び観察者の位置情報に基づいて、平面画像5及び仮想3Dオブジェクト6を制御し、表面画像2及び主表示画像3を重畳させて表示する。
 図2は、主表示画像の画像表示例を示す模式図である。図2Aは、観察者がスクリーン30の上部(例えば、光軸1の線上)から主表示画像を見た場合の模式図である。
 図2Aに示すように、観察者は光軸1の線上から画像表示装置100を見た場合、主表示画像である鳥3を上部から見た場合の図が表示される。例えば、後述する周辺情報取得部12により観察者の位置情報が取得され、該位置情報に基づいて主表示画像が表示される。
 図2Bでは、観察者(視点21)の位置情報がスクリーン30の真横になった場合、図2Bに示すように、鳥3を横から観察した場合の主表示画像が表示される。
 同様に図2Cでは、観察者(視点22)位置情報がスクリーン30の正面になった場合、図2Cに示すように、鳥3を正面から観察した場合の主表示画像が表示される。
 図3は、図1に示す画像表示装置の構成例を示すブロック図である。
 画像表示装置100は例えばCPUやGPU、DSP等のプロセッサ、ROMやRAM等のメモリ、HDD等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する(図8参照)。例えばCPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る画像表示方法が実行される。
 例えばPC等の任意のコンピュータにより、画像表示装置100を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。
 本実施形態では、CPUが所定のプログラムを実行することで、機能ブロックとしての表示部が構成される。もちろん機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
 プログラムは、例えば種々の記録媒体を介して画像表示装置100にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
 プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
 図3に示すように、画像表示装置100は、表面画像生成部11,周辺情報取得部12、主表示画像生成部13、画像制御部14、及び表示部20を有する。
 表面画像生成部11は、表面画像を生成する。本実施形態では、表面画像生成部11は、スクリーン30の物理的な形状に沿った表面画像を生成する。例えば、表面画像生成部11は、図1に示すようにスクリーン30が円筒状の場合、平面画像を円筒表面に沿う(貼り付ける)ような表面画像を生成する。また表面画像生成部11は、周辺情報取得部12により取得された観察者の位置情報に基づいて、表面画像を生成する。
 また本実施形態では、表面画像生成部11により生成された表面画像は、画像制御部14及び表示部20に供給される。
 周辺情報取得部12は、画像表示装置100の周辺情報を取得する。
 周辺情報は、観察者や環境光の位置情報を含む。例えば、観察者の位置情報は、観察者が画像表示装置100に対してどの位置(視点)からスクリーン30を観察しているかの情報である。具体的には、観察者の位置情報は、トラッカーやカメラ等から観察者が追跡され、画像認識等により観察者の顔や眼の位置、見ている方向などが認識されることで取得される。
 環境光は、画像表示装置100周辺に存在する光源からの光、表示部20から投射される光等を含む。これ以外にも、環境光は、観察者等により設定された仮想の光源からの光も含む。
 なお、周辺情報は、上記以外にも、光源の光量、色、周囲の明るさ等が含まれてもよい。
 本実施形態では、周辺情報取得部12により取得された周辺情報は、表面画像生成部11、主表示画像生成部13、及び画像制御部14に供給される。
 なお、周辺情報を取得する方法は限定されない。例えば、各種センサにより取得されてもよいし、周辺情報が観察者により入力されてもよい。
 主表示画像生成部13は、主表示画像を生成する。本実施形態では、主表示画像生成部13は、周辺情報取得部12により取得された観察者の位置情報に基づいて、主表示画像を生成する。
 本実施形態では、主表示画像生成部13により生成された主表示画像は、画像制御部14及び表示部20に供給される。
 画像制御部14は、表面画像及び主表示画像の少なくとも一方を制御する。本実施形態では、画像制御部14は、周辺情報に基づいて、主表示画像を制御する。例えば、画像制御部14は、環境光の位置に基づいて、主表示画像に対して影を重畳させる(図5A参照)。
 また画像制御部14は、周辺情報に基づいて、表面画像を制御する。例えば、画像制御部14は、観察者の位置情報に基づいて、光軸1を基準に観察者とは逆方向に表示される表面画像の解像度を下げる(図7A参照)。
 また本実施形態では、画像制御部14により制御された表面画像及び主表示画像は、表示部20に供給される。
 表示部20は、表面画像及び主表示画像を重畳し、スクリーン30に表示する。本実施形態では、表面画像生成部11により生成されたスクリーン30の形状に沿った表面画像と、主表示画像生成部13により生成された観察者の位置情報に基づいた主表示画像とを重畳し、スクリーン30に表示する。
 なお、本実施形態において、表面画像生成部11及び主表示画像生成部13は、表面画像及び主表示画像を生成する生成部として機能する。
 なお、本実施形態において、画像制御部14は、観察者の位置情報を含む周辺情報に基づいて、主表示画像を制御する画像制御部に相当する。
 なお、本実施形態において、表示部20は、スクリーンの表面の略全体に表示される表面画像と、スクリーンの内部空間に存在するように表示される主表示画像とを重畳させる表示部に相当する。
 図4は、表示画像及び主表示画像の表示方法を示すフローチャートである。なお、第1の実施形態では、画像表示装置100周辺の環境光について考慮しない。
 周辺情報取得部12により、画像表示装置100周辺の周辺情報が取得される(ステップ101)。本実施形態では、周辺情報取得部12により観察者の位置情報が取得される。
 表面画像生成部11により、スクリーン30の形状に沿った表面画像が生成される。また主表示画像生成部13により、観察者の位置情報に基づいて、主表示画像が生成される(ステップ102)。
 表示部20により、表面画像生成部11及び主表示画像生成部13により生成された、表面画像及び主表示画像がスクリーンに表示される(ステップ103)。
 以上、本実施形態に係る画像表示装置100は、光軸1に沿って延在する円筒状のスクリーンの表面の略全体に表示される表面画像2と、スクリーン30の内部空間に存在するように表示される主表示画像3とが重畳される。これにより、高品質な視聴体験を実現することが可能となる。
 従来、透明円筒スクリーンの表面に映像を投影し、立体視を意図した映像を表示する際、その表示物はスクリーンの表面に存在するようにも円筒内部にも存在するようにも見えるため、安定した立体感を得ることが難しかった。また円筒内部に表示されるオブジェクトの立体感演出には、観察者が円筒内部のどの位置にオブジェクトの配置がされているかの認識が必要になる。
 本技術では、円筒(スクリーン)表面の略全体に存在させるオブジェクト(表面画像)と円筒内部に存在させるオブジェクト(主表示画像)との2つを別々に生成し、重畳して表示する。さらに、表面画像は、円筒表面に合わせた画角の映像を生成し表示する。主表示画像は、観察者の位置に合わせた視点からの映像を生成し表示する。
 表面画像により観察者が実在するスクリーンとスクリーンの内部空間とを認識させる手助けとなり、2つの映像を重畳し表示することで空間表面と内部との視差効果が増す。また観察者に円筒表面と円筒内部とに分布するオブジェクトの位置関係を認識させることが可能である。またこれにより、円筒内部にオブジェクトが存在するような視覚効果を安定的に得ることができる。
 また主表示画像にのみ観察者の位置情報をリアルタイムに反映することで、表面表示物との動体視差が強調され立体感の認識を高めることができる。さらに主表示画像に加え、物理的な形状に沿った表面表示物を組み合わせることで動体視差がより強調される。
 <第2の実施形態>
 本技術に係る第2の実施形態の画像表示装置について説明する。これ以降の説明では、上記の実施形態で説明した画像表示装置100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
 上記の実施形態では、周辺情報である環境光の位置を考慮せずに表面画像及び主表示画像が表示された。第2の実施形態では、画像制御部14により、環境光の位置情報に基づいた画像制御が行われる。これにより、主表示画像のスクリーン内の配置認識を強調することができる。
 図5は、第2の実施形態に係る表示画像及び主表示画像の表示方法を示すフローチャートである。
 周辺情報取得部12により、画像表示装置100周辺の周辺情報が取得される(ステップ201)。本実施形態では、周辺情報取得部12により観察者の位置情報及び環境光の位置情報が取得される。
 表面画像生成部11により、スクリーン30の形状に沿った表面画像が生成される。また主表示画像生成部13により、観察者の位置情報に基づいて、主表示画像が生成される(ステップ202)。
 周辺情報取得部12により環境光の位置情報が取得された場合(ステップ203のYES)、画像制御部14により、主表示画像に対して環境光の位置に基づいた影が重畳される(ステップ204)。
 表示部20により、画像制御部14の画像制御が行われた表面画像及び主表示画像がスクリーン30に表示される(ステップ205)。なお、環境光に関する周辺情報が取得されなかった場合(ステップ203のNO)、第1の実施形態と同様に表面画像及び主表示画像がスクリーン30に表示される。
 図6は、表示画像及び主表示画像の画像制御例を示す模式図である。なお、図6では、表面画像及び主表示画像の影に関する画像制御が図示されている。これに限定されず、画像制御部14は、環境光の位置及び光量に基づいて、表面画像及び主表示画像の明度を制御してもよい。
 図6に示すように本実施形態では、周辺情報取得部12により、仮想光源40及び表示部20に関する周辺情報が取得される。
 画像制御部14は、表面画像として用いられる平面画像に対して、仮想光源40から出射される環境光から生じる明度を重畳させる。具体的には、画像制御部14は、環境光の明るさに応じて、平面画像の明度を制御する。表面画像生成部11は、明度が重畳された平面画像45を表面画像42として生成する。
 また画像制御部14は、仮想3Dオブジェクト46に対して、仮想光源40及び表示部20から出射される環境光から生じる影47を重畳させる。具体的には、画像制御部14は、環境光の明るさに応じて、主表示画像の明度を制御する。主表示画像生成部13は、観察者の位置情報に基づいて、影が重畳された主表示画像43を生成する。
 本実施形態では、画像制御部14は、主表示画像43が表示される位置に基づいて、主表示画像を画像制御する。例えば、スクリーン30内の鳥(主表示画像43)の高さに対して、仮想光源40が低い場合又は高い場合に応じて重畳される影が制御される。具体的には、鳥に重畳される影の位置が変更される。
 なお、画像制御部14による画像制御は限定されない。例えば、光源の光量に応じて影の濃さが制御されてもよいし、光源の色に応じて主表示画像43に色が重畳されてもよい。
 図7は、表示画像の制御例を示す模式図である。
 画像制御部14は、図6に示した環境光における画像制御以外にも、様々な画像制御を行ってもよい。例えば、図7では、画像制御部14は、観察者の位置情報に基づいて、画像制御を行う。
 図7Aでは、スクリーン30に表示される表面画像52の一部がぼやけるように表示される。具体的には、画像制御部14は、周辺情報取得部12により取得される観察者の位置情報に基づいて、スクリーン30と観察者との距離が遠い領域に表示される表面画像52の解像度を下げるように制御する。すなわち、観察者がスクリーン30を真横から見た場合、主表示画像3(鳥)の背景(奥側に表示される画像)がぼやけて見えるように画像制御が実行される。
 図7Bでは、スクリーン30に表示される表面画像62(花)のサイズが制御される。例えば、鳥3が円筒(スクリーン30)内部を飛び回る場合、鳥3の手前(主表示画像と観察者との間)に表示される花62を大きく表示したり、鳥3よりも奥に表示される花62を小さく又は解像度を下げて表示する。
 これらの画像制御により、主表示画像のスクリーン30の中心からの位置認識を強めることが可能である。
 図8は、画像表示装置100のハードウェア構成例を示すブロック図である。
 画像表示装置100は、CPU201、ROM202、RAM203、入出力インタフェース205、及びこれらを互いに接続するバス204を備える。入出力インタフェース205には、表示部206、入力部207、記憶部208、通信部209、及びドライブ部210等が接続される。
 表示部206は、例えば液晶、EL等を用いた表示デバイスである。入力部207は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部207がタッチパネルを含む場合、そのタッチパネルは表示部206と一体となり得る。
 記憶部208は、不揮発性の記憶デバイスであり、例えばHDD、フラッシュメモリ、その他の固体メモリである。ドライブ部210は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体211を駆動することが可能なデバイスである。
 通信部209は、LAN、WAN等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部209は、有線及び無線のどちらを利用して通信するものであってもよい。通信部209は、画像表示装置100とは、別体で使用される場合が多い。
 上記のようなハードウェア構成を有する画像表示装置100による情報処理は、記憶部208またはROM202等に記憶されたソフトウェアと、画像表示装置100のハードウェア資源との協働により実現される。具体的には、ROM202等に記憶された、ソフトウェアを構成するプログラムをRAM203にロードして実行することにより、本技術に係る情報処理方法が実現される。
 プログラムは、例えば記録媒体211を介して画像表示装置100にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが画像表示装置100にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
 通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る画像表示方法、及びプログラムが実行され、本技術に係る画像表示装置が構築されてもよい。
 すなわち本技術に係る画像表示装置、画像表示方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る画像表示装置、画像表示方法、及びプログラムの実行は、例えば、観察者の認識、主表示画像の生成、及び画像の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る画像表示装置、画像表示方法、及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 各図面を参照して説明した表示画像生成部、主表示画像生成部、画像制御部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
 なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
 以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
 なお、本技術は以下のような構成も採ることができる。
(1)
 所定の軸に沿って延在する円筒状のスクリーンと、
 前記スクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させる表示部と
 を具備する画像表示装置。
(2)(1)に記載の画像表示装置であって、さらに、
 観察者の位置情報を含む周辺情報に基づいて、前記主表示画像を制御する画像制御部を具備する
 画像表示装置。
(3)(2)に記載の画像表示装置であって、
 前記周辺情報は、前記スクリーン周辺に存在する環境光を含む
 画像表示装置。
(4)(3)に記載の画像表示装置であって、
 前記画像制御部は、前記環境光の位置に基づいて、前記主表示画像に影が重畳されるように制御を行う
 画像表示装置。
(5)(2)に記載の画像表示装置であって、
 前記表示部は、前記位置情報に基づいて、前記主表示画像を表示する
 画像表示装置。
(6)(1)に記載の画像表示装置であって、さらに、
 前記表面画像及び前記主表示画像を生成する生成部を具備する
 画像表示装置。
(7)(6)に記載の画像表示装置であって、
 前記生成部は、前記観察者の位置情報に基づいて、3Dオブジェクトから前記主表示画像を生成する
 画像表示装置。
(8)(6)に記載の画像表示装置であって、
 前記生成部は、前記スクリーンの形状に基づいて、平面画像から前記表面画像を生成する
 画像表示装置。
(9)(3)に記載の画像表示装置であって、
 前記画像制御部は、前記環境光の位置に基づいて、前記表面画像の制御を行う
 画像表示装置。
(10)(2)に記載の画像表示装置であって、
 前記画像制御部は、前記観察者の位置と前記スクリーンに表示される前記表面画像の位置とに基づいて、前記観察者との距離が近い前記スクリーンの領域に投射される前記表面画像よりも、前記観察者との距離が遠い前記スクリーンの領域とは異なる他の領域に投射される前記表面画像の解像度を下げる制御を行う
 画像表示装置。
(11)
 所定の軸に沿って延在する円筒状のスクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させる
 ことをコンピュータシステムが実行する画像表示方法。
(12)
 所定の軸に沿って延在する円筒状のスクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させるステップ
 をコンピュータシステムに実行させるプログラム。
 1…光軸
 2…表面画像
 3…主表示画像
 11…表面画像生成部
 13…主表示画像生成部
 14…画像制御部
 20…表示部
 100…画像表示装置

Claims (12)

  1.  所定の軸に沿って延在する円筒状のスクリーンと、
     前記スクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させる表示部と
     を具備する画像表示装置。
  2.  請求項1に記載の画像表示装置であって、さらに、
     観察者の位置情報を含む周辺情報に基づいて、前記主表示画像を制御する画像制御部を具備する
     画像表示装置。
  3.  請求項2に記載の画像表示装置であって、
     前記周辺情報は、前記スクリーン周辺に存在する環境光を含む
     画像表示装置。
  4.  請求項3に記載の画像表示装置であって、
     前記画像制御部は、前記環境光の位置に基づいて、前記主表示画像に影が重畳されるように制御を行う
     画像表示装置。
  5.  請求項2に記載の画像表示装置であって、
     前記表示部は、前記位置情報に基づいて、前記主表示画像を表示する
     画像表示装置。
  6.  請求項1に記載の画像表示装置であって、さらに、
     前記表面画像及び前記主表示画像を生成する生成部を具備する
     画像表示装置。
  7.  請求項6に記載の画像表示装置であって、
     前記生成部は、前記観察者の位置情報に基づいて、3Dオブジェクトから前記主表示画像を生成する
     画像表示装置。
  8.  請求項6に記載の画像表示装置であって、
     前記生成部は、前記スクリーンの形状に基づいて、平面画像から前記表面画像を生成する
     画像表示装置。
  9.  請求項3に記載の画像表示装置であって、
     前記画像制御部は、前記環境光の位置に基づいて、前記表面画像の制御を行う
     画像表示装置。
  10.  請求項2に記載の画像表示装置であって、
     前記画像制御部は、前記観察者の位置と前記スクリーンに表示される前記表面画像の位置とに基づいて、前記観察者との距離が近い前記スクリーンの領域に投射される前記表面画像よりも、前記観察者との距離が遠い前記スクリーンの領域とは異なる他の領域に投射される前記表面画像の解像度を下げる制御を行う
     画像表示装置。
  11.  所定の軸に沿って延在する円筒状のスクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させる
     ことをコンピュータシステムが実行する画像表示方法。
  12.  所定の軸に沿って延在する円筒状のスクリーンの表面の略全体に表示される表面画像と、前記スクリーンの内部空間に存在するように表示される主表示画像とを重畳させるステップ
     をコンピュータシステムに実行させるプログラム。
PCT/JP2021/042045 2020-12-18 2021-11-16 画像表示装置、画像表示方法、及びプログラム WO2022130876A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022569791A JPWO2022130876A1 (ja) 2020-12-18 2021-11-16
US18/256,182 US20240038108A1 (en) 2020-12-18 2021-11-16 Image display apparatus, image display method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-209843 2020-12-18
JP2020209843 2020-12-18

Publications (1)

Publication Number Publication Date
WO2022130876A1 true WO2022130876A1 (ja) 2022-06-23

Family

ID=82059755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042045 WO2022130876A1 (ja) 2020-12-18 2021-11-16 画像表示装置、画像表示方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240038108A1 (ja)
JP (1) JPWO2022130876A1 (ja)
WO (1) WO2022130876A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154046A1 (ja) * 2016-03-10 2017-09-14 パナソニックIpマネジメント株式会社 表示装置
WO2019073688A1 (ja) * 2017-10-11 2019-04-18 ソニー株式会社 画像表示装置
WO2019202935A1 (ja) * 2018-04-16 2019-10-24 ソニー株式会社 画像表示装置
CN110740309A (zh) * 2019-09-27 2020-01-31 北京字节跳动网络技术有限公司 一种图像显示方法、装置、电子设备及存储介质
WO2020080111A1 (ja) * 2018-10-18 2020-04-23 ソニー株式会社 画像表示装置
WO2020110760A1 (ja) * 2018-11-27 2020-06-04 ソニー株式会社 画像表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154046A1 (ja) * 2016-03-10 2017-09-14 パナソニックIpマネジメント株式会社 表示装置
WO2019073688A1 (ja) * 2017-10-11 2019-04-18 ソニー株式会社 画像表示装置
WO2019202935A1 (ja) * 2018-04-16 2019-10-24 ソニー株式会社 画像表示装置
WO2020080111A1 (ja) * 2018-10-18 2020-04-23 ソニー株式会社 画像表示装置
WO2020110760A1 (ja) * 2018-11-27 2020-06-04 ソニー株式会社 画像表示装置
CN110740309A (zh) * 2019-09-27 2020-01-31 北京字节跳动网络技术有限公司 一种图像显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20240038108A1 (en) 2024-02-01
JPWO2022130876A1 (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
Maimone et al. General-purpose telepresence with head-worn optical see-through displays and projector-based lighting
US9373306B2 (en) Direct viewer projection
KR101094118B1 (ko) 3차원 프로젝션 디스플레이
US20060256302A1 (en) Three-dimensional (3D) image projection
KR20200032204A (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
Agócs et al. A large scale interactive holographic display
TW201346470A (zh) 顯示裝置(二)
US20220309621A1 (en) Virtual, augmented, and mixed reality systems and methods
CN108701440B (zh) 信息处理设备、信息处理方法和程序
US20210048683A1 (en) Apparatus and method for combining two image sources
JP2012155624A (ja) 画像出力装置、画像表示装置、画像出力方法、プログラム及び記憶媒体
WO2022130876A1 (ja) 画像表示装置、画像表示方法、及びプログラム
US20230251710A1 (en) Virtual, augmented, and mixed reality systems and methods
Yan et al. Omnidirectional multiview three-dimensional display based on direction-selective light-emitting diode array
US11818325B2 (en) Blended mode three dimensional display systems and methods
JP2015081965A (ja) 画像表示装置及び非平面型スクリーン
CN110161796B (zh) 一种基于双透镜阵列的立体投影装置
CN209879155U (zh) 一种基于双光栅的立体投影装置
Kasahara Headlight: egocentric visual augmentation by wearable wide projector
WO2021111954A1 (ja) 画像表示装置
US11423863B2 (en) Information processing apparatus and non-transitory computer readable medium
WO2015156128A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP6670204B2 (ja) 虚像表示システム、及び虚像表示方法
JP2009237310A (ja) 疑似3次元表示方法および疑似3次元表示装置
JP2023122259A (ja) 空中浮遊映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906240

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022569791

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18256182

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906240

Country of ref document: EP

Kind code of ref document: A1