JP7314501B2 - 表示制御装置、表示制御方法及び表示制御プログラム - Google Patents

表示制御装置、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
JP7314501B2
JP7314501B2 JP2018221719A JP2018221719A JP7314501B2 JP 7314501 B2 JP7314501 B2 JP 7314501B2 JP 2018221719 A JP2018221719 A JP 2018221719A JP 2018221719 A JP2018221719 A JP 2018221719A JP 7314501 B2 JP7314501 B2 JP 7314501B2
Authority
JP
Japan
Prior art keywords
display
display control
transmittance
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018221719A
Other languages
English (en)
Other versions
JP2020087049A (ja
Inventor
巨成 高橋
健 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2018221719A priority Critical patent/JP7314501B2/ja
Priority to CN201980076594.5A priority patent/CN113168822A/zh
Priority to PCT/JP2019/045516 priority patent/WO2020110868A1/en
Priority to US17/291,102 priority patent/US20220005436A1/en
Publication of JP2020087049A publication Critical patent/JP2020087049A/ja
Application granted granted Critical
Publication of JP7314501B2 publication Critical patent/JP7314501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background

Description

本開示は、表示制御装置、表示制御方法及び表示制御プログラムに関する。詳しくは、プロジェクタを利用した映像表示の制御に関する。
一般に、映像表示には液晶モニタ等のディスプレイが利用される。あるいは、ディスプレイに替えて、映像表示に、スクリーンや壁に映像を投影するプロジェクタを利用することもできる。プロジェクタには、例えば数センチメートルからの投影を可能とする超短焦点プロジェクタも存在し、様々な場所に投影を行うことができるため、比較的容易に運用が可能である。
例えば、映像表示に関する技術として、投影画像の特性を局所的に変化させる技術が知られている。
国際公開第2016/098600号
従来技術によれば、注目領域における輝度や解像度等の特性を変化させることで、投影画像の表現力を増大させたり、視認性を向上させたりすることができる。
しかしながら、従来技術では、スクリーン等の表示媒体の存在感を抑制することは困難である。プロジェクタを利用する場合、映像を投影する壁やスクリーンが必須となるため、ディスプレイの筐体ほどではないものの、映像を大画面で表示しようとするほど、壁やスクリーンの存在感は増すことになる。なお、通常は透明であり、プロジェクタから光が放射されたときのみ映像を表示する透明スクリーンのような製品も存在するが、透明であるがゆえに、環境光の強さによって映像が見にくくなる等の問題がある。
そこで、本開示では、外光下での映像の視認性を確保しつつ、圧迫感をユーザに感じさせない映像表示を実現することができる表示制御装置、表示制御方法及び表示制御プログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の表示制御装置は、プロジェクタから投影される映像を反射する透明スクリーンと透過率が可変な調光フィルムとを含む表示部の周囲の環境情報を取得する取得部と、前記環境情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する表示制御部とを備える。
本開示の第1の実施形態に係る表示制御処理の一例を示す図である。 本開示の第1の実施形態に係る表示制御装置の設置例を示す図である。 本開示の第1の実施形態に係る表示制御装置の構成例を示す図である。 本開示の第1の実施形態に係るデータテーブルの一例を示す図である。 本開示の第1の実施形態に係る処理の流れを示すフローチャートである。 本開示の第2の実施形態に係る表示制御処理の一例を示す図である。 本開示の第2の実施形態に係る表示制御装置の設置例を示す図である。 本開示の第2の実施形態に係る表示制御装置の構成例を示す図である。 本開示の第2の実施形態に係るデータテーブルの一例を示す図である。 本開示の第2の実施形態に係る処理の流れを示すフローチャートである。 本開示に係る表示制御システムの構成例を示す図である。 表示制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
1.第1の実施形態
1-1.第1の実施形態に係る表示制御処理の一例
1-2.第1の実施形態に係る表示制御装置の構成例
1-3.第1の実施形態に係る表示制御処理の手順
1-4.第1の実施形態に係る変形例
2.第2の実施形態
2-1.第2の実施形態に係る表示制御処理の一例
2-2.第2の実施形態に係る表示制御装置の構成例
2-3.第2の実施形態に係る表示制御処理の手順
2-4.第2の実施形態に係る変形例
3.その他の実施形態
3-1.本開示に係る表示制御システムの一例
3-2.その他
4.本開示に係る表示制御装置の効果
5.ハードウェア構成
(1.第1の実施形態)
[1-1.第1の実施形態に係る表示制御処理の一例]
本開示では、外光下での映像の視認性を確保しつつ、圧迫感をユーザに感じさせない映像表示を可能とする表示制御装置100について説明する。
一般に、映像を表示するための装置(表示媒体)に対しては、大画面化へのニーズが存在する。映像表示には、例えばLCD(Liquid Crystal Display)やOLED(Organic Light Emitting Diode)等の方式が採用されたディスプレイが利用される。しかし、LCDやOLED方式のディスプレイで大画面化を実現しようとすると、全体の筐体が大きくなり、かつ、重くなる。このことは、ユーザに圧迫感を感じさせる要因となりうる。
圧迫感をユーザに感じさせない映像表示を可能とするための一案として、透明ディスプレイが挙げられる。透明ディスプレイは、例えば、LCDやOLED等、既知の方式でも実現が可能である。しかし、LCDやOLED方式では、構造上、発光部周辺の半導体回路が光を遮ることは回避できず、透明度(透過率)を上げることが困難である。また、LCDやOLED方式のディスプレイは、固定画素であるため、画面の大きさや解像度が固定されるという問題もある。さらに、LCDやOLED方式のディスプレイは、生産設備等の面で大画面化に限界がある。
上記の点に鑑みて、透明ディスプレイに替えて、プロジェクタとスクリーンとを組み合わせて映像を表示する案が挙げられる。例えば、超短焦点プロジェクタをスクリーンの直下に設置するような簡易な構成で、LCDやOLED方式のディスプレイよりも大型の映像を表示することが可能となる。また、プロジェクタには、投影する画像の大きさや解像度を柔軟に設定することができるという利点もある。しかしながら、かかる構成であっても、投影するためのスクリーンや白系の壁等の構成は必須であるため、やはり、ユーザが映像を視聴しない状態では、スクリーンや壁等の表示媒体の存在感を与えることになる。
ところで、プロジェクタが投影を行うスクリーンの一例として、透明スクリーンが存在する。透明スクリーンは、例えば、光を拡散する物質を透過率の高い物質で挟みこむように構成される。透明スクリーンは、通常は透明であるが、映像等の投影を受けた際にはある特定の角度で光を反射することにより、投影された映像をスクリーン上に表示することができる。透明スクリーンによれば、映像を投影していない場合には存在感を感じさせにくいため、スクリーン設置によるユーザへの圧迫感を和らげることができる。
しかしながら、透過率の高い透明スクリーンは、外光等の環境光の影響を受けやすい。このため、上記の構成では、暗い室内等で映像を表示することが可能であっても、外光下では映像の視認性が極めて低下するおそれがある。一方、環境光の影響を防止しようとしてスクリーン表面にブラック塗装等を施すと、スクリーンの透過率を低下させてしまう。
以上のように、映像表示において、外光下での映像の視認性を確保しつつ、圧迫感をユーザに感じさせない映像表示を可能にするためには、種々の課題が存在する。本開示に係る表示制御装置100は、以下で説明する構成及び表示制御処理により、上記課題を解決する。以下、図1及び図2を用いて、本開示に係る表示制御装置100の構成及び表示制御処理の一例を説明する。
図1は、本開示の第1の実施形態に係る表示制御処理の一例を示す図である。本開示の第1の実施形態に係る表示制御処理は、図1に示す表示制御装置100によって実行される。
第1の実施形態では、表示制御装置100は、映像を投影する機能を有するプロジェクタ10、及び、プロジェクタ10から投影される映像を表示する表示部150を構成要素として含む。表示制御装置100は、プロジェクタ10の映像の投影、及び、表示部150の表示態様を制御する情報処理装置である。
図1での図示は省略するが、第1の実施形態では、表示制御装置100は、例えばプロジェクタ10もしくは表示部150の内部に組み込まれるマイクロチップ(microchip)のような態様で実現される。すなわち、図1の例では説明をわかりやすくするため、表示部150やプロジェクタ10を個々の装置として記載しているが、表示制御装置100は、表示部150やプロジェクタ10が一体となった一筐体として構成されてもよい。
なお、表示制御装置100は、プロジェクタ10や表示部150を有線又は無線で制御することが可能であれば、どのような態様であってもよい。例えば、表示制御装置100は、スマートフォンやタブレット端末等であってもよい。この場合、本開示に係る表示制御処理は、スマートフォンやタブレット端末等にインストールされるアプリケーションの一機能として実現されてもよい。
プロジェクタ10は、映像データ等を投影する装置である。第1の実施形態では、プロジェクタ10は、いわゆる超短焦点プロジェクタと称されるものであり、数センチメートルから数10センチメートル先の媒体に映像を投影可能である。
なお、図1の例では、プロジェクタ10と表示部150とは空間的に分離して描かれているが、プロジェクタ10は、表示部150と一体であってもよい。例えば、プロジェクタ10は、表示部150の下部や上部のベゼル部(縁)に埋め込まれていてもよい。
表示部150は、調光フィルム20と、透明スクリーン30とを含む。例えば、表示部150は、調光フィルム20と透明スクリーン30とを貼り合わせることによって構成される。
調光フィルム20は、電圧もしくは電流制御により、透過率が可変するフィルムである。例えば、調光フィルム20は、エレクトロクロミック素子を透明電極で挟むことによって構成されるフィルムであり、エレクトロクロミック方式の調光機能を有する。エレクトロクロミック方式では、透明電極に印加する電圧に応じて、エレクトロクロミック素子に酸化反応又は還元反応が生じることで、フィルムの透過率が制御される。なお、調光フィルム20には、SPD(Suspended Particle Device)方式やガスクロミック方式等が採用されてもよい。
すなわち、調光フィルム20は、電子的な制御により、透過率を自在に変化させることができる。例えば、第1の実施形態では、調光フィルム20は、透過率を最大にした場合には透明(遮光率が最低)となり、透過率を最低にした場合には黒色(遮光率が最大)となるものとする。
透明スクリーン30は、透明な素材と光を拡散する素材とで構成されるスクリーンである。例えば、透明スクリーン30が下方もしくは上方に設置されたプロジェクタ10から投影される光を受けた場合、透明な素材部では光を透過し、光を拡散する素材部では光を拡散(反射)させる。具体的には、透明スクリーン30は、プロジェクタ10から投影される光を受けた場合、視聴面、すなわち透明スクリーン30の正面に光を反射する。これにより、透明スクリーン30は、透過性を保ちつつ、プロジェクタ10から投影された映像を表示することができる。
上記のように、表示制御装置100は、映像の表示面として、透明な部材から構成される表示部150を用いることで、ユーザに圧迫感を感じさせない映像表示を行うことができる。また、表示制御装置100は、調光フィルム20の透過率、及び、プロジェクタ10が投影する映像信号の設定を制御することで、映像の視認性を向上させることができる。
例えば、表示制御装置100は、表示部150に埋め込まれた照度センサを用いて、表示部150の周囲の環境光を検知する。具体的には、表示制御装置100は、表示部150の周囲の照度の数値等(以下、「環境情報」と総称する)を検知する。
そして、表示制御装置100は、表示部150付近で外光等の極めて強い照度が観測される場合、調光フィルム20が遮光状態になるよう制御する。図1の例では、調光フィルム20が遮光状態である場合、調光フィルム20は黒色となるため、表示部150は、ブラックスクリーン状態となる。表示部150がブラックスクリーンの状態であれば、プロジェクタ10から投影される映像は、透過率が高い状態と比較して鮮明に表示される。すなわち、表示制御装置100は、映像の視認性を向上させることができる。
一方、表示制御装置100は、表示部150付近で外光等の極めて強い照度が観測されない場合、調光フィルム20が透過状態になるよう制御する。図1の例では、調光フィルム20が透過状態である場合、調光フィルム20は透明となるため、表示部150は、透明スクリーン状態となる。表示部150が透明スクリーンの状態であれば、プロジェクタ10から投影される映像は、透明な部材上に映像が表示される。このため、表示制御装置100は、空間上に映像が表示されるような新鮮な映像体験をユーザに提供することができる。また、透明スクリーン状態では、ブラックスクリーン状態と比較して、表示部150の存在感を比較的ユーザに感じさせないようにすることができる。
次に、図2を用いて、表示制御装置100の設置例を説明する。図2は、本開示の第1の実施形態に係る表示制御装置100の設置例を示す図である。
図2に示すように、表示制御装置100は、例えば住宅の窓ガラスとして設置される。図2の例において、表示制御装置100(より詳しくは、表示制御装置100に係る表示部150)は、窓ガラス全体であってもよいし、窓ガラスの一部であってもよい。また、表示制御装置100に係るプロジェクタ10は、例えば窓ガラスの上部に設置される。なお、プロジェクタ10は、例えば床面に設置されてもよいし、窓ガラスの淵に埋め込まれてもよい。
表示制御装置100に係る表示部150は、映像を表示しない状態では透明であるため、部屋の内側から外部への視界を妨げない。すなわち、ユーザは、通常の窓ガラスと同じ態様で表示制御装置100を取り扱うことができる。
その後、ユーザからの映像表示の操作を受け付けた場合、表示制御装置100は、映像を表示する処理を開始する(ステップS1)。このとき、表示制御装置100は、照度センサ等を用いて、表示部150の周囲の環境情報を取得する。そして、表示制御装置100は、環境情報に応じて、表示部150の遮光状態を制御する。具体的には、表示制御装置100は、表示部150が外光のように極めて強い光にさらされている場合、表示部150が遮光状態になるよう制御する。例えば、表示制御装置100は、調光フィルム20にかける電圧等を制御することで、表示部150を遮光状態に変化させる。
また、表示制御装置100は、プロジェクタ10から投影される映像信号についても、環境情報に応じて制御してもよい。例えば、表示制御装置100は、表示部150が外光にさらされている場合、プロジェクタ10が投影する映像信号を、より映像の輪郭が鮮明になる映像モード(例えば、「vivid(高輝度、高コントラスト、高色温度)」等と称される映像モード)に切り替える。
これにより、表示制御装置100は、外光の影響下であっても、高コントラストの鮮明な映像をユーザに提供することができる。
なお、表示制御装置100は、環境照度値が比較的低い場合には、表示部150を透過状態に保持してもよい。この場合、表示制御装置100は、プロジェクタ10から投影される映像信号についても、映像を自然に視聴することのできる映像モード(例えば、「Standard(標準設定)」や「film(映画館のような低輝度、低色温度)」等と称される映像モード)に切り替えてもよい。例えば、表示制御装置100は、このような遮光状態及び映像信号の設定について予めデータベースに保持しておき、データベースを参照して、遮光状態や映像信号を制御する。また、表示制御装置100は、遮光状態及び映像信号の設定について、ユーザが所望する数値や状態の設定を予め受け付けておいてもよい。
すなわち、表示制御装置100は、環境によっては、表示部150の透過性を保持したまま、映像を表示することもできる。これにより、表示制御装置100は、外の風景と映像が混ざり合ったような、新鮮な映像体験をユーザに提供することができる。
上記のように、表示制御装置100は、環境情報に基づいて、表示部150に係る透明スクリーン30に投影される映像の画素情報と、表示部150に係る調光フィルム20の透過率とを制御する。具体的には、表示制御装置100は、周囲の照度に応じて表示部150の透過率を調整するとともに、映像信号の設定を切り替える。これにより、表示制御装置100は、窓ガラスとしての機能性を保持しつつ、表示する映像のバランスを取ることができる。例えば、表示制御装置100によれば、ユーザは、大型ディスプレイ等の筐体を部屋に設置せずとも、大画面で鮮明な映像を楽しむことができる。また、ユーザは、スクリーン等を新たに設置しなくても、住宅設備上不可欠な窓ガラス等を映像表示に利用できるので、スペースを有効に活用することができる。以上のように、表示制御装置100は、外光下での映像の視認性を確保しつつ、圧迫感をユーザに感じさせない映像表示を実現することができる。
また、表示制御装置100は、プロジェクタ10によって映像を投影することから、画像の大きさや映像を投影する場所を柔軟に変更することができる。図2の例では、窓ガラス(表示部150)の一部に映像が投影される例を示しているが、表示制御装置100は、窓ガラス全体に映像を表示してもよい。また、表示制御装置100は、映像が投影された領域のみを遮光する等、投影位置に合わせて、映像の視認性を向上させるための処理を行ってもよい。
また、表示制御装置100は、照度センサに基づいて、太陽の直射箇所や照り返しの強い位置等、映像鑑賞の妨げになると想定される位置を特定し、特定した位置を避けて映像を投影してもよい。あるいは、表示制御装置100は、強い光が観測される高輝度点の位置を特定し、ユーザがその位置を視認しなくてもすむ位置に映像を投影するよう制御してもよい。
以下、第1の実施形態に係る表示制御装置100等の構成について、図3以下を用いて説明する。
[1-2.第1の実施形態に係る表示制御装置の構成例]
図3を用いて、表示制御装置100の構成について説明する。図3は、本開示の実施形態に係る表示制御装置100の構成例を示す図である。図3に示すように、表示制御装置100は、通信部110と、記憶部120と、制御部130と、センサ140と、表示部150と、出力部160とを有する。
なお、図3に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、表示制御装置100の機能は、複数の物理的に分離された装置に分散して実装されてもよい。例えば、表示制御装置100は、表示媒体である表示部150と、プロジェクタ10と、表示部150及びプロジェクタ10を制御する制御装置とに分離されてもよい。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、USB(Universal Serial Bus)ホストコントローラ、USBポート等により構成されるUSBインターフェイスであってもよい。また、通信部110は、プロジェクタ10に投影される映像ファイルの入力を受け付けるためのHDMI(High-Definition Multimedia Interface)(登録商標)インターフェイス等であってもよい。また、通信部110は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。例えば、通信部110は、無線LAN方式やセルラー通信方式の無線通信インターフェイスであってもよい。通信部110は、表示制御装置100の通信手段或いは送信手段として機能する。例えば、通信部110は、ネットワークN(インターネット等)と有線又は無線で接続され、ネットワークNを介して、他の情報処理端末等との間で情報の送受信を行う。例えば、通信部110は、ネットワークNを介して、ユーザからの操作や各種情報の入力を受け付けてもよい。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、各種データを記憶する。
例えば、記憶部120は、環境情報に応じてどのように透過率や映像を制御するかという情報が設定されたデータテーブルDB01を記憶する。
図4に、第1の実施形態に係るデータテーブルDB01の一例を示す。図4は、本開示の第1の実施形態に係るデータテーブルDB01の一例を示す図である。図4に示した例では、データテーブルDB01は、「設定ID」、「環境照度値」、「調光フィルム」、「映像信号調整」といった項目を有する。
「設定ID」は、設定情報を識別する識別情報を示す。「環境照度値」は、表示制御装置100に検知された環境情報のうち、照度値を示す。なお、図4の例では、環境照度値の項目に「高」、「中」、「低」等の相対的な情報が記憶される例を示しているが、環境照度値の項目には、具体的な数値が記憶されてもよい。例えば、境照度値の項目「高」は、昼間の外光に対応する数値である。また、境照度値の項目「中」は、例えば、早朝や夕方の外光に対応する数値である。また、境照度値の項目「低」は、例えば、夜間の外光に対応する数値である。
「調光フィルム」は、調光フィルム20の透過状態を示す。図4の例では、調光フィルムの項目に「遮光」、「半透過」、「透過」等の相対的な情報が記憶される例を示しているが、調光フィルムの項目には、具体的な数値(透過率)が記憶されてもよい。
「映像信号調整」は、プロジェクタ10から投影される映像信号の設定情報を示す。図4の例では、映像信号調整の項目に「vivid」、「Standard」、「Film」等の映像モード名称が記憶される例を示しているが、映像信号調整の項目には、輝度やコントラスト、色温度等の具体的な数値(画素情報)が記憶されてもよい。
すなわち、図4に示した例では、設定IDが「A01」で識別される設定情報の一例として、環境照度値が「高」である場合、調光フィルムは「遮光」に制御され、映像信号は「vivid」という映像モードに調整されることを示している。
図3に戻って説明を続ける。制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって、表示制御装置100内部に記憶されたプログラム(例えば、本開示に係る表示制御プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
図3に示すように、制御部130は、検知部131と、取得部132と、表示制御部133とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
検知部131は、センサ140を制御することにより、各種情報を検知する。例えば、検知部131は、表示制御装置100や表示部150の周囲の環境を示す環境情報を検知する。
センサ140は、表示制御装置100に関する各種情報を検知するデバイスである。例えば、センサ140は、照度センサ141やデプスセンサ(Depth sensor)142を含む。
照度センサ141は、環境光センサ等とも称され、フォトトランジスタやフォトダイオード等を利用して、周囲の照度を検知するデバイスである。
デプスセンサ142は、対象物体までの距離を検知し、その距離に基づいて対象物体の形状を推定したり、対象物体の動きを検知したりするデバイスである。デプスセンサ142は、ToF(Time of Flight)方式やステレオカメラ方式、SL(Structured-Light)方式、赤外線方式等、いずれの方式であってもよい。例えば、デプスセンサ142は、映像を視聴するユーザまでの距離や、ユーザの動き等の情報を検知する。
なお、図3で示したセンサ140は一例であり、表示制御装置100は、環境情報を示す数値(例えば、温度、湿度、高度等)を検知するための種々のセンサを備えてもよい。また、センサ140には、ユーザの動作に関する情報のうち、ユーザの視線の方向や視線の動きをトラッキングするためのセンサが含まれてもよい。
取得部132は、各種情報を取得する。例えば、取得部132は、検知部131によって取得された環境情報を取得する。具体的には、取得部132は、プロジェクタ10から投影される映像を反射する透明スクリーン30と、透過率が可変な調光フィルム20とを含む表示部150の周囲の環境情報を取得する。
例えば、取得部132は、表示部150近傍に備えられる照度センサ141により検知された、表示部150の周囲の照度を取得する。
また、取得部132は、デプスセンサ142により検知された、表示部150の周囲のユーザの動作に関する情報を取得する。なお、表示部150の周囲のユーザとは、例えば、デプスセンサ142により測距等が可能なユーザをいう。
取得部132は、取得した情報を、適宜、記憶部120に格納する。また、取得部132は、記憶部120内から、適宜、処理に要する情報を取得してもよい。また、取得部132は、ネットワークNを介して、種々の外部装置から情報を取得してもよい。
表示制御部133は、環境情報に基づいて、透明スクリーン30に投影される映像の画素情報と、調光フィルム20の透過率とを制御する。
例えば、表示制御部133は、データテーブルDB01を参照し、環境情報の一例である照度と、映像の画素情報と、調光フィルムの透過率とが予め対応付けられた設定情報に基づいて、映像の画素情報と調光フィルムの透過率とを制御する。
一例として、表示制御部133は、照度が高いほど、調光フィルムの透過率を下げるとともに、映像の画素の輝度値が高くなるよう制御する。これにより、表示制御部133は、外光など照度の高い状況下においても、鮮明な映像を表示することができる。図3に示すように、表示制御部133は、調光部134と、信号制御部135とを有し、調光部134と信号制御部135とを制御することで、上記の処理を実行する。
調光部134は、調光フィルムの透過率を制御する。例えば、調光部134は、表示部150の周囲の照度に応じて、調光フィルムの透過率を制御する。具体的には、調光部134は、データテーブルDB01を参照して、調光フィルム20の透過率が照度に応じた設定値となるよう、調光フィルム20に与える電圧もしくは電流値を制御する。
信号制御部135は、いわゆるビデオプロセッサであり、透明スクリーン30に投影される映像の画素情報を制御する。例えば、信号制御部135は、表示部150の周囲の照度に応じて、透明スクリーン30に投影される映像の画素情報を制御する。具体的には、信号制御部135は、データテーブルDB01を参照して、照度に応じた画素情報となるよう映像信号の出力値を制御する。例えば、信号制御部135は、映像信号における輝度やコントラスト、色温度等が照度に応じた設定値となるよう、映像信号の出力値を制御する。
表示部150は、プロジェクタ10から投影された映像を表示する表示媒体である。図3に示すように、表示部150は、調光フィルム20及び透明スクリーン30を含む。
出力部160は、各種情報を出力するためのデバイスである。図3に示すように、出力部160は、プロジェクタ10及びスピーカ60を含む。プロジェクタ10は、表示制御部133によって設定された映像信号に基づいて、映像信号を表示部150に投影する。スピーカ60は、取得部132によって取得された映像ファイルや、記憶部120内に記憶された映像ファイルのうち、音声信号を出力する。
[1-3.第1の実施形態に係る表示制御処理の手順]
次に、図5を用いて、第1の実施形態に係る情報処理の手順について説明する。図5は、本開示の第1の実施形態に係る処理の流れを示すフローチャートである。
図5に示すように、表示制御装置100は、環境情報を取得したか否かを判定する(ステップS101)。環境情報を取得していない場合(ステップS101;No)、表示制御装置100は、センサ140を制御し、環境情報を取得するための処理を繰り返す。
環境情報を取得した場合(ステップS101;Yes)、表示制御装置100は、環境情報に基づいて、調光フィルム20の透過率を決定する(ステップS102)。
また、表示制御装置100は、環境情報に基づいて、プロジェクタ10から出力される映像信号の設定を決定する(ステップS103)。
続けて、表示制御装置100は、ステップS102で決定された透過率を調光フィルム20に設定する(ステップS104)。具体的には、表示制御装置100は、ステップS102で決定された透過率へ調光フィルム20を変更するためのパラメータ(電圧値等)に基づいて調光フィルム20を制御することで、調光フィルム20の透過率を遷移させる。
また、表示制御装置100は、ステップS103で決定された映像設定でプロジェクタ10を制御することにより、映像設定に基づいて表示部150に映像を投影する(ステップS105)。
その後、表示制御装置100は、ユーザから映像の投影を終了する操作を受け付けたか否かを判定する(ステップS106)。ユーザから映像の投影を終了する操作を受け付けていない場合(ステップS106;No)、表示制御装置100は、環境情報を取得する処理を繰り返し、環境情報に応じて適切な映像表示となるよう、透過率や映像設定の調整を継続する。一方、ユーザから映像の投影を終了する操作を受け付けた場合(ステップS106;Yes)、表示制御装置100は、映像の投影を終了する。
[1-4.第1の実施形態に係る変形例]
第1の実施形態に係る表示制御装置100は、プロジェクタ10として、超短焦点プロジェクタに限らず、一般的な焦点距離を有するプロジェクタを備えてもよい。また、表示制御装置100は、ユーザが利用するスマートフォン等の端末装置から、例えばWi-Fi(登録商標)やBluetooh(登録商標)機能を利用して、調光や映像の設定操作を受け付けてもよい。
(2.第2の実施形態)
[2-1.第2の実施形態に係る表示制御処理の一例]
第2の実施形態に係る表示制御装置200は、表示部250を有する。表示部250は、調光フィルム20、透明スクリーン30に加えて、調光ミラー40をさらに有する。以下、第2の実施形態に係る表示制御装置200が実行する表示制御処理について説明する。なお、第1の実施形態と重複する説明については、記載を省略する。
図6は、本開示の第2の実施形態に係る表示制御処理の一例を示す図である。本開示の第2の実施形態に係る表示制御処理は、図2に示す表示制御装置200によって実行される。
図6に示すように、第2の実施形態に係る表示部250は、調光フィルム20と、透明スクリーン30と、調光ミラー40とを含む。例えば、表示部250は、調光フィルム20と、透明スクリーン30と、調光ミラー40とを貼り合わせることによって構成される。
調光ミラー40は、例えばエレクトロクロミック素子を透明電極で挟むことによって構成される。調光ミラー40は、電子的な制御により、ミラー状態と透明状態とを切り替えることができる。
第2の実施形態に係る表示制御装置200は、調光フィルム20、透明スクリーン30に加えて、調光ミラー40の透過率を制御することにより、種々の映像表示を行うことができる。
例えば、表示制御装置200は、表示部250の透過率を制御することで、第1の実施形態でも説明したブラックスクリーン状態及び透明スクリーン状態に加えて、ミラーを表示させつつ、スクリーンとしても運用可能な状態とすることができる。係る状態を、図6の例では、「ミラー+スクリーン状態」として示す。ミラー+スクリーン状態では、表示制御装置200は、ミラー状態の表示部250に、さらに映像を重畳して表示することができる。
また、表示制御装置200は、調光フィルム20を透過させ、かつ、調光ミラー40をミラー状態に制御することで、表示部250をミラー状態にすることもできる。これにより、表示制御装置200は、映像を投影しない場合、表示部250をミラーとしてユーザに提供することができる。
次に、図7を用いて、表示制御装置200の設置例を説明する。図7は、本開示の第2の実施形態に係る表示制御装置200の設置例を示す図である。
図7に示すように、表示制御装置200は、例えば化粧台ミラーとして設置される。表示制御装置200に係るプロジェクタ10は、例えば化粧台ミラーの下部に設置される。なお、プロジェクタ10は、例えば床面に設置されてもよいし、化粧台ミラーの淵に埋め込まれてもよい。
表示制御装置200に係る表示部250は、映像を表示しない状態ではミラー状態となる。すなわち、ユーザは、化粧台ミラーと同じ態様で表示制御装置200を取り扱うことができる。
その後、ユーザからの映像表示の操作を受け付けた場合、表示制御装置200は、映像を表示する処理を開始する(ステップS2)。このとき、表示制御装置200は、例えば調光ミラー40を透過させ、ミラー状態を解除する。これにより、表示部250は、ミラーではなく映像を表示するスクリーンとしての機能を発揮する。すなわち、ユーザは、化粧台に設置されたミラーで映像を視聴することができる。具体的には、ユーザは、自身のメイクアップの手本となるような映像コンテンツを表示制御装置200に表示させることができる。このとき、表示制御装置200は、第1の実施形態と同様、環境情報に応じて調光フィルム20の透過率や映像信号を調整し、映像の視認性を向上させてもよい。
また、表示制御装置200は、ユーザの操作やユーザの動作に合わせて、ミラー状態と透過状態を切り替える処理を行ってもよい。
例えば、図7の例において、ユーザは、予め用意したメイクアップの見本となる映像コンテンツを表示させながら、自身のメイクアップを行うものとする。この場合、ユーザは、映像コンテンツを表示させながら自身の顔をミラーに表示させたい場合、調光ミラー40を半透過状態に設定する。これにより、ユーザは、映像コンテンツを表示させながら自身の顔をミラーでも確認することができる。
また、表示制御装置200は、ユーザから操作を受け付けず、自動的にスクリーンの表示状態を変化させてもよい。例えば、表示制御装置200は、表示部250の淵等に設置されたデプスセンサ142を利用して、ユーザの動作情報を取得する。具体的には、表示制御装置200は、ユーザが表示部250に正対しているか、あるいは、斜めから表示部250を見ているか、などのユーザの動作や位置情報を取得する。あるいは、表示制御装置200は、デプスセンサ142による追跡(トラッキング)情報に基づいて、ユーザの頭部の動き等を観測してもよい。
そして、表示制御装置200は、例えばユーザが表示部250の真正面に位置する場合、プロジェクタ10からの投影を一時的に停止させ、ユーザがミラーを利用できるようにさせる。また、表示制御装置200は、例えばユーザが表示部250を斜めから覗き込む場合、表示部250を半透過にするとともに、プロジェクタ10からの投影を開始し、映像を表示する。
これにより、ユーザは、自身がメイクを行う場合はミラーを利用し、ときおり、頭部を少し横に動かす等の動作を行うことで、見本の映像コンテンツを確認することができる。また、表示制御装置200は、例えばユーザが頭部を表示部250に対して上部もしくは下部に移動させた場合、調光フィルム20を完全に遮光し、かつ、プロジェクタ10からの投影を開始してもよい。これにより、表示制御装置200は、ユーザの特定の動作に応じて、より鮮明な映像を表示させることができる。すなわち、表示制御装置200は、様々なユーザの動作に応じて、表示部250やプロジェクタ10の設定を適宜変更することができる。
このように、表示制御装置200は、環境によっては、表示部250の透過性を保持したまま、映像を表示することもできる。これにより、表示制御装置200は、外の風景と映像が混ざり合ったような、新鮮な映像体験をユーザに提供することができる。
上記のように、表示制御装置100は、環境情報に基づいて、表示部150に係る透明スクリーン30に投影される映像の画素情報と、表示部150に係る調光フィルム20の透過率と、調光ミラー40の透過率とを制御する。また、表示制御装置200は、周囲の照度等のみならず、ユーザの動作に応じて表示部150の透過率を調整してもよい。これにより、表示制御装置200は、ミラーとしての機能性を保持しつつ、ミラーに重畳させて映像を表示するなど、利便性の高い映像表示を行うことができる。
以下、第2の実施形態に係る表示制御装置200等の構成について、図8以下を用いて説明する。
[2-2.第2の実施形態に係る表示制御装置の構成例]
図8を用いて、表示制御装置200の構成について説明する。図8は、本開示の実施形態に係る表示制御装置200の構成例を示す図である。図8に示すように、表示制御装置200は、調光ミラー40を含む表示部250と、記憶部220とを有する点で、第1の実施形態と相違する。
記憶部220は、第1の実施形態に係る記憶部120が保持する情報に加えて、ユーザの動作に応じてどのように透過率や映像を制御するかという情報が設定されたデータテーブルDB02を記憶する。
図9に、第2の実施形態に係るデータテーブルDB02の一例を示す。図9は、本開示の第2の実施形態に係るデータテーブルDB02の一例を示す図である。図9に示した例では、データテーブルDB02は、「設定ID」、「ヘッドトラッキング」、「調光フィルム」、「映像信号調整」といった項目を有する。
「設定ID」は、設定情報を識別する識別情報を示す。「ヘッドトラッキング」は、ユーザの動作情報のうち、ユーザの頭部のトラッキング情報を示す。例えば、ヘッドトラッキングが「完全シフト」とは、頭部の位置を捉える基準位置(例えば、デプスセンサ142の設置位置や、表示部250の真正面)から、閾値を超えて縦方向もしくは横方向に移動した(シフトした)状態を示す。また、ヘッドトラッキングが「中間位置」とは、ユーザの頭部が、頭部の位置を捉える基準位置の真正面の位置と、「完全シフト」と判定される位置との中間領域に位置している状態を示す。また、ヘッドトラッキングが「真正面」とは、ユーザの頭部が、頭部の位置を捉える基準位置の真正面にあると判定される状態を示す。
「調光フィルム」は、調光フィルム20の透過状態を示す。「映像信号調整」は、プロジェクタ10から投影される映像信号の設定情報を示す。例えば、映像信号調整が「フル輝度」とは、プロジェクタ10から最大輝度で映像が投影される状態を示す。また、映像信号調整が「半輝度」とは、プロジェクタ10から半分程度の輝度で映像が投影される状態を示す。また、映像信号調整が「消灯」とは、プロジェクタ10からの投影が一時停止される状態を示す。
すなわち、図9に示した例では、設定IDが「A02」で識別される設定情報の一例として、ヘッドトラッキングが「完全シフト」である場合、調光フィルムは「遮光」に制御され、映像信号は「フル輝度」に調整されることを示している。
言い換えれば、ユーザが頭部を表示部250の正面から大きくずらすと、表示部250は遮光状態(図6に示すブラックスクリーン状態)に遷移する。この状態では、プロジェクタ10の輝度がフル輝度状態になるため、ユーザは、鮮明な映像を視聴することができる。また、ユーザが頭部を表示部250の正面から少しずらすと、表示部250は半遮光状態(図6に示すミラー+スクリーン状態)に遷移する。この状態では、プロジェクタ10の輝度が半輝度状態になるため、ユーザは、ミラーに映る自身の姿と映像とを同時に視認することができる。この場合、表示制御装置200は、ミラーに映る現実の映像と、映像コンテンツとをユーザに同時に提供できるので、AR(Augmented Reality)的な体験をユーザに提供することができる。また、ユーザが頭部を表示部250の正面にずらすと、表示部250は透過状態(図6に示すミラー状態)に遷移する。この状態では、プロジェクタ10が消灯するため、ユーザは、表示部250をミラーとして利用することができる。
図8に戻って説明を続ける。第2の実施形態に係る取得部132は、照度センサ141等を介して、透過率が可変な調光ミラー40をさらに含む表示部250の周囲の環境情報を取得する。
また、取得部132は、ユーザの動作に関する情報として、ユーザの頭部のトラッキング情報を取得する。
具体的には、取得部132は、ユーザの頭部のトラッキング情報として、表示部250に正対するユーザと表示部250との相対的な位置関係を取得する。例えば、取得部132は、デプスセンサ142が物体を検知可能な画角のうち、正対していると判定される角度内(例えば、プラスマイナス10度等)にユーザが所在する場合、ユーザが表示部250と正対していると判定する。あるいは、取得部132は、デプスセンサ142が物体を検知可能な画角のうち、大きく外れていると判定される角度内(例えば、デプスセンサ142が物体を検知可能な画角の制限付近)にユーザが所在する場合、ユーザが表示部250とは正対せず、外れた位置に所在していると判定する。また、取得部132は、ユーザが表示部250に正対する位置と、大きく外れていると判定される位置との間にユーザが所在すること等を判定する。
また、第2の実施形態に係る表示制御部133は、環境情報に基づいて、透明スクリーン30に投影される映像の画素情報と、調光フィルム20の透過率と、調光ミラー40の透過率との少なくともいずれかを制御する。例えば、表示制御部133は、図6で示した例のように、調光フィルム20と調光ミラー40の透過率のいずれをも同時に変化させてもよいし、調光ミラー40はミラー状態に固定し、調光フィルム20の透過率のみを変化させてもよい。
また、表示制御部133は、ユーザの動作に関する情報に基づいて、透明スクリーン30に投影される映像の画素情報と調光フィルム20の透過率とを制御してもよい。
例えば、表示制御部133は、ユーザの頭部のトラッキング情報に基づいて、透明スクリーン30に投影される映像の画素情報と、調光フィルム20の透過率とを制御する。また、表示制御部133は、ユーザの頭部のトラッキング情報に基づいて、調光ミラー40の透過率を制御してもよい。
具体的には、表示制御部133は、ユーザと表示部250との相対的な位置関係に基づいて、透明スクリーン30に投影される映像の画素情報と、調光フィルム20の透過率とを制御する。
一例として、表示制御部133は、ユーザと表示部250との相対的な位置関係において、ユーザが表示部250に正対する位置に近付くほど、調光フィルム20の透過率を下げるよう制御してもよい。あるいは、表示制御部133は、ユーザと表示部250との相対的な位置関係において、ユーザが表示部250に正対する位置から遠ざかるほど、調光フィルム20の透過率を上げるよう制御してもよい。
[2-3.第2の実施形態に係る表示制御処理の手順]
次に、図10を用いて、第2の実施形態に係る情報処理の手順について説明する。図10は、本開示の第2の実施形態に係る処理の流れを示すフローチャートである。
図10に示すように、表示制御装置200は、環境情報及びユーザの動作に関する情報を取得したか否かを判定する(ステップS201)。環境情報及びユーザの動作に関する情報を取得していない場合(ステップS201;No)、表示制御装置200は、センサ140を制御し、環境情報及びユーザの動作に関する情報を取得するための処理を繰り返す。
環境情報及びユーザの動作に関する情報を取得した場合(ステップS201;Yes)、表示制御装置200は、環境情報及びユーザの動作に関する情報に基づいて、調光フィルム20や調光ミラー40の透過率を決定する(ステップS202)。
また、表示制御装置200は、環境情報及びユーザの動作に関する情報に基づいて、プロジェクタ10から出力される映像信号の設定を決定する(ステップS203)。
続けて、表示制御装置200は、ステップS102で決定された透過率を調光フィルム20及び調光ミラー40に設定する(ステップS204)。具体的には、表示制御装置200は、ステップS202で決定された透過率へ調光フィルム20を変更するためのパラメータ(電圧値等)に基づいて調光フィルム20を制御することで、調光フィルム20の透過率を遷移させる。また、表示制御装置200は、ステップS202で決定された透過率へ調光ミラー40を変更するためのパラメータ(電圧値等)に基づいて調光ミラー40を制御することで、調光ミラー40の透過率を遷移させる。
また、表示制御装置200は、ステップS203で決定された映像設定でプロジェクタ10を制御することにより、映像設定に基づいて表示部250に映像を投影する(ステップS205)。あるいは、表示制御装置200は、映像設定に基づいて、プロジェクタ10からの映像の投影を一時的にストップさせる。
その後、表示制御装置200は、ユーザから映像の投影を終了する操作を受け付けたか否かを判定する(ステップS206)。ユーザから映像の投影を終了する操作を受け付けていない場合(ステップS206;No)、表示制御装置200は、環境情報及びユーザの動作に関する情報を取得する処理を繰り返し、取得した情報に応じて適切な映像表示となるよう、透過率や映像設定の調整を継続する。一方、ユーザから映像の投影を終了する操作を受け付けた場合(ステップS206;Yes)、表示制御装置200は、映像の投影を終了する。例えば、表示制御装置200は、調光フィルム20を透過させた状態になるよう制御し、表示部250が通常のミラーとしての機能を発揮する状態にする。
[2-4.第2の実施形態に係る変形例]
第2の実施形態に係る表示制御装置200は、調光ミラー40ではなく、通常のミラーを備えてもよい。かかる構成であっても、表示制御装置200は、図6に示す透明スクリーン状態以外の状態へ表示部250を任意に変更することができる。
(3.その他の実施形態)
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
[3-1.本開示に係る表示制御システムの一例]
例えば、本開示に係る表示制御装置は、プロジェクタ10や表示部150と分離され、分離されたプロジェクタ10と表示部150とを制御する装置であってもよい。すなわち、本開示に係る表示制御装置は、プロジェクタ10と表示部150とが組み合わされて構成される装置であって、スタンドアロンで動作する表示装置を制御してもよい。また、本開示に係る表示制御装置は、複数台の表示装置を制御してもよい。
この場合、本開示に係る表示制御処理は、図11に示す表示制御システム1によって実行されてもよい。図11は、本開示に係る表示制御システム1の構成例を示す図である。図11に示すように、表示制御システム1は、表示制御装置300と、第1表示装置300Aや第2表示装置300Bとを有する。なお、表示制御システム1は、さらに多くの表示装置を有していてもよい。
表示制御システム1では、表示制御装置300が、第1表示装置300Aや第2表示装置300Bの各々の近傍に備えられた照度センサやデプスセンサに基づいて、各々の表示装置の透過率や映像信号を一括で制御する。
表示制御システム1によれば、複数台の表示装置を制御することができるので、例えば表示装置が同時に同一のコンテンツを表示する複数のデジタルサイネージ等である場合に、各々の環境に合わせて最適な表示を行うことができる。
[3-2.その他]
例えば、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
(4.本開示に係る表示制御装置の効果)
上述のように、本開示に係る表示制御装置(実施形態では表示制御装置100等)は、取得部(実施形態では取得部132)と、表示制御部(実施形態では表示制御部133)とを有する。取得部は、プロジェクタから投影される映像を反射する透明スクリーンと透過率が可変な調光フィルムとを含む表示部(実施形態では表示部150等)の周囲の環境情報を取得する。表示制御部は、環境情報に基づいて、透明スクリーンに投影される映像の画素情報と、調光フィルムの透過率とを制御する。
このように、本開示に係る表示制御装置は、環境情報に基づいて、映像の画素情報と調光フィルムの透過率とを制御することで、種々の環境下において、適切な映像を表示することができる。また、表示制御装置は、表示部として透明スクリーンを用いることで、ユーザへの圧迫感を抑制することができる。これにより、表示制御装置は、外光下での映像の視認性を確保しつつ、圧迫感をユーザに感じさせない映像表示を実現することができる。
また、取得部は、表示部の周囲の照度を取得する。表示制御部は、照度に基づいて、透明スクリーンに投影される映像の画素情報と、調光フィルムの透過率とを制御する。これにより、表示制御装置は、映像を表示するタイミングにおける照度に応じて、適切な表示を行うことができる。
また、表示制御部は、照度と、映像の画素情報と、調光フィルムの透過率とが予め対応付けられた設定情報に基づいて、映像の画素情報と調光フィルムの透過率とを制御する。これにより、表示制御装置は、プリセットされた最適な設定や、ユーザが所望する設定等に基づいて、映像の表示を制御することができる。
また、表示制御部は、照度が高いほど、調光フィルムの透過率を下げるとともに、映像の画素の輝度値が高くなるよう制御する。これにより、表示制御装置は、予め設定された照度や透過率等の情報(データテーブルDB01等)がなくても、現時点の照度に応じて、適切な表示を行うことができる。
また、取得部は、透過率が可変な調光ミラーをさらに含む表示部の周囲の環境情報を取得する。表示制御部は、環境情報に基づいて、透明スクリーンに投影される映像の画素情報と、調光フィルムの透過率と、調光ミラーの透過率との少なくともいずれかを制御する。これにより、表示制御装置は、ミラーに重複した映像を表示するなど、新鮮な映像体験をユーザに提供することができる。
また、取得部は、表示部の周囲のユーザの動作に関する情報を取得する。表示制御部は、ユーザの動作に関する情報に基づいて、透明スクリーンに投影される映像の画素情報と、調光フィルムの透過率とを制御する。これにより、表示制御装置は、ユーザの動作に応じて、表示部を通常のミラーとして使用したり、映像スクリーンとして使用したりといった、使い分けを行うことができる。
また、取得部は、ユーザの動作に関する情報として、ユーザの頭部のトラッキング情報を取得する。表示制御部は、ユーザの頭部のトラッキング情報に基づいて、透明スクリーンに投影される映像の画素情報と、調光フィルムの透過率とを制御する。これにより、表示制御装置は、ユーザに煩わしい操作を行わせずとも、ユーザの動きに合わせて映像やミラーを切り替えることができる。
また、取得部は、表示部に正対するユーザと表示部との相対的な位置関係を取得する。表示制御部は、ユーザと表示部との相対的な位置関係に基づいて、透明スクリーンに投影される映像の画素情報と、調光フィルムの透過率とを制御する。これにより、表示制御装置は、ユーザが表示部からずれたときには映像を表示したり、映像と半透過のミラーとを表示させたりといった、AR的な映像表示を行うことができる。
また、表示制御部は、ユーザと表示部との相対的な位置関係において、ユーザが表示部に正対する位置に近付くほど、調光フィルムの透過率を下げるよう制御する。これにより、表示制御装置は、ユーザが表示部に正対するときには表示部をミラーとして利用させることができるため、ユーザの利便性を向上させることができる。
(5.ハードウェア構成)
上述してきた各実施形態に係る表示制御装置100等の情報機器は、例えば図12に示すような構成のコンピュータ1000によって実現される。以下、第1の実施形態に係る表示制御装置100を例に挙げて説明する。図12は、表示制御装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る表示制御プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る表示制御装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた表示制御プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る表示制御プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
プロジェクタから投影される映像を反射する透明スクリーンと透過率が可変な調光フィルムとを含む表示部の周囲の環境情報を取得する取得部と、
前記環境情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する表示制御部と
を備えた表示制御装置。
(2)
前記取得部は、
前記表示部の周囲の照度を取得し、
前記表示制御部は、
前記照度に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する
前記(1)に記載の表示制御装置。
(3)
前記表示制御部は、
前記照度と、前記映像の画素情報と、前記調光フィルムの透過率とが予め対応付けられた設定情報に基づいて、当該映像の画素情報と当該調光フィルムの透過率とを制御する
前記(2)に記載の表示制御装置。
(4)
前記表示制御部は、
前記照度が高いほど、前記調光フィルムの透過率を下げるとともに、前記映像の画素の輝度値が高くなるよう制御する
前記(2)又は(3)に記載の表示制御装置。
(5)
前記取得部は、
透過率が可変な調光ミラーをさらに含む表示部の周囲の環境情報を取得し、
前記表示制御部は、
前記環境情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率と、前記調光ミラーの透過率との少なくともいずれかを制御する
前記(1)から(4)のいずれかに記載の表示制御装置。
(6)
前記取得部は、
前記表示部の周囲のユーザの動作に関する情報を取得し、
前記表示制御部は、
前記ユーザの動作に関する情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する
前記(5)に記載の表示制御装置。
(7)
前記取得部は、
前記ユーザの動作に関する情報として、前記ユーザの頭部のトラッキング情報を取得し、
前記表示制御部は、
前記ユーザの頭部のトラッキング情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する
前記(6)に記載の表示制御装置。
(8)
前記取得部は、
前記表示部に正対するユーザと当該表示部との相対的な位置関係を取得し、
前記表示制御部は、
前記ユーザと前記表示部との相対的な位置関係に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する
前記(6)又は(7)に記載の表示制御装置。
(9)
前記表示制御部は、
前記ユーザと表示部との相対的な位置関係において、前記ユーザが表示部に正対する位置に近付くほど、前記調光フィルムの透過率を下げるよう制御する
前記(8)に記載の表示制御装置。
(10)
コンピュータが、
プロジェクタから投影される映像を反射する透明スクリーンと透過率が可変な調光フィルムとを含む表示部の周囲の環境情報を取得し、
前記環境情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する
表示制御方法。
(11)
コンピュータを、
プロジェクタから投影される映像を反射する透明スクリーンと透過率が可変な調光フィルムとを含む表示部の周囲の環境情報を取得する取得部と、
前記環境情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する表示制御部と
として機能させるための表示制御プログラム。
10 プロジェクタ
20 調光フィルム
30 透明スクリーン
40 調光ミラー
60 スピーカ
100、200、300 表示制御装置
110 通信部
120、220 記憶部
130 制御部
131 検知部
132 取得部
133 表示制御部
134 調光部
140 センサ
150、250 表示部
160 出力部

Claims (9)

  1. プロジェクタから投影される映像を反射する透明スクリーンと透過率が可変な調光フィルムおよび調光ミラーとを含む表示部の周囲の環境情報を取得する取得部と、
    前記環境情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率と、前記調光ミラーの透過率とを制御する表示制御部と、を備え、
    前記取得部は、
    前記表示部の周囲のユーザの動作に関する情報を取得し、
    前記表示制御部は、
    前記ユーザの動作に関する情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する、
    表示制御装置。
  2. 前記取得部は、
    前記表示部の周囲の照度を取得し、
    前記表示制御部は、
    前記照度に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する
    請求項1に記載の表示制御装置。
  3. 前記表示制御部は、
    前記照度と、前記映像の画素情報と、前記調光フィルムの透過率とが予め対応付けられた設定情報に基づいて、当該映像の画素情報と当該調光フィルムの透過率とを制御する
    請求項2に記載の表示制御装置。
  4. 前記表示制御部は、
    前記照度が高いほど、前記調光フィルムの透過率を下げるとともに、前記映像の画素の輝度値が高くなるよう制御する
    請求項2に記載の表示制御装置。
  5. 前記取得部は、
    前記ユーザの動作に関する情報として、前記ユーザの頭部のトラッキング情報を取得し、
    前記表示制御部は、
    前記ユーザの頭部のトラッキング情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する
    請求項に記載の表示制御装置。
  6. 前記取得部は、
    前記表示部に正対するユーザと当該表示部との相対的な位置関係を取得し、
    前記表示制御部は、
    前記ユーザと前記表示部との相対的な位置関係に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する
    請求項に記載の表示制御装置。
  7. 前記表示制御部は、
    前記ユーザと表示部との相対的な位置関係において、前記ユーザが表示部に正対する位置に近付くほど、前記調光フィルムの透過率を上げるよう制御する
    請求項に記載の表示制御装置。
  8. コンピュータが、
    プロジェクタから投影される映像を反射する透明スクリーンと透過率が可変な調光フィルムおよび調光ミラーとを含む表示部の周囲の環境情報を取得し、
    前記環境情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率と、前記調光ミラーの透過率とを制御し、
    さらに、表示部の周囲のユーザの動作に関する情報を取得し、
    前記ユーザの動作に関する情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する、
    表示制御方法。
  9. コンピュータを、
    プロジェクタから投影される映像を反射する透明スクリーンと透過率が可変な調光フィルムおよび調光ミラーとを含む表示部の周囲の環境情報を取得する取得部と、
    前記環境情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率と、前記調光ミラーの透過率とを制御する表示制御部と
    として機能させるための表示制御プログラムであって、
    前記取得部は、
    前記表示部の周囲のユーザの動作に関する情報を取得し、
    前記表示制御部は、
    前記ユーザの動作に関する情報に基づいて、前記透明スクリーンに投影される映像の画素情報と、前記調光フィルムの透過率とを制御する、
    表示制御プログラム
JP2018221719A 2018-11-27 2018-11-27 表示制御装置、表示制御方法及び表示制御プログラム Active JP7314501B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018221719A JP7314501B2 (ja) 2018-11-27 2018-11-27 表示制御装置、表示制御方法及び表示制御プログラム
CN201980076594.5A CN113168822A (zh) 2018-11-27 2019-11-20 显示控制装置、显示控制方法和显示控制程序
PCT/JP2019/045516 WO2020110868A1 (en) 2018-11-27 2019-11-20 Display control apparatus, display control method, and display control program
US17/291,102 US20220005436A1 (en) 2018-11-27 2019-11-20 Display control apparatus, display control method, and display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018221719A JP7314501B2 (ja) 2018-11-27 2018-11-27 表示制御装置、表示制御方法及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2020087049A JP2020087049A (ja) 2020-06-04
JP7314501B2 true JP7314501B2 (ja) 2023-07-26

Family

ID=68808482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018221719A Active JP7314501B2 (ja) 2018-11-27 2018-11-27 表示制御装置、表示制御方法及び表示制御プログラム

Country Status (4)

Country Link
US (1) US20220005436A1 (ja)
JP (1) JP7314501B2 (ja)
CN (1) CN113168822A (ja)
WO (1) WO2020110868A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7338146B2 (ja) * 2018-11-27 2023-09-05 ソニーグループ株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JPWO2022130865A1 (ja) * 2020-12-16 2022-06-23

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004299591A (ja) 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 表示システム
JP2014197163A (ja) 2013-01-17 2014-10-16 株式会社ダイセル 半透明拡散型偏光積層体及びその用途
JP2017021148A (ja) 2015-07-09 2017-01-26 ホシデン株式会社 投射型表示装置及び該投射型表示装置を用いた車載用ヘッドアップディスプレイ
WO2017163291A1 (ja) 2016-03-24 2017-09-28 パナソニックIpマネジメント株式会社 透過スクリーン、投影システム、及び透過スクリーンの制御方法
JP2017193190A (ja) 2016-04-18 2017-10-26 ソニー株式会社 画像表示装置及び画像表示装置、並びに移動体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3155876B2 (ja) * 1993-12-27 2001-04-16 キヤノン株式会社 画像表示装置及びそれに用いられる画像の撮像方法
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
US8225229B2 (en) * 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
DE102010040694A1 (de) * 2010-09-14 2012-03-15 Robert Bosch Gmbh Head-up-Display
US9508160B2 (en) * 2011-02-22 2016-11-29 Xerox Corporation User interface panel
JP2012252091A (ja) * 2011-06-01 2012-12-20 Sony Corp 表示装置
JP2013156324A (ja) * 2012-01-27 2013-08-15 Seiko Epson Corp プロジェクター、および、プロジェクターによる画像投射方法
JP2015084002A (ja) * 2012-02-09 2015-04-30 パナソニック株式会社 ミラーディスプレイシステム、及び、その映像表示方法
US20140268360A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Head-mounted display
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
KR102127356B1 (ko) * 2014-07-31 2020-06-26 삼성전자주식회사 투명 디스플레이 장치 및 그 제어 방법
JP6768197B2 (ja) 2014-12-17 2020-10-14 ソニー株式会社 情報処理装置および方法
US9858719B2 (en) * 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
JP2017116755A (ja) * 2015-12-25 2017-06-29 三菱電機株式会社 虚像表示装置
US10067344B2 (en) * 2016-07-01 2018-09-04 Intel Corporation Variable transmissivity virtual image projection system
TWI622914B (zh) * 2017-07-24 2018-05-01 友達光電股份有限公司 顯示裝置及其影像處理方法
US10527876B2 (en) * 2018-03-28 2020-01-07 Panasonic Liquid Crystal Display Co., Ltd. Liquid crystal display device
CN109236132B (zh) * 2018-11-02 2020-01-03 吉林大学 在发光态-透光态-阻光态-反光态间相互转化的刚性/柔性可粘贴智能窗及其制备方法
JP7338146B2 (ja) * 2018-11-27 2023-09-05 ソニーグループ株式会社 表示制御装置、表示制御方法及び表示制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004299591A (ja) 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 表示システム
JP2014197163A (ja) 2013-01-17 2014-10-16 株式会社ダイセル 半透明拡散型偏光積層体及びその用途
JP2017021148A (ja) 2015-07-09 2017-01-26 ホシデン株式会社 投射型表示装置及び該投射型表示装置を用いた車載用ヘッドアップディスプレイ
WO2017163291A1 (ja) 2016-03-24 2017-09-28 パナソニックIpマネジメント株式会社 透過スクリーン、投影システム、及び透過スクリーンの制御方法
JP2017193190A (ja) 2016-04-18 2017-10-26 ソニー株式会社 画像表示装置及び画像表示装置、並びに移動体

Also Published As

Publication number Publication date
CN113168822A (zh) 2021-07-23
JP2020087049A (ja) 2020-06-04
US20220005436A1 (en) 2022-01-06
WO2020110868A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
JP7338146B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP6614975B2 (ja) 拡張現実デバイスの電力性能を高めるための仮想オブジェクトディスプレイ特性の変更
US9905147B2 (en) Display device
US8797451B2 (en) Embedded camera with privacy filter
US20170084231A1 (en) Imaging system management for camera mounted behind transparent display
KR102606422B1 (ko) 디스플레이 제어 방법, 저장 매체 및 전자 장치
WO2019212575A1 (en) System, apparatus, and method for optimizing viewing experience on an intelligent terminal
KR20130138225A (ko) 통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치
KR20180023609A (ko) 디스플레이 장치 및 그 제어 방법
JP6720341B2 (ja) バーチャルリアリティデバイス及びそのコンテンツの調整方法
KR20180032089A (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
US10474100B2 (en) Display device and driving method thereof
CN101406047A (zh) 基于投影仪的周边照明系统
US20190387165A1 (en) Image device for generating depth images and related electronic device
JP7314501B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP6844159B2 (ja) 表示装置、及び、表示装置の制御方法
KR20180098065A (ko) 디스플레이 장치 및 그 제어 방법
CN113938730B (zh) 显示设备的投影组件校正方法和显示设备
JP2016519322A (ja) 表示画像の明るさの制御
US9092064B2 (en) Head mounted display and method of controlling therefor
US20140002708A1 (en) Display control apparatus and camera system
CN113168798B (zh) 显示控制装置、显示控制方法和显示控制程序
US20180275774A1 (en) Display control device, display control system, display control method, and storage medium having stored thereon display control program
US11675420B2 (en) Method for operating display apparatus, and display apparatus
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R151 Written notification of patent or utility model registration

Ref document number: 7314501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151