JP6897681B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6897681B2
JP6897681B2 JP2018531750A JP2018531750A JP6897681B2 JP 6897681 B2 JP6897681 B2 JP 6897681B2 JP 2018531750 A JP2018531750 A JP 2018531750A JP 2018531750 A JP2018531750 A JP 2018531750A JP 6897681 B2 JP6897681 B2 JP 6897681B2
Authority
JP
Japan
Prior art keywords
image
superimposed
luminance
display
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531750A
Other languages
English (en)
Other versions
JPWO2018025474A1 (ja
Inventor
圭督 久野
圭督 久野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018025474A1 publication Critical patent/JPWO2018025474A1/ja
Application granted granted Critical
Publication of JP6897681B2 publication Critical patent/JP6897681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H04N9/3135Driving therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2053Intensity control of illuminating light
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/26Projecting separately subsidiary matter simultaneously with main image
    • G06T5/92
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Description

本技術は、複数のプロジェクタによる画像表示を制御可能な情報処理装置、情報処理方法、及びプログラムに関する。
従来、複数の光源やプロジェクタを組み合わせた投射型の表示装置が考案されている。投射表示では、光を重ね合わせることで、表示可能な光量を増大させることができる。例えば特許文献1には、投射表示される画像のピーク輝度を向上させるハイライトプロジェクタシステムが記載されている。画像データに含まれる画素のうち、第1閾値を超える輝度値を有する画素が検出され、当該画素で結ばれる領域がハイライト領域として特定される。ハイライト領域の全画素に対して、レーザ等の走査ビームを用いて輝度が追加される(特許文献1の明細書段落[0025][0044])。
特表2014−517337号公報
今後とも複数の光源やプロジェクタを用いて高輝度の画像を投射するシステムは普及していくものと考えられる。複数の画像を効率的に重ね合わせて高品質な画像を表示可能とする技術が求められる。
以上のような事情に鑑み、本技術の目的は、複数の画像投射装置を用いて高品質な画像を表示することを可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、入力部と、設定部と、生成部とを具備する。
前記入力部には、投射対象となる画像の画像情報が入力される。
前記設定部は、前記投射対象となる画像の所定の位置に重畳領域を設定する。
前記生成部は、前記入力された画像情報に基づいて、前記設定された重畳領域の画像を含むベース画像と、前記ベース画像の前記重畳領域の画像に重畳される重畳画像とを生成する。
この情報処理装置では、設定部により、投射対象となる画像の所定の位置に重畳領域が設定される。生成部により、入力された画像情報に基づいて、重畳領域の画像を含むベース画像と、重畳領域の画像に重畳される重畳画像が生成される。これにより複数の画像投射装置を用いて高品質な画像を表示することが可能となる。
前記生成部は、前記入力された前記重畳領域に対応する画像情報に強調表示処理を実行し、その他の領域に対応する画像情報に標準表示処理を実行することで、前記ベース画像と前記重畳画像とをそれぞれ生成してもよい。
これにより重畳領域の画像品質を選択的に向上させることが可能である。これにより複数の画像投射装置を用いて高品質な画像を表示することが可能となる。
前記強調表示処理は、前記重畳領域に含まれる各画素の表示輝度を算出する処理であってもよい。この場合、前記生成部は、前記算出された各画素の表示輝度に基づいて、前記重畳領域の画像と前記重畳画像とをそれぞれ生成してもよい。
これにより所望の表示輝度で画像を表示することが可能となり、画像の品質を向上させることが可能となる。
前記重畳領域の画像及び前記重畳画像は、各画素の画素情報をそれぞれ含んでもよい。この場合、前記生成部は、前記算出された各画素の表示輝度と、所定の基準輝度とを比較することで、前記重畳領域の画像の前記各画素の画素情報であるベース画素情報と、前記重畳画像の前記各画素の画素情報である重畳画素情報とをそれぞれ生成してもよい。
これにより所望の表示輝度による画像表示を容易に実現することが可能となり、高品質な画像を表示することが可能となる。
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記所定の基準輝度よりも小さい場合は、前記ベース画素情報として前記算出された表示輝度に対応する画素情報を生成し、前記重畳画素情報として表示輝度がゼロとなる画素情報を生成してもよい。
これにより表示輝度が低い領域について、高い画像品質を発揮することが可能となる。
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記所定の基準輝度よりも大きい場合は、前記ベース画素情報として前記所定の基準輝度に対応する画素情報を生成し、前記重畳画素情報として前記算出された表示輝度と前記所定の基準輝度との差に対応する画素情報を生成してもよい。
これにより表示輝度の輝度範囲が拡張された画像表示が可能となり、高い画像品質を発揮することが可能となる。
前記生成部は、第1の基準輝度及びこれよりも大きい第2の基準輝度に基づいて、前記重畳領域の画像に重畳される第1の重畳画像及び第2の重畳画像をそれぞれ生成してもよい。
これにより表示輝度の輝度範囲を十分に拡張することが可能となり、非常に高い画像品質を発揮することが可能となる。
前記第1及び前記第2の重畳画像は、各画素の画素情報である第1の重畳画素情報及び第2の重畳画素情報をそれぞれ含んでもよい。この場合、前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記第1の基準輝度よりも小さい場合は、前記ベース画素情報として前記算出された表示輝度に対応する画素情報を生成し、前記第1及び前記第2の重畳画素情報として表示輝度がゼロとなる画素情報を生成してもよい。
これにより表示輝度が低い領域について、高い画像品質を発揮することが可能となる。
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記第1の基準輝度よりも大きく前記第2の基準輝度よりも小さい場合は、前記ベース画素情報として前記第1の基準輝度に対応する画素情報を生成し、前記第1の重畳画素情報として前記算出された表示輝度と前記第1の基準輝度との差に対応する画素情報を生成し、前記第2の重畳画素情報として表示輝度がゼロとなる画素情報を生成してもよい。
これにより表示輝度の輝度範囲が拡張された画像表示が可能なり、高い画像品質を発揮することが可能となる。
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記第2の基準輝度よりも大きい場合は、前記ベース画素情報として前記第1の基準輝度に対応する画素情報を生成し、前記第1の重畳画素情報として前記第2の基準輝度と前記第1の基準輝度との差に対応する画素情報を生成し、前記第2の重畳画素情報として前記算出された表示輝度と前記第2の基準輝度との差に対応する画素情報を生成してもよい。
これにより3以上の画像を重畳して輝度範囲が十分に拡張された画像表示が可能となり、
非常に高い画像品質を発揮することが可能となる。
前記所定の基準輝度は、前記投射対象となる画像のピーク輝度、前記ベース画像を投射する画像投射装置が表示可能な輝度、及び前記重畳画像を投射する画像投射装置が表示可能な輝度のうち少なくとも1つに基づいて設定されてもよい。
これにより高精度に画像を重畳することが可能となり、高品質な画像を表示することが可能となる。
前記強調表示処理は、前記重畳領域に含まれる各画素について、高ダイナミックレンジの表示輝度を算出する処理であってもよい。
これにより高ダイナミックレンジ(HDR:High Dynamic Range)の画像を表示可能となり、白トビや黒つぶれを抑えた鮮明な画像を表示することが可能となる。
前記標準表示処理は、前記その他の領域に含まれる各画素の表示輝度を算出する処理であってもよい。この場合、前記生成部は、前記算出されたその他の領域に含まれる各画素の表示輝度に基づいて、前記ベース画像を生成してもよい。
これにより重畳領域とその他の領域とを含む画像を高精度に生成することが可能となり、画像の品質を向上させることが可能となる。
前記標準表示処理は、前記その他の領域に含まれる各画素について、標準ダイナミックレンジの表示輝度を算出する処理であってもよい。
これにより標準ダイナミックレンジ(SDR:Standard Dynamic Range)の画像を表示可能となり、必要な画像投射装置の数を抑えて高品質な画像を効率的に表示することが可能となる。
前記生成部は、前記重畳画像を投射する画像投射装置の解像度に合わせて、前記重畳画像を拡大する拡大処理を実行してもよい。
これにより、例えば当該画像投射装置の全表示範囲を使って重畳画像を表示することができる。この結果、複数の画像投射装置を用いて高品質な画像を効率的に表示することが可能となる。
前記入力部には、高ダイナミックレンジの画像の画像情報が入力されてもよい。
これにより階調表現の豊かなHDRの画像を表示させることが可能となる。これにより複数の画像投射装置を用いて高品質な画像を表示することが可能となる。
前記入力部には、複数の表示領域を含む画像の画像情報が入力されてもよい。この場合、前記設定部は、前記複数の表示領域のうち少なくとも1つを前記重畳領域として設定してもよい。
これにより1つの画像情報に基づいて、画質の異なる複数の表示領域を持った画面構成を実現することが可能となる。
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、投射対象となる画像の画像情報を取得することを含む。
前記投射対象となる画像の所定の位置に重畳領域を設定される。
前記取得された画像情報に基づいて、前記設定された重畳領域の画像を含むベース画像と、前記ベース画像の前記重畳領域の画像に重畳される重畳画像とが生成される。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
投射対象となる画像の画像情報を取得するステップ。
前記投射対象となる画像の所定の位置に重畳領域を設定するステップ。
前記取得された画像情報に基づいて、前記設定された重畳領域の画像を含むベース画像と、前記ベース画像の前記重畳領域の画像に重畳される重畳画像とを生成するステップ。
以上のように、本技術によれば、複数の画像投射装置を用いて高品質な画像を表示することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態に係る画像投射システムの構成例を示す概略図である。 スクリーンに投射される投射画像と、投射画像を構成するベース画像及び重畳画像とを示す模式図である。 高ダイナミックレンジ及び標準ダイナミックレンジの各々の階調の一例を説明するためのガンマカーブの概略図である。 ベース画像の生成例を示すフローチャートである。 輝度分割の一例を説明するためのグラフである。 重畳画像の生成例を示すフローチャートである。 拡大処理の一例を説明するための概略図である。 投射画像のHDR領域に表示されるハイライト画像の表示輝度のラインプロファイルの一例を示す模式図である。 第2の実施形態に係る画像投射システムのデータフローを示すブロック図である。 輝度分割の一例を説明するためのグラフである。 n台のハイライトプロジェクタが用いられる場合の輝度分割の一例を説明するためのグラフである。 各プロジェクタが担当する輝度範囲の一例を示すグラフである。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[画像投射システム]
図1は、本技術の第1の実施形態に係る画像投射システムの構成例を示す概略図である。図2は、スクリーンに投射される投射画像と、投射画像を構成するベース画像及び重畳画像とを示す模式図である。
画像投射システム100は、スクリーン10と、ベースプロジェクタ20と、ハイライトプロジェクタ30と、情報処理装置40とを有する。図1及び図2Aに示すように、本実施形態では、スクリーン10に投射される投射画像11の所定の位置にHDR領域14が設定される。HDR領域14以外のその他の領域は、SDR領域15となる。本実施形態では、HDR領域14は高ダイナミックレンジで表示され、SDR領域15は標準ダイナミックレンジで表示される。
例えば投射画像11として、複数の表示領域16を含む画像が表示される場合に、そのうちの1つがHDR領域14として設定される。本実施形態では、3人組みのアーティストのコンサート映像をコンテンツとして、各メンバーを表示する表示領域16a、16b及び16cと、ステージ全体を表示する表示領域16dとを含む画像が投射されるとする。
例えばステージ全体を表示する表示領域16dを、HDR領域14に設定することで、ステージ全体が高ダイナミックレンジで色彩豊かに表示され、臨場感のある映像体験を提供することが可能である。なお高ダイナミックレンジについては、後に詳しく説明する。
HDR領域14は、本実施形態において、重畳領域に相当する。HDR領域14の数、位置、形状等は限定されず、任意に設定されてよい。以下、投射画像11のHDR領域14に表示される画像を、ハイライト画像17と記載する。
画像投射システム100が適用可能な分野は、コンサート映像等に限定されない。例えばスポーツ中継等で用いられるマルチ画面で構成された投射画像11が投射される場合に、詳細に表示したい画面をHDR領域14として設定する、といったことも可能である。他にもデジタルシネマや遠隔医療等の任意の分野で、本技術は適用可能である。
図1に示すベースプロジェクタ20は、スクリーン10にベース画像12を投射する。図2Bに示すようにベース画像12は、HDR領域14に投射される画像であるHDR領域の画像18と、SDR領域15に投射される画像であるSDR領域の画像19とを含む。図2Bに示すように、SDR領域の画像19は、各メンバーを表示する表示領域19a、19b及び19cの画像を含む。ベース画像12は、投射画像11の画面構成を決定する画像ともいえる。
ハイライトプロジェクタ30は、スクリーン10に重畳画像13を投射する。図2Cに示すように、重畳画像13は、HDR領域14に投射される画像であり、ベース画像12のHDR領域の画像18に重畳される。すなわちベース画像12のHDR領域の画像18と、重畳画像13とが重畳されることで、投射画像11のハイライト画像17が実現される。これによりHDR領域14を、SDR領域15と比べて、高輝度に表示することが可能となる。
図1に示すように、ベースプロジェクタ20及びハイライトプロジェクタ30は、例えばHDMI(登録商標)(High-Definition Multimedia Interface)端子等やWiFiモジュール等が備えられた入力インタフェース21及び31を有する。当該入力インタフェース21及び31を介して、ベースプロジェクタ20及びハイライトプロジェクタ30と、情報処理装置40とが接続される。
本実施形態において、ベースプロジェクタ20及びハイライトプロジェクタ30は、ベース画像を投射する画像投射装置、及び重畳画像を投射する画像投射装置にそれぞれ相当する。
情報処理装置40は、ベースプロジェクタ20により投射されるベース画像12と、ハイライトプロジェクタ30により投射される重畳画像13とをそれぞれ生成する。情報処理装置40は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のコンピュータの構成に必要なハードウェアを有する。情報処理装置40として、例えばPC(Personal Computer)が用いられるが、他の任意のコンピュータが用いられてもよい。
CPUが、ROMやHDDに格納された本技術に係るプログラムをRAMにロードして実行することにより、図1に示す機能ブロックである入力部41、領域設定部42、及び画像生成部43が実現される。そしてこれらの機能ブロックにより、本技術に係る情報処理方法が実行される。なお各機能ブロックを実現するために、FPGA(Field Programmable Gate Array)や画像処理IC(Integrated Circuit)等の専用のハードウェアが適宜用いられてもよい。
プログラムは、例えば種々の記録媒体を介して情報処理装置40にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
入力部41には、カメラやサーバ装置等の図示しない画像供給源から送信された画像情報が図示しない入力インタフェースを介して入力される。情報処理装置40の入力インタフェースは限定されず、HDMI端子等やWiFiモジュール等が適宜用いられてよい。その他、多芯マルチモードファイバー等のUHDTV(Ultra High Definition Television)に対応した専用のインタフェースが用いられてもよい。
領域設定部42は、投射される投射画像11、すなわち投射対象となる画像の所定の位置にHDR領域14を設定する。例えば投射画像11の画面構成等に基づいて、HDR領域14のサイズ、形状、及び位置が設定される。設定されたHDR領域14の位置情報は、HDD等により構成される記憶部に記憶され適宜参照される。本実施形態において、領域設定部42は設定部に相当する。
画像生成部43は、機能ブロックとして、HDR処理部44、SDR処理部45、分割処理部46、及び拡大処理部47を有する。画像生成部43は、これらの機能ブロックを適宜用いることで、入力された投射画像11の画像情報に基づいてベース画像12及び重畳画像13を生成する。本実施形態において、画像生成部43は生成部に相当する。
HDR処理部44は、ハイライト画像17に含まれる各画素について、高ダイナミックレンジの表示輝度を算出する処理を実行する。本実施形態において、HDR処理部44が実行するHDR処理は、強調表示処理に相当する。
SDR処理部45は、SDR領域の画像19に含まれる各画素について、標準ダイナミックレンジの表示輝度を算出する処理を実行する。本実施形態において、SDR処理部45が実行するSDR処理は、標準表示処理に相当する。
本実施形態において、HDR処理及びSDR処理により算出される表示輝度とは、スクリーン10に表示する際の各画素の輝度値に相当する。情報処理装置40は、算出された表示輝度が実現されるように、ベースプロジェクタ20及びハイライトプロジェクタ30をそれぞれ制御する。
具体的には、情報処理装置40により、ベース画像12の各画素の画素情報が生成されベースプロジェクタ20に出力される。また重畳画像13の各画素の画素情報が生成されハイライトプロジェクタ30に出力される。なお画素情報は、ベースプロジェクタ20及びハイライトプロジェクタ30が画像を投射するための情報であり、各画素を所望の表示輝度でスクリーンに表示させるためのビデオ信号等が含まれる。
情報処理装置40から出力された画素情報に基づいて、ベースプロジェクタ20及びハイライトプロジェクタ30により、図2B及びCに示すベース画像12及び重畳画像13が重なるように投射される。これにより図2Aに示す投射画像11が、高精度に表示される。各プロジェクタに出力される画素情報の生成方法については、後に詳しく説明する。
本実施形態において、画像を生成することは、当該画像の各画素の画素情報を生成することを含む。従って各画素の画素情報を生成してプロジェクタに出力することは、投射させたい画像を生成してプロジェクタに出力することに相当する。
HDR処理により算出される高ダイナミックレンジの表示輝度とは、高ダイナミックレンジの階調に対応した表示輝度である。SDR処理により算出される標準ダイナミックレンジの表示輝度とは、標準ダイナミックレンジの階調に対応した表示輝度である。高ダイナミックレンジの階調と標準ダイナミックレンジの階調とを比較すると、高ダイナミックレンジの階調の方が標準ダイナミックレンジの階調よりも階調範囲が広く設定されている。
本実施形態では、標準ダイナミックレンジの階調として、一般の表示装置が単体で表示できる輝度範囲に収まる階調が設定される。従って標準ダイナミックレンジの表示輝度は、例えばベースプロジェクタ20のみの投射にて実現可能である。一方、高ダイナミックレンジの階調としては、暗い部分の輝度を維持したまま、明るい部分の輝度を拡張した階調が用いられる。本実施形態では、高ダイナミックレンジの表示輝度は、ベースプロジェクタ20及びハイライトプロジェクタ30により画像を重畳させることで実現される。
なお高ダイナミックレンジの階調、及び標準ダイナミックレンジの階調の具体的な設定方法は限定されず適宜設定されてよい。
図3は、本実施形態に係る高ダイナミックレンジ及び標準ダイナミックレンジの各々の階調の一例を説明するためのガンマカーブの概略図である。ガンマカーブは、情報処理装置40に入力された画像情報から、各画素の表示輝度を決定するために使用されるパラメータである。ガンマカーブを適宜設定することで、表示輝度の特性(階調特性)を制御することが可能である。例えば明るい領域では表示輝度をまばらに設定し、暗い領域では表示輝度を細かく設定するといった制御等が可能となる。
図3Aには、高ダイナミックレンジ(HDR)のガンマカーブ50と、標準ダイナミックレンジ(SDR)のガンマカーブ51とが示されている。グラフの横軸は、情報処理装置40に入力された画像情報に含まれる各画素の輝度を表すデータである(以下、入力データと記載する)。グラフの縦軸は表示輝度であり、SDRのガンマカーブ51での表示輝度の上限を1として、相対値が図示されている。
SDR処理部45は、情報処理装置40に入力された各画素の入力データに対して、SDRのガンマカーブ51を使用して表示輝度を算出する。図3Aに示す例では、SDRのガンマカーブ51を使って算出される表示輝度の範囲は0から1である。この範囲が、標準ダイナミックレンジの階調の輝度範囲となる。画素の入力データに対して、標準ダイナミックレンジ(0から1まで)の表示輝度が適宜算出される。画素の入力データが最大値Nであった場合には、当該画素の表示輝度は、上限値の1となる。
標準ダイナミックレンジの階調の輝度範囲の上限、すなわちSDRのガンマカーブ51での表示輝度の上限は、例えばベースプロジェクタ20が単体でスクリーン10に表示できる最大の輝度以下の範囲で設定される。これにより、SDR処理により算出された標準ダイナミックレンジの表示輝度は、ベースプロジェクタ20による投射のみで表示可能となる。
HDR処理部44は、情報処理装置40に入力された各画素の入力データに対して、HDRのガンマカーブ50を使用して表示輝度を算出する。図3Aに示す例では、HDRのガンマカーブ50を使って算出される表示輝度の範囲は0から5である。この範囲が、高ダイナミックレンジの階調の輝度範囲となり、明るい部分の輝度が拡張されている。すなわちSDRのガンマカーブ51と比較して、明るい部分の輝度、すなわち高輝度側が5倍の明るさまで表現可能なように拡張されている。
画素の入力データに対して、高ダイナミックレンジ(0から5まで)の表示輝度が適宜算出される。画素の入力データが最大値Nであった場合には、当該画素の表示輝度は、SDRのガンマカーブ51から算出される表示輝度の5倍の値となる。
なお図3Aに示す例では、入力データがN/2よりも小さい範囲では、同じ入力データに対してSDRのガンマカーブ51とHDRのガンマカーブ50とで略同様の表示輝度が算出される。このとき算出される表示輝度は0から0.2程度までの暗い部分に含まれる表示輝度である。このようにHDRのガンマカーブ50では、SDRのガンマカーブ51と比較して、暗い部分に算出される表示輝度は大きく変化しない。従って高ダイナミックレンジの階調は、標準ダイナミックレンジの階調と比べて、暗い部分の表示輝度がほぼ維持されている。
一方で、入力データがN/2よりも大きい範囲では、入力データがNに近づくにつれて、同じ入力データに対してSDRのガンマカーブ51とHDRのガンマカーブ50とで算出される輝度が大きく異なってくる。このようにHDRのガンマカーブ50で算出される表示輝度は、SDRのガンマカーブ51で算出される表示輝度を単純に増加させたものではなく、明るい部分が指数的に拡張された表示輝度となっている。これにより標準ダイナミックレンジの階調では表現できない高い輝度を持った投射画像11を生成することが可能となる。
図3Bは、HDRのガンマカーブ50とSDRのガンマカーブ51との形状を比較するために規格化されたグラフである。グラフの横軸は、HDRのガンマカーブ50及びSDRのガンマカーブ51で共通であり、情報処理装置40に入力される各画素の入力データである。
グラフの左側の縦軸はSDRのガンマカーブ51に対応する表示輝度であり、右側の縦軸はHDRのガンマカーブ50に対応する表示輝度である。図3Bでは、SDRのガンマカーブ51及びHDRのガンマカーブ50の各々の表示輝度の上限値が同じ位置に表示されるように、左右の縦軸が調節されている。
SDRのガンマカーブ51と比べ、HDRのガンマカーブ50では、暗い領域での立ち上がりが緩やかで、明るい領域のカーブがより急峻になっている。従って、目の感度が高い暗い領域のデータ量を十分に確保し、感度が低い明るい領域のデータを高コントラストで表現することが可能である。これにより高ダイナミックレンジの階調では、実際の風景に近いダイナミックな画像表現を実現することが可能である。
本実施形態では、高ダイナミックレンジの階調で生成された投射画像11が圧縮されて、情報処理装置40に送信される。当該圧縮された画像データが、画像情報に相当する。圧縮処理は、一般的に画像の質が劣化しないように、画像の特性に合わせて実行される。本実施形態では、上記のHDR処理及びSDR処理により投射画像11が高精度に表示可能な形式で圧縮が実行される。
本実施形態では、高ダイナミックレンジの階調で生成された投射画像11を圧縮するために、HDR用の圧縮カーブが用いられる。HDR用の圧縮カーブは、投射画像11の暗い領域の輝度のデータを多く残し、明るい領域の輝度のデータを間引くことで、画像情報を圧縮する関数である。これにより、高ダイナミックレンジの階調で表現される画像の質感を損なうことなく、送信用の圧縮を実行可能である。
HDR用の圧縮カーブとして、例えば図3Aに示したHDRのガンマカーブ50の逆カーブ(逆関数)を用いることが可能である。例えば、投射画像11を撮影するカメラの内部処理により、投射画像11の輝度のデータに対してHDR用の圧縮カーブがかけられる。送信された画像情報に、HDRのガンマカーブ50をかけることで、圧縮前の画像データに略等しい適正な表示輝度を算出することができる。
なお図3Aに示すように、入力データの暗い領域(横軸の0に近い領域)では、HDRのガンマカーブ50及びSDRのガンマカーブ51は互いに略等しい形状となる。またHDR用の圧縮カーブにより、暗い領域の輝度データが多く残される(表示輝度の情報がほぼ維持されている)。従って圧縮された画像情報に対してSDR処理を実行した場合でも、高い精度で画像を表示することが可能である。
このように本実施形態におけるHDR処理及びSDR処理は、圧縮された画像データを復元する処理とも言える。もちろん本技術に係る強調表示処理及び標準表示処理が、圧縮したデータの復元に限定されるわけではない。例えば階調の変換や拡張等が実行されてもよい。
図1に戻り、分割処理部46は、HDR処理部44により算出された各画素の表示輝度と、所定の基準輝度とを比較することで、HDR領域の画像18の各画素の画素情報(以下、ベース画素情報と記載する)と、重畳画像13の各画素の画素情報(以下、重畳画素情報と記載する)とをそれぞれ生成する。
拡大処理部47は、重畳画像13を投射するハイライトプロジェクタ30の解像度に合わせて、重畳画像13を拡大する拡大処理を実行する。分割処理部46及び拡大処理部47の処理については、後に詳しく説明する。
[ベース画像の生成]
図4は、本実施形態に係るベース画像12の生成例を示すフローチャートである。入力部41に、投射画像11の画像情報を含むビデオ信号が入力される(ステップ101)。領域設定部42により、投射画像11の所定の位置にHDR領域14が設定される(ステップ102)。典型的には、ユーザにより予め入力された位置情報に基づいて、HDR領域14が設定される。または領域設定部42により、適当な位置に自動的にHDR領域14が設定されてもよい。
投射画像11に含まれる各画素について、HDR領域14に含まれるか否かが判定される(ステップ103)。HDR領域14に含まれない、すなわちSDR領域15に含まれると判定された画素については、ステップ103のNoに進み、SDR処理部45によるSDR処理が実行される(ステップ104)。本実施形態では、各画素の入力データに対して、標準ダイナミックレンジの表示輝度が算出される。
SDR処理により算出された表示輝度に基づいて、SDRの領域の画像19が生成される(ステップ105)。具体的には、SDR領域15に含まれる各画素について、SDR処理により算出された表示輝度に対応する画素情報が生成される。なお表示輝度に対応する画素情報とは、当該表示輝度でスクリーン10に表示するためのビデオ信号等を含む。
表示輝度に対応する画素情報は、ベース画像12を投射するベースプロジェクタ20の表示特性等に応じて生成される。なお輝度補正等の画像処理が実行された後に、画素情報が生成されてもよい。SDR領域の画像19は、投射画像11の所定の領域であるSDR領域15を、標準ダイナミックレンジの表示輝度で表示可能なように生成された画像に相当する。
投射画像11に含まれる各画素について、ステップ103でYesの場合、すなわちHDR領域14に含まれると判定された場合、HDR処理部44によるHDR処理が実行される(ステップ106)。本実施形態では、各画素の入力データに対して、高ダイナミックレンジの表示輝度が算出される。
算出された高ダイナミックレンジの表示輝度との関係が線形となるリニアデータが生成される(ステップ107)。リニアデータを用いて、例えば画像のコントラスト補正等の画像処理が実行可能である。また本実施形態では、リニアデータを用いて、分割処理部46による輝度分割が実行される(ステップ108)。
図5は、本実施形態に係る輝度分割の一例を説明するためのグラフである。図5A〜図5Cに示すグラフの縦軸は、HDR処理により算出された各画素の表示輝度に相当する。グラフの横軸は、表示輝度に線形なリニアデータである。
輝度分割とは、HDR処理にて算出された高ダイナミックレンジの各画素の表示輝度を、ベースプロジェクタ20及びハイライトプロジェクタ30による画像の重畳により、どのように実現するかを設定するための処理である。具体的には、算出された各画素の表示輝度が、HDR領域の画像18の各画素の表示輝度と、重畳画像13の各画素の表示輝度とに分割される。
図5Aは、HDR処理にて算出された高ダイナミックレンジの表示輝度と、それに対応するリニアデータを示すグラフである。図5Bは、ベースプロジェクタ20により表示される表示輝度を示すグラフである。図5Cは、ハイライトプロジェクタ30により表示される表示輝度を示すグラフである。
ベース画像12の生成においては、輝度分割により、ベース画像12内のHDR領域の画像18に含まれる各画素の表示輝度が算出される。すなわち各画素において、図5Bに示す縦軸の表示輝度が算出される。
まず分割の基準として基準輝度Pが設定される。図4に示すように、基準輝度Pは、予め設定されており適宜読み出される。
図5A及びBに示す基準輝度Pは、ベースプロジェクタ20により表示可能な最大の表示輝度以下の範囲で設定される。本実施形態では、基準輝度P=ベースプロジェクタ20により表示可能な最大の表示輝度とする。図5Aに示すように、0〜Pmaxの高ダイナミックレンジの表示輝度に対応してリニアデータ0〜Mが設定される。そのうち基準輝度Pに対応するリニアデータをM'とする。
HDR領域14内の各画素について、HDR処理により算出された表示輝度が基準輝度Pよりも小さいか否かが判定される。算出された表示輝度が基準輝度Pよりも小さい場合は、当該算出された表示輝度が、HDR領域14内の各画素の表示輝度として算出される。算出された表示輝度が基準輝度P以上の場合は、基準輝度Pが、HDR領域14内の各画素の表示輝度として算出される。
本実施形態では、リニアデータを用いて、輝度分割が実行される。すなわちHDR領域14内の各画素について、リニアデータが、基準輝度Pに対応するリニアデータM'よりも小さいか否かが判定される。図5A及びBに示すように、リニアデータがm1(<M')である場合には、リニアデータm1に対応する表示輝度n1が、HDR領域14内の各画素の表示輝度として算出される。リニアデータがm2(≧M')である場合には、リニアデータM'に対応する基準輝度Pが、HDR領域14内の各画素の表示輝度として算出される。
このようにHDR処理により算出された表示輝度が基準輝度Pよりも小さい場合(リニアデータ<M'の場合)には、算出された表示輝度が、そのままHDR領域14内の各画素の表示輝度として用いられる。HDR処理により算出された表示輝度が基準輝度Pよりも大きい場合(リニアデータ≧M'の場合)には、ハイライトプロジェクタ30の画像と重畳する必要がある画素となり、その表示輝度として、基準輝度P(=ベースプロジェクタ20における最大の表示輝度)が用いられる。
なお輝度分割を実行する際にリニアデータを用いるか否かは任意に選択されてよく、HDR処理により算出された表示輝度がそのまま用いられてもよいし、当該表示輝度に対応する他のデータが用いられてもよい。
HDR領域14に含まれる各画素について、輝度分割により算出された表示輝度を実現するための画素情報が生成される。すなわち各画素について、輝度分割により算出された表示輝度に対応する画素情報がそれぞれ生成される。ここで生成される画素情報はベース画素情報に相当し、これによりHDR領域の画像18が生成される(ステップ109)。
画像生成部43により、SDR領域の画像19とHDR領域の画像18とに基づいて、各画素の画素情報を含むベース画像12が生成される。ベース画像12はビデオ信号としてベースプロジェクタ20に出力される。
[重畳画像の生成]
図6は、本実施形態に係る重畳画像13の生成例を示すフローチャートである。入力部41に、投射画像11の画像情報を含むビデオ信号が入力される(ステップ201)。領域設定部42によりHDR領域14が設定され(ステップ202)、HDR領域14に含まれる画素が抽出される。
図7は、本実施形態に係る拡大処理の一例を説明するための概略図である。拡大処理部47によりHDR領域14内の画像を拡大する拡大処理が実行される(ステップ203)。HDR領域14内の画像を拡大する拡大処理とは、HDR領域14に含まれる画素により構成される画像を、より多くの画素により構成される画像、すなわち、より大きいサイズの画像に拡大する処理である。これにより図7に示す拡大画像60が生成される。
拡大処理は、HDR領域14内の画像を、画素数を増加させて構成する処理とも言える。画素数を増加させた場合の、各画素の輝度値を設定する方法は限定されない。例えば拡大前のHDR領域14の各画素に対応するように、同じ輝度の画素を縦横に2つずつグリッド状(2×2)に並べて配置する。これによりサイズが4倍に拡大された拡大画像60が生成される。その他、輝度値の補間等、任意の方法が採用されてよい。
拡大画像60のサイズは、ハイライトプロジェクタ30の表示解像度に応じて決定される。すなわち、重畳画像13をハイライトプロジェクタ30により表示する際に使用される画素数(サイズ)が、拡大画像60のサイズとして設定される。典型的には、重畳画像13の形状(アスペクト比等)を表現可能な最大のサイズが設定される。これにより画像を重畳するために重畳画像13を光学的に縮小した場合に、高い表示輝度を発揮させることが可能となる。
拡大画像60に含まれる各画素について、HDR処理部44によるHDR処理が実行され、高ダイナミックレンジの表示輝度がそれぞれ算出される(ステップ204)。算出された表示輝度との関係が線形であるリニアデータが生成される(ステップ205)。リニアデータを用いて、分割処理部46により輝度分割が実行される(ステップ206)。
重畳画像13の生成においては、輝度分割により、重畳画像13に含まれる各画素の表示輝度が算出される。すなわち各画素について、図5Cに示す縦軸の表示輝度が算出される。なお輝度分割は、図4のステップ108にて設定された基準輝度Pを基準として実行される。
拡大画像60内の各画素について、HDR処理により算出された表示輝度が基準輝度Pよりも小さいか否かが判定される。算出された表示輝度が基準輝度Pよりも小さい場合は、拡大画像60の各画素の表示輝度として0(ゼロ)が算出される。算出された表示輝度が基準輝度P以上の場合は、算出された表示輝度と基準輝度Pとの差が、拡大画像60の各画素の表示輝度として算出される。すなわち表示輝度=HDR処理による表示輝度−基準輝度Pとなる。
図5Cに示すように、本実施形態では、リニアデータを用いて、輝度分割が実行される。リニアデータがm1(<M')である場合には、拡大画像60の各画素の表示輝度は0となる。リニアデータがm2(≧M')である場合には、リニアデータm2に対応する表示輝度n2から基準輝度Pを差し引いた値であるn2−Pが、拡大画像60の各画素の表示輝度となる。
このようにHDR処理により算出された表示輝度が基準輝度Pよりも小さい場合(リニアデータ<M'の場合)には、ハイライトプロジェクタ30は最も暗い黒色(表示輝度が0である色に相当)を表示する。HDR処理により算出された表示輝度が基準輝度Pよりも大きい場合(リニアデータ≧M'の場合)には、ベースプロジェクタ20で表示できない明るさで表示される画素となる。従って当該画像の表示輝度として、本来の輝度(HDR処理により算出された表示輝度n2)から、ベースプロジェクタ20が表示する輝度(基準輝度P)を引いた値(n2−P)が用いられる。
拡大画像60内の各画素ついて、輝度分割により算出された表示輝度に対応する画素情報がそれぞれ生成される。ここで生成される画素情報は重畳画素情報に相当し、これにより重畳画像13が生成される(ステップ207)。重畳画像13は、投射画像11のHDR領域を、高ダイナミックレンジの表示輝度で表示するために投射される。
生成された重畳画像13がビデオ信号としてハイライトプロジェクタ30に出力される。なおハイライトプロジェクタ30により重畳画像13が表示される場合には、ズーム等が適宜制御され、画像サイズが縮小される。従って、スクリーン10にはベース画像12に対して適正に重畳可能な重畳画像13が投射される。
なお拡大画像60の各画素において、表示輝度に応じた重畳画素情報が生成される際には、画像の縮小に応じた表示輝度の増加分も考慮される。例えば所定の表示輝度を実現するための画素情報に対して、表示輝度の増加分に応じたパラメータがかけられて、拡大画像の各画素の重畳画素情報として生成される。もちろんこれに限定されるわけではない。
ベース画像12及び重畳画像13が、ベースプロジェクタ20及びハイライトプロジェクタ30によってそれぞれスクリーン10に投射され、ベース画像12及び重畳画像13によって構成される投射画像11が表示される。スクリーン10では、ベース画像12におけるHDR領域の画像18と重畳画像13とが重畳して表示される(図1参照)。これにより投射画像11のHDR領域14には、高ダイナミックレンジの表示輝度でハイライト画像17が表示される。また投射画像11のSDR領域15には、標準ダイナミックレンジの表示輝度でSDR領域の画像19が表示される。
図8は、投射画像11のHDR領域14に表示されるハイライト画像17の表示輝度のラインプロファイルの一例を示す模式図である。図2Aに示すハイライト画像17の横方向をX軸方向として、左端及び右端のX座標をX1及びX2とする。図8では、ハイライト画像17の、X軸方向に沿ったある1つのライン上の表示輝度を示すラインプロファイル70が図示されている。
ハイライトプロジェクタ30により重畳画像13が投射されるので、基準輝度P以上の輝度範囲71の表示輝度が実現される。一方、基準輝度Pよりも小さい輝度範囲72の表示輝度は、ベースプロジェクタ20によるHDR領域の画像18によって実現される。
以上、本実施形態に係る画像投射システム100では、領域設定部42により、投射対象となる投射画像11の所定の位置にHDR領域14が設定される。画像生成部43により、入力された画像情報に基づいて、HDR領域の画像18を含むベース画像12と、HDR領域の画像18に重畳される重畳画像13とが生成される。これにより複数の画像投射装置を用いて高品質な画像を表示することが可能となる。
単体の画像投射装置(プロジェクタ)を用いて画像を投射する場合、投射画像で表示可能な輝度は、プロジェクタに搭載された光源やレンズ等の特性を含むプロジェクタの表示特性によって制限される。このため単体のプロジェクタでは、表示可能な輝度範囲を拡張すること、すなわち輝度のダイナミックレンジを広い範囲で確保することが難しい。従って単体のプロジェクタでは、高い輝度ピークを実現することや、輝度のコントラストを大きくとることが困難である。
本実施形態に係る画像投射システム100では、ベースプロジェクタ20によりベース画像12が投射される。またハイライトプロジェクタ30により、ベース画像12の所定の領域(HDR領域14)に向けて、重畳画像13が投射される。ベース画像12と重畳画像13とがスクリーン10で重畳され、投射画像11が表示される。これにより投射画像11のHDR領域14では、ベースプロジェクタ20と、ハイライトプロジェクタ30とがそれぞれ表示する輝度を足し合わせることで、輝度のダイナミックレンジを拡張することが可能である。従って投射画像11のHDR領域14では、高ダイナミックレンジの階調で画像を表示することが可能となり、高い輝度ピークや豊かなコントラスト表現を実現することが可能となる。これにより白とびや黒つぶれを抑えた鮮明な画像を表示することが可能となる。
また画像投射システム100では、単体のプロジェクタで表示できる標準ダイナミックレンジの階調でSDR領域の画像19が生成される。従って投射画像11のSDR領域15では、ベースプロジェクタ20単体で適正に画像表示を行うことが可能である。
このように本実施形態では、投射画像11の中で、高ダイナミックレンジの階調、及び標準ダイナミックレンジの階調の2つの異なる階調での画像表示を共存させることが可能である。高ダイナミックレンジの階調で画像が表示されるHDR領域14では、HDR領域の画像18と重畳画像13とを重ねて投射する、部分スタックが行われる。これによりHDR領域14にハイライトプロジェクタ30からの投射光を集中できるため、効率的に輝度を拡張することが可能である。
例えば各プロジェクタの表示領域が全て同一に設定された、完全スタックによる投射が行われる場合、各プロジェクタの投射光は表示領域の全体に広がる。一方で部分スタックによる投射では、所定の領域に投射光を集中することが可能である。このため部分スタックによる投射では、完全スタックによる投射と比べて、1台のプロジェクタで追加できる輝度が大きい。従って少ない台数で、効率良く輝度ダイナミックレンジを拡張することが可能である。これにより少数のプロジェクタで所望の輝度を実現することが可能となり、消費電力やコストを抑えることが可能となる。
本実施形態では、1つの画像情報(ビデオ信号)に基づいてHDR処理及びSDR処理が実行され、高ダイナミックレンジの階調の画像と標準ダイナミックレンジの階調の画像とがそれぞれ生成される。従って、例えば階調の異なる複数の画像を別々に生成して編集するといった作業が不要となる。また複数の画像のビデオ信号を別々に伝送するための複数の入力配線等を準備する必要が無くなる。これにより画像の編集作業やプロジェクタのセッティング等の簡略化が可能となる。
<第2の実施形態>
本技術に係る第2の実施形態の画像投射システムについて説明する。これ以降の説明では、上記の実施形態で説明した画像投射システム100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
第1の実施形態では、ベースプロジェクタ20とハイライトプロジェクタ30との2台のプロジェクタによって画像表示が行われた。本実施形態では、ベースプロジェクタと、複数のハイライトプロジェクタとが用いられる。すなわち3台以上のプロジェクタにより画像が表示される。
図9は、第2の実施形態に係る画像投射システムのデータフローを示すブロック図である。情報処理装置80の入力部に投射画像の画像情報を含むビデオ信号が入力される。情報処理装置80は、入力された画像情報に基づいて、ベース画像と、第1〜第nのn枚の重畳画像とを生成し、ベースプロジェクタB及びハイライトプロジェクタH1〜Hnにそれぞれ出力する。ハイライトプロジェクタH1〜Hnは、いずれもHDR領域に画像を重畳して投射できるように、投射方向や絞り等が適宜設定される。
図10は、本実施形態に係る輝度分割の一例を説明するためのグラフである。図10に示したグラフの縦軸は、HDR処理により算出された高ダイナミックレンジの表示輝度である。またグラフの横軸は、HDR処理により算出された表示輝度と線形に対応するリニアデータである。図10には、1台のベースプロジェクタBと2台のハイライトプロジェクタH1及びH2とを用いて画像表示を行う場合の輝度分割の一例が示されている。
まず分割処理部46により、ベース画像内のHDR領域の画像を生成するための輝度分割が実行される(図4のステップ108に相当)。分割の基準として第1の基準輝度P1が設定される。
HDR領域14内の各画素について、HDR処理により算出された表示輝度が第1の基準輝度P1よりも小さいか否かが判定される。算出された表示輝度が第1の基準輝度P1よりも小さい場合は、当該算出された表示輝度が、HDR領域14内の各画素の表示輝度として算出される。算出された表示輝度が第1の基準輝度P1以上の場合は、第1の基準輝度P1が、HDR領域14内の各画素の表示輝度として算出される。
図10に示すように、本実施形態では、リニアデータを用いて輝度分割が実行される。リニアデータがo1(<M1)である場合には、リニアデータo1に対応する表示輝度p1が、HDR領域14内の各画素の表示輝度となる。リニアデータがM1以上の場合には、リニアデータM1に対応する第1の基準輝度P1が、HDR領域14内の各画素の表示輝度となる。HDR領域14内の各画素について、輝度分割により算出された表示輝度を実現するためのベース画素情報が生成され、HDR領域の画像が生成される(図4のステップ109に相当)。
分割処理部46により、第1及び第2の重畳画像を生成するための輝度分割が実行される(図6のステップ206に相当)。分割の基準として第1の基準輝度P1よりも大きい第2の基準輝度P2が設定される。すなわちP1<P2となるような第2の基準輝度が設定される。輝度分割は、第1及び第2の基準輝度P1及びP2が用いられて実行される。
まず第1の重畳画像の表示輝度が算出される。拡大処理部により生成された拡大画像内の各画素について、HDR処理により算出された表示輝度が第1の基準輝度P1以上であり第2の基準輝度P2よりも小さいか否かが判定される。
算出された表示輝度が第1の基準輝度P1よりも小さい場合は、各画素の表示輝度として0(ゼロ)が算出される。算出された表示輝度が第1の基準輝度P1以上であり第2の基準輝度P2よりも小さい場合は、算出された表示輝度と第1の基準輝度P1との差が、各画素の表示輝度として算出される。算出された表示輝度が第2の基準輝度P2以上の場合は、第2の基準輝度P2と第1の基準輝度P1との差が、各画素の表示輝度として算出される。
図10に示すように、輝度分割は、リニアデータを用いて実行される。リニアデータがo1(<M1)である場合には、各画素の表示輝度は0となる。リニアデータがo2(M1≦o2<M2)である場合には、リニアデータo2に対応する表示輝度p2から第1の基準輝度P1を差し引いた値であるp2−P1が、各画素の表示輝度となる。リニアデータがo3(≧M2)である場合には、第2の基準輝度P2から第1の基準輝度P1を差し引いた値であるP2−P1が、各画素の表示輝度となる。各画素について、輝度分割により算出された表示輝度を実現するための第1の重畳画素情報が生成され、第1の重畳画像が生成される(図6のステップ207に相当)。
次に、第2の重畳画像の表示輝度が算出される。拡大画像内の各画素について、HDR処理により算出された表示輝度が第2の基準輝度P2よりも大きいか否かが判定される。算出された表示輝度が第2の基準輝度P2よりも小さい場合は、各画素の表示輝度として0(ゼロ)が算出される。算出された表示輝度が第2の基準輝度P2以上の場合は、算出された表示輝度と第2の基準輝度P2との差が、各画素の表示輝度として算出される。
図10に示すように、輝度分割は、リニアデータを用いて実行される。リニアデータがM2よりも小さい場合には、各画素の表示輝度は0となる。リニアデータがo3(≧M2)である場合には、リニアデータo3に対応する表示輝度p3から第2の基準輝度P2を差し引いた値であるp3−P2が、各画素の表示輝度となる。各画素について、輝度分割により算出された表示輝度を実現するための第2の重畳画素情報が生成され、第2の重畳画像が生成される(図6のステップ207に相当)。
情報処理装置80は、生成されたHDR領域の画像を含むベース画像、第1の重畳画像、及び第2の重畳画像を、ベースプロジェクタB、ハイライトプロジェクタH1、及びハイライトプロジェクタH2にそれぞれ出力する。ベースプロジェクタBにより投射されたベース画像のHDR領域の画像に、ハイライトプロジェクタH1及びH2により第1及び第2の重畳画像が重畳して投射され、投射画像が表示される。これにより3台のプロジェクタにより画像を重畳して表示することが可能となり、輝度ダイナミックレンジを十分に拡張することが可能となる。
図11は、n台のハイライトプロジェクタが用いられる場合の輝度分割の一例を説明するためのグラフである。図11に示すように、輝度分割の基準として、第1の基準輝度P1、第2の基準輝度P2、・・・及び第n−1の基準輝度Pn-1が、P1<P2<・・・<Pn-1となるように設定される。例えば、k番目の重畳画像である第kの重畳画像は、第kの基準輝度Pkと第k+1の基準輝度Pk+1を基準として、輝度分割を行うことにより生成される。
例えば図10に示す第1及び第2の基準輝度P1及びP2を、第k及び第k+1の基準輝度Pk及びPk+1として、同様の輝度分割が実行される。すなわち第k及び第k+1の基準輝度Pk及びPk+1にそれぞれ対応するリニアデータを、Mk及びMk+1とする。各画素について、リニアデータがMkよりも小さい場合には、各画素の表示輝度は0となる。リニアデータがok(Mk≦ok<Mk+1)である場合には、リニアデータokに対応する表示輝度pkから第kの基準輝度Pkを差し引いた値であるpk−Pkが、各画素の表示輝度となる。リニアデータがMk+1以上である場合には、第k+1の基準輝度Pk+1から第kの基準輝度Pkを差し引いた値であるPk+1−Pkが、各画素の表示輝度となる。各画素について、輝度分割により算出された表示輝度を実現するための第kの重畳画素情報が生成され、第kの重畳画像が生成される。
このように、任意の台数のハイライトプロジェクタに対して、それぞれ対応する重畳画像を生成することが可能である。従って、ベース画像に対して任意の枚数の重畳画像を重畳させることが可能である。これにより輝度ダイナミックレンジを十分に拡張することが可能となり、高い輝度ピークを持った画像表示を実現することが可能となる。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
図12は、各プロジェクタが担当する輝度範囲の一例を示すグラフである。上記の実施形態では、図5Aに示すように、ベースプロジェクタが表示する輝度範囲(0からP)とハイライトプロジェクタが表示する輝度範囲(PからPmax)とが略同じ輝度幅であった。これに限定されず、ハイライトプロジェクタが担当する輝度範囲は適宜設定されてよい。
例えば部分スタックを実行する場合には、ハイライトプロジェクタで表示可能な輝度を高く設定することが可能である。従って図12に示すように、ハイライトプロジェクタが担当する輝度範囲を大きくすることが可能である。これにより、ハイライトプロジェクタの数を少なくすることが可能となる。なおハイライトプロジェクタが担当する輝度範囲に合わせて、HDR処理により算出される表示輝度が適宜調節されてもよい。この場合も、プロジェクタの数を抑えることが可能である。
第1の実施形態では、基準輝度として、ベースプロジェクタにより表示可能な最大の表示輝度(ベースプロジェクタの最大輝度)が設定された。基準輝度の設定の仕方は、これに限定されない。
例えばハイライトプロジェクタにより表示可能な輝度範囲が十分に大きい場合等において、基準輝度としてベースプロジェクタの最大輝度よりも低い値が設定されてもよい。これにより基準輝度が余裕を持って設定されるため、ベースプロジェクタでの発熱等が抑制され装置の安定性を確保することが可能となる。また、投射画像のピーク輝度に基づいて、当該ピーク輝度を効率的に表示可能なように基準輝度が適宜設定されてもよい。これにより、ベースプロジェクタ及びハイライトプロジェクタに対する負荷を軽減し、効率的に画像表示を行うことが可能である。
第1の実施形態では、高ダイナミックレンジの階調で生成された投射画像の画像情報が入力部に入力された。これに限定されず、入力される画像情報の種類や形式は限定されない。例えばHDR領域は高ダイナミックレンジの階調で生成され、SDR領域は標準ダイナミックレンジの階調で生成された投射画像の画像情報が入力されてもよい。すなわち2つの異なる階調の画像を含む投射画像の画像情報が入力されてもよい。この場合、SDR処理部により標準ダイナミックレンジの画像を復元するSDR処理を実行され、HDR処理部により高ダイナミックレンジの画像を復元するHDR処理が実行される。これにより処理時間の短縮や処理速度を向上させることが可能となる。
またはHDR領域及びSDR領域がともに標準ダイナミックレンジの階調で生成された投射画像の画像情報が入力されてもよい。この場合、SDR処理部は標準ダイナミックレンジの画像を復元するSDR処理を実行する。HDR処理部は、例えば標準ダイナミックレンジの階調を、高ダイナミックレンジの階調に拡張/変換する処理等を実行する。これにより標準ダイナミックレンジの階調で記録されたビデオアーカイブ等を、高ダイナミックレンジの階調で表示することが可能となる。
例えば、入力される画像情報としてハイブリッドログガンマ(HLG:Hybrid Log Gamma)形式のビデオ信号が用いられてもよい。HLG形式のビデオ信号は、暗い部分の輝度データが従来のガンマカーブで圧縮され、明るい部分の輝度データがログカーブで圧縮される方式であり、従来の表示装置との互換性が高い。この場合、HDR処理部はHLG形式で用いられる所定の圧縮カーブの逆カーブを使って、HLG形式のビデオ信号から本来の表示輝度を算出することが可能である。またSDR処理部は、従来のガンマカーブを使って、HLG形式のビデオ信号から標準ダイナミックレンジの表示輝度を算出することが可能である。これにより一般のプロジェクタ等を用いて、容易に画像投射システムを構築することが可能となる。またビデオ信号の形式の差異等に伴うトラブルを回避し、システムの信頼性を向上することが可能である。なおビデオ信号の形式は限定されず、他の形式が用いられてもよい。
このように、HDR処理部及びSDR処理部は、入力された画像情報の種類や形式に応じたHDR処理及びSDR処理を適宜実行する。もちろんこれに限定されず、色彩の強調等の他の処理を行う場合にも本技術は適用可能である。
上記では、ベースプロジェクタ及びハイライトプロジェクタに接続された情報処理装置により、ベース画像及び重畳画像の生成等を含む、本技術に係る情報処理方法が実行された。これに限定されず、ベースプロジェクタ又はハイライトプロジェクタにより、本技術に係る情報処理方法が実行されてもよい。すなわち情報処理装置の機能が、いずれかのプロジェクタに搭載されてもよい。この場合、当該プロジェクタは、本技術に係る情報処理装置として動作することになる。
また画像情報が入力されるコンピュータにより、本技術に係る情報処理方法が実行される場合に限定されず、画像情報が入力されるコンピュータと、ネットワーク等を介して通信可能な他のコンピュータとが連動して、本技術に係る画像投射システムが構築されてもよい。
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばHDR処理、SDR処理、及び拡大処理等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)投射対象となる画像の画像情報が入力される入力部と、
前記投射対象となる画像の所定の位置に重畳領域を設定する設定部と、
前記入力された画像情報に基づいて、前記設定された重畳領域の画像を含むベース画像と、前記ベース画像の前記重畳領域の画像に重畳される重畳画像とを生成する生成部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記生成部は、前記入力された前記重畳領域に対応する画像情報に強調表示処理を実行し、その他の領域に対応する画像情報に標準表示処理を実行することで、前記ベース画像と前記重畳画像とをそれぞれ生成する
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記強調表示処理は、前記重畳領域に含まれる各画素の表示輝度を算出する処理であり、
前記生成部は、前記算出された各画素の表示輝度に基づいて、前記重畳領域の画像と前記重畳画像とをそれぞれ生成する
情報処理装置。
(4)(3)に記載の情報処理装置であって、
前記重畳領域の画像及び前記重畳画像は、各画素の画素情報をそれぞれ含み、
前記生成部は、前記算出された各画素の表示輝度と、所定の基準輝度とを比較することで、前記重畳領域の画像の前記各画素の画素情報であるベース画素情報と、前記重畳画像の前記各画素の画素情報である重畳画素情報とをそれぞれ生成する
情報処理装置。
(5)(4)に記載の情報処理装置であって、
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記所定の基準輝度よりも小さい場合は、前記ベース画素情報として前記算出された表示輝度に対応する画素情報を生成し、前記重畳画素情報として表示輝度がゼロとなる画素情報を生成する
情報処理装置。
(6)(4)または(5)に記載の情報処理装置であって、
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記所定の基準輝度よりも大きい場合は、前記ベース画素情報として前記所定の基準輝度に対応する画素情報を生成し、前記重畳画素情報として前記算出された表示輝度と前記所定の基準輝度との差に対応する画素情報を生成する
情報処理装置。
(7)(4)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記生成部は、第1の基準輝度及びこれよりも大きい第2の基準輝度に基づいて、前記重畳領域の画像に重畳される第1の重畳画像及び第2の重畳画像をそれぞれ生成する
情報処理装置。
(8)(7)に記載の情報処理装置であって、
前記第1及び前記第2の重畳画像は、各画素の画素情報である第1の重畳画素情報及び第2の重畳画素情報をそれぞれ含み、
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記第1の基準輝度よりも小さい場合は、前記ベース画素情報として前記算出された表示輝度に対応する画素情報を生成し、前記第1及び前記第2の重畳画素情報として表示輝度がゼロとなる画素情報を生成する
情報処理装置。
(9)(7)または(8)に記載の情報処理装置であって、
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記第1の基準輝度よりも大きく前記第2の基準輝度よりも小さい場合は、前記ベース画素情報として前記第1の基準輝度に対応する画素情報を生成し、前記第1の重畳画素情報として前記算出された表示輝度と前記第1の基準輝度との差に対応する画素情報を生成し、前記第2の重畳画素情報として表示輝度がゼロとなる画素情報を生成する
情報処理装置。
(10)(7)から(9)のうちいずれか1つに記載の情報処理装置であって、
前記生成部は、前記重畳領域に含まれる各画素について、前記算出された表示輝度が前記第2の基準輝度よりも大きい場合は、前記ベース画素情報として前記第1の基準輝度に対応する画素情報を生成し、前記第1の重畳画素情報として前記第2の基準輝度と前記第1の基準輝度との差に対応する画素情報を生成し、前記第2の重畳画素情報として前記算出された表示輝度と前記第2の基準輝度との差に対応する画素情報を生成する
情報処理装置。
(11)(4)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記所定の基準輝度は、前記投射対象となる画像のピーク輝度、前記ベース画像を投射する画像投射装置が表示可能な輝度、及び前記重畳画像を投射する画像投射装置が表示可能な輝度のうち少なくとも1つに基づいて設定される
情報処理装置。
(12)(3)から(11)のうちいずれか1つに記載の情報処理装置であって、
前記強調表示処理は、前記重畳領域に含まれる各画素について、高ダイナミックレンジの表示輝度を算出する処理である
情報処理装置。
(13)(2)から(12)のうちいずれか1つに記載の情報処理装置であって、
前記標準表示処理は、前記その他の領域に含まれる各画素の表示輝度を算出する処理であり、
前記生成部は、前記算出されたその他の領域に含まれる各画素の表示輝度に基づいて、前記ベース画像を生成する
情報処理装置。
(14)(13)に記載の情報処理装置であって、
前記標準表示処理は、前記その他の領域に含まれる各画素について、標準ダイナミックレンジの表示輝度を算出する処理である
情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
前記生成部は、前記重畳画像を投射する画像投射装置の解像度に合わせて、前記重畳画像を拡大する拡大処理を実行する
情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記入力部には、高ダイナミックレンジの画像の画像情報が入力される
情報処理装置。
(17)(1)から(16)のうちいずれか1つに記載の情報処理装置であって、
前記入力部には、複数の表示領域を含む画像の画像情報が入力され、
前記設定部は、前記複数の表示領域のうち少なくとも1つを前記重畳領域として設定する
情報処理装置。
P…基準輝度
1…第1の基準輝度
2…第2の基準輝度
11…投射画像
12…ベース画像
13…重畳画像
14…HDR領域
15…SDR領域
18…HDR領域の画像
19…SDR領域の画像
20…ベースプロジェクタ
30…ハイライトプロジェクタ
40、80…情報処理装置
41…入力部
42…領域設定部
43…画像生成部
44…HDR処理部
45…SDR処理部
46…分割処理部
47…拡大処理部
100…画像投射システム

Claims (16)

  1. 投射対象となる画像の画像情報が入力される入力部と、
    前記投射対象となる画像内の所定の一部の領域を重畳領域として設定し、前記画像内の前記重畳領域以外の領域をその他の領域として設定する設定部と、
    前記入力された画像情報に基づいて、前記重畳領域の画像及び前記その他の領域の画像を含むベース画像と、前記ベース画像の前記重畳領域の画像に重畳される1以上の重畳画像とを生成する生成部と
    を具備し、
    前記生成部は、
    前記入力された画像情報に基づいて、前記その他の領域に含まれる各画素のスクリーン上での輝度となる第1の表示輝度を、標準ダイナミックレンジのガンマカーブを用いて、標準ダイナミックレンジの階調に対応して算出し、
    前記入力された画像情報に基づいて、前記重畳領域に含まれる各画素の前記スクリーン上での輝度となる第2の表示輝度を、高ダイナミックレンジのガンマカーブを用いて、高ダイナミックレンジの階調に対応して算出し、
    前記重畳領域に含まれる各画素について、所定の基準輝度を用いて、前記第2の表示輝度を前記ベース画像用の表示輝度と、前記1以上の重畳画像の各々用の表示輝度とに分割し、
    前記第1の表示輝度に対応する画素情報と、前記ベース画像用の表示輝度に対応する画素情報とを含む前記ベース画像を生成し、
    前記1以上の重畳画像の各々用の表示輝度に対応する画素情報を含む前記1以上の重畳画像を生成する
    情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記1以上の重畳画像は、1つの重畳画像であり、
    前記生成部は、
    前記重畳領域に含まれる各画素について、所定の基準輝度を用いて、前記第2の表示輝度を前記ベース画像用の表示輝度と、前記重畳画像用の表示輝度とに分割し、
    前記第1の表示輝度に対応する第1の画素情報と、前記ベース画像用の表示輝度に対応する第2の画素情報とを含む前記ベース画像を生成し、
    前記重畳画像用の表示輝度に対応する第3の画素情報を含む前記重畳画像を生成する
    情報処理装置。
  3. 請求項に記載の情報処理装置であって、
    前記生成部は、
    前記重畳領域に含まれる各画素について、前記算出された第2の表示輝度が前記所定の基準輝度よりも小さい場合は、前記ベース画像用の表示輝度として前記第2の表示輝度を設定し、前記重畳画像用の表示輝度としてゼロを設定し、
    前記第1の画素情報と、前記第2の画素情報として前記第2の表示輝度に対応する画素情報とを含む前記ベース画像を生成し、
    前記第3の画素情報としてゼロの表示輝度に対応する画素情報を含む前記重畳画像を生成する
    情報処理装置。
  4. 請求項又はに記載の情報処理装置であって、
    前記生成部は、
    前記重畳領域に含まれる各画素について、前記算出された第2の表示輝度が前記所定の基準輝度よりも大きい場合は、前記ベース画像用の表示輝度として前記所定の基準輝度を設定し、前記重畳画像用の表示輝度として前記算出された第2の表示輝度と前記所定の基準輝度との差である差分輝度を設定し、
    前記第1の画素情報と、前記第2の画素情報として前記所定の基準輝度に対応する画素情報とを含む前記ベース画像を生成し、
    前記第3の画素情報として前記差分輝度に対応する画素情報を含む前記重畳画像を生成する
    情報処理装置。
  5. 請求項からのうちいずれか1項に記載の情報処理装置であって、
    前記所定の基準輝度は、前記ベース画像を投射する画像投射装置が前記スクリーン上に表示可能な最大の表示輝度以下の範囲で設定される
    情報処理装置。
  6. 請求項からのうちいずれか1項に記載の情報処理装置であって、
    前記生成部は、前記重畳画像を投射する画像投射装置の解像度に合わせて、前記重畳画像を拡大する拡大処理を実行する
    情報処理装置。
  7. 請求項1に記載の情報処理装置であって、
    前記1以上の重畳画像は、第1の重畳画像及び第2の重畳画像であり、
    前記生成部は、
    前記重畳領域に含まれる各画素について、第1の基準輝度及び前記第2の基準輝度を用いて、前記第2の表示輝度を前記ベース画像用の表示輝度と、前記第1の重畳画像用の表示輝度と、前記第2の重畳画像用の表示輝度とに分割し、
    前記第1の表示輝度に対応する第1の画素情報と、前記ベース画像用の表示輝度に対応する第2の画素情報とを含む前記ベース画像を生成し、
    前記第1の重畳画像用の表示輝度に対応する第3の画素情報を含む前記第1の重畳画像を生成し、
    前記第2の重畳画像用の表示輝度に対応する第4の画素情報を含む前記第2の重畳画像を生成する
    情報処理装置。
  8. 請求項に記載の情報処理装置であって、
    前記生成部は、
    前記重畳領域に含まれる各画素について、前記算出された第2の表示輝度が前記第1の基準輝度よりも小さい場合は、前記ベース画像用の表示輝度として前記第2の表示輝度を設定し、前記第1の重畳画像用の表示輝度及び前記第2の重畳画像用の表示輝度としてゼロを設定し、
    前記第1の画素情報と、前記第2の画素情報として前記第2の表示輝度に対応する画素情報とを含む前記ベース画像を生成し、
    前記第3の画素情報としてゼロの表示輝度に対応する画素情報を含む前記第1の重畳画像を生成し、
    前記第4の画素情報としてゼロの表示輝度に対応する画素情報を含む前記第2の重畳画像を生成する
    情報処理装置。
  9. 請求項又はに記載の情報処理装置であって、
    前記生成部は、
    前記重畳領域に含まれる各画素について、前記算出された第2の表示輝度が前記第1の基準輝度よりも大きく前記第2の基準輝度よりも小さい場合は、前記ベース画像用の表示輝度として前記第1の基準輝度を設定し、前記第1の重畳画像用の表示輝度として前記算出された第2の表示輝度と前記第1の基準輝度との差である差分輝度を設定し、前記第2の重畳画像用の表示輝度としてゼロを設定し、
    前記第1の画素情報と、前記第2の画素情報として前記第1の基準輝度に対応する画素情報とを含む前記ベース画像を生成し、
    前記第3の画素情報として前記差分輝度に対応する画素情報を含む前記第1の重畳画像を生成し、
    前記第4の画素情報としてゼロの表示輝度に対応する画素情報を含む前記第2の重畳画像を生成する
    情報処理装置。
  10. 請求項からのうちいずれか1項に記載の情報処理装置であって、
    前記生成部は、
    前記重畳領域に含まれる各画素について、前記算出された第2の表示輝度が前記第2の基準輝度よりも大きい場合は、前記ベース画像用の表示輝度として前記第1の基準輝度を設定し、前記第1の重畳画像用の表示輝度として前記第2の基準輝度と前記第1の基準輝度との差である第1の差分輝度を設定し、前記第2の重畳画像用の表示輝度として前記算出された第2の表示輝度と前記第2の基準輝度との差である第2の差分輝度を設定し、
    前記第1の画素情報と、前記第2の画素情報として前記第1の基準輝度に対応する画素情報とを含む前記ベース画像を生成し、
    前記第3の画素情報として前記第1の差分輝度に対応する画素情報を含む前記第1の重畳画像を生成し、
    前記第4の画素情報として前記第2の差分輝度に対応する画素情報を含む前記第2の重畳画像を生成する
    情報処理装置。
  11. 請求項から1のうちいずれか1項に記載の情報処理装置であって、
    前記第1の基準輝度は、前記ベース画像を投射する画像投射装置が前記スクリーン上に表示可能な最大の表示輝度以下の範囲で設定される
    情報処理装置。
  12. 請求項から1のうちいずれか1項に記載の情報処理装置であって、
    前記生成部は、前記第1の重畳画像を投射する画像投射装置の解像度に合わせて前記第1の重畳画像を拡大し、前記第2の重畳画像を投射する画像投射装置の解像度に合わせて前記第2の重畳画像を拡大する拡大処理を実行する
    情報処理装置。
  13. 請求項1から1のうちいずれか1項に記載の情報処理装置であって、
    前記入力部には、高ダイナミックレンジの画像の画像情報が入力される
    情報処理装置。
  14. 請求項1から1のうちいずれか1項に記載の情報処理装置であって、
    前記入力部には、複数の表示領域を含む画像の画像情報が入力され、
    前記設定部は、前記複数の表示領域のうち少なくとも1つを前記重畳領域として設定する
    情報処理装置。
  15. コンピュータシステムにより実行される情報処理方法であって、
    投射対象となる画像の画像情報を取得する取得ステップと、
    前記投射対象となる画像内の所定の一部の領域を重畳領域として設定し、前記画像内の前記重畳領域以外の領域をその他の領域として設定する設定ステップと、
    前記取得された画像情報に基づいて、前記重畳領域の画像及び前記その他の領域の画像を含むベース画像と、前記ベース画像の前記重畳領域の画像に重畳される1以上の重畳画像とを生成する生成ステップと
    を含み、
    前記生成ステップは、
    前記取得された画像情報に基づいて、前記その他の領域に含まれる各画素のスクリーン上での輝度となる第1の表示輝度を、標準ダイナミックレンジのガンマカーブを用いて、標準ダイナミックレンジの階調に対応して算出し、
    前記取得された画像情報に基づいて、前記重畳領域に含まれる各画素の前記スクリーン上での輝度となる第2の表示輝度を、高ダイナミックレンジのガンマカーブを用いて、高ダイナミックレンジの階調に対応して算出し、
    前記重畳領域に含まれる各画素について、所定の基準輝度を用いて、前記第2の表示輝度を前記ベース画像用の表示輝度と、前記1以上の重畳画像の各々用の表示輝度とに分割し、
    前記第1の表示輝度に対応する画素情報と、前記ベース画像用の表示輝度に対応する画素情報とを含む前記ベース画像を生成し、
    前記1以上の重畳画像の各々用の表示輝度に対応する画素情報を含む前記1以上の重畳画像を生成する
    情報処理方法。
  16. コンピュータシステムにより情報処理方法を実行させるプログラムであって、
    前記情報処理方法は、
    投射対象となる画像の画像情報を取得する取得ステップと、
    前記投射対象となる画像内の所定の一部の領域を重畳領域として設定し、前記画像内の前記重畳領域以外の領域をその他の領域として設定する設定ステップと、
    前記取得された画像情報に基づいて、前記重畳領域の画像及び前記その他の領域の画像を含むベース画像と、前記ベース画像の前記重畳領域の画像に重畳される1以上の重畳画像とを生成する生成ステップと
    を含み、
    前記生成ステップは、
    前記取得された画像情報に基づいて、前記その他の領域に含まれる各画素のスクリーン上での輝度となる第1の表示輝度を、標準ダイナミックレンジのガンマカーブを用いて、標準ダイナミックレンジの階調に対応して算出し、
    前記取得された画像情報に基づいて、前記重畳領域に含まれる各画素の前記スクリーン上での輝度となる第2の表示輝度を、高ダイナミックレンジのガンマカーブを用いて、高ダイナミックレンジの階調に対応して算出し、
    前記重畳領域に含まれる各画素について、所定の基準輝度を用いて、前記第2の表示輝度を前記ベース画像用の表示輝度と、前記1以上の重畳画像の各々用の表示輝度とに分割し、
    前記第1の表示輝度に対応する画素情報と、前記ベース画像用の表示輝度に対応する画素情報とを含む前記ベース画像を生成し、
    前記1以上の重畳画像の各々用の表示輝度に対応する画素情報を含む前記1以上の重畳画像を生成する
    プログラム。
JP2018531750A 2016-08-03 2017-05-26 情報処理装置、情報処理方法、及びプログラム Active JP6897681B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016152595 2016-08-03
JP2016152595 2016-08-03
PCT/JP2017/019718 WO2018025474A1 (ja) 2016-08-03 2017-05-26 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018025474A1 JPWO2018025474A1 (ja) 2019-05-30
JP6897681B2 true JP6897681B2 (ja) 2021-07-07

Family

ID=61074116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531750A Active JP6897681B2 (ja) 2016-08-03 2017-05-26 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US10798347B2 (ja)
EP (1) EP3496087B1 (ja)
JP (1) JP6897681B2 (ja)
CN (1) CN109643528B (ja)
TW (1) TWI764898B (ja)
WO (1) WO2018025474A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018121526A1 (de) * 2018-09-04 2020-03-05 Carl Zeiss Jena Gmbh Projektionssystem zum Projizieren eines Bildes
CN110944161B (zh) * 2018-09-21 2021-11-05 深圳光峰科技股份有限公司 投影系统及投影显示方法
CN114449238A (zh) * 2020-11-06 2022-05-06 中强光电股份有限公司 投影系统及其伽玛曲线校正方法
CN114363519A (zh) * 2022-01-10 2022-04-15 北京字跳网络技术有限公司 一种图像处理方法、装置及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2896291B2 (ja) 1993-06-14 1999-05-31 株式会社エイ・ティ・アール通信システム研究所 画像表示装置
FR2803968B1 (fr) * 2000-01-17 2002-05-31 Ct Scient Tech Batiment Cstb Procede et dispositif de restitution d'un signal lumineux
JP2003125317A (ja) * 2001-10-11 2003-04-25 Sony Corp 映像投影システム、映像投影方法、映像信号処理装置、映像信号処理方法、映像投影装置、及び映像投影方法
JP2008020822A (ja) * 2006-07-14 2008-01-31 Olympus Corp 画像投影システム
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5614948B2 (ja) * 2009-06-18 2014-10-29 キヤノン株式会社 投影システム及び投影方法
JP2011013310A (ja) * 2009-06-30 2011-01-20 Dainippon Printing Co Ltd 画像投影装置
US20130093805A1 (en) 2010-06-21 2013-04-18 Imax Corporation Double stacked projection
KR20180073713A (ko) 2011-04-19 2018-07-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 고휘도 투사형 디스플레이들 및 관련 방법들
US9602801B2 (en) * 2011-07-18 2017-03-21 Truality, Llc Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
WO2015072306A1 (ja) * 2013-11-14 2015-05-21 日本電気株式会社 画像処理システム
CA2917585C (en) * 2014-05-15 2016-09-27 Mtt Innovation Incorporated Optimizing drive schemes for multiple projector systems
BR112017009528A2 (pt) * 2014-11-10 2018-02-06 Koninklijke Philips N.V. aparelho e método para decodificar um sinal de vídeo de hdr integrado a partir de um ou mais sinais da fonte, aparelho para codificar um sinal de vídeo, e método de decodificação de um sinal de vídeo
AU2015201623A1 (en) * 2015-03-30 2016-10-20 Canon Kabushiki Kaisha Choosing optimal images with preference distributions

Also Published As

Publication number Publication date
WO2018025474A1 (ja) 2018-02-08
US20190335146A1 (en) 2019-10-31
EP3496087A4 (en) 2019-08-07
TW201806378A (zh) 2018-02-16
CN109643528B (zh) 2022-06-07
TWI764898B (zh) 2022-05-21
EP3496087B1 (en) 2023-05-17
JPWO2018025474A1 (ja) 2019-05-30
EP3496087A1 (en) 2019-06-12
CN109643528A (zh) 2019-04-16
US10798347B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
JP6897681B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200322504A1 (en) Imaging apparatus and image processing apparatus
CN107211182B (zh) 显示方法和显示装置
US8570319B2 (en) Perceptually-based compensation of unintended light pollution of images for projection display systems
US10832636B2 (en) Image processing apparatus, image processing method, and program
JP2013125270A (ja) 電子ディスプレイ設定を自動的に調整するためのシステム及び方法
US8970636B2 (en) System and method for color correction between displays with and without average picture dependency
US10713765B2 (en) Color image modification with approximation function
JP6794983B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像表示装置
CN105205787A (zh) 用于对ldr视频序列进行动态范围扩展的方法和设备
JP2019033339A (ja) 情報処理装置、投影装置、情報処理方法、及び、プログラム
KR20100045487A (ko) 디지털 광 처리 안티-캠코더 스위치
US10735703B2 (en) Electronic device and associated image processing method
US10542207B2 (en) Image processing apparatus and image processing method
Zamir et al. Perceptually-based gamut extension algorithm for emerging wide color gamut display and projection technologies
KR101373631B1 (ko) 실시간 크로마키 합성 시스템 및 방법
WO2019138942A1 (ja) 表示装置、表示方法、及び表示制御プログラム
US11388341B2 (en) Image processing apparatus, image processing method, and storage medium
JP6482298B2 (ja) 液晶表示装置およびそれを用いるプログラム
JP6040217B2 (ja) 投影装置及び投影方法
KR20160004123A (ko) 이미지 처리 장치, 및 이의 동작 방법
Fielding et al. Rendering of scene data in digital cinema workflows
WO2012160691A1 (ja) プロジェクタおよび処理方法
JP2017126878A (ja) 映像切替装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R151 Written notification of patent or utility model registration

Ref document number: 6897681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151