JP2024069001A - 画像処理装置およびその制御方法及びプログラム - Google Patents

画像処理装置およびその制御方法及びプログラム Download PDF

Info

Publication number
JP2024069001A
JP2024069001A JP2022179740A JP2022179740A JP2024069001A JP 2024069001 A JP2024069001 A JP 2024069001A JP 2022179740 A JP2022179740 A JP 2022179740A JP 2022179740 A JP2022179740 A JP 2022179740A JP 2024069001 A JP2024069001 A JP 2024069001A
Authority
JP
Japan
Prior art keywords
display
correction
display device
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022179740A
Other languages
English (en)
Inventor
靖浩 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022179740A priority Critical patent/JP2024069001A/ja
Priority to US18/487,212 priority patent/US20240155249A1/en
Publication of JP2024069001A publication Critical patent/JP2024069001A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 自然な背景画像を表示装置に表示する。【解決手段】 本発明は、角度に依存する明るさ特性を持つ表示素子で構成される表示パネルを、１以上並べて表示画面とする表示装置に映る画像を生成する画像処理装置であって、表示装置の表示画面に表示される映像を背景にして被写体を撮像するための撮像装置の位置、姿勢に関する情報を取得する取得部と、表示装置の表示位置と取得部で取得した情報に基づいて、各表示素子に対する補正係数を算出する算出部と、表示装置に表示すべき画像データにおける各画素を、算出部で算出した補正係数で補正する補正部とを有し、補正部による補正後の画像データを表示装置に出力することを特徴とする。【選択図】 図１

Description

本発明はＬＥＤウォールなどの表示装置と、カメラなどの撮影装置とを組み合わせたバーチャルプロダクションにおける映像処理技術に関するものである。
従来、観察者の位置に応じて、表示用モニタの映像を補正する技術が知られている（特許文献１および特許文献２）。特許文献１および特許文献２に記載の技術は、観察者の位置をカメラなどの撮像装置によって取得し、取得した位置情報に基づき表示用モニタの映像を補正する。
また最近、映像制作分野において、ＬＥＤウォールに代表されるような、複数のＬＥＤパネルで構成された表示装置上に映像を表示させ、その映像をカメラで撮像する手法（バーチャルプロダクション）が普及し始めている。バーチャルプロダクションでは、カメラの動きや視線をリアルタイムで計測し、カメラの画角内に含まれるＬＥＤウォール部分に表示させる映像をリアルタイムで変化させる。これをカメラで撮影することで、あたかも実物がそこにあるかのような映像を撮影する手法である。
特開２０１２－４２８０４号公報 特開２００９―１２８３８１号公報
バーチャルプロダクションにおいてよく用いられる、ＬＥＤウォールの画素を構成する表示素子（ＬＥＤ素子）は指向特性を持つ。それ故、ＬＥＤウォールを正面から観察する場合の輝度は高いが、斜め方向から観察した場合の輝度は低くなる。また、上述したようにバーチャルプロダクションにおけるＬＥＤウォールは、複数のＬＥＤパネルで構成されることが多い。しかしながら、従来技術での補正対象となっている表示用モニタは、単一のパネルで構成された表示装置であるため、複数のＬＥＤパネルで構成されるＬＥＤウォールでは不自然な背景画像が表示されてしまうという課題がある。
本発明では、自然な背景画像を表示装置に表示させた上で被写体を撮像可能な技術を提供しようとするものである。
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
角度に依存する明るさ特性を持つ表示素子で構成される表示パネルを、１以上並べて表示画面とする表示装置に映る画像を生成する画像処理装置であって、
前記表示装置の表示画面に表示される映像を背景にして被写体を撮像するための撮像装置の位置、姿勢に関する情報を取得する取得手段と、
前記表示装置の表示位置と前記取得手段で取得した情報に基づいて、各表示素子に対する補正係数を算出する算出手段と、
前記表示装置に表示すべき画像データにおける各画素を、前記算出手段で算出した補正係数で補正する補正手段とを有し、
前記補正手段による補正後の画像データを前記表示装置に出力することを特徴とする。
本発明によれば、自然な背景画像を表示装置に表示させた上で被写体を撮像可能となる。
実施形態におけるシステム構成図。 画像処理装置の具体的なハードウェア構成図。 実施形態における画像処理装置の詳細な機能構成図。 実施形態における画像処理装置の基本処理を示すフローチャート。 実施形態における補正領域の求め方を説明するための図。 実施形態における表示装置の表示画面の補正領域内における画素補正量を計算処理を示すフローチャート。 補正領域から具体的な画素位置を計算する概念図。 補正量配分処理の流れを示すフローチャート。 ＬＥＤ素子の出力輝度の変角特性情報を示すテーブル。 ＬＥＤパネルごとのばらつきを示すテーブル。 変角特性情報の補完方法に関する概念図。 撮像装置とＬＥＤ素子とのなす角度の計算方法を示す概念図。 照明装置と露出量補正情報との対応関係を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
［第１の実施形態］
まず、本実施形態の映像処理システムは、撮像装置、画像処理装置、及び、表示装置（ＬＥＤウォール）を有する。撮像装置は、送受信装置を有する。そして、その送受信装置は、カメラのレンズの焦点距離情報、およびジャイロセンサから得られたカメラの位置情報、視線方向を示す情報を取得し、その取得した情報を撮影情報として画像処理装置へ送信する。画像処理装置は、表示装置の配置に関する情報、表示装置上に配置された各表示ＬＥＤパネル（表示パネル）の個体ばらつきに関する情報といった表示装置情報を記憶保持している。そして、画像処理装置は、撮像装置から受信した撮影情報及び表示装置情報を元に、表示する映像の補正情報を生成する。そして、画像処理装置は、生成された補正情報がＬＥＤパネルの輝度制御範囲内かどうかを判断し、もしＬＥＤパネルの輝度制御範囲外であれば、映像信号を補正し、その補正後の製造をＬＥＤパネルに送信する。以下、更に詳しく説明する。
図１は第１の実施形態における映像システムの構成図である。図示に示すように、システムは、撮像装置１００、画像処理装置２００、表示装置（ＬＥＤウォール）３００、及び照明装置４００を有する。
撮像装置１００は、先に示した撮影情報を画像処理装置２００へ送信する機能を有する。また、撮像装置１００は、表示装置３００を含んだ被写体を撮影したり、撮影映像を記録する機能も併せ持つ。そのため、撮像装置１００には図示しないセンサやフォーカス機構、映像記録用記録メディアなどが搭載されている。
画像処理装置２００は、撮像装置１００から受信した撮影情報（レンズの焦点距離情報、位置情報、視線の方向を示す情報）をもとに、表示装置（ＬＥＤウォール）３００に表示するための映像を生成し、送信する。この画像処理装置２００が行う処理および構成の詳細については後述する。
表示装置３００は、複数の表示板（ＬＥＤパネル）で構成された大型表示装置である。本実施形態では、説明を単純化するため、２枚のＬＥＤパネル３０１および３０２で構成されるものとする。もちろん、表示装置３００を構成するＬＥＤパネルの数に制限はなく、３枚以上であっても構わない。また、ＬＥＤパネルの配置方法も左右方向に限るものではなく、上下左右の２次元的に配置であっても構わない。
照明装置４００は、主に撮影時にＬＥＤウォール３００に表示された背景の前にいる主被写体（演者）を照明するために用いられる。本実施形態では、照明装置４００は、０から１００までの出力値で照明が制御されるものとする。画像処理装置２０９は、照明装置４００に対して、初期状態として中央の値である出力"５０"を設定するものとする。
撮像装置１００は、レンズ１０１，ジャイロセンサ１０２，送受信装置１０３，カメラエンジン１０４，撮像部１０４を有する。レンズ１０１は、ズームレンズ、フォーカスレンズ等の複数のレンズを含む。そして、レンズ１０１は、表示装置３００による表示映像を背景とする被写体（演者）の映像を、撮像部１０５が有するイメージセンサの撮像面上に結像する。撮像部１０５は、カメラエンジン１０４の制御の下、結像した映像を電気信号に変換し、不図示の記録媒体に記録する。なお、撮像部１０５は、例えば３０フレーム／秒のフレームレートで撮像するものとする。カメラエンジ１０４は、撮像装置の１フレーム当たりのシャッタースピードやＩＳＯ感度の変更を行う。また、カメラエンジン１０４は、撮像部１０５で撮影した映像の現像処理も行う。ジャイロセンサ１０３は、撮像装置１００の位置姿勢（したがってレンズの光軸方向＝視線方向）を検出し、検出して得られた情報を送受信装置１０３に供給する。
送受信装置１０３は、レンズ１０１の現在の焦点距離、撮像部１０５のセンササイズ情報、並びに、ジャイロセンサで得た位置姿勢情報（撮像装置１００の位置と視線方向を含む情報）を撮影情報としてまとめる。そして、送受信装置１０３は、その撮影情報を画像処理装置２００に送信する。更に、送受信装置１０３は、画像処理装置２００からの情報をもとに、撮像部１０５に対しての絞り値の変更を行う。
画像処理装置２００は、表示装置情報保持部２０１，補正情報計算部２０２、映像生成部２０３を有する。
表示装置情報保持部２０１は、表示装置３００の表示位置情報、表示装置の特性情報を保持する役割を持つ。表示位置情報とは、表示装置３００を構成する表示板（ＬＥＤパネル）がどの位置にあるかを示す配置情報のことを指す。配置情報はカメラ位置情報、視線情報と同じ座標系で表されており、これら配置情報と撮影情報から、撮像装置１００とＬＥＤウォール３００の視線のなす角度が一意に決定でき、計算できる。また本実施形態における表示装置情報記憶部２０１は、上記表示位置情報に加え、ＬＥＤパネルの個体差を示す個体差情報、および表示装置３００で表示するＣＧデータ保持の役割も有している。ＣＧデータとはＣＧをレンダリングするためのＣＧシーンデータのことを指す。ＣＧシーンデータは、映像生成部２０３でレンダリングされた映像データである。
補正情報計算部２０２は、撮像装置１００から送信されてきた撮影情報と、表示装置情報記憶部２０１で保持されている配置情報とをもとに、表示装置３００の補正情報を生成する。詳細については後述する。
映像生成部２０３は、表示装置情報記憶部２０１に記憶されているＣＧシーンデータをレンダリングし、表示装置３００で表示可能な映像データを生成する。併せて、映像生成部２０３は、補正情報計算部２０２で計算した補正情報を映像データに重畳する。補正情報を重畳した映像データは、ＬＥＤウォール３００へ送信される。
図２は、実施形態における画像処理装置２００のハードウェア構成例である。
画像処理装置２００は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、補助記憶インターフェース４０４、およびＨＤＤ４０５、入力インターフェース４０６、出力インターフェース４０７、ネットワークインターフェース４１２を含む。画像処理装置２００の各構成要素はシステムバス４０８によって相互に接続されている。また、画像処理装置２００は、入力インターフェース４０６を介して外部記憶装置４０９および入力装置４１１に接続されている。また、画像処理装置２００は、出力インターフェース４０７を介してモニタ４１０接続がされている。
ＣＰＵ４０１は、ＲＡＭ４０２をワークメモリとして、ＲＯＭ４０３に格納されたプログラムを実行し、システムバス４０８を介して画像処理装置２００の各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。なお、ＣＰＵ４０１とＲＡＭ４０２に加え、ほかにＬＥＤウォール３００の映像表示用のＣＧレンダリングを行うためのＧＰＵ、ＣＧデータ（以下、ＣＧシーンデータ）を格納するＶＲＡＭがあってもよい。ＨＤＤ４０５は、画像処理装置２００で取り扱われる種々のデータを記憶する記憶装置である。ＣＰＵ４０１は、システムバス４０８を介してＨＤＤ４０５へのデータの書き込みおよびＨＤＤ４０５に記憶されたデータの読出しを行う。なお、ＨＤＤ４０５には、ＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることも可能である。
入力インターフェース４０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。画像処理装置２００は、入力インターフェース４０６を介して、外部装置からデータや命令等を入力する。本実施形態の画像処理装置２００は、入力インターフェース４０６を介して、外部記憶装置４０９（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。また本実施形態の画像処理装置２００は、入力装置４１１に入力されたユーザの指示を、入力インターフェース４０６を介して取得する。入力装置４１１は、マウスやキーボードなどの入力装置であり、ユーザの指示を入力する。
出力インターフェース４０７は、入力インターフェース４０６と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力インターフェース４０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子であってもよい。画像処理装置２００は、出力インターフェース４０７を介して、外部記憶装置にデータ等を出力する。本実施形態の画像処理装置２００は、出力インターフェース４０７を介してモニタ４１０（液晶ディスプレイなどの各種画像表示デバイス）に、ＣＰＵ４０１によって処理されたデータ（例えば、カメラや表示装置のリアルタイムな配置状況など）を出力する。
ネットワークインターフェース４１２は、Ｅｔｈｅｒｎｅｔなどのネットワークに接続するためのインターフェースである。実施形態では、このネットワークインターフェース４１２を介して、撮像装置１００、表示装置３００、照明装置４００と通信可能となっている。なお、撮像装置１００，画像処理装置２００、表示装置３００，照明装置４００は、互いに通信できれば良いので、その接続形態はＥｔｈｅｒｎｅｔのインターフェースに限らず、ＵＳＢ等でも構わず、その通信インターフェースの種類は問わないし、例えば、画像処理装置２００と照明装置４００は別のインターフェースで接続される等、複数種類のインターフェースを組み合わせて、これらの装置が接続されてもかまわない。また、通信は、有線、無線の種類も問わない。
また、画像処理装置２００は、ネットワークインターフェース４１２を介して、撮像装置１００から受信した撮影情報を、システムバス４０８を介してＲＡＭ４０２に記憶する。
なお、画像処理装置２００の構成要素は上記以外に限定されるわけではなく、且つ、それは本実施形態の主眼ではないため、説明を省略する。また、画像処理装置２００は、例えばパーソナルコンピュータ（ＰＣ）やワークステーションといった装置により構成することができる。このとき、画像処理装置２００内で実施される各処理部は、先述のＰＣ内で動作するプログラムをＣＰＵが実行することで実現される。
画像処理装置２００のＣＰＵ４０１は、撮像装置１００から入力された撮影情報を受信することで、撮像装置１００の位置情報と視線情報、焦点距離情報を取得する。そして、ＣＰＵ２００は、得られた各情報を基に、ＬＥＤウォール３００に表示する映像を補正するための情報を生成し、映像生成部２０３でＬＥＤウォール３００へ表示する映像を生成させ、生成した映像を表示装置３００へ送信させる。これらの処理は図示しない同期信号によって制御されるタイミングで行われる。同期信号の間隔で撮像装置１００の位置や視線の変化を取得し、画像処理装置で補正情報生成を行い、表示装置３００へ表示する映像に重畳され、出力される。
図３は、本実施形態における画像処理装置２００の更なる詳細機能ブロック図である。表示装置情報記憶部２０１は、例えば図２のＨＤＤ４０５により実現し、表示装置情報記憶部２０１以外の構成（補正領域計算部２２２等）は、図２のＣＰＵ４０１がプログラムを実行することで実現するものと理解されたい、
表示装置情報保持部２０１は、ＣＧシーンデータ、表示装置３００の表示位置情報が保持されている。表示位置情報はＣＧシーンデータとも関連づけられており、ＣＧシーン上のどの座標位置に表示装置３００が位置するかを表す。位置情報入力部２２０は、撮像装置１００の送受信装置１０３から、撮影情報（撮像装置１００の位置姿勢や焦点距離等）を、ネットワークインターフェース４１２を経由して受信する。
撮影情報入力部２２１は、撮像装置１００から受信した撮影情報に含まれる撮像装置１００の位置姿勢報、焦点距離情報、センササイズ情報を、ネットワークインターフェース４１２を介して受信する。
補正領域計算部２２２は、位置情報入力部２２０から入力した、撮像装置１００の位置情報と視線情報、撮影情報入力部２２１から入力した撮像装置１００の焦点距離情報から、表示装置３００上のレンダリングすべき表示領域を計算する。これが、表示する映像を補正すべき補正領域となる。
画素補正量計算部２２３は、表示装置３００を構成するＬＥＤパネル上の各ＬＥＤ画素値の補正量を計算する。画素補正量計算部２２３は、この補正量を、位置情報入力部２２０、撮影情報入力部２２１から入力された撮像装置１００の位置情報と視線情報、補正領域計算部２２２で計算された表示装置３００上の補正領域、および表示装置情報２１０の各ＬＥＤパネルのばらつき補正情報を用いる。ここで計算された各ＬＥＤ画素値の補正量が、補正情報として映像生成部２０３へ出力される。
情報送信部２０４は、画素補正量計算部２２３での計算の結果、撮像装置１００に対する露出補正が行われる場合には、その露出補正に関する露出補正情報を撮像装置１００に向けて送信する。また、情報送信部２０４は、照明装置４００に対する照明制御を行うための制御信号を送信する。
表示装置３００の制御部３０１は、映像生成部２０３から送られてきた映像信号を基に、各ＬＥＤパネルで表示させるべき映像データに分離し、各ＬＥＤパネルへ送信することで映像を表示する。例えば、実施形態のように、表示装置３００が左右に２枚並んだ状態のＬＥＤパネルで構成されていた場合、映像信号の左半分はＬＥＤパネル３０２へ、右半分はＬＥＤパネル３０３へ送信される。このとき、例えば表示装置３００の全体で垂直方向Ａピクセル、水平方向横Ｂピクセルの映像が表示でき、２枚のＬＥＤパネルが同サイズであると仮定する。すると、ＬＥＤパネル３０２は、映像の（０，０）～（Ｂ／２－１，Ａ－１）の画素領域の表示を担当し、ＬＥＤパネル３０３は（Ｂ／２，０）～（Ｂ－１，Ａ－１）の画素領域の表示を担当する。このように、ＬＥＤパネルの配置が決まると、表示対象の映像内の或る画素を、いずれのＬＥＤパネルのどの位置の画素で再現するかが決まることになる。なお、ＬＥＤパネル３０２（３０３も同様）は、複数の表示素子（ＬＥＤ素子）で構成されている。これらのＬＥＤ素子は、例えば赤（Ｒ），緑（Ｇ），青（Ｂ）の３色成分の素子をまとめて１画素を構成している。そして、映像生成部２０３から各画素のＲ，Ｇ，Ｂの色情報を含む映像信号に基づき、ＬＥＤパネル３０１やＬＥＤパネル３０２上の指定の位置の色成分の素子を発光させることで、ＬＥＤパネル３０１及び３０２で構成される表示画面に、映像が表示される。
［画像処理装置全体の処理の流れ］
次に、本実施形態における画像処理装置２００の全体の処理の流れを、図４のフローチャートを参照して説明する。
Ｓ５０１にて、補正領域計算部２２２は、撮像装置１００から、撮像装置１００の位置情報（姿勢を含む）及び視線情報（光軸方向を示す情報）を取得する。
Ｓ５０２にて、補正領域計算部２２２は、撮像装置１００から、焦点距離情報を取得する。
Ｓ５０３にて、補正領域計算部２２２は、表示装置情報保持部２０１から、表示装置３００の配置情報を取得する。
Ｓ５０４にて、補正領域計算部２２２は、Ｓ５０１～Ｓ５０３で取得した情報を基に、表示装置３００上で撮像装置１００の撮影画角内に入る領域となる補正領域を計算する。具体例を、図５を参照して説明する。図５は、表示装置３００を正面から見た図であり、撮像装置１００が斜め方向から撮像する様を示している。補正領域計算部２２２は、図５に示すように、撮像装置１００の焦点距離情報、センササイズ情報、位置姿勢６０２（したがって視線６０１），及び、視線方向６０１に基づき、撮像装置１００の撮像レンズから画角の四隅に向かう４つのベクトル６０３Ａ乃至６０３Ｄを決定する。そして、表示装置３００の表示面と、４つのベクトル６０３Ａ乃至６０３Ｄそれぞれとの交点位置を求め、この４つの交点位置で囲まれる破線領域を補正領域６０６として決定する。なお、補正領域６０６は、撮像装置の急な動きにも対応できるよう、上下左右方向に所定割合だけ膨らませた領域とする方法も考えられる。補正領域計算部２２２は、上記の計算で得た補正領域６０６を表す情報を、画素補正量計算部２２３へ出力する。
Ｓ５０５にて、画素補正量計算部２２３は、補正領域計算部２２２で計算された補正領域６０６を表す情報と、位置情報入力２２０から入力された撮像装置の位置情報と視線情報を基に、表示装置３００上の補正領域６０６内における、各画素の補正量を計算する（詳細後述）。
Ｓ５０６にて、画素補正量計算部２２３は、Ｓ５０５で計算された各画素の補正量をもとに、表示装置３００の補正量、および撮像装置１００での露出補正量を計算する。そして、画素補正量計算部２２３は、計算した表示装置３００の補正量を、画素補正量情報として映像生成部２０３へ出力する。また、画素補正量計算部２２３は、計算した撮像装置１００の露出補正量を、露出量補正情報として情報送信部２０４へ出力する。また、画素補正量計算部２２３、出力した補正量、露出補正量をＲＡＭ４０２にも保存する。なお、画素補正量計算部２２３による計算処理の詳細は、後述する。
Ｓ５０７にて、映像生成部２０３は、表示装置情報保持部２０１に予め格納されたＣＧシーンデータをもとに、表示装置３００で表示するＣＧシーンのレンダリングを行う。ＣＧシーンは、画素補正量計算部２２３から出力された表示装置３００上の補正領域６０６内のみでよい。このため、映像生成部２０３は、補正領域６０６内に相当する部分に対してのみレンダリングを実行する。そして、映像生成部２０３は、画素補正量計算部２２３にてＳ５０５及びＳ５０６を経て計算された画素補正量情報をもとに、補正領域内の各画素に対して画素値の補正量計算を行う（詳細後述）。
そして、Ｓ５０８にて、映像生成部２０３は、補正後の補正領域内の画素値データを含む画像データを表示装置３００へ送信し、表示させる。このとき、映像生成部２０３は、補正領域内の画素値情報のみを送信するため、それ以外の画素については、ほかの映像を表示するか、または何も表示しないといった方法がとられる。場合によっては、補正領域外については、前回と同じデータを出力しても良い。
Ｓ５０９にて、画素補正量計算部２２３は、Ｓ５０６で計算した撮像装置１００の露出量補正が生成されているか否かを判定する。生成されている場合は、画素補正量計算部２２３は処理をＳ５１０に進め、生成されていない場合は本処理を終了する。
Ｓ５１０にて、情報送信部２０４は、画素補正量計算部２２３で計算され、ＲＡＭ４０２に保存された露出量補正情報をもとに、表示装置３００の前面に位置する被写体（演者）を照らす照明装置４００の明るさの調整を行う。例えば、図１３に示すように、撮像装置１００の露出補正量と、照明の明るさとの関係をテーブルとして保持しておき、露出量補正情報と、現在の明るさ情報に基づいて、調整後の明るさを表す値を決定し、その値を照明装置４００に出力する。例えば、照明装置４００は出力５０で照明を動作させていたと仮定し、露出量補正情報が＋１／３段であったとする場合、照明出力値を「５」減じて落として出力"４５"とする。
Ｓ５１１にて、情報送信部２０４が、Ｓ５０６で計算した露出量補正情報に基づき、撮像装置１００の露出を補正する。例えば、露出量補正情報が－１／３段であった場合、情報送信部２０４は、撮像装置１００に、シャッタースピードを１／３段分短くさせるための情報を送信する。なお、本説明では、露出量補正にシャッタースピードを用いたが、他の撮影条件（絞り値やＩＳＯ感度など）を変更してもかまわないし、複数の項目を変更してもかまわない。以上、本実施形態における画像処理装置２００の全体の処理の流れを説明した。
次に、図４のＳ５０５における画素補正量計算部２２３の処理の詳細を図６のフローチャートを参照して説明する。
Ｓ７０１にて、画素補正量計算部２２３は、撮像装置１００から入力された位置情報と視線情報を取得する。
Ｓ７０２にて、画素補正量計算部２２３は、補正領域計算部２２２で計算した補正領域情報を取得する。
Ｓ７０３にて、画素補正量計算部２２３は、Ｓ７０１で取得した撮像装置１００の位置情報と視線情報、及び、Ｓ７０２で取得した補正領域情報から、表示装置３００上の補正領域内の各画素において、法線ベクトル８０３と撮像装置１００からの視線とのなす各度を計算する。
具体的には、画素補正量計算部２２３は、図７に示すように、Ｓ５０４で計算した補正領域から、具体的な画素位置のどこに該当するかを計算する。ここで、参照符号８０１は、表示装置３００における座標（ｘ、ｙ）のＬＥＤ素子を指すものとする。また、ＬＥＤ素子８０１は、表示装置３００が表示する映像のうちの１画素分に該当する。例えば、補正領域６０６が図７の太枠で示される領域（分かり易く矩形にしている）であった場合、補正領域６０６で囲まれる領域は左上隅の座標（ｘ＋３，ｙ＋１）、右下隅の座標（ｘ＋５、ｙ＋３）の領域となる。このとき、画素補正量計算部２２３は、撮像装置１００の位置６０２とＬＥＤ素子（ｘ＋３、ｙ＋１）の中心とを結ぶベクトル８０２と、補正領域６０６の平面とのなす角度８０４を求める。
同様にして、画素補正量計算部２２３は、座標（ｘ＋５，ｙ＋３）までの各画素について、撮像装置１００の位置とＬＥＤ素子中心とを結ぶベクトルと補正領域６０６とのなす角度を求める。なす角度は、ＬＥＤ素子に対してどの方角から撮影しているかを知るため、図１２に示すように、法線ベクトル８０３と直角に交わり、表示装置３００の水平方向と並行で、右方向に正をとるｘ軸１５０１と、表示装置３００の垂直方向と並行で上方向に正をとるｙ軸１５０２とを定義する。このとき、法線ベクトル８０３をｚ軸とする。次に、画素補正量計算部２２３は、ベクトル８０２をｘ軸方向の移動量８０２Ｘ、ｙ軸方向の移動量８０２Ｙ、ｚ軸方向の移動量８０２Ｚの３つに分解する。そして、画素補正量計算部２２３は、法線ベクトル８０３を中心としたｘ軸方向のベクトル８０２ＸＺ、ｙ軸方向のベクトル８０２ＹＺの２つのベクトルを計算する。これらベクトル８０２ＸＺと法線ベクトル８０３とのなす角度θXZ、およびベクトル８０２ＹＺと法線ベクトル８０３とのなす角度θYZを求める。これら２つの角度θXZ、θYZがなす角度となる。
このとき、法線ベクトル８０３をａ＝（ａ1，ａ2，ａ3）、ベクトル８０２をｂ＝（ｂ1,ｂ2,ｂ3）とすると、ベクトル８０３ＸＺは、ａXZ＝（ａ1，0，ａ3）、ベクトル８０２ＹＺはａYZ＝（0,ａ2,ａ3）となる。そして、ベクトル８０２ＸＺと法線ベクトル８０３とのなす角度θXZ、およびベクトル８０２ＹＺと法線ベクトル８０３とのなす角度θYZは次式（１）、（２）のように計算できる。
Figure 2024069001000002
Ｓ７０４にて、画素補正量計算部２２３は、Ｓ７０３で求めた各画素の角度を基に、各画素の補正量を求める。具体的には、ＬＥＤ素子の補正量は、角度に応じた、図９に示すような変角特性情報テーブルを参照して決定すれば良い。変角特性情報とは、表示装置３００と撮像装置１００が正対した場合の角度を０として、撮像装置１００が表示装置３００の左右どちらからどの程度斜めに撮影しているかによって角度を決め、その角度に応じた画素値の補正量を示した表である。図９では、ＬＥＤ素子は表示装置の表示面の法線ベクトルと同じ正対方向を０度、ｘ軸方向（後述する）に対して左向きをプラス、右向きをマイナスとして表示している。図８は、ｘ軸方向に対する変角特性情報のみを記載しているが、実際にはカメラからＬＥＤ素子への視線ベクトルは、図１１に示すように、ＬＥＤ素子を中心にして半球状の範囲で角度を計算する必要がある。例えば、図１１において、図８と同様に、ｘ軸１５０１，ｙ軸１５０２、法線ベクトル８０３をｚ軸としたとき、表示装置（ＬＥＤウォール）が正対する位置、つまり０度となる位置は点１５０３となる。そして、補正量を示す点はｚ軸となる法線ベクトル８０３を中心に、左側をマイナス、右側をプラスとおける。例えば、ｘ軸方向にマイナス３０度の点は、法線ベクトル８０３から３０度左側の点であるため、点１５０４の位置となる。また、図９に示す変角特性情報は、図１１では点１５０４のように、ｘ軸とｚ軸で構成される平面上の角度に相当する。ＬＥＤ素子は、ｘ軸方向だけでなく、ｙ軸方向にも角度依存性があるため、図９で示す変角特性情報を、例えば半時計周りに１８０度回転させることで、ｙ軸方向にも対応した変角特性情報を生成できる。このとき、左向きと右向きでは補正係数が異なるため、実際には半時計周りに１８０度回転させるときに、マイナスの角度の値とプラスの角度の値の間で補間計算を行うとよい。例えば、マイナス８０度の点の情報とプラス８０度の点との補正量の平均値が、ｙ軸とｚ軸で構成される平面上の角度でマイナス８０度の点１５０６に相当するようになる。このとき、ｙ軸に対して下方向がマイナス、上方向がプラスとなる。このようにして、補正領域６０６に対して、法線ベクトル８０３を中心に半球状に補正量を補間して定義することができる。
次に、図７で示す例の場合、なす角度８０４はθXZプラス４５度、θYZが０度であったとすると、ＬＥＤ素子から発する光は、カメラ位置情報と該当ＬＥＤ素子の位置とを参照すると左向きとなるため、図９におけるプラス４５度の部分を参照する。また、ＬＥＤ素子１つにつき、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類で画素が構成されているため、補正量はＲ，Ｇ，Ｂと色情報毎に１つずつ保持する。なお、図９では、角度は３０度、４５度、６０度、８０度とあるため、例えば８０度より大きい角度は８０と同等、８０度と６０度の中間の角度については、８０度と６０度のデータより線形補間した値を計算して求めればよい。また、角度による補正量情報は、図８よりもさらに細かい刻み幅（１度おきなど）であってもよく、表示装置３００がＲ，Ｇ，Ｂのほかに白色ＬＥＤ（Ｗ）など、ほかの色のＬＥＤ素子を持っている場合、ほかの色用の補正量も併せて持ってもかまわない。例えば、Ｒ，Ｇ，Ｂに加えて白色ＬＥＤ（Ｗ）を持つ場合、Ｒ素子、Ｇ素子，Ｂ素子の各補正量とともにＷ素子補正量を持ってもかまわない。
Ｓ７０５にて、画素補正量計算部２２３は、Ｓ７０４までで計算した各画素の補正量に対して、ＬＥＤパネルの個体差による影響の補正を行う。ＬＥＤパネルは、製造時の部品の精度ばらつき等の原因により、同じ映像信号を与えたとしても、出力される明るさが異なってしまう場合がある。そのため、パネルごとに、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類の補正係数を個体差情報として持たせておく。具体的には、図１０に示されるようにパネル位置ごとに、予め設定された明るさの基準値に対するＲ，Ｇ，Ｂの補正係数（比率）を持つ。映像内の画素（ｘ、ｙ）の表示位置がわかると、該当するパネルを特定できる。つまり、補正係数の値は画素位置より得ることができる。
Ｓ７０６にて、画素補正量計算部２２３は、Ｓ７０５までで計算した各画素の補正量データを映像生成部２０３へ出力する。
次に、図４のＳ５０６における、画素補正量計算部２２３の処理の詳細を、図８のフローチャートを参照して説明する。
Ｓ８０１にて、画素補正量計算部２２３は、撮像装置３００の露出補正量を初期値に戻す。具体的には、画素補正量計算部２２３は、露出補正量を０に設定する。
Ｓ８０２にて、画素補正量計算部２２３は、Ｓ５０５で計算した各画素の補正量データを入力する。併せて、画素補正量計算部２２３は、映像生成部２０３でレンダリングした補正領域内の各画素値を入力する。
Ｓ８０３にて、画素補正量計算部２２３は、Ｓ８０２で入力した各画素の補正量データと、補正領域内の各画素値から、表示装置３００に出力すべき各画素の画素値を計算する。具体的には、画素補正量計算部２２３は、各画素の補正量データを補正領域内の画素値に乗算して得た値を、補正後の画素値とする。
Ｓ８０４にて、画素補正量計算部２２３は、計算した各画素の画素値のうち、最大値を参照し、表示装置３００で制御可能な最大画素値をオーバーしているかどうかを判定する。
例えば、表示装置３００が８ビットで画素値を制御しているとする。そして、映像生成部２０３でレンダリングした補正領域内の或る画素の値が「２１７」であり、その画素の補正量が「１．２０」であったとする。この場合、補正後の画素値は「２６０」（＝２１７×１．２０）となり、この値は表示装置３００が入力可能な８ビットの最大値「２５５」を超えている。よって、この例の場合、Ｓ８０４にて、画素補正量計算部２２３は、補正後の画素値が制御可能な最大画素値をオーバーしていると判定する。
Ｓ８０４にて、画素補正量計算部２２３は、補正量がオーバーしていると判定した場合は、Ｓ８０５に処理を進め、オーバーしていないと判定した場合はＳ８０８へ処理を進める。
Ｓ８０５にて、画素補正量計算部２２３は、撮像装置１００の露出補正量を計算する。具体的には、画素補正量計算部２２３は、補正後の画素値が表示装置３００の制御可能な８ビットの最大値をオーバーしているとき、表示装置３００の画素値を全体的に下げる。そして、画素補正量計算部２２３は、下げた分を撮像装置１００の露出で補い。画像全体の全体の明るさを保つようにする。例えば、画素補正量計算部２２３は、画像全体の明るさを０．７９４倍し、その分、撮像装置１００の露出を１／３段上げることで、全体の明るさを保つようにする。たとえば、表示装置３００の或る画素位置の補正後の画素値が「２６０」であった場合、画素補正量計算部２２３は、表示装置３００で表示すべき画像（補正領域の画像）の全画素値を０．７９４倍する（以降、補正領域内の全画素値の０．７９４倍後の画像を、「画素補正情報」と言う）。この結果、先の画素値は「２０６」となる。なお、０．７９４倍しても、８ビットの最大値をオーバーすることも起こり得る。この場合、さらに０．７９４倍し、撮像装置１００の露出を、更にもう１／３段上げ、最大値をオーバーしているかを確認する。こうして、画素補正量計算部２２３は、８ビットの最大値以下の値となるまで再度の補正計算を行い、撮像装置１００の露出補正量をその都度増加させていく。
Ｓ８０６にて、画素補正量計算部２２３は、Ｓ８０５の計算で得た撮像装置１００の露出補正量をＲＡＭ４０２へ保存するとともに、情報送信部２０４へ出力する。情報送信部２０４は、画素補正量計算部２２３から入力した露出補正量を撮像装置１００に送信する。撮像装置１００は、その露出補正量に従い、露出を補正し撮像を行うことになる。
Ｓ８０７にて、画素補正量計算部２２３は、Ｓ８０３で求めた補正領域内の各画素値を、Ｓ８０５で計算した画素補正量情報で更新する。
Ｓ８０８にて、画素補正量計算部２２３は、画素補正量情報を映像生成部２０３に出力する。この画素補正量情報は、Ｓ８０４の判定でＮｏとなった場合は、Ｓ８０３で算出した画素値を持つ画像情報であり、撮像装置１００に対しては初期の露出量を維持させる。一方、Ｓ８０４の判定でＹｅｓとなった場合の画素補正量情報は、Ｓ８０７による更新処理で得た画素値を持つ画像情報である。
映像生成部２０３は、表示装置情報２１０に格納されたＣＧシーンデータ、および表示装置３００の配置情報をもとに、表示装置３００の表示面（実施形態では２つのＬＥＤパネル）上に表示する映像をレンダリングする。このとき、表示する映像は、ＣＧシーンデータと関連付けられた表示装置３００の配置情報から、ＣＧシーンの表示位置が決まる。そして、映像生成部２０３は、補正量計算部２０２で計算された各画素の補正量と、レンダリングされた映像とを乗算し、その結果得られた画像データを表示装置３００に送信する。例えば、レンダリングの結果のある画素（ａ，ｂ）の位置の画素値が（Ｒ，Ｇ，Ｂ）＝（１００，１００，１５０）であり、補正量が（１．１２，１．１１，１．１９）、パネル位置は（１，１）であった場合、補正後の画素値は（Ｒ‘，Ｇ’，Ｂ‘）＝（１１３，１１３，１８１）となる。
以上説明したように、本実施形態によれば、撮像装置１００と表示装置３００との相対位置関係や、表示装置３００を構成するＬＥＤパネルごとの明るさばらつきによらず、カメラ撮影映像内では一定の明るさで、ＬＥＤウォール上の映像として、表示することができる。
上記実施形態では、表示装置３００を構成するＬＥＤパネル３０２および３０３の個体差をあらかじめ保持しているものとした。しかし、表示装置３００の利用する前に測定により個体差の影響をパラメータ化する方法を採用しても良い。例えば、画像処理装置２００内に、図示しない個体差情報生成部を設け、個体差情報生成部にて撮像装置１００より得られた表示装置３００を構成するＬＥＤパネルの映像データをもとに、個体差情報を生成する。具体的には、表示装置３００に予め用意したテスト用チャートを表示し、撮像装置１００で撮影する。このときの各ＬＥＤパネルのチャート部分の画素の平均値の比を保持すればよい。このとき、表示装置３００を構成するＬＥＤパネル３０２および３０３をそれぞれ１つずつ表示させ、各ＬＥＤパネルが画角の中心となる位置に正対して撮像装置１００を設置し撮影することで、精度よく測定することができる。また、テスト用チャートとしてはグレーや赤、緑、青といった、ＬＥＤパネルを均一な色にする信号値を使った単色チャートがあげられる。
また、上記実施形態では、表示装置３００の表示画面内のうち、撮像装置１００の視野範囲を補正領域として定め、その補正領域について画素値を補正するものとした。ただし、画像処理装置２００の表示画面が撮像装置１００の最大画角に対して十分に大きく、且つ、画像処理装置の演算能力が十分にある場合、画像処理装置２００は撮像装置１００の画角（焦点距離）に関する情報を不要とし、その位置姿勢（位置と光軸方向）を示す情報から、表示装置３００の表示画面の全ての表示画素を補正対象としても良い。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本明細書の開示は、以下の画像処理装置、方法及びプログラムを含む。
（項目１）
角度に依存する明るさ特性を持つ表示素子で構成される表示パネルを、１以上並べて表示画面とする表示装置に映る画像を生成する画像処理装置であって、
前記表示装置の表示画面に表示される映像を背景にして被写体を撮像するための撮像装置の位置、姿勢に関する情報を取得する取得手段と、
前記表示装置の表示位置と前記取得手段で取得した情報に基づいて、各表示素子に対する補正係数を算出する算出手段と、
前記表示装置に表示すべき画像データにおける各画素を、前記算出手段で算出した補正係数で補正する補正手段とを有し、
前記補正手段による補正後の画像データを前記表示装置に出力することを特徴とする画像処理装置。
（項目２）
前記算出手段は、前記表示装置の表示位置と前記取得手段で取得した情報に基づいて前記表示素子それぞれから前記撮像装置に向かうベクトルを求め、各表示素子に対する前記特性に依存する補正係数を算出することを特徴とする項目１に記載の画像処理装置。
（項目３）
更に、該補正手段を制御し、補正後の画像データを前記表示装置に出力すると共に、前記撮像装置に対する露出に係る補正情報を生成し出力する制御手段を有し、
前記制御手段は、
前記補正手段による補正後の画像データに、前記表示装置が入力可能な最大値を超える画素データが含まれているか否かを判定する判定手段を有し、
前記制御手段は、
前記判定手段の判定結果が、前記補正後の画像データに前記表示装置が入力可能な最大値を超える画素データが含まれていないことを示す場合は、前記補正後の画像データを前記表示装置に出力すると共に、前記撮像装置に対して初期の露出量を維持し、
前記判定手段の判定結果が、前記補正後の画像データに前記表示装置が入力可能な最大値を超える画素データが含まれていることを示す場合は、前記補正後の画像データに対して前記最大値以下となるように再度の補正を行って得た画像データを前記表示装置に出力し、前記撮像装置に対しては、前記再度の補正に基づいて前記露出量を増加する補正情報を生成し、出力する
ことを特徴とする項目１又は２に記載の画像処理装置。
（項目４）
前記制御手段は、更に、外部の照明装置への照明の強さを示す情報を生成し、当該照明装置に向けて出力することを特徴とする項目３に記載の画像処理装置。
（項目５）
前記取得手段は、前記撮像装置から、更に画角に関する情報を取得し、
前記算出手段は、前記表示装置の位置、前記撮像装置の位置、姿勢、及び、前記画角に関する情報から、前記表示画面における前記画角に入る領域を補正領域として判定する判定手段を含み、
前記算出手段は、前記補正領域内の補正係数を算出する
ことを特徴とする項目１乃至４のいずれか１つに記載の画像処理装置。
（項目６）
更に、前記表示装置の表示画面を構成する表示パネルそれぞれの発光に関する個体差を表す情報を取得する手段を有し、
前記補正手段は、前記補正後の画像データに対し、各表示パネル毎ごとの前記個体差を表す情報に基づく補正を更に行う
ことを特徴とする項目５に記載の画像処理装置。
（項目７）
前記個体差を表す情報は、各表示パネルのＲ，Ｇ，Ｂの基準値に対する明るさの比率を示す情報である
ことを特徴とする項目６に記載の画像処理装置。
（項目８）
前記補正手段は、記憶手段に記憶されたＣＧデータに基づいてレンダリングすることで、前記表示装置に表示すべき画像データを生成し、補正する
ことを特徴とする項目１乃至７のいずれか１つに記載の画像処理装置。
（項目９）
前記表示素子はＬＥＤ素子であり、前記表示パネルはＬＥＤパネルであることを特徴とする項目１乃至８のいずれか１つに記載の画像処理装置。
（項目１０）
角度に依存する明るさ特性を持つ表示素子で構成される表示パネルを、１以上並べて表示画面とする表示装置に映る画像を生成する画像処理装置の制御方法であって、
前記表示装置の表示画面に表示される映像を背景にして被写体を撮像するための撮像装置の位置、姿勢に関する情報を取得する取得工程と、
前記表示装置の表示位置と前記取得工程で取得した情報に基づいて、各表示素子に対する補正係数を算出する算出工程と、
前記表示装置に表示すべき画像データにおける各画素を、前記算出工程で算出した補正係数で補正する補正工程とを有し、
前記補正工程による補正後の画像データを前記表示装置に出力することを特徴とする画像処理装置の制御方法。
（項目１１）
コンピュータが読み込み実行することで、前記コンピュータに項目１乃至９のいずれか１つに記載の装置の各手段として機能させるためのコンピュータプログラム。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
１００…撮像装置、２００…画像処理装置、３００…表示装置、２０１…表示装置情報保持部、２０２…補正情報計算部、２０３…映像生成部、２０４…情報送信部、２２０…位置情報入力部、２２１…撮影情報入力部、２２２…補正領域計算部

Claims (11)

  1. 角度に依存する明るさ特性を持つ表示素子で構成される表示パネルを、１以上並べて表示画面とする表示装置に映る画像を生成する画像処理装置であって、
    前記表示装置の表示画面に表示される映像を背景にして被写体を撮像するための撮像装置の位置、姿勢に関する情報を取得する取得手段と、
    前記表示装置の表示位置と前記取得手段で取得した情報に基づいて、各表示素子に対する補正係数を算出する算出手段と、
    前記表示装置に表示すべき画像データにおける各画素を、前記算出手段で算出した補正係数で補正する補正手段とを有し、
    前記補正手段による補正後の画像データを前記表示装置に出力することを特徴とする画像処理装置。
  2. 前記算出手段は、前記表示装置の表示位置と前記取得手段で取得した情報に基づいて前記表示素子それぞれから前記撮像装置に向かうベクトルを求め、各表示素子に対する前記特性に依存する補正係数を算出することを特徴とする請求項１に記載の画像処理装置。
  3. 更に、該補正手段を制御し、補正後の画像データを前記表示装置に出力すると共に、前記撮像装置に対する露出に係る補正情報を生成し出力する制御手段を有し、
    前記制御手段は、
    前記補正手段による補正後の画像データに、前記表示装置が入力可能な最大値を超える画素データが含まれているか否かを判定する判定手段を有し、
    前記制御手段は、
    前記判定手段の判定結果が、前記補正後の画像データに前記表示装置が入力可能な最大値を超える画素データが含まれていないことを示す場合は、前記補正後の画像データを前記表示装置に出力すると共に、前記撮像装置に対して初期の露出量を維持し、
    前記判定手段の判定結果が、前記補正後の画像データに前記表示装置が入力可能な最大値を超える画素データが含まれていることを示す場合は、前記補正後の画像データに対して前記最大値以下となるように再度の補正を行って得た画像データを前記表示装置に出力し、前記撮像装置に対しては、前記再度の補正に基づいて前記露出量を増加する補正情報を生成し、出力する
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記制御手段は、更に、外部の照明装置への照明の強さを示す情報を生成し、当該照明装置に向けて出力することを特徴とする請求項３に記載の画像処理装置。
  5. 前記取得手段は、前記撮像装置から、更に画角に関する情報を取得し、
    前記算出手段は、前記表示装置の位置、前記撮像装置の位置、姿勢、及び、前記画角に関する情報から、前記表示画面における前記画角に入る領域を補正領域として判定する判定手段を含み、
    前記算出手段は、前記補正領域内の補正係数を算出する
    ことを特徴とする請求項１に記載の画像処理装置。
  6. 更に、前記表示装置の表示画面を構成する表示パネルそれぞれの発光に関する個体差を表す情報を取得する手段を有し、
    前記補正手段は、前記補正後の画像データに対し、各表示パネル毎ごとの前記個体差を表す情報に基づく補正を更に行う
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 前記個体差を表す情報は、各表示パネルのＲ，Ｇ，Ｂの基準値に対する明るさの比率を示す情報である
    ことを特徴とする請求項６に記載の画像処理装置。
  8. 前記補正手段は、記憶手段に記憶されたＣＧデータに基づいてレンダリングすることで、前記表示装置に表示すべき画像データを生成し、補正する
    ことを特徴とする請求項１に記載の画像処理装置。
  9. 前記表示素子はＬＥＤ素子であり、前記表示パネルはＬＥＤパネルであることを特徴とする請求項１に記載の画像処理装置。
  10. 角度に依存する明るさ特性を持つ表示素子で構成される表示パネルを、１以上並べて表示画面とする表示装置に映る画像を生成する画像処理装置の制御方法であって、
    前記表示装置の表示画面に表示される映像を背景にして被写体を撮像するための撮像装置の位置、姿勢に関する情報を取得する取得工程と、
    前記表示装置の表示位置と前記取得工程で取得した情報に基づいて、各表示素子に対する補正係数を算出する算出工程と、
    前記表示装置に表示すべき画像データにおける各画素を、前記算出工程で算出した補正係数で補正する補正工程とを有し、
    前記補正工程による補正後の画像データを前記表示装置に出力することを特徴とする画像処理装置の制御方法。
  11. コンピュータが読み込み実行することで、前記コンピュータに請求項１０に記載の方法の各工程を実行させるためのコンピュータプログラム。
JP2022179740A 2022-11-09 2022-11-09 画像処理装置およびその制御方法及びプログラム Pending JP2024069001A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022179740A JP2024069001A (ja) 2022-11-09 2022-11-09 画像処理装置およびその制御方法及びプログラム
US18/487,212 US20240155249A1 (en) 2022-11-09 2023-10-16 Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022179740A JP2024069001A (ja) 2022-11-09 2022-11-09 画像処理装置およびその制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2024069001A true JP2024069001A (ja) 2024-05-21

Family

ID=90928454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022179740A Pending JP2024069001A (ja) 2022-11-09 2022-11-09 画像処理装置およびその制御方法及びプログラム

Country Status (2)

Country Link
US (1) US20240155249A1 (ja)
JP (1) JP2024069001A (ja)

Also Published As

Publication number Publication date
US20240155249A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
JP6653369B2 (ja) 拡張現実感システム及びその色補償方法
KR100648592B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
US10218949B2 (en) Information processing apparatus, information processing method, and program
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
JP5266954B2 (ja) 投写型表示装置および表示方法
JP5266953B2 (ja) 投写型表示装置および表示方法
TWI393072B (zh) 廣角感測器陣列模組及其影像校正方法、運作方法與應用
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
KR102318013B1 (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
JP2020030864A (ja) 画像処理装置
JP2005124131A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2019149764A (ja) 表示装置用校正装置、表示装置用校正システム、表示装置の校正方法、及び、表示装置
JP7408298B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR100596976B1 (ko) 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
US20220113794A1 (en) Display device and image display method
US10785471B1 (en) Upsampling content for head-mounted displays
US11030732B2 (en) Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures
WO2018173797A1 (ja) プロジェクタ、投影方法、画像処理システム、および方法
JP2024069001A (ja) 画像処理装置およびその制御方法及びプログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP2018022287A (ja) 画像処理装置及び方法、画像処理プログラム、並びに投影装置
US20210397005A1 (en) Image processing apparatus, head-mounted display, and image displaying method
US20230289929A1 (en) Image display system, head mounted display, and image display method
JP7321772B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20220093985A (ko) 이미지 지연 보정 방법 및 이를 이용한 장치