WO2022091506A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022091506A1
WO2022091506A1 PCT/JP2021/028064 JP2021028064W WO2022091506A1 WO 2022091506 A1 WO2022091506 A1 WO 2022091506A1 JP 2021028064 W JP2021028064 W JP 2021028064W WO 2022091506 A1 WO2022091506 A1 WO 2022091506A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
local
input image
luminance
information processing
Prior art date
Application number
PCT/JP2021/028064
Other languages
English (en)
French (fr)
Inventor
優斗 小林
紀晃 高橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022091506A1 publication Critical patent/WO2022091506A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction

Definitions

  • the present invention relates to an information processing device, an information processing method and a program.
  • MIRU2007 "Focal Pre-Correction of Projected Image for Deblurring on Displayed Image on the Screen.”
  • this disclosure proposes an information processing device, an information processing method, and a program capable of satisfactorily suppressing crosstalk.
  • the luminance range is not saturated by the reverse correction process for each local region while shifting the division position of the input image and the local region setting unit that sets a plurality of local regions that are the division regions of the input image.
  • an information processing apparatus including a correction processing unit that generates a plurality of locally luminance compressed images adjusted to the above and performs the reverse correction processing on an image obtained by synthesizing the plurality of locally luminance compressed images. Further, according to the present disclosure, there is provided an information processing method in which the information processing of the information processing apparatus is executed by a computer, and a program for realizing the information processing of the information processing apparatus in the computer.
  • the present disclosure proposes a crosstalk correction process for eliminating a correction residual in the reverse correction process.
  • a compression process is performed as a preprocess for the reverse correction process.
  • the compression process is a crosstalk correction process that compresses the luminance range of the image region saturated by the reverse correction process.
  • the crosstalk correction process of the present disclosure will be specifically described.
  • FIG. 1 is a diagram showing an example of an information processing apparatus 1 for carrying out the crosstalk correction processing of the present disclosure.
  • the information processing device 1 has a processing device 10 and a storage device 20.
  • the crosstalk correction process of the present disclosure can be applied to crosstalk between two viewpoints and crosstalk between three or more viewpoints.
  • a 3D (Dimension) display is known as a display for two viewpoints.
  • the crosstalk correction processing of the present disclosure is applied to a naked eye 3D display will be described.
  • the processing device 10 has a correction processing unit 11, a local area setting unit 17, and an adjustment unit 18.
  • the correction processing unit 11 performs compression processing and reverse correction processing on the input image IM IN to generate an output image IM out .
  • the input image IM IN is an original image or a corrected image obtained by applying some correction processing to the original image.
  • the input image IM IN includes a plurality of viewpoint image VPIs. In this embodiment, since the 3D display is performed, the input image IM IN includes the left eye input image LI IN and the right eye input image RI IN as the plurality of viewpoint image VPIs (see FIG. 2).
  • the local area setting unit 17 sets the division position of the input image IM IN .
  • the information regarding the division position is included in the parameter information 21.
  • the local area setting unit 17 sets a plurality of local area LBAs (see FIG. 6) to be the divided areas of the input image IM IN based on the divided positions.
  • the correction processing unit 11 divides the input image IM IN into a plurality of local area LBAs according to the division position set by the local area setting unit 17.
  • the correction processing unit 11 sets the compression amount of the luminance range for each local region LBA so that saturation does not occur due to the reverse correction processing.
  • the correction processing unit 11 compresses the luminance range of each local region LBA with a set compression amount. As a result, the correction processing unit 11 generates a local luminance compressed image BCI (see FIG. 8) in which the luminance range is adjusted for each local region LBA.
  • the correction processing unit 11 generates a plurality of local luminance compressed images BCI whose luminance range is adjusted for each local region LBA while shifting the division position of the input image IM IN .
  • the correction processing unit 11 performs reverse correction processing on an image (corrected image) obtained by synthesizing a plurality of locally luminance compressed images BCI to generate an output image IM out .
  • the adjustment unit 18 determines the magnitude of crosstalk based on the correction residual when the reverse correction process is performed on the input image.
  • the adjusting unit 18 determines that a pixel whose signal value exceeds the limit value and is saturated by the reverse correction process is a pixel having a correction residual.
  • the adjusting unit 18 determines that the larger the image region having the correction residual (the image region where the signal value is saturated), the larger the crosstalk.
  • the adjusting unit 18 adjusts the size of the local region LBA and the amount of shift of the division position according to the size of the crosstalk. For example, the adjusting unit 18 increases the size of the local region as the crosstalk increases.
  • the adjustment unit 18 reduces the amount of shift of the division position as the crosstalk increases.
  • the storage device 20 stores, for example, the program 29 executed by the processing device 10 and the parameter information 21.
  • Program 29 is a program that causes a computer to execute information processing according to the present disclosure.
  • the processing device 10 performs various processes according to the program 29 stored in the storage device 20.
  • the storage device 20 may be used as a work area for temporarily storing the processing result of the processing device 10.
  • the storage device 20 includes any non-transient storage medium such as, for example, a semiconductor storage medium and a magnetic storage medium.
  • the storage device 20 includes, for example, an optical disk, a magneto-optical disk, or a flash memory.
  • the program 29 is stored, for example, in a non-transient storage medium that can be read by a computer.
  • the processing device 10 is, for example, a computer composed of a processor and a memory.
  • the memory of the processing device 10 includes a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the processing device 10 functions as a correction processing unit 11, a local area setting unit 17, and an adjustment unit 18.
  • the reverse correction process is a crosstalk correction process that performs a conversion opposite to the conversion that occurs in crosstalk with respect to the input image IM IN .
  • a crosstalk model a linear mixed model in which the left eye input image LI IN and the right eye input image RI IN are mixed at a mixing ratio ⁇ is used.
  • the crosstalk model is not limited to that shown in FIG.
  • a crosstalk model may be constructed based on a non-linear mixed model that expands the range in which crosstalk occurs.
  • gamma processing, mixing processing, and degamma processing are sequentially performed on the input signals of the left eye input image LI IN and the right eye input image RI IN .
  • the mixing process is represented by a 4 ⁇ 4 determinant. Therefore, in the inverse correction process, the inverse matrix calculation process using the inverse matrix of this determinant is performed.
  • the correction processing unit 11 sequentially performs gamma processing, inverse matrix calculation processing, and degamma processing on the left eye input image LI IN and the right eye input image RI IN to generate the left eye correction image LI c and the right eye correction image RI c . do.
  • the correction processing unit 11 integrates the left eye correction image LI c and the right eye correction image RI c , and outputs the correction image IM c .
  • Information on the gamma value ⁇ used in the gamma processing and the degamma processing and the mixing ratio ⁇ used in the inverse matrix calculation processing is stored in the storage device 20 as parameter information 21.
  • the correction processing unit 11 acquires information on the mixing ratio ⁇ and the gamma value ⁇ included in the parameter information 21 from the storage device 20 when performing the reverse correction processing.
  • the left side of FIG. 3 shows an example in which the reverse correction process is not performed.
  • the input signal of the left eye input image LI IN is larger than the input signal of the right eye input image RI IN . Therefore, when crosstalk occurs, the input signal flows from the left eye side to the right eye side more often.
  • the brightness of the left eye perceived image LI view becomes smaller than that of the left eye input image LI IN
  • the brightness of the right eye perceived image RI view becomes larger than that of the right eye input image RI IN .
  • the left eye perceptual image LI view is a perceptual image perceived by the observer's left eye
  • the right eye perceptual image RI view is a perceptual image perceived by the observer's right eye.
  • the perceptual image is an image in which a plurality of viewpoint image VPIs are mixed by crosstalk.
  • the right side of FIG. 3 shows an example of performing reverse correction processing.
  • crosstalk the input signal on the left eye side decreases and the input signal on the right eye side increases. Therefore, in the reverse correction processing, signal processing is performed so that the input signal on the left eye side increases and the input signal on the right eye side decreases.
  • crosstalk occurs between the left eye correction image LI c and the right eye correction image RI c after the reverse correction processing, the change in the signal value due to the reverse correction processing and the change in the perceived luminance due to the crosstalk cancel each other out.
  • the brightness of the left eye perceived image LI view becomes equal to the left eye input image LI IN
  • the brightness of the right eye perceived image RI view becomes equal to the right eye input image RI IN . This eliminates crosstalk.
  • the signal value after the reverse correction process does not exceed the signal limit value (for example, the gradation range of 0 to 255).
  • the signal limit value for example, the gradation range of 0 to 255.
  • the signal value after the reverse correction process may exceed the limit value.
  • the signal value after the reverse correction process exceeds the upper limit value (255) or the lower limit value (0) of the signal
  • the signal value after the reverse correction process is clipped to the upper limit value or the lower limit value of the signal.
  • the signal value of the left eye correction image LI c ′ exceeds the upper limit value and the signal value of the right eye correction image RI c ′ falls below the lower limit value due to the reverse correction process. Therefore, clipping produces a left-eye correction image LI c and a right-eye correction image RI c in which the signal values are changed to the upper limit value and the lower limit value.
  • the brightness of the left eye perceived image LI view is smaller than that of the left eye input image LI IN
  • the brightness of the right eye perceived image RI view is larger than that of the right eye input image RI IN .
  • the correction processing unit 11 compresses the luminance range of the input signal so that clipping does not occur.
  • the correction processing unit 11 divides the input image IM IN into a plurality of local regions LBA.
  • the local region LBA is set as, for example, a rectangular region of 64 pixels ⁇ 64 pixels, but the size of the local region LBA is not limited to this.
  • the correction processing unit 11 calculates the signal value after the reverse correction processing for all the pixels in the local region LBA.
  • the correction processing unit 11 calculates the signal value of the portion where the signal value exceeding the limit value exceeds the limit value as the saturation value for the pixel whose signal value after the reverse correction processing exceeds the limit value. For example, the correction processing unit 11 calculates the saturation value of the portion above the upper limit value of the signal as a positive value, and calculates the saturation value of the portion below the lower limit value of the signal as a negative value.
  • the correction processing unit 11 has the maximum value L max and the minimum value L min of the saturation value of the left eye correction image LI c'and the saturation of the right eye correction image RI c'for each local region LBA.
  • the maximum value R max and the minimum value R min are calculated as range parameters.
  • the correction processing unit 11 selects one or more local region LBAs including pixels whose signal values are saturated.
  • the correction processing unit 11 sets the compression amount of the luminance range so that the signal values of all the pixels in the local region LBA do not exceed the limit value by the reverse correction processing as the correction amount of the compression processing for each selected local region LBA. decide. For example, the larger of L max and R max is LR max , and the smaller of L min and R min is LR min .
  • the correction processing unit 11 compresses the luminance range of each selected local region LBA based on the determined compression amount.
  • the correction processing unit 11 does not perform compression processing on the local region LBA that does not include the pixel in which the signal value is saturated.
  • the correction processing unit 11 generates a local luminance compressed image BCI in which one or more local region LBAs are compressed with respect to the input image IM IN .
  • a luminance step is generated at the boundary portion of the local region LBA having a different luminance range. Therefore, the correction processing unit 11 generates a plurality of local luminance compressed image BCIs whose luminance range is adjusted to a range in which the luminance range is not saturated by the reverse luminance processing for each local region LBA while shifting the division position of the input image IM IN .
  • the correction processing unit 11 overlaps and averages a plurality of local luminance compressed images BCI.
  • a corrected image IM c in which a plurality of locally luminance compressed images BCI are combined is generated.
  • the corrected image IM c is an image in which the luminance step between the local regions LBA is reduced.
  • the correction processing unit 11 performs reverse correction processing on the corrected image IM c to generate an output image IM out .
  • the information processing device 1 has a local area setting unit 17 and a correction processing unit 11.
  • the local area setting unit 17 sets a plurality of local area LBAs that are divided areas of the input image IM IN .
  • the correction processing unit 11 generates a plurality of local luminance compressed image BCIs whose luminance range is adjusted to a range in which the luminance range is not saturated by the inverse luminance processing for each local region LBA while shifting the division position of the input image IM IN .
  • the correction processing unit 11 performs reverse correction processing on an image obtained by synthesizing a plurality of locally luminance compressed images BCI.
  • the processing of the information processing apparatus 1 described above is executed by the computer.
  • the program 29 of the present embodiment causes the computer to realize the processing of the information processing apparatus 1 described above.
  • the luminance step between the local region LBA is better reduced.
  • the load of correction processing can be reduced without impairing the image quality.
  • the crosstalk correction process of the present disclosure is applied to the naked eye 3D display.
  • the information processing of the present disclosure may be applied to the spectacle-type 3D display.
  • the crosstalk correction process of the present disclosure can also be applied to crosstalk between three or more viewpoints.
  • the present technology can also have the following configurations.
  • a local area setting unit that sets multiple local areas that are divided areas of the input image, While shifting the division position of the input image, a plurality of local luminance compressed images adjusted to a range in which the luminance range is not saturated by the reverse correction process are generated for each local region, and the plurality of local luminance compressed images are combined into an image.
  • the correction processing unit that performs the reverse correction processing and Information processing device with.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

情報処理装置（１）は、局所領域設定部（１７）と補正処理部（１１）とを有する。局所領域設定部（１７）は、入力画像を複数の局所領域に分割する。補正処理部（１１）は、入力画像の分割位置をずらしながら、局所領域ごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像（ＢＣＩ）を生成する。補正処理部（１１）は、複数の局所輝度圧縮画像（ＢＣＩ）を合成した合成画像に逆補正処理を施す。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　立体画像や多視点画像を表示する表示装置では、クロストークによる画像の劣化が問題となる。そのため、クロストークで生じる変換とは逆の変換を実施する逆補正処理によってクロストークを抑制する技術が提案されている。
　逆補正処理では、クロストークによって輝度が増加する画素の信号値を低減し、輝度が低下する画素の信号値を増加する画像処理が行われる。しかし、画像の階調レンジは０から２５５までに制限される。この飽和制約を超えて信号値が低減または増加される画素については、信号値が０または２５５にクリッピングされる。信号値が飽和制約を超える領域では、画像の補正が不十分になり、クロストークを良好に抑制することが難しい。
　そこで、本開示では、クロストークを良好に抑制することが可能な情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、入力画像の分割領域となる複数の局所領域を設定する局所領域設定部と、前記入力画像の分割位置をずらしながら、局所領域ごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像を生成し、前記複数の局所輝度圧縮画像を合成した画像に前記逆補正処理を施す補正処理部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
情報処理装置の一例を示す図である。 逆補正処理の一例を示す図である。 逆補正処理の一例を示す図である。 逆補正処理の一例を示す図である。 逆補正処理の一例を示す図である。 圧縮処理の一例を示す図である。 圧縮処理の一例を示す図である。 圧縮処理の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．概要］
［２．情報処理装置の構成］
［３．クロストーク補正処理］
　［３－１．逆補正処理］
　［３－２．圧縮処理］
［４．効果］
［１．概要］
　本開示は、逆補正処理における補正残差を解消するためのクロストーク補正処理を提案するものである。本開示では、逆補正処理の前処理として圧縮処理が行われる。圧縮処理は、逆補正処理によって飽和する画像領域の輝度レンジを圧縮するクロストーク補正処理である。以下、本開示のクロストーク補正処理を具体的に説明する。
［２．情報処理装置の構成］
　図１は、本開示のクロストーク補正処理を実施するための情報処理装置１の一例を示す図である。
　情報処理装置１は、処理装置１０と記憶装置２０とを有する。本開示のクロストーク補正処理は、２視点間のクロストーク、および、３視点以上の多視点間のクロストークに適用できる。２視点を対象とするディスプレイとしては、３Ｄ（Ｄｉｍｅｎｓｉｏｎ）ディスプレイが知られている。以下では、本開示のクロストーク補正処理が裸眼３Ｄディスプレイに適用される例を説明する。
　処理装置１０は、補正処理部１１と局所領域設定部１７と調整部１８とを有する。
　補正処理部１１は、入力画像ＩＭＩＮに圧縮処理および逆補正処理を施して出力画像ＩＭｏｕｔを生成する。入力画像ＩＭＩＮは、原画像、または、原画像に何らかの補正処理が施された補正画像である。入力画像ＩＭＩＮは、複数の視点画像ＶＰＩを含む。本実施形態では、３Ｄ表示が行われるため、入力画像ＩＭＩＮは、複数の視点画像ＶＰＩとして、左眼入力画像ＬＩＩＮおよび右眼入力画像ＲＩＩＮを含む（図２参照）。
　局所領域設定部１７は、入力画像ＩＭＩＮの分割位置を設定する。分割位置に関する情報は、パラメータ情報２１に含まれる。局所領域設定部１７は、分割位置に基づいて、入力画像ＩＭＩＮの分割領域となる複数の局所領域ＬＢＡ（図６参照）を設定する。
　補正処理部１１は、局所領域設定部１７で設定された分割位置にしたがって入力画像ＩＭＩＮを複数の局所領域ＬＢＡに分割する。補正処理部１１は、逆補正処理によって飽和が生じないように局所領域ＬＢＡごとに輝度レンジの圧縮量を設定する。補正処理部１１は、各局所領域ＬＢＡの輝度レンジを、設定された圧縮量で圧縮する。これにより、補正処理部１１は、局所領域ＬＢＡごとに輝度レンジが調整された局所輝度圧縮画像ＢＣＩ（図８参照）を生成する。
　補正処理部１１は、入力画像ＩＭＩＮの分割位置をずらしながら、局所領域ＬＢＡごとに輝度レンジが調整された複数の局所輝度圧縮画像ＢＣＩを生成する。補正処理部１１は、複数の局所輝度圧縮画像ＢＣＩを合成した画像（補正画像）に逆補正処理を施して出力画像ＩＭｏｕｔを生成する。
　調整部１８は、入力画像に逆補正処理を実施したときの補正残差に基づいてクロストークの大きさを判定する。調整部１８は、逆補正処理によって信号値が限界値を超えて飽和した画素を補正残差がある画素と判定する。調整部１８は、補正残差がある画像領域（信号値が飽和する画像領域）が大きいほどクロストークが大きいと判定する。調整部１８は、クロストークの大きさに応じて、局所領域ＬＢＡのサイズおよび分割位置のずらし量を調整する。例えば、調整部１８は、クロストークが大きいほど、局所領域のサイズを大きくする。調整部１８は、クロストークが大きいほど、分割位置のずらし量を小さくする。
　記憶装置２０は、例えば、処理装置１０が実行するプログラム２９と、パラメータ情報２１と、を記憶する。プログラム２９は、本開示に係る情報処理をコンピュータに実行させるプログラムである。処理装置１０は、記憶装置２０に記憶されているプログラム２９にしたがって各種の処理を行う。記憶装置２０は、処理装置１０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶装置２０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶装置２０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム２９は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。
　処理装置１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理装置１０のメモリには、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）が含まれる。処理装置１０は、プログラム２９を実行することにより、補正処理部１１、局所領域設定部１７および調整部１８として機能する。
［３．クロストーク補正処理］
　以下、図２ないし図８に基づいて、本開示のクロストーク補正処理の一例を説明する。
［３－１．逆補正処理］
　図２ないし図５は、逆補正処理の一例を示す図である。
　逆補正処理は、入力画像ＩＭＩＮに対してクロストークで生じる変換とは逆の変換を実施するクロストーク補正処理である。図１の例では、クロストークモデルとして、左眼入力画像ＬＩＩＮと右眼入力画像ＲＩＩＮとが混合率αで混合される線形混合モデルが用いられている。しかし、クロストークモデルは、図２に示すようなものに限られない。クロストークの生じる範囲を広げた非線形の混合モデルに基づいてクロストークモデルを構築してもよい。
　図２のクロストークモデルでは、左眼入力画像ＬＩＩＮおよび右眼入力画像ＲＩＩＮの入力信号に対して、ガンマ処理、混合処理およびデガンマ処理が順に実施される。混合処理は、４×４の行列式で表される。そのため、逆補正処理では、この行列式の逆行列を用いた逆行列演算処理が実施される。補正処理部１１は、左眼入力画像ＬＩＩＮおよび右眼入力画像ＲＩＩＮにガンマ処理、逆行列演算処理およびデガンマ処理を順に実施し、左眼補正画像ＬＩｃおよび右眼補正画像ＲＩｃを生成する。補正処理部１１は、左眼補正画像ＬＩｃおよび右眼補正画像ＲＩｃを統合し、補正画像ＩＭｃとして出力する。
　ガンマ処理およびデガンマ処理で用いられるガンマ値γ、および、逆行列演算処理で用いられる混合率αの情報は、パラメータ情報２１として記憶装置２０に記憶されている。補正処理部１１は、逆補正処理を実施するにあたって、パラメータ情報２１に含まれる混合率αおよびガンマ値γの情報を記憶装置２０から取得する。
　図３の左側は、逆補正処理を行わない例を示す。図３の例では、左眼入力画像ＬＩＩＮの入力信号が右眼入力画像ＲＩＩＮの入力信号よりも大きい。そのため、クロストークが生じると、左眼側から右眼側への入力信号の流れ込みが多くなる。この結果、左眼知覚画像ＬＩｖｉｅｗの輝度が左眼入力画像ＬＩＩＮよりも小さくなり、右眼知覚画像ＲＩｖｉｅｗの輝度が右眼入力画像ＲＩＩＮよりも大きくなる。なお、左眼知覚画像ＬＩｖｉｅｗは、観察者の左眼が知覚する知覚画像であり、右眼知覚画像ＲＩｖｉｅｗは、観察者の右眼が知覚する知覚画像である。知覚画像は、複数の視点画像ＶＰＩがクロストークによって混合された画像である。
　図３の右側は、逆補正処理を行う例を示す。クロストークでは、左眼側の入力信号が減少し、右眼側の入力信号が増加する。そのため、逆補正処理では、左眼側の入力信号が増加し、右眼側の入力信号が減少するような信号処理が行われる。逆補正処理後の左眼補正画像ＬＩｃと右眼補正画像ＲＩｃとの間にクロストークが生じると、逆補正処理による信号値の変化とクロストークによる知覚輝度の変化とが相殺する。この結果、左眼知覚画像ＬＩｖｉｅｗの輝度は左眼入力画像ＬＩＩＮと等しくなり、右眼知覚画像ＲＩｖｉｅｗの輝度は右眼入力画像ＲＩＩＮと等しくなる。これにより、クロストークが解消される。
［３－２．圧縮処理］
　図６ないし図８は、圧縮処理の一例を示す図である。
　図３に示した逆補正処理では、視点画像ＶＰＩ間のコントラストが大きくないため、逆補正処理後の信号値は信号の限界値（例えば０～２５５の階調範囲）を超えない。しかし、図４に示すように、視点画像ＶＰＩ間のコントラストが大きくなると、逆補正処理後の信号値は限界値を超える場合がある。
　逆補正処理後の信号値が信号の上限値（２５５）または下限値（０）を超えた場合、逆補正処理後の信号値は信号の上限値または下限値にクリッピングされる。図４の例では、逆補正処理によって、左眼補正画像ＬＩｃ′の信号値は上限値を上回り、右眼補正画像ＲＩｃ′の信号値は下限値を下回る。そのため、クリッピングによって、信号値が上限値および下限値に変更された左眼補正画像ＬＩｃおよび右眼補正画像ＲＩｃが生成される。この結果、左眼知覚画像ＬＩｖｉｅｗの輝度は左眼入力画像ＬＩＩＮよりも小さくなり、右眼知覚画像ＲＩｖｉｅｗの輝度は右眼入力画像ＲＩＩＮよりも大きくなる。
　クリッピングによって信号値が変化すると、逆補正処理による信号値の変化とクロストークによる知覚輝度の変化とが相殺しなくなる。そのため、図５に示すように、クロストークが残留し、左眼知覚画像ＬＩｖｉｅｗに右眼入力画像ＲＩＩＮがゴーストとして現れ、右眼知覚画像ＲＩｖｉｅｗに左眼入力画像ＬＩＩＮがゴーストとして現れる。そのため、補正処理部１１は、クリッピングが生じないように入力信号の輝度レンジを圧縮する。
　図６に示すように、補正処理部１１は、入力画像ＩＭＩＮを複数の局所領域ＬＢＡに分割する。局所領域ＬＢＡは、例えば、６４画素×６４画素の矩形領域として設定されるが、局所領域ＬＢＡの大きさはこれに限られない。
　補正処理部１１は、局所領域ＬＢＡ内の全ての画素について、逆補正処理後の信号値を算出する。補正処理部１１は、逆補正処理後の信号値が限界値を超える画素について、限界値を超えた部分の信号値を飽和値として算出する。補正処理部１１は、例えば、信号の上限値を上回った部分の飽和値をプラスの値として算出し、信号の下限値を下回った部分の飽和値をマイナスの値として算出する。
　図７に示すように、補正処理部１１は、局所領域ＬＢＡごとに、左眼補正画像ＬＩｃ′の飽和値の最大値Ｌｍａｘおよび最小値Ｌｍｉｎと、右眼補正画像ＲＩｃ′の飽和値の最大値Ｒｍａｘおよび最小値Ｒｍｉｎと、をレンジパラメータとして算出する。補正処理部１１は、信号値が飽和する画素を含む１以上の局所領域ＬＢＡを選択する。補正処理部１１は、選択された局所領域ＬＢＡごとに、局所領域ＬＢＡ内の全ての画素の信号値が逆補正処理によって限界値を超えないような輝度レンジの圧縮量を圧縮処理の補正量として決定する。例えば、ＬｍａｘとＲｍａｘとのうち大きい方をＬＲｍａｘとし、ＬｍｉｎとＲｍｉｎとのうち小さい方をＬＲｍｉｎとする。補正処理部１１は、圧縮量Ｃを、Ｃ＝（２５５＋ＬＲｍａｘ―ＬＲｍｉｎ）／２５５として算出する。補正処理部１１は、選択された各局所領域ＬＢＡの輝度レンジを、決定された圧縮量に基づいて圧縮処理する。補正処理部１１は、信号値が飽和する画素を含まない局所領域ＬＢＡに対しては圧縮処理を行わない。
　図８に示すように、補正処理部１１は、入力画像ＩＭＩＮに対して１以上の局所領域ＬＢＡを圧縮処理した局所輝度圧縮画像ＢＣＩを生成する。局所輝度圧縮画像ＢＣＩでは、輝度レンジの異なる局所領域ＬＢＡの境界部に輝度段差が発生する。そのため、補正処理部１１は、入力画像ＩＭＩＮの分割位置をずらしながら、局所領域ＬＢＡごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像ＢＣＩを生成する。補正処理部１１は、複数の局所輝度圧縮画像ＢＣＩをオーバーラップさせて平均化する。これにより、複数の局所輝度圧縮画像ＢＣＩを合成した補正画像ＩＭｃが生成される。補正画像ＩＭｃは、局所領域ＬＢＡ間の輝度段差が低減された画像となる。補正処理部１１は、補正画像ＩＭｃに逆補正処理を施して出力画像ＩＭｏｕｔを生成する。
［４．効果］
　情報処理装置１は、局所領域設定部１７と補正処理部１１とを有する。局所領域設定部１７は、入力画像ＩＭＩＮの分割領域となる複数の局所領域ＬＢＡを設定する。補正処理部１１は、入力画像ＩＭＩＮの分割位置をずらしながら、局所領域ＬＢＡごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像ＢＣＩを生成する。補正処理部１１は、複数の局所輝度圧縮画像ＢＣＩを合成した画像に逆補正処理を施す。本実施形態の情報処理方法は、上述した情報処理装置１の処理がコンピュータにより実行される。本実施形態のプログラム２９は、上述した情報処理装置１の処理をコンピュータに実現させる。
　この構成によれば、輝度調整が行われた合成画像に対して逆補正処理が施される。そのため、逆補正処理による飽和が生じにくくなり、クロストークが良好に抑制される。合成画像は、複数の局所輝度圧縮画像ＢＣＩを合成して得られるため、局所領域ＬＢＡ間の輝度段差が平均化される。よって、輝度段差による画質の劣化は生じにくい。
　入力画像ＩＭＩＮに逆補正処理を施したときに信号値が飽和する画像領域が大きいほど、局所領域ＬＢＡのサイズは大きい。
　この構成によれば、局所領域ＬＢＡ間の輝度段差がよりよく低減される。
　入力画像ＩＭＩＮに逆補正処理を施したときに信号値が飽和する画像領域が大きいほど、分割位置のずらし量は小さい。
　この構成によれば、画質を損なわずに補正処理の負荷を減らすことができる。
　なお、上述した実施形態では、本開示のクロストーク補正処理が裸眼３Ｄディスプレイに適用された。しかし、眼鏡型３Ｄディスプレイに本開示の情報処理が適用されてもよい。本開示のクロストーク補正処理は、３視点以上の多視点間のクロストークに適用することもできる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［付記］
　なお、本技術は以下のような構成も取ることができる。
（１）
　入力画像の分割領域となる複数の局所領域を設定する局所領域設定部と、
　前記入力画像の分割位置をずらしながら、局所領域ごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像を生成し、前記複数の局所輝度圧縮画像を合成した画像に前記逆補正処理を施す補正処理部と、
　を有する情報処理装置。
（２）
　前記入力画像に前記逆補正処理を施したときに信号値が飽和する画像領域が大きいほど、前記局所領域のサイズは大きい
　上記（１）に記載の情報処理装置。
（３）
　前記入力画像に前記逆補正処理を施したときに信号値が飽和する画像領域が大きいほど、前記分割位置のずらし量は小さい
　上記（１）または（２）に記載の情報処理装置。
（４）
　入力画像の分割領域となる複数の局所領域を設定し、
　前記入力画像の分割位置をずらしながら、局所領域ごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像を生成し、
　前記複数の局所輝度圧縮画像を合成した画像に前記逆補正処理を施す、
　ことを有する、コンピュータにより実行される情報処理方法。
（５）
　入力画像の分割領域となる複数の局所領域を設定し、
　前記入力画像の分割位置をずらしながら、局所領域ごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像を生成し、
　前記複数の局所輝度圧縮画像を合成した画像に前記逆補正処理を施す、
　ことをコンピュータに実現させるプログラム。
１　情報処理装置
１１　補正処理部
１７　局所領域設定部
ＢＣＩ　局所輝度圧縮画像
ＬＢＡ　局所領域

Claims (5)

  1. 　入力画像の分割領域となる複数の局所領域を設定する局所領域設定部と、
    　前記入力画像の分割位置をずらしながら、局所領域ごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像を生成し、前記複数の局所輝度圧縮画像を合成した画像に前記逆補正処理を施す補正処理部と、
    　を有する情報処理装置。
  2. 　前記入力画像に前記逆補正処理を施したときに信号値が飽和する画像領域が大きいほど、前記局所領域のサイズは大きい
    　請求項１に記載の情報処理装置。
  3. 　前記入力画像に前記逆補正処理を施したときに信号値が飽和する画像領域が大きいほど、前記分割位置のずらし量は小さい
    　請求項１に記載の情報処理装置。
  4. 　入力画像の分割領域となる複数の局所領域を設定し、
    　前記入力画像の分割位置をずらしながら、局所領域ごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像を生成し、
    　前記複数の局所輝度圧縮画像を合成した画像に前記逆補正処理を施す、
    　ことを有する、コンピュータにより実行される情報処理方法。
  5. 　入力画像の分割領域となる複数の局所領域を設定し、
    　前記入力画像の分割位置をずらしながら、局所領域ごとに輝度レンジが逆補正処理によって飽和しない範囲に調整された複数の局所輝度圧縮画像を生成し、
    　前記複数の局所輝度圧縮画像を合成した画像に前記逆補正処理を施す、
    　ことをコンピュータに実現させるプログラム。
PCT/JP2021/028064 2020-10-27 2021-07-29 情報処理装置、情報処理方法およびプログラム WO2022091506A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-179956 2020-10-27
JP2020179956 2020-10-27

Publications (1)

Publication Number Publication Date
WO2022091506A1 true WO2022091506A1 (ja) 2022-05-05

Family

ID=81382278

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028064 WO2022091506A1 (ja) 2020-10-27 2021-07-29 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2022091506A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134644A (ja) * 1998-10-27 2000-05-12 Nippon Hoso Kyokai <Nhk> 立体画像表示におけるクロストーク低減方法および装置
US20120287250A1 (en) * 2011-05-14 2012-11-15 Dolby Laboratories Licensing Corporation Crosstalk cancellation in 3d displays
JP2013005362A (ja) * 2011-06-21 2013-01-07 Sony Corp 画像処理装置および表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134644A (ja) * 1998-10-27 2000-05-12 Nippon Hoso Kyokai <Nhk> 立体画像表示におけるクロストーク低減方法および装置
US20120287250A1 (en) * 2011-05-14 2012-11-15 Dolby Laboratories Licensing Corporation Crosstalk cancellation in 3d displays
JP2013005362A (ja) * 2011-06-21 2013-01-07 Sony Corp 画像処理装置および表示装置

Similar Documents

Publication Publication Date Title
US10255879B2 (en) Method and apparatus for image data transformation
JP7483747B2 (ja) ハイダイナミックレンジ画像のディスプレイ管理
US8625881B2 (en) Enhanced ghost compensation for stereoscopic imagery
US8520038B2 (en) Image display apparatus, image display method, and image supply apparatus
WO2008065575A1 (en) Device and method for processing color image data
TWI519151B (zh) 影像處理方法以及影像處理裝置
WO2009002316A1 (en) System and method for color correction between displays with and without average picture dependency
JP5487597B2 (ja) 画像処理装置、画像表示装置及び画像処理方法
WO2018025474A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016076069A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2022091506A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2017098845A (ja) 画像処理装置、画像処理方法、およびプログラム
US10114447B2 (en) Image processing method and apparatus for operating in low-power mode
US8787655B2 (en) Image processing apparatus and control method therefor
US8780107B2 (en) Image processing apparatus for displaying image on display unit and control method thereof
JP5365881B2 (ja) 画像処理装置、画像処理方法
US20120128246A1 (en) Methods and systems for color management in display systems
WO2022091800A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21885628

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21885628

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP