WO2020026321A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020026321A1
WO2020026321A1 PCT/JP2018/028535 JP2018028535W WO2020026321A1 WO 2020026321 A1 WO2020026321 A1 WO 2020026321A1 JP 2018028535 W JP2018028535 W JP 2018028535W WO 2020026321 A1 WO2020026321 A1 WO 2020026321A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
images
image
correction
attention area
Prior art date
Application number
PCT/JP2018/028535
Other languages
English (en)
French (fr)
Inventor
俊彰 三上
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/028535 priority Critical patent/WO2020026321A1/ja
Publication of WO2020026321A1 publication Critical patent/WO2020026321A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention relates to an image processing device and an image processing method.
  • An object of the present invention is to provide an image processing apparatus and an image processing method that can correct optical distortion while reducing the difficulty of stereoscopic vision.
  • One aspect of the present invention is an attention area detection unit that detects a corresponding attention area in two left and right images having parallax, and a parallax amount that calculates a parallax amount between the images based on the detected attention area.
  • a parallax amount correction unit that performs correction that approximates to.
  • the amount of parallax between the images is calculated by the amount of parallax calculation unit. Is calculated.
  • the amount of parallax between the two corrected images corrected for aberration by the parallax amount corrector is corrected.
  • the two acquired images are distorted due to the aberration of the optical system when these images were acquired. Since the direction and amount of optical distortion differ depending on the position of each pixel in the image, for example, a region of interest arranged on the edge of the image is vertically and horizontally distorted due to aberration.
  • the optical distortion in the vertical direction and the horizontal direction is removed, but correction may be performed in a direction in which the amount of parallax increases, and in this case, stereoscopic vision becomes difficult.
  • the parallax amount correction unit performs correction to bring the parallax amount of the corrected image after the aberration correction closer to the parallax amount of the uncorrected image before the aberration correction, the optical distortion in the vertical direction is reduced by the aberration correction. It is possible to obtain an image which is easy to perform stereoscopic viewing while eliminating the increase in the parallax amount.
  • the parallax amount correction unit may match the parallax amount between the corrected images with the parallax amount between the pre-correction images.
  • the image processing apparatus further includes an attention area position determination unit that determines whether the attention area is located at an edge of the image, wherein the parallax amount correction unit determines that the attention area is the edge of the image.
  • the parallax amount may be corrected only when it is determined that the parallax is located at the edge.
  • the attention area detection unit may detect the attention area based on a pixel value in the image.
  • the attention area detection unit may detect the attention area based on a change in a pixel value in the image.
  • the attention area detection unit may detect the attention area based on a change in motion in the image.
  • a movement is detected by calculating a motion vector, and a treatment tool that operates frequently due to a change in movement in an image.
  • the region can be easily distinguished from the tissue, and the region where the treatment tool exists can be set as the region of interest.
  • a corresponding region of interest is detected in two left and right images having parallax, and a parallax amount between the images is calculated based on the detected region of interest.
  • This is an image processing method that performs aberration correction on the image and performs correction so that the amount of parallax between the two corrected images after the aberration correction approaches the amount of parallax between the two images before correction before the aberration is corrected.
  • FIG. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a region of interest detected in a left and right image acquired by a stereo camera by a region of interest detection unit of the image processing apparatus of FIG. 1.
  • FIG. 3 is a diagram illustrating the amount of parallax between regions of interest before aberration correction in FIG. 2.
  • FIG. 2 is a diagram illustrating an example of a region of interest after being corrected by an aberration correction unit of the image processing apparatus in FIG. 1.
  • FIG. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a region of interest detected in a left and right image acquired by a stereo camera by a
  • FIG. 7 is a diagram illustrating a change in the amount of parallax between left and right images due to the aberration correction step in FIG. 6.
  • FIG. 7 is a diagram illustrating correction of a parallax amount by a parallax amount correction step in FIG. 6.
  • FIG. 9 is a diagram illustrating a shift of a right image as an example of the correction of the parallax amount in FIG. 8.
  • 7 is a flowchart illustrating a modification of the image processing method in FIG. 6.
  • the image processing apparatus 1 is provided in an endoscope 100 as shown in FIG.
  • the endoscope 100 includes a stereo camera 110 that acquires two left and right images L1 and R1 with parallax (see FIG. 2), an input unit 120 that inputs information of the stereo camera 110, and two acquired images. And an image processing apparatus 1 for processing L1 and R1.
  • the image processing apparatus 1 includes an attention area detection unit 2 that detects an attention area (see FIG. 2) A corresponding to the two input images L1 and R1, and an image L1 based on the detected attention area A. , R1, a parallax amount calculation unit 3, an aberration correction unit 4, a parallax amount correction unit 5, and a storage unit 6.
  • the attention area detection unit 2 detects an attention area A, which is an attention area in the images L1 and R1.
  • the attention area A is, for example, an area where a treatment is being performed in the body by a treatment tool, and is detected according to the pixel values of the images L1 and R1 that are color images and the amount of change in the pixel values.
  • a silver treatment tool has a different pixel value from a red tissue, and can be detected separately from the tissue.
  • the treatment tool is detected by detecting the hue and the saturation of the images L1 and R1 based on the ratio of the pixel values of the RGB pixels.
  • the area is distinguished as a treatment tool, for example, if the treatment tool only presses the tissue, it is not detected as the attention area A, and the treatment is frequently performed to perform the treatment.
  • the tool can be detected as the attention area A based on the frequent fluctuation of the pixel value.
  • a motion is calculated by calculating a motion vector in addition to a change in pixel value, and a motion is detected based on a change in motion in the images L1 and R1. Is also good.
  • a pixel value change within a certain period of time such as a change in the R, G, B ratio with respect to the latest plural frames, or a calculation based on the latest plural frames.
  • the determination can be made by calculating the degree of change of the motion vector within a certain time based on the obtained motion vector.
  • the parallax amount calculation unit 3 performs pattern matching on the attention area A detected by the attention area detection unit 2 in each of the two left and right images L1 and R1, and calculates the parallax amount S of the corresponding point.
  • the calculated parallax amount S is stored in the storage unit 6.
  • the aberration correction unit 4 is connected to the input unit 7 for inputting information of the stereo camera 110 to be connected.
  • the storage unit 6 stores the aberration correction data of the optical system acquired in advance and the model information of the stereo camera 110 in association with each other.
  • the aberration correction data stored in association with the input model information is read from the storage unit 6, and the read aberration is read. Based on the correction data, aberration correction is performed on the two images L1 and R1 input to the image processing apparatus 1. Thereby, optical distortion based on the aberrations included in the images L1 and R1 can be removed.
  • the coordinates of the representative pixel of the left image (corrected image) L2 after aberration correction (X L ', Y L' )
  • the right image (corrected image) R2 of the corresponding point of pixel The coordinates are (X R ′, Y R ′).
  • is calculated and pre-correct the In order to match the parallax amount S of the images L1 and R1, the corrected right image R2 is shifted in the left-right direction by a shift amount K represented by the following equation. K S'-S
  • the stereo camera 110 is connected to the image processing apparatus 1 (Step S1).
  • the input unit 120 is connected to the aberration correction unit 4 of the image processing device 1.
  • the endoscope 100 is configured.
  • model information of the stereo camera 110 is input from the input unit 120 (step S2).
  • the aberration correction data is read from the storage unit 6 (Step S3).
  • the attention area detection unit 2 uses the left and right images L1 and R1 as corresponding attention areas A of the two images L1 and R1. Then, the area of the moving treatment tool is detected (step S5). The detected coordinates of the representative pixel of the attention area A of the left image L1 and the coordinates of the pixel of the point corresponding to the attention area A of the right image R1 are input to the parallax amount calculation unit 3, and the uncorrected images L1 and R1 The parallax amount S is calculated (Step S6). The calculated parallax amount S is stored in the storage unit 6 (Step S7).
  • the two left and right images L1 and R1 acquired by the stereo camera 110 are input to the aberration correction unit 4 and are respectively subjected to aberration correction based on the aberration correction data read from the storage unit 6 (step). S8).
  • the two left and right images L2 and R2 that have been subjected to the aberration correction are input to the parallax correction unit 5 and based on the parallax S of the uncorrected images L1 and R1 stored in the storage unit 6, the parallax S '. Is corrected and output (step S9).
  • the aberration correction is performed by the aberration corrector 4 so that the optical distortion included in the images L1 and R1 is removed.
  • the optical distortion generated in the vertical direction and the horizontal direction due to the pincushion type distortion is corrected as shown in FIG. 4, and the left and right images L1 and R1 without optical distortion are corrected. Is obtained.
  • the parallax amounts S and S ′ may fluctuate before and after the aberration correction, and the parallax amount S ′ after the aberration correction may be larger.
  • the observation using the images L2 and R2 after the aberration correction places a burden on the observer, and has a disadvantage that stereoscopic vision becomes difficult and eyes become tired. Therefore, in the present embodiment, after the aberration is removed by the aberration correction, the right image R1 is shifted by the shift amount K in order to return only the parallax amount S ′ to the value before the aberration correction as shown in FIG. Let it. Accordingly, there is an advantage that the optical distortion in the vertical direction due to the distortion that has made stereoscopic vision difficult can be removed, the increase in the amount of aberration can be suppressed, and the burden on the observer can be reduced.
  • the parallax S ′ after the aberration correction is made to match the parallax S before the aberration correction.
  • the parallax amount S ′ after the aberration correction may be made closer to the parallax amount S before the aberration correction. This can also alleviate the difficulty of stereoscopic vision.
  • the image processing apparatus 1 includes an attention area position determination unit (not shown) as shown in FIG.
  • the region position determination unit determines whether or not the position of the attention region A detected in step S5 is located at the edge of the image (step S10), and only when it is determined that the region is the edge.
  • the process from step S6 may be performed, and if the process is not an edge portion, the process may end without performing the process from step S6.
  • the case where the right image R1 is shifted is illustrated as a method of correcting the parallax amount S, but the left image L1 may be shifted. Further, the magnification may be changed instead of the shift. Further, in the present embodiment, the input unit 120 is provided separately from the image processing apparatus 1, but instead, the aberration correction unit 4 of the image processing apparatus 1 includes the input unit 120. May be adopted.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

立体視の困難性を軽減しながら、光学歪みを補正するために、視差のある左右２枚の画像内において対応する注目領域を検出する注目領域検出部（２）と、検出された注目領域に基づいて画像間の視差量を算出する視差量算出部（３）と、画像に対して収差補正を行う収差補正部（４）と、収差補正された２枚の補正後画像間の視差量を、収差補正される前の２枚の補正前画像間の視差量に近づける補正を行う視差量補正部（５）とを備える画像処理装置（１）である。

Description

画像処理装置および画像処理方法
　本発明は、画像処理装置および画像処理方法に関するものである。
　ステレオカメラの光学歪み量を、座標位置に応じてテーブル化しておき、取得された画像を光学補正する画像処理装置が知られている（例えば、特許文献１参照。）。
特許第３２６１１１５号公報
　しかしながら、内視鏡により取得された画像のような、被写体に極めて近接して取得された画像の光学歪みをそのまま補正すると、視差が大きくなり過ぎてしまい、立体視が困難になるという不都合がある。
　本発明は、立体視の困難性を軽減しながら、光学歪みを補正することができる画像処理装置および画像処理方法を提供することを目的としている。
　本発明の一態様は、視差のある左右２枚の画像内において対応する注目領域を検出する注目領域検出部と、検出された前記注目領域に基づいて前記画像間の視差量を算出する視差量算出部と、前記画像に対して収差補正を行う収差補正部と、収差補正された２枚の補正後画像間の視差量を、収差補正される前の２枚の補正前画像間の視差量に近づける補正を行う視差量補正部とを備える画像処理装置である。
　本態様によれば、ステレオカメラ等により取得された２枚の画像が入力されてくると、注目領域検出部により画像内において対応する注目領域が検出され、視差量算出部において画像間の視差量が算出される。次いで、２枚の画像に対して収差補正部により収差補正が行われた後に、視差量補正部により収差補正された２枚の補正後画像間の視差量が補正される。
　すなわち、取得された２枚の画像は、これらの画像を取得した際の光学系による収差により歪んでいる。光学歪みの方向および量は、画像における各画素位置に応じて異なるため、例えば、画像の辺縁に配置されている注目領域は収差により縦方向および横方向に歪んでいる。収差補正を行うことにより、縦方向および横方向の光学歪みが除去されるが、視差量が大きくなる方向に補正される場合があり、この場合には立体視が困難になる。本態様によれば、視差量補正部により、収差補正後の補正後画像の視差量を収差補正前の補正前画像の視差量に近づける補正が行われるので、収差補正により縦方向の光学歪みを除去し、かつ、視差量の増大を軽減した立体視容易な画像を得ることができる。
　上記態様においては、前記視差量補正部が、前記補正後画像間の視差量を、前記補正前画像間の視差量に一致させてもよい。
　この構成により、収差補正により縦方向の光学歪みが除去されかつ視差量が適正に補正された立体視容易な画像を取得することができる。
　また、上記態様においては、前記注目領域が前記画像の辺縁部に位置するか否かを判定する注目領域位置判定部を備え、前記視差量補正部は、前記注目領域が前記画像の前記辺縁部に位置すると判定された場合にのみ、視差量を補正してもよい。
　この構成により、収差による光学歪みは、画像の中央部において小さく、辺縁部において大きいので、注目領域位置判定部により、注目領域が画像の辺縁部に位置すると判定された場合に視差量を補正し、画像の中央部に位置する場合には視差量の補正を行わないことで、演算処理量を低減することができる。
　また、上記態様においては、前記注目領域検出部は、前記画像内の画素値に基づいて前記注目領域を検出してもよい。
　この構成により、例えば、体内において処置具により処置を行っている場合には、画素値により組織と処置具とを容易に区別することができ、処置具が存在する領域を注目領域とすることができる。
　また、上記態様においては、前記注目領域検出部は、前記画像内の画素値の変動に基づいて前記注目領域を検出してもよい。
　この構成により、例えば、体内において処置具により処置を行っている場合には、画素値の変動により、頻繁に動作している処置具を組織から容易に区別することができ、処置具が存在する領域を注目領域とすることができる。
　また、上記態様においては、前記注目領域検出部は、前記画像内の動きの変動に基づいて前記注目領域を検出してもよい。
　この構成により、例えば、体内において処置具により処置を行っている場合には、動きベクトルを算出することにより動きを検出して、画像内の動きの変動により、頻繁に動作している処置具を組織から容易に区別することができ、処置具が存在する領域を注目領域とすることができる。
　また、本発明の他の態様は、視差のある左右２枚の画像内において対応する注目領域を検出し、検出された前記注目領域に基づいて前記画像間の視差量を算出し、前記画像に対して収差補正を行い、収差補正された２枚の補正後画像間の視差量を、収差補正される前の２枚の補正前画像間の視差量に近づける補正を行う画像処理方法である。
　本発明によれば、立体視の困難性を軽減しながら、光学歪みを補正することができるという効果を奏する。
本発明の一実施形態に係る画像処理装置を示すブロック図である。 図１の画像処理装置の注目領域検出部により、ステレオカメラによって取得された左右画像において検出された注目領域の例を示す図である。 図２の収差補正前の注目領域間の視差量を説明する図である。 図１の画像処理装置の収差補正部により補正された後の注目領域の例を示す図である。 図４の収差補正後の注目領域間の視差量を説明する図である。 本発明の一実施形態に係る画像処理方法を説明するフローチャートである。 図６の収差補正ステップによる左右画像の視差量の変化を説明する図である。 図６の視差量補正ステップによる視差量の補正を説明する図である。 図８の視差量の補正の一例として右画像のシフトを説明する図である。 図６の画像処理方法の変形例を示すフローチャートである。
　本発明の一実施形態に係る画像処理装置１および画像処理方法について、図面を参照して以下に説明する。
　本実施形態に係る画像処理装置１は、図１に示されるように、内視鏡１００に備えられている。内視鏡１００は、視差のある左右２枚の画像（図２参照）Ｌ１，Ｒ１を取得するステレオカメラ１１０と、ステレオカメラ１１０の情報を入力する入力部１２０と、取得された２枚の画像Ｌ１，Ｒ１を処理する画像処理装置１とを備えている。
　画像処理装置１は、入力されてきた２枚の画像Ｌ１，Ｒ１内に対応する注目領域（図２参照）Ａを検出する注目領域検出部２と、検出された注目領域Ａに基づいて画像Ｌ１，Ｒ１間の視差量Ｓを算出する視差量算出部３と、収差補正部４と、視差量補正部５と、記憶部６とを備えている。
　注目領域検出部２は、画像Ｌ１，Ｒ１内における注目すべき領域である注目領域Ａを検出する。
　注目領域Ａは、例えば、体内において処置具により処置を行っている領域であり、カラー画像である画像Ｌ１，Ｒ１の画素値および画素値の変化量に応じて検出する。全般的に赤色の組織に対し、銀色の処置具は画素値が相違し、組織と区別して検出することができる。具体的には、ＲＧＢの各画素の画素値の比率により画像Ｌ１，Ｒ１の色相や彩度を検出することにより処置具を検出する。
　また、処置具として区別される領域であっても、例えば、組織を押さえているだけの処置具である場合には、注目領域Ａとして検出せず、頻繁に動作して処置を行っている処置具については、画素値が頻繁に変動することに基づいて、注目領域Ａとして検出することができる。また、頻繁に動作して処置をおこなっている処置具の検出については、画素値の変動以外に動きベクトルを算出することにより動きを検出し、画像Ｌ１，Ｒ１内の動きの変動により検出してもよい。
　具体的には、頻繁に変動をしているかどうかを判断するには、直近の複数フレームとのＲ，Ｇ，Ｂ比率の変化といった一定時間内の画素値の変化や、直近の複数フレームで算出した動きベクトルを基に、一定時間内の動きベクトルの変化度合いを算出することにより判断することができる。
　視差量算出部３は、注目領域検出部２により左右２枚の画像Ｌ１，Ｒ１においてそれぞれ検出された注目領域Ａについてパターンマッチングを行い、対応点の視差量Ｓを算出する。視差量Ｓは、対応点の座標を求め、差分を算出することにより求めることができる。すなわち、図２に示されるように、左画像（補正前画像）Ｌ１の注目領域Ａにおける代表画素の座標を（ＸＬ，ＹＬ）、右画像（補正前画像）Ｒ１の注目領域Ａにおける対応点の座標を（ＸＲ，ＹＲ）とすると、図３に示されるように、視差量Ｓは、Ｓ＝｜ＸＬ－ＸＲ｜となる。算出された視差量Ｓは記憶部６に記憶される。
　収差補正部４は、接続されるステレオカメラ１１０の情報を入力する入力部７が接続されている。記憶部６には、予め取得されている光学系の収差補正データとステレオカメラ１１０の機種情報とが対応づけて記憶されている。
　入力部１２０から、接続されるステレオカメラ１１０の機種情報が入力されると、入力された機種情報に対応づけて記憶されている収差補正データが記憶部６から読み出され、読み出された収差補正データに基づいて、画像処理装置１に入力されてきた２枚の画像Ｌ１，Ｒ１に対して収差補正が行われる。これにより、画像Ｌ１，Ｒ１に含まれている収差に基づく光学歪みを除去することができる。図４に示されるように、収差補正後の左画像（補正後画像）Ｌ２の代表画素の座標を（ＸＬ′，ＹＬ′）、右画像（補正後画像）Ｒ２の対応点の画素の座標を（ＸＲ′，ＹＲ′）とする。
　視差量補正部５は、補正後画像Ｌ２，Ｒ２の視差量Ｓ′を記憶部６に記憶されている補正前画像Ｌ１，Ｒ１の視差量Ｓに一致させる補正を行う。
　具体的には、図５に示されるように、収差補正後の左右画像Ｌ２，Ｒ２における注目領域Ｂ間の視差量Ｓ′＝｜ＸＬ′－ＸＲ′｜を算出し、これを補正前画像Ｌ１，Ｒ１の視差量Ｓに一致させるために、補正後の右画像Ｒ２を、左右方向に、下式に示されるシフト量Ｋだけシフトさせる。
　Ｋ＝Ｓ′－Ｓ
　このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について、以下に説明する。
　本実施形態に係る画像処理方法は、図６に示されるように、まず、画像処理装置１にステレオカメラ１１０を接続する（ステップＳ１）。そして、画像処理装置１の収差補正部４に入力部１２０を接続する。これにより、内視鏡１００が構成される。次いで、入力部１２０からステレオカメラ１１０の機種情報を入力する（ステップＳ２）。これにより、記憶部６から収差補正データが読み出される（ステップＳ３）。
　この状態で、ステレオカメラ１１０により取得された２枚の左右画像Ｌ１，Ｒ１が入力される（ステップＳ４）と、注目領域検出部２により、２枚の画像Ｌ１，Ｒ１の対応する注目領域Ａとして、動いている処置具の領域が検出される（ステップＳ５）。検出された左画像Ｌ１の注目領域Ａの代表画素の座標と、右画像Ｒ１の注目領域Ａに対応点の画素の座標とが視差量算出部３に入力されて、補正前画像Ｌ１，Ｒ１の視差量Ｓが算出される（ステップＳ６）。算出された視差量Ｓは記憶部６に記憶される（ステップＳ７）。
　また、ステレオカメラ１１０により取得された２枚の左右画像Ｌ１，Ｒ１は、収差補正部４に入力され、記憶部６から読み出されていた収差補正データに基づいてそれぞれ収差補正が行われる（ステップＳ８）。収差補正が施された２枚の左右画像Ｌ２，Ｒ２は視差量補正部５に入力され、記憶部６に記憶されていた補正前画像Ｌ１，Ｒ１の視差量Ｓに基づいて、視差量Ｓ′が補正されて出力される（ステップＳ９）。
　すなわち、本実施形態に係る画像処理装置１および画像処理方法によれば、収差補正部４により収差補正が行われることにより画像Ｌ１，Ｒ１に含まれていた光学歪みが除去される。これにより、例えば、図２に示されるように、糸巻き型の歪曲収差によって縦方向および横方向に発生した光学歪みが、図４に示されるように補正されて光学歪みのない左右画像Ｌ１，Ｒ１が取得される。
　この場合に、図７に示されるように、収差補正の前後において、視差量Ｓ，Ｓ′が変動し、収差補正後の視差量Ｓ′の方が大きくなる場合がある。このような場合には、収差補正後の画像Ｌ２，Ｒ２による観察は、観察者に負担がかかり、立体視が困難になったり、目が疲れたりする不都合がある。そこで、本実施形態においては、収差補正によって収差を除去した後に、図８に示されるように、視差量Ｓ′のみを収差補正前の値に戻すために、右画像Ｒ１をシフト量Ｋだけシフトさせる。これにより、立体視を困難にしていた歪曲収差による縦方向の光学歪みを除去し、かつ、収差量の増大を抑えて、観察者に掛かる負担を軽減することができるという利点がある。
　この場合において、図９に実線で示されるように、取得された右画像Ｒ１の内の一部を表示画像として切り出すことにしておけば、図９に破線で示されるように、表示画像として切り出す領域をシフト量Ｋだけシフトさせるだけで、容易に右画像Ｒ１をシフトさせることができる。
　なお、本実施形態に係る画像処理装置１および画像処理方法によれば、収差量補正において、収差補正後の視差量Ｓ′を収差補正前の視差量Ｓに一致させることとしたが、完全に一致させることに代えて、収差補正後の視差量Ｓ′を収差補正前の視差量Ｓに近づけることにしてもよい。これによっても、立体視の困難性を緩和することができる。
　また、収差補正により視差量Ｓ′が増大する不都合は、主として画像の辺縁部において発生するため、図１０に示されるように、画像処理装置１が図示しない注目領域位置判定部を備え、注目領域位置判定部により、ステップＳ５において検出された注目領域Ａの位置が画像の辺縁部に位置しているか否かを判定し（ステップＳ１０）、辺縁部であると判定された場合にのみステップＳ６からの工程を実行し、辺縁部ではない場合には、ステップＳ６からの工程を行うことなく終了してもよい。
　また、本実施形態においては、視差量Ｓの補正方法として右画像Ｒ１をシフトする場合を例示したが、左画像Ｌ１をシフトしてもよい。また、シフトに代えて倍率を変化させてもよい。
　また、本実施形態においては、入力部１２０が画像処理装置１とは別個に設けられたものを例示したが、これに代えて、画像処理装置１の収差補正部４が入力部１２０を備えるものを採用してもよい。
　１　画像処理装置
　２　注目領域検出部
　３　視差量算出部
　４　収差補正部
　５　視差量補正部
　Ａ，Ｂ　注目領域
　Ｓ，Ｓ′　視差量
　Ｌ１，Ｌ２　左画像（画像、補正前画像、補正後画像）
　Ｒ１，Ｒ２　右画像（画像、補正前画像、補正後画像）

Claims (7)

  1. 　視差のある左右２枚の画像内において対応する注目領域を検出する注目領域検出部と、
    　検出された前記注目領域に基づいて前記画像間の視差量を算出する視差量算出部と、
    　前記画像に対して収差補正を行う収差補正部と、
    　収差補正された２枚の補正後画像間の視差量を、収差補正される前の２枚の補正前画像間の視差量に近づける補正を行う視差量補正部とを備える画像処理装置。
  2. 　前記視差量補正部が、前記補正後画像間の視差量を、前記補正前画像間の視差量に一致させる請求項１に記載の画像処理装置。
  3. 　前記注目領域が前記画像の辺縁部に位置するか否かを判定する注目領域位置判定部を備え、
    　前記視差量補正部は、前記注目領域が前記画像の前記辺縁部に位置すると判定された場合にのみ、視差量を補正する請求項１に記載の画像処理装置。
  4. 　前記注目領域検出部は、前記画像内の画素値に基づいて前記注目領域を検出する請求項１に記載の画像処理装置。
  5. 　前記注目領域検出部は、前記画像内の画素値の変動に基づいて前記注目領域を検出する請求項１に記載の画像処理装置。
  6. 　前記注目領域検出部は、前記画像内の動きの変動に基づいて前記注目領域を検出する請求項１に記載の画像処理装置。
  7. 　視差のある左右２枚の画像内において対応する注目領域を検出し、
    　検出された前記注目領域に基づいて前記画像間の視差量を算出し、
    　前記画像に対して収差補正を行い、
    　収差補正された２枚の補正後画像間の視差量を、収差補正される前の２枚の補正前画像間の視差量に近づける補正を行う画像処理方法。
PCT/JP2018/028535 2018-07-31 2018-07-31 画像処理装置および画像処理方法 WO2020026321A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028535 WO2020026321A1 (ja) 2018-07-31 2018-07-31 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028535 WO2020026321A1 (ja) 2018-07-31 2018-07-31 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2020026321A1 true WO2020026321A1 (ja) 2020-02-06

Family

ID=69231511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028535 WO2020026321A1 (ja) 2018-07-31 2018-07-31 画像処理装置および画像処理方法

Country Status (1)

Country Link
WO (1) WO2020026321A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JP2014053782A (ja) * 2012-09-07 2014-03-20 Sharp Corp 立体画像データ処理装置、および、立体画像データ処理方法
JP2015226170A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 立体画像表示のための信号処理装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JP2014053782A (ja) * 2012-09-07 2014-03-20 Sharp Corp 立体画像データ処理装置、および、立体画像データ処理方法
JP2015226170A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 立体画像表示のための信号処理装置および方法

Similar Documents

Publication Publication Date Title
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
US9892493B2 (en) Method, apparatus and system for performing geometric calibration for surround view camera solution
US8000559B2 (en) Method of correcting image distortion and apparatus for processing image using the method
US8442313B2 (en) Image position recognition apparatus, image position recognition method, computer program product, and apparatus for setting correction data for an image display apparatus
US8208008B2 (en) Apparatus, method, and program for displaying stereoscopic images
EP2549762A1 (en) Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
CN102124749B (zh) 立体图像显示装置
EP2340649B1 (en) Three-dimensional display device and method as well as program
JP2010278878A (ja) 立体画像表示装置及びその表示画像切替方法
US9313411B2 (en) Camera, distortion correction device and distortion correction method
JP2012138787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20140108078A (ko) 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치
Jung et al. Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort
US8810693B2 (en) Image processing apparatus and method thereof
US9113145B2 (en) Contrast matching for stereo image
JP2012019399A (ja) 立体視映像補正装置と立体視映像補正方法と立体視映像補正システム
CN110381305B (zh) 裸眼3d的去串扰方法、系统、存储介质及电子设备
US20110084966A1 (en) Method for forming three-dimension images and related display module
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
JP4867709B2 (ja) 表示歪み測定装置及び表示歪み測定方法
CN110782400A (zh) 一种自适应的光照均匀实现方法和装置
JP7081265B2 (ja) 画像処理装置
US20110074775A1 (en) Image signal processing device and image signal processing method
JP2019165315A (ja) 画像信号処理装置、画像処理回路
JP2000278710A (ja) 両眼立体視画像評価装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18928449

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18928449

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP