JP6762779B2 - Image processing equipment, imaging equipment, image processing methods, and programs - Google Patents
Image processing equipment, imaging equipment, image processing methods, and programs Download PDFInfo
- Publication number
- JP6762779B2 JP6762779B2 JP2016127860A JP2016127860A JP6762779B2 JP 6762779 B2 JP6762779 B2 JP 6762779B2 JP 2016127860 A JP2016127860 A JP 2016127860A JP 2016127860 A JP2016127860 A JP 2016127860A JP 6762779 B2 JP6762779 B2 JP 6762779B2
- Authority
- JP
- Japan
- Prior art keywords
- line segment
- image
- vanishing point
- detecting
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing device, an imaging device, an image processing method, and a program.
従来より、画像の奥行き情報の推定や遠景・近景などのシーンの推定に適用可能な消失点の検出を行う技術が知られている。消失点とは、例えば遠近法や透視図法などで用いられる、平行な直線群が集まる無限遠点のことである。消失点を検出する技術として、画像から複数の線分を検出し、線分の傾きや交点など種々の特徴量を用いて消失点の座標を算出する技術がある。 Conventionally, there have been known techniques for detecting vanishing points that can be applied to the estimation of depth information of images and the estimation of scenes such as distant and near views. The vanishing point is an infinity point where parallel straight lines are gathered, which is used in perspective and perspective projection, for example. As a technique for detecting a vanishing point, there is a technique for detecting a plurality of line segments from an image and calculating the coordinates of the vanishing point using various feature quantities such as the inclination and intersection of the line segments.
また、特許文献１では、画像から検出した複数の線分のうち、画像の上辺側及び下辺側の領域に存在するものや水平方向に近いものなど、消失点の検出に不要なノイズ的線分を排除する技術が開示されている。 Further, in Patent Document 1, among a plurality of line segments detected from an image, noise-like line segments unnecessary for detecting a vanishing point, such as those existing in the upper and lower side regions of an image and those near the horizontal direction. The technology to eliminate the above is disclosed.
特許文献１に開示されている構成では、奥行き方向に伸びていない不要な線分を効果的に排除できず、消失点の座標を精度良く算出できない可能性がある。 In the configuration disclosed in Patent Document 1, unnecessary line segments that do not extend in the depth direction cannot be effectively excluded, and the coordinates of the vanishing point may not be calculated accurately.
本発明はこのような状況に鑑みてなされたものであり、消失点の検出精度を向上させる技術を提供することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for improving the detection accuracy of a vanishing point.
上記課題を解決するために、本発明は、画像から線分を検出する線分検出手段と、前記線分検出手段により検出された線分から、消失点検出用の線分を選択する選択手段と、前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出手段と、を備え、前記選択手段は、前記線分検出手段により検出された各線分について、前記線分を含む部分領域のエッジ成分の統計で決まる画像複雑度が基準より複雑でない前記線分を前記消失点検出用の線分として選択することを特徴とする画像処理装置を提供する。 In order to solve the above problems, the present invention comprises a line segment detecting means for detecting a line segment from an image and a selection means for selecting a line segment for detecting a vanishing point from the line segments detected by the line segment detecting means. A vanishing point detecting means for detecting the vanishing point of the image based on the line segment for detecting the vanishing point is provided, and the selection means is the line segment for each line segment detected by the line segment detecting means. to provide an image processing apparatus characterized by image complexity determined by the statistics of the edge components in the partial area to select a complex at an unsupported prior Symbol line segment from the reference as a line segment for the vanishing point detecting including.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 In addition, other features of the present invention will be further clarified by the accompanying drawings and the description in the embodiment for carrying out the following invention.
本発明によれば、消失点の検出精度を向上させることが可能となる。 According to the present invention, it is possible to improve the detection accuracy of the vanishing point.
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The technical scope of the present invention is determined by the scope of claims, and is not limited by the following individual embodiments. Also, not all combinations of features described in the embodiments are essential to the present invention.
［第１の実施形態］
本実施形態では、画像における各種の特徴量を用いて、消失点の有無の判定及び座標の算出を行う技術について説明する。なお本実施形態では、最も効果が見込めるシーンの１つである遠景撮影を想定して説明を行う。しかしながら、本実施形態で説明する技術は、遠景撮影以外のシーンにおいても適用可能である。また、以下では、画像処理装置の一例として撮像装置について説明するが、本実施形態の画像処理装置は撮像装置に限定されず、例えばパーソナルコンピュータ（ＰＣ）などであってもよい。
[First Embodiment]
In this embodiment, a technique for determining the presence or absence of a vanishing point and calculating coordinates will be described using various feature quantities in the image. In the present embodiment, the distant view shooting, which is one of the most effective scenes, will be described. However, the technique described in this embodiment can be applied to scenes other than distant view photography. Further, although the image processing device will be described below as an example of the image processing device, the image processing device of the present embodiment is not limited to the image processing device, and may be, for example, a personal computer (PC).
図１は、撮像装置１００の構成を示すブロック図である。図１において、光学系１０１は、ズームレンズやフォーカスレンズなどから構成されるレンズ群、絞り調整装置、及び、シャッター装置を備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率、ピント位置、及び光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換して電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子である。Ａ／Ｄ変換部１０３は、入力されたアナログ画像信号をデジタル画像データに変換する。 FIG. 1 is a block diagram showing the configuration of the image pickup apparatus 100. In FIG. 1, the optical system 101 includes a lens group composed of a zoom lens, a focus lens, and the like, an aperture adjusting device, and a shutter device. The optical system 101 adjusts the magnification, the focus position, and the amount of light of the subject image reaching the imaging unit 102. The imaging unit 102 is a photoelectric conversion element such as a CCD or a CMOS sensor that photoelectrically converts the luminous flux of a subject that has passed through the optical system 101 into an electric signal. The A / D conversion unit 103 converts the input analog image signal into digital image data.
画像処理部１０４は、入力された画像データに対して、現像処理などの各種画像処理を行う。また、画像処理部１０４は、後述する消失点検出処理も行う。図２は、画像処理部１０４において消失点検出処理に関係する構成を示すブロック図であり、図３（Ａ）は、図２に示す線分検出部２０３の構成を示すブロック図であり、図３（Ｂ）は、図２に示す線分選択部２０４の構成を示すブロック図である。図２、図３（Ａ）、及び図３（Ｂ）の各ブロックが担う処理の詳細については後述する。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像データのみでなく、記録部１０７から読み出した画像データに対しても同様の処理を行うことができる。 The image processing unit 104 performs various image processing such as development processing on the input image data. The image processing unit 104 also performs a vanishing point detection process described later. FIG. 2 is a block diagram showing a configuration related to vanishing point detection processing in the image processing unit 104, and FIG. 3 (A) is a block diagram showing a configuration of the line segment detection unit 203 shown in FIG. 3 (B) is a block diagram showing the configuration of the line segment selection unit 204 shown in FIG. Details of the processing carried out by each block of FIGS. 2, 3 (A), and 3 (B) will be described later. The image processing unit 104 can perform the same processing not only on the image data output from the A / D conversion unit 103 but also on the image data read from the recording unit 107.
制御部１０５は、撮影時の露光量を算出し、光学系１０１及び撮像部１０２を通じて、絞り、シャッタースピード、及びセンサのアナログゲインなどを制御する。表示部１０６は、画像処理部１０４から出力される画像データをＬＣＤなどの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。記録部１０７は、画像データを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや、光磁気ディスク等の回転記録媒体を収容したパッケージなどを用いた情報記録媒体などを含んでもよい。 The control unit 105 calculates the amount of exposure at the time of shooting, and controls the aperture, shutter speed, analog gain of the sensor, and the like through the optical system 101 and the image pickup unit 102. The display unit 106 functions as an electronic viewfinder (EVF) by sequentially displaying the image data output from the image processing unit 104 on a display member such as an LCD. The recording unit 107 has a function of recording image data, and may include, for example, a memory card equipped with a semiconductor memory, an information recording medium using a package containing a rotation recording medium such as a magneto-optical disk, or the like. Good.
図４Ａは、消失点検出処理のフローチャートである。Ｓ４０１で、検出用画像生成部２０１は、撮像画像から消失点検出用画像を生成する。図５は、撮像画像の一例を示す図である。消失点検出用画像とは、通常の撮像画像（記録用画像）よりもエッジ強調処理の度合いを強くすることによって生成される画像である。光学系１０１の特性により像高の大きい領域は画像中央に比べて解像力が低下し、エッジの振幅が小さくなる場合が多い。そこで、検出用画像生成部２０１は、例えば特開２００９−２８４１０１号公報で述べられているような像高の大きい領域に対してエッジ強調度合いを上げる処理において、記録用画像よりも更に強調度合いを上げるように制御する。これと同様に、低輝度領域は中・高輝度領域に比べて信号値そのものが小さいためエッジの振幅も小さくなる。そこで、検出用画像生成部２０１は、例えば特開平８−９１９９号公報で述べられているような輝度信号に応じたエッジ補正処理において、低輝度領域に対する強調度合いを記録用画像よりも上げるように制御する。これらの処理によって、上述したような領域においてエッジの振幅が小さくなるのを抑えることができる。 FIG. 4A is a flowchart of the vanishing point detection process. In S401, the detection image generation unit 201 generates a vanishing point detection image from the captured image. FIG. 5 is a diagram showing an example of a captured image. The vanishing point detection image is an image generated by increasing the degree of edge enhancement processing more than a normal captured image (recording image). Due to the characteristics of the optical system 101, the resolution of a region having a large image height is lower than that of the center of the image, and the amplitude of the edge is often smaller. Therefore, the detection image generation unit 201 further enhances the enhancement degree as compared with the recording image in the process of increasing the edge enhancement degree with respect to the region having a large image height as described in, for example, Japanese Patent Application Laid-Open No. 2009-284101. Control to raise. Similarly, in the low-luminance region, the signal value itself is smaller than in the medium- and high-luminance regions, so the edge amplitude is also smaller. Therefore, the detection image generation unit 201 increases the degree of emphasis for the low-luminance region to be higher than that of the recording image in the edge correction process according to the luminance signal as described in, for example, Japanese Patent Application Laid-Open No. 8-9199. Control. By these processes, it is possible to prevent the edge amplitude from becoming small in the above-mentioned region.
Ｓ４０２で、エッジ検出部２０２は、撮像画像５０１から生成された消失点検出用画像に対してソーベルフィルタを適用することにより、エッジ信号を検出する。具体的には、エッジ検出部２０２は、水平（Ｈ）方向及び垂直（Ｖ）方向に下記の式（１）に示すフィルタを適用した画像を加算することにより、図６（Ａ）のエッジ画像６０１のようなエッジ画像を生成する。
In S402, the edge detection unit 202 detects the edge signal by applying a sobel filter to the vanishing point detection image generated from the captured image 501. Specifically, the edge detection unit 202 adds an image to which the filter shown in the following equation (1) is applied in the horizontal (H) direction and the vertical (V) direction to obtain the edge image of FIG. 6 (A). Generates an edge image such as 601.
なお、エッジ信号の検出方法は、上述の方法に限定されない。例えば、エッジ検出部２０２は、消失点検出用画像と、消失点検出用画像にＬＰＦ（ローパスフィルタ）を適用した画像との差分を算出するなど、他の手法を用いてエッジ信号を検出してもよい。 The edge signal detection method is not limited to the above method. For example, the edge detection unit 202 detects the edge signal by using another method such as calculating the difference between the vanishing point detection image and the image to which the LPF (low-pass filter) is applied to the vanishing point detection image. May be good.
Ｓ４０３で、線分検出部２０３は、Ｓ４０２において生成したエッジ画像から線分を検出する。図３（Ａ）は、線分検出部２０３の構成を示すブロック図であり、図４Ｂは、図４ＡのＳ４０３における線分検出処理のフローチャートである。線分検出処理の詳細について、図３（Ａ）及び図４Ｂを参照して説明する。 In S403, the line segment detection unit 203 detects the line segment from the edge image generated in S402. FIG. 3A is a block diagram showing the configuration of the line segment detection unit 203, and FIG. 4B is a flowchart of the line segment detection process in S403 of FIG. 4A. The details of the line segment detection process will be described with reference to FIGS. 3 (A) and 4B.
Ｓ４１１で、Ｌエッジ線分検出部３０２は、エッジ画像６０１において大きさが閾値Th_eg_low未満（第３の閾値未満）であるエッジ信号、即ち低振幅エッジから構成される線分（Ｌエッジ線分）を検出する。具体的には、まず、Ｌエッジ線分検出部３０２は、エッジ画像６０１においてTh_eg_low以上の信号を０とすることで、低振幅のエッジ信号のみを抽出した画像（低振幅エッジ画像）を生成する。そして、Ｌエッジ線分検出部３０２は、低振幅エッジ画像に対してハフ変換を適用することによって閾値以上の長さを持つ線分を抽出する処理を行う。ハフ変換は任意の既知の技術を利用することにより実施可能であるが、一例を挙げると、OpenCV内で用いられているcvHoughLines2関数を利用することができる。図６（Ｂ）に、エッジ画像６０１に対応するＬエッジ線分検出結果を示す。図６（Ｂ）において、Ｌエッジ線分画像６０２は、エッジ画像６０１に対応するＬエッジ線分検出結果を示した画像であり、白色でハイライト表示した部分が線分として検出された領域である。これを見ると、直線状の被写体からだけではなく、細かいテクスチャを持つ被写体からも線分が検出されていることがわかる。これは、ハフ変換において一直線上に振幅の大きい点（エッジ）が局所的に多数存在していることから、これらが１つの線分として検出されるためである。 In S411, the L edge line segment detection unit 302 receives an edge signal whose magnitude is less than the threshold value Th_eg_low (less than the third threshold value) in the edge image 601, that is, a line segment composed of low-amplitude edges (L edge line segment). Is detected. Specifically, first, the L-edge line segment detection unit 302 generates an image (low-amplitude edge image) in which only the low-amplitude edge signal is extracted by setting the signal of Th_eg_low or higher in the edge image 601 to 0. .. Then, the L-edge line segment detection unit 302 performs a process of extracting a line segment having a length equal to or greater than the threshold value by applying a Hough transform to the low-amplitude edge image. The Hough transform can be performed by using any known technique, but for example, the cvHoughLines2 function used in OpenCV can be used. FIG. 6B shows the L edge line segment detection result corresponding to the edge image 601. In FIG. 6B, the L edge line segment image 602 is an image showing the L edge line segment detection result corresponding to the edge image 601. The white highlighted portion is the region where the line segment is detected. is there. Looking at this, it can be seen that the line segment is detected not only from a linear subject but also from a subject having a fine texture. This is because a large number of points (edges) having a large amplitude are locally present on a straight line in the Hough transform, and these are detected as one line segment.
Ｓ４１２で、Ｈエッジ線分検出部３０３は、エッジ画像６０１において大きさが閾値Th_eg_high以上（第４の閾値以上）であるエッジ信号、即ち高振幅エッジから構成される線分（Ｈエッジ線分）を検出する。具体的には、まず、Ｈエッジ線分検出部３０３は、エッジ画像６０１においてTh_eg_high未満の信号を０とすることで、高振幅のエッジ信号のみを抽出した画像（高振幅エッジ画像）を生成する。そして、Ｈエッジ線分検出部３０３は、高振幅エッジ画像に対してハフ変換を適用することによって閾値以上の長さを持つ線分を抽出する処理を行う。図６（Ｃ）に、エッジ画像６０１に対応するＨエッジ線分検出結果を示す。図６（Ｃ）において、Ｈエッジ線分画像６０３は、エッジ画像６０１に対応するＨエッジ線分検出結果を示した画像であり、白色でハイライト表示した部分が線分として検出された領域である。 In S412, the H-edge line segment detection unit 303 has an edge signal having a size equal to or greater than the threshold value Th_eg_high (greater than or equal to the fourth threshold value) in the edge image 601, that is, a line segment composed of high-amplitude edges (H-edge line segment). Is detected. Specifically, first, the H-edge line segment detection unit 303 generates an image (high-amplitude edge image) in which only the high-amplitude edge signal is extracted by setting the signal less than Th_eg_high to 0 in the edge image 601. .. Then, the H edge line segment detection unit 303 performs a process of extracting a line segment having a length equal to or greater than the threshold value by applying a Hough transform to the high-amplitude edge image. FIG. 6C shows the H edge line segment detection result corresponding to the edge image 601. In FIG. 6C, the H edge line segment image 603 is an image showing the H edge line segment detection result corresponding to the edge image 601. The white highlighted portion is the region where the line segment is detected. is there.
Ｓ４１３で、ＬＨ線分結合部３０４は、Ｓ４１１及びＳ４１２において検出された全ての線分に対してＳ４１４〜Ｓ４１８の処理が完了したか否かを判定する。全ての線分に対して処理が完了した場合、ＬＨ線分結合部３０４は線分検出処理を終了し、そうでない場合、ＬＨ線分結合部３０４は処理をＳ４１４へ進める。 In S413, the LH line segment coupling unit 304 determines whether or not the processing of S414 to S418 is completed for all the line segments detected in S411 and S412. When the processing is completed for all the line segments, the LH line segment coupling unit 304 ends the line segment detection processing, and if not, the LH line segment connecting unit 304 advances the processing to S414.
Ｓ４１４で、ＬＨ線分結合部３０４は、処理対象の線分（Ｓ４１２で検出したＨエッジ線分又はＬエッジ線分）の長さが閾値Th_eg_len以上（第５の閾値以上）であるか否かを判定する。線分の長さがTh_eg_len以上の場合、ＬＨ線分結合部３０４は処理をＳ４１８へ進め、そうでない場合、ＬＨ線分結合部３０４は処理をＳ４１５へ進める。ここで、線分の長さeg_lenは、線分の２つの端点の座標をそれぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）としたとき、以下の式（２）に従って算出される。
In S414, whether or not the length of the line segment to be processed (H edge line segment or L edge line segment detected in S412) of the LH line segment coupling unit 304 is equal to or greater than the threshold value Th_eg_len (fifth threshold value or more). To judge. If the length of the line segment is Th_eg_len or more, the LH line segment coupling unit 304 advances the processing to S418, and if not, the LH line segment coupling unit 304 advances the processing to S415. Here, the length eg_len of the line segment is calculated according to the following equation (2), where the coordinates of the two end points of the line segment are (x1, y1) and (x2, y2), respectively.
Ｓ４１５で、ＬＨ線分結合部３０４は、処理対象の線分に対して近傍の線分を結合する処理を行う。具体的には、ＬＨ線分結合部３０４は、処理対象の線分（例えばＨエッジ線分）と異なる振幅タイプの線分（例えばＬエッジ線分）の中から、処理対象の線分と近似する傾きを持ち、かつ、処理対象の線分の端点の近傍を通る線分を検出する。そのような線分が検出された場合、ＬＨ線分結合部３０４は、処理対象の線分に対して検出された線分を結合し、１つの線分（ＬＨエッジ線分）とする。なお、同じ振幅タイプの線分同士（Ｈエッジ線分同士又はＬエッジ線分同士）については、近傍に存在する場合にはＳ４１１又はＳ４１２において１つの線分として検出されているため、ここで改めて結合する必要はない。 In S415, the LH line segment coupling unit 304 performs a process of joining a line segment in the vicinity of the line segment to be processed. Specifically, the LH line segment coupling portion 304 approximates the line segment to be processed from among the line segments of an amplitude type (for example, L edge line segment) different from the line segment to be processed (for example, H edge line segment). Detects a line segment that has a slope to be processed and that passes near the end point of the line segment to be processed. When such a line segment is detected, the LH line segment connecting unit 304 combines the detected line segments with respect to the line segment to be processed into one line segment (LH edge line segment). Regarding line segments of the same amplitude type (H edge line segments or L edge line segments), if they exist in the vicinity, they are detected as one line segment in S411 or S412, so here again. There is no need to combine.
Ｓ４１６で、ＬＨ線分結合部３０４は、ＬＨエッジ線分（結合線分）の長さがTh_eg_len以上（第５の閾値以上）か否かを改めて判定し、Th_eg_len以上であれば処理をＳ４１８へ進め、そうでなければ処理をＳ４１７へ進める。 In S416, the LH line segment coupling unit 304 redetermines whether or not the length of the LH edge line segment (bonding line segment) is Th_eg_len or more (fifth threshold value or more), and if it is Th_eg_len or more, the process proceeds to S418. If not, the process proceeds to S417.
Ｓ４１７で、ＬＨ線分結合部３０４は、処理対象の線分を、消失点の検出に用いる線分（消失点検出用の線分）から除外する。これは、短い線分は、細かいテクスチャを持つ被写体などから検出された、消失点とは無関係の線分である可能性が高いからである。 In S417, the LH line segment coupling unit 304 excludes the line segment to be processed from the line segment used for detecting the vanishing point (the line segment for detecting the vanishing point). This is because a short line segment is likely to be a line segment that is detected from a subject having a fine texture and has nothing to do with the vanishing point.
他方、Ｓ４１８で、ＬＨ線分結合部３０４は、処理対象の線分（Ｓ４１３でＹｅｓの場合）又はＳ４１５で結合されたＬＨエッジ線分（Ｓ４１６でＹｅｓの場合）を、消失点検出用の線分として検出する。これは、長い線分は、消失点を構成する線分である可能性が高いからである。 On the other hand, in S418, the LH line segment coupling unit 304 uses the line segment to be processed (in the case of Yes in S413) or the LH edge line segment connected in S415 (in the case of Yes in S416) as a line for detecting the vanishing point. Detect as a minute. This is because a long line segment is likely to be a line segment that constitutes a vanishing point.
図６（Ｄ）に、線分検出結果を示す。図６（Ｄ）において、画像６０４は、エッジ画像６０１に対応する線分検出結果を示す画像である。図６（Ｂ）及び図６（Ｃ）を参照すれば理解できるように、図６（Ｄ）においては、Ｌエッジ線分６１１ＬとＨエッジ線分６１１Ｈとが結合されてＬＨエッジ線分６１１ＬＨとなっている。同様に、Ｌエッジ線分６１２ＬとＨエッジ線分６１２Ｈとが結合されてＬＨエッジ線分６１２ＬＨとなっている。 FIG. 6D shows the line segment detection result. In FIG. 6D, the image 604 is an image showing the line segment detection result corresponding to the edge image 601. As can be understood by referring to FIGS. 6 (B) and 6 (C), in FIG. 6 (D), the L edge line segment 611L and the H edge line segment 611H are combined to form the LH edge line segment 611LH. It has become. Similarly, the L edge line segment 612L and the H edge line segment 612H are combined to form an LH edge line segment 612LH.
上記のようにＬエッジ線分とＨエッジ線分とを別々に検出した上で結合すること（Ｓ４１１、Ｓ４１２、及びＳ４１５）の効果について説明する。例えば草むらのような細かいテクスチャを持つ被写体には、低振幅エッジと高振幅エッジとが不規則に多数存在する場合がある。このような被写体のエッジ画像に対して低振幅エッジと高振幅エッジとを区別せずにハフ変換を行った場合、消失点とは無関係な線分が検出される可能性が高い。他方、このような被写体のエッジ画像に対して低振幅エッジと高振幅エッジとを別々にハフ変換を行えば、エッジ成分が分断され、線分として検出される可能性が低減される。但し、Ｌエッジ線分とＨエッジ線分とを別々に検出する場合、奥行き方向に振幅が弱くなるようなエッジを持つ被写体については、消失点を構成する線分が短いＬエッジ線分とＨエッジ線分とに分断される可能性がある。この場合、Ｌエッジ線分及びＨエッジ線分それぞれ単独では長さがTh_eg_len未満となり、消失点検出用の線分として検出されない可能性がある。そこで、Ｓ４１５で、ＬＨ線分結合部３０４は、Ｌエッジ線分及びＨエッジ線分を結合して本来の長い線分を生成する。これにより、本来は長い線分が消失点検出用の線分から除外される可能性を低減することが可能となる。 The effect of separately detecting and combining the L-edge line segment and the H-edge line segment as described above (S411, S412, and S415) will be described. For example, a subject having a fine texture such as grass may have a large number of low-amplitude edges and high-amplitude edges irregularly. When the Hough transform is performed on the edge image of such a subject without distinguishing between the low-amplitude edge and the high-amplitude edge, there is a high possibility that a line segment irrelevant to the vanishing point will be detected. On the other hand, if the low-amplitude edge and the high-amplitude edge are separately subjected to the Hough transform on the edge image of such a subject, the edge component is divided and the possibility of being detected as a line segment is reduced. However, when the L edge line segment and the H edge line segment are detected separately, for a subject having an edge whose amplitude becomes weaker in the depth direction, the L edge line segment and the H edge line segment having a short vanishing point are formed. It may be separated from the edge line segment. In this case, the length of each of the L edge line segment and the H edge line segment alone is less than Th_eg_len, and there is a possibility that the line segment for detecting the vanishing point is not detected. Therefore, in S415, the LH line segment connecting portion 304 combines the L edge line segment and the H edge line segment to generate the original long line segment. As a result, it is possible to reduce the possibility that the originally long line segment is excluded from the line segment for detecting the vanishing point.
なお、Ｌエッジ線分及びＨエッジ線分を検出するための２つの閾値Th_eg_low及びTh_eg_highは、同じ値であってもよいし、異なる値であってもよい。Th_eg_low＞Th_eg_highの場合、同一の線分（又はその一部）がＬエッジ線分及びＨエッジ線分として重複して検出される可能性があるが、線分の検出漏れを減らすことができる。 The two threshold values Th_eg_low and Th_eg_high for detecting the L-edge line segment and the H-edge line segment may have the same value or different values. When Th_eg_low> Th_eg_high, the same line segment (or a part thereof) may be detected in duplicate as an L edge line segment and an H edge line segment, but the omission of detection of the line segment can be reduced.
図４Ａに戻り、Ｓ４０４で、線分選択部２０４は、Ｓ４０３において検出された線分の中から、消失点検出用の線分を選択する。図３（Ｂ）は、線分選択部２０４の構成を示すブロック図であり、図４Ｃは、図４ＡのＳ４０４における線分選択処理のフローチャートである。以下、線分選択処理の詳細について、図３（Ｂ）及び図４Ｃを参照して説明する。 Returning to FIG. 4A, in S404, the line segment selection unit 204 selects a line segment for detecting a vanishing point from the line segments detected in S403. FIG. 3B is a block diagram showing the configuration of the line segment selection unit 204, and FIG. 4C is a flowchart of the line segment selection process in S404 of FIG. 4A. Hereinafter, the details of the line segment selection process will be described with reference to FIGS. 3 (B) and 4C.
Ｓ４２１で、ブロック判定部３１１は、エッジ画像６０１を所定の大きさのブロック単位に分割する。図７（Ａ）の画像７０１は、エッジ画像６０１の分割方法を示す。この例では、エッジ画像６０１は、１１×７個の正方ブロック（分割領域）に分割されている。なお、分割の単位としては、これ以外の大きさであってもよい。 In S421, the block determination unit 311 divides the edge image 601 into block units of a predetermined size. Image 701 of FIG. 7A shows a method of dividing the edge image 601. In this example, the edge image 601 is divided into 11 × 7 square blocks (divided areas). The unit of division may be any other size.
Ｓ４２２で、ブロック判定部３１１は、Ｓ４２１で分割した全てのブロックに対してＳ４２３〜Ｓ４２７の処理が完了したか否かを判定する。全てのブロックに対して処理が完了した場合、ブロック判定部３１１はＳ４２８へ処理を進め、そうでない場合、ブロック判定部３１１はＳ４２３へ処理を進める。 In S422, the block determination unit 311 determines whether or not the processing of S423 to S427 is completed for all the blocks divided in S421. When the processing is completed for all the blocks, the block determination unit 311 proceeds to S428, and if not, the block determination unit 311 proceeds to S423.
Ｓ４２３で、ブロック判定部３１１は、エッジ画像６０１をブロック単位に積分する処理を行う。図７（Ｂ）の画像７０２は、エッジ画像６０１のブロック単位での積分結果を示したものであり、白色に近いブロックほどエッジ積分値が大きいことを表している。 In S423, the block determination unit 311 performs a process of integrating the edge image 601 in block units. Image 702 of FIG. 7B shows the integration result of the edge image 601 in block units, and shows that the closer the block is to white, the larger the edge integration value.
Ｓ４２４で、ブロック判定部３１１は、エッジ画像６０１からブロック単位に分散値を算出する処理を行う。図７（Ｃ）の画像７０３は、エッジ画像６０１のブロック単位の分散値を示したものであり、白色に近いブロックほどエッジ分散値が大きいことを表している。これを見ると、多くの被写体が存在するブロックには大小様々な振幅を持つエッジが含まれるため、分散値が大きくなっていることがわかる。 In S424, the block determination unit 311 performs a process of calculating the variance value in block units from the edge image 601. The image 703 of FIG. 7C shows the dispersion value of the edge image 601 in block units, and indicates that the closer the block is to white, the larger the edge dispersion value. Looking at this, it can be seen that the block in which many subjects exist contains edges having various amplitudes, so that the variance value is large.
Ｓ４２５で、ブロック判定部３１１は、処理対象ブロックの積分値及び分散値がそれぞれ閾値Ｔｈ１及びＴｈ２以上か否かを判定する。積分値≧Ｔｈ１かつ分散値≧Ｔｈ２の場合、ブロック判定部３１１は処理をＳ４２６へ進め、そうでない場合、ブロック判定部３１１は処理をＳ４２７へ進める。 In S425, the block determination unit 311 determines whether or not the integral value and the variance value of the processing target block are the threshold values Th1 and Th2 or more, respectively. If the integral value ≧ Th1 and the variance value ≧ Th2, the block determination unit 311 advances the process to S426, and if not, the block determination unit 311 advances the process to S427.
Ｓ４２６で、ブロック判定部３１１は、処理対象ブロックを線分無効ブロックとして設定する。他方、Ｓ４２７で、ブロック判定部３１１は、処理対象ブロックを線分有効ブロックとして設定する。図７（Ｄ）の画像７０４は、各ブロックが線分有効ブロックであるか線分無効ブロックであるかを示したものであり、白いブロックは線分有効ブロックを表し、黒いブロックは線分無効ブロックを表している。 In S426, the block determination unit 311 sets the processing target block as a line segment invalid block. On the other hand, in S427, the block determination unit 311 sets the processing target block as a line segment valid block. Image 704 of FIG. 7 (D) shows whether each block is a line segment valid block or a line segment invalid block, a white block represents a line segment valid block, and a black block represents a line segment invalid block. Represents a block.
Ｓ４２８で、線分排除部３１２は、Ｓ４０３において検出された全ての線分（図６（Ｄ）参照）のうち、消失点検出において不要となる線分を選択対象から除外する処理を行う。具体的には、線分排除部３１２は、各線分について、線分無効ブロックに含まれる部分の割合を算出する。そして、線分排除部３１２は、算出した割合が閾値（例えば５０％）より大きい線分を、選択対象から除外する。これは、大小様々な振幅のエッジを持つ被写体から検出された線分を画像複雑度が基準よりも複雑である、不要な線分として排除することが目的である。換言すると、線分有効ブロックに含まれる部分の割合が閾値以上（第２の閾値以上）である線分が、除外されずに残る。図８（Ａ）の画像８０１は、線分の除外結果を示したものであり、図６（Ｄ）と比較すると、細かいテクスチャを持つ領域などに含まれる線分が排除され、線分状の被写体に含まれる線分のみが残っていることがわかる。また、線分有効ブロックに含まれる部分の割合を考慮せずに線分の画像複雑度を判定してもよい。 In S428, the line segment exclusion unit 312 performs a process of excluding from the selection targets all the line segments detected in S403 (see FIG. 6D), which are unnecessary for the vanishing point detection. Specifically, the line segment exclusion unit 312 calculates the ratio of the portion included in the line segment invalid block for each line segment. Then, the line segment exclusion unit 312 excludes a line segment whose calculated ratio is larger than the threshold value (for example, 50%) from the selection target. The purpose of this is to eliminate line segments detected from subjects having edges of various magnitudes as unnecessary line segments whose image complexity is more complicated than the standard. In other words, a line segment in which the ratio of the portion included in the line segment effective block is equal to or greater than the threshold value (greater than or equal to the second threshold value) remains without being excluded. Image 801 of FIG. 8A shows the result of excluding the line segment, and as compared with FIG. 6D, the line segment included in the region having a fine texture is excluded, and the line segment is in the shape of a line segment. It can be seen that only the line segments included in the subject remain. Further, the image complexity of the line segment may be determined without considering the ratio of the portion included in the line segment effective block.
Ｓ４２９で、角度検出部３１３は、Ｓ４２８において除外されなかった各線分（図８（Ａ）参照）の角度（傾き）を検出する。 In S429, the angle detection unit 313 detects the angle (slope) of each line segment (see FIG. 8A) not excluded in S428.
Ｓ４３０で、線分統合部３１４は、２つ以上の線分を１つに統合する処理を行う。具体的には、線分統合部３１４は、Ｓ４２８において除外されなかった線分（図８（Ａ）参照）のうち、傾きと切片が共に近い値を持つもの同士（即ち、傾き及び位置が近似している線分同士）を１つの線分として統合する。これは、太い線状の被写体や斜めのエッジを持つ被写体から過剰に線分が検出されてしまうことを抑えることが目的である。特に、傾きが４５度の倍数でない斜め方向のエッジからは、複数の線分が検出されやすくなる。これは、画像における画素の座標は整数精度であるのに対し、線分を表す式における傾き及び切片は小数精度を有していることから、斜めに分布する点群から似たような傾き及び切片を持つ複数の線分が検出されるためである。そのため、線分統合部３１４は、２つの線分の傾きが４５度の倍数である場合、２つの線分の傾きが４５度の倍数でない場合よりも、２つの線分の位置が近似していると判断する基準を厳しくしてもよい。２本の線分の統合に際し、線分統合部３１４は、２本の線分のうち長さの大きい方を優先して選択し、もう一方は選択しない。また、２本の線分の長さが同じ場合には、線分統合部３１４は、エッジの振幅の大きい方、即ち線分に沿ってエッジ信号を積算した値が大きい方を優先して選択するものとする。なお、統合の方法はこれに限定されない。図８（Ｂ）の画像８０２は、統合後に残った線分（消失点検出用の線分として最終的に選択された線分）を示しており、図８（Ａ）と比較すると、二重線のように見えていた２つの線分が１つの線分になっていることがわかる。 In S430, the line segment integration unit 314 performs a process of integrating two or more line segments into one. Specifically, the line segment integration unit 314 has similar line segments (that is, slopes and positions) among the line segments not excluded in S428 (see FIG. 8 (A)) whose slopes and intercepts are close to each other. The line segments that are used) are integrated into one line segment. The purpose of this is to prevent excessive line segments from being detected from a subject having a thick linear object or a subject having an oblique edge. In particular, a plurality of line segments are likely to be detected from an edge in an oblique direction whose inclination is not a multiple of 45 degrees. This is because the coordinates of the pixels in the image are integer precision, while the slopes and intercepts in the formula representing the line segment have decimal precision, so the slopes and similar slopes from the diagonally distributed points are similar. This is because a plurality of line segments having intercepts are detected. Therefore, in the line segment integration unit 314, when the slopes of the two line segments are multiples of 45 degrees, the positions of the two line segments are closer to each other than when the slopes of the two line segments are not multiples of 45 degrees. The criteria for determining the existence may be strict. When integrating the two line segments, the line segment integrating unit 314 preferentially selects the longer of the two line segments, and does not select the other. When the lengths of the two line segments are the same, the line segment integrating unit 314 preferentially selects the one having the larger edge amplitude, that is, the one having the larger value obtained by integrating the edge signals along the line segments. It shall be. The method of integration is not limited to this. Image 802 of FIG. 8 (B) shows the line segment remaining after integration (the line segment finally selected as the line segment for detecting the vanishing point), which is double as compared with FIG. 8 (A). It can be seen that the two line segments that looked like lines are now one line segment.
なお、Ｓ４２２乃至Ｓ４２８の説明においては、線分が細かいテクスチャを持つ領域（即ち、画像複雑度が基準より複雑であることを示す、大きい値となる領域）に含まれるか否かの判断を、ブロック単位のエッジ成分の積分値及び分散値に基づいて行うものとした。しかしながら、これは一例に過ぎず、本実施形態は上記の説明に限定されない。一般化すると、線分排除部３１２は、処理対象の線分を含む部分領域における画像複雑度が閾値以下（第１の閾値以下）である場合に、この線分を選択し、そうでない場合に、この線分を除外する。ブロック単位で処理を行う場合には、例えば、線分排除部３１２は、処理対象の線分のうち画像複雑度が閾値以下（第１の閾値以下）であるブロックに含まれる部分の割合が閾値以上（第２の閾値以上）場合に、この線分を選択する。画像複雑度としては、エッジ成分の量の指標値（例えば、エッジ成分の積分値）、及び、エッジ成分のばらつきの指標値（例えば、エッジ成分の分散値）のうちの少なくとも一方を利用可能である。 In the description of S422 to S428, it is determined whether or not the line segment is included in the region having a fine texture (that is, the region having a large value indicating that the image complexity is more complicated than the reference). It was decided to perform based on the integrated value and the dispersion value of the edge component in block units. However, this is only an example, and the present embodiment is not limited to the above description. Generally speaking, the line segment exclusion unit 312 selects this line segment when the image complexity in the partial region including the line segment to be processed is below the threshold value (below the first threshold value), and when not, the line segment exclusion unit 312 selects this line segment. , Exclude this line segment. When processing is performed in block units, for example, in the line segment exclusion unit 312, the ratio of the portion of the line segment to be processed that is included in the block whose image complexity is equal to or less than the threshold value (below the first threshold value) is the threshold value. If it is equal to or greater than (greater than or equal to the second threshold value), this line segment is selected. As the image complexity, at least one of an index value of the amount of the edge component (for example, the integrated value of the edge component) and the index value of the variation of the edge component (for example, the variance value of the edge component) can be used. is there.
図４Ａに戻り、Ｓ４０５で、消失点検出部２０５は、Ｓ４０４で選択した線分を用いて消失点の座標を算出する。具体的な算出方法を図９に示す。図９において、４つの太線で描かれた線分は座標の算出に用いるために選択された４つの線分の一例をｘｙ座標空間で表したものである。また、これら４つの線分をｘ軸方向及びｙ軸方向に伸ばした直線を点線で示している。まず、消失点検出部２０５は、各直線の傾き及び切片に基づいて、２つの直線の対が交わる交点の座標を算出する。そして、消失点検出部２０５は、座標が算出された複数の交点の中で最も多くの直線が交わる（又は近傍を通る）交点を、最終的な消失点として選択する。図９においては、直線の交点が複数存在するので、最も多くの直線、即ち３つの直線が通る黒点で示した交点の座標が、消失点の座標として算出される。図１０に、図５の撮像画像５０１において選択された６つの線分に基づいて算出された消失点を示す。図１０において、斜線の円で示された点が消失点である。なお、Ｓ４０４で選択された線分の数が０又は１の場合、直線の交点が存在しないことになるため、消失点検出部２０５は、消失点なしと判定する。 Returning to FIG. 4A, in S405, the vanishing point detection unit 205 calculates the coordinates of the vanishing point using the line segment selected in S404. A specific calculation method is shown in FIG. In FIG. 9, the line segments drawn by the four thick lines represent an example of the four line segments selected for use in the calculation of the coordinates in the xy coordinate space. In addition, a straight line extending these four line segments in the x-axis direction and the y-axis direction is shown by a dotted line. First, the vanishing point detection unit 205 calculates the coordinates of the intersection where the pairs of the two straight lines intersect, based on the slope and intercept of each straight line. Then, the vanishing point detection unit 205 selects the intersection where the most straight lines intersect (or pass through the vicinity) among the plurality of intersections whose coordinates have been calculated as the final vanishing point. In FIG. 9, since there are a plurality of intersections of straight lines, the coordinates of the most straight lines, that is, the intersections indicated by the black points through which the three straight lines pass, are calculated as the coordinates of the vanishing point. FIG. 10 shows vanishing points calculated based on the six line segments selected in the captured image 501 of FIG. In FIG. 10, the point indicated by the diagonal circle is the vanishing point. When the number of line segments selected in S404 is 0 or 1, the intersection of straight lines does not exist, so the vanishing point detection unit 205 determines that there is no vanishing point.
Ｓ４０６で、消失点検出部２０５は、下記の式（３）に従い、Ｓ４０５で検出した消失点に対する信頼度VpConfを算出する。式（３）において、LineNumは、Ｓ４０４で選択した線分の本数を示し、IntersctNumは、検出した消失点の座標を通る直線の本数を示す。
In S406, the vanishing point detection unit 205 calculates the reliability VpConf for the vanishing point detected in S405 according to the following equation (3). In the equation (3), LineNum indicates the number of line segments selected in S404, and IntersctNum indicates the number of straight lines passing through the coordinates of the detected vanishing point.
式（３）から理解できるように、選択した線分の本数に対して消失点を通る直線の本数の割合が高いほど、信頼度VpConfは大きい値として決定される。 As can be understood from the equation (3), the higher the ratio of the number of straight lines passing through the vanishing point to the number of selected line segments, the larger the reliability VpConf is determined.
以上説明したように、第１の実施形態によれば、撮像装置１００は、画像から線分を検出し、検出した線分から消失点検出用の線分を選択する。その際に、撮像装置１００は、線分を含む部分領域における画像複雑度が閾値以下である場合に、この線分を消失点検出用の線分として選択する。これにより、消失点の検出精度を向上させることが可能となる。 As described above, according to the first embodiment, the image pickup apparatus 100 detects a line segment from the image and selects a line segment for detecting a vanishing point from the detected line segment. At that time, when the image complexity in the partial region including the line segment is equal to or less than the threshold value, the image pickup apparatus 100 selects this line segment as the line segment for detecting the vanishing point. This makes it possible to improve the detection accuracy of the vanishing point.
なお、本実施形態では、消失点検出用画像の生成において像高別及び輝度別にエッジ強調の度合いを変える構成について説明したが、これに限らず奥行き方向の距離など他の情報も参照して制御してもよい。例えば、特開２０１６−９０６２号公報で述べられているような１つの画素に複数の光電変換部を有する撮像光学系において、各々から撮像される像の位相差を元に距離情報を生成することができる。そして、エッジの振幅が小さくなりやすい遠距離領域ほどエッジ強調を強くすることができる。また、距離情報を取得する構成としては、複数のレンズ及び撮像素子を有する複眼カメラや、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラの構成などを採用することも可能である。 In the present embodiment, the configuration of changing the degree of edge enhancement according to the image height and the brightness in the generation of the vanishing point detection image has been described, but the control is not limited to this and is controlled by referring to other information such as the distance in the depth direction. You may. For example, in an imaging optical system having a plurality of photoelectric conversion units in one pixel as described in Japanese Patent Application Laid-Open No. 2016-9062, distance information is generated based on the phase difference of images imaged from each. Can be done. Then, the edge enhancement can be strengthened in a long distance region where the amplitude of the edge tends to be small. Further, as a configuration for acquiring distance information, it is also possible to adopt a configuration of a compound eye camera having a plurality of lenses and an image sensor, a configuration of a TOF (Time Of Flight) camera, and the like.
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００…撮像装置、１０１…光学系、１０２、撮像部、１０３…Ａ／Ｄ変換部、１０４…画像処理部、１０５…制御部、１０６…表示部、１０７…記録部 100 ... Imaging device, 101 ... Optical system, 102, Imaging unit, 103 ... A / D conversion unit, 104 ... Image processing unit, 105 ... Control unit, 106 ... Display unit, 107 ... Recording unit
Claims (17)
前記線分検出手段により検出された線分から、消失点検出用の線分を選択する選択手段と、
前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出手段と、
を備え、
前記選択手段は、前記線分検出手段により検出された各線分について、前記線分を含む部分領域のエッジ成分の統計で決まる画像複雑度が基準より複雑でない前記線分を前記消失点検出用の線分として選択する
ことを特徴とする画像処理装置。 A line segment detecting means for detecting a line segment from an image,
A selection means for selecting a line segment for detecting a vanishing point from the line segments detected by the line segment detecting means, and
A vanishing point detecting means for detecting a vanishing point of the image based on the line segment for detecting the vanishing point,
With
Said selection means, each line segment detected by the line detection unit, the erasure inspect the complex at an unsupported prior Symbol line from the image complexity criteria determined by the statistics of the edge components in the partial region including the line segment An image processing device characterized in that it is selected as a line segment for output .
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the selection means calculates an image complexity for each of a plurality of divided regions relating to a partial region of the image.
前記画像の複数の分割領域それぞれについて画像複雑度が第１の閾値以下であるか否かを判定し、
前記線分検出手段により検出された各線分について、前記線分のうち画像複雑度が前記第１の閾値以下である分割領域に含まれる部分の割合が第２の閾値以上である場合に、前記線分を含む部分領域の画像複雑度が基準より複雑でないと判定する
ことを特徴とする請求項１に記載の画像処理装置。 The selection means
It is determined whether or not the image complexity is equal to or less than the first threshold value for each of the plurality of divided regions of the image.
For each line segment detected by the line segment detecting means, when the ratio of the portion of the line segment included in the divided region whose image complexity is equal to or less than the first threshold value is equal to or greater than the second threshold value. The image processing apparatus according to claim 1, wherein it is determined that the image complexity of the partial region including the line segment is not more complicated than the reference.
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 Any one of claims 1 to 3, wherein the selection means acquires at least one of an index value of the amount of the edge component and an index value of the variation of the edge component as the image complexity. The image processing apparatus according to the section.
前記エッジ成分のばらつきの指標値は、エッジ成分の分散値を含む
ことを特徴とする請求項４に記載の画像処理装置。 The index value of the amount of the edge component includes the integral value of the edge component.
The image processing apparatus according to claim 4, wherein the index value of the variation of the edge component includes the dispersion value of the edge component.
前記画像から、大きさが第３の閾値未満である第１のエッジ成分と、大きさが第４の閾値以上である第２のエッジ成分とを抽出し、
前記第１のエッジ成分に基づいて第１の線分を検出し、
前記第２のエッジ成分に基づいて第２の線分を検出し、
前記第１の線分及び前記第２の線分を、前記画像からの線分として検出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The line segment detecting means is
From the image, a first edge component having a size less than the third threshold value and a second edge component having a size greater than or equal to the fourth threshold value are extracted.
The first line segment is detected based on the first edge component,
A second line segment is detected based on the second edge component,
The image processing apparatus according to any one of claims 1 to 5, wherein the first line segment and the second line segment are detected as line segments from the image.
ことを特徴とする請求項６に記載の画像処理装置。 The line segment detecting means is characterized in that, of the first line segment and the second line segment, a line segment having a length equal to or larger than a fifth threshold value is detected as a line segment from the image. The image processing apparatus according to claim 6.
ことを特徴とする請求項７に記載の画像処理装置。 In the line segment detecting means, the inclinations of the first line segment and the second line segment are similar, and one of the first line segment and the second line segment is the other. When the length of the connecting line segment that passes near the end point of the line segment and the first line segment and the second line segment are connected is equal to or greater than the fifth threshold value, the connecting line segment The image processing apparatus according to claim 7, wherein is detected as a line segment from the image.
前記線分検出手段により検出された線分から、消失点検出用の線分を選択する選択手段と、
前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出手段と、
を備え、
前記選択手段は、
前記検出された線分のうちの第３の線分及び第４の線分の傾き及び位置が近似している場合、前記第３の線分及び前記第４の線分のうちの一方を選択せず、
前記第３の線分及び前記第４の線分の傾きが４５度の倍数である場合、前記第３の線分及び前記第４の線分の傾きが４５度の倍数でない場合よりも、前記第３の線分及び前記第４の線分の位置が近似していると判断する基準を厳しくする
ことを特徴とする画像処理装置。 A line segment detecting means for detecting a line segment from an image,
A selection means for selecting a line segment for detecting a vanishing point from the line segments detected by the line segment detecting means, and
A vanishing point detecting means for detecting a vanishing point of the image based on the line segment for detecting the vanishing point,
With
The selection means
If the slopes and positions of the third and fourth line segments of the detected line segments are similar, one of the third line segment and the fourth line segment is selected. Without
When the inclination of the third line segment and the fourth line segment is a multiple of 45 degrees, the inclination of the third line segment and the fourth line segment is not a multiple of 45 degrees. An image processing apparatus characterized in that the criteria for determining that the positions of the third line segment and the fourth line segment are close are strict .
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 9 , wherein the vanishing point detecting means detects an intersection of straight lines including a line segment for detecting the vanishing point as the vanishing point.
ことを特徴とする請求項１０に記載の画像処理装置。 The claim is further provided by a determination means for determining the reliability of the vanishing point based on the number of line segments for detecting the vanishing point constituting the vanishing point detected by the vanishing point detecting means. 10. The image processing apparatus according to 10 .
ことを特徴とする請求項１０又は１１に記載の画像処理装置。 If the intersection point of the straight line including the line segment for the vanishing point detecting presence of a plurality, the vanishing point detecting means, claim 10 and detects the intersection most straight line passes as the vanishing point or 11. The image processing apparatus according to 11 .
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 12 , wherein the line segment detecting means applies an edge enhancement process to the image before detecting the line segment from the image. ..
前記画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。 The image processing apparatus according to any one of claims 1 to 13 .
An imaging means for generating the image and
An imaging device characterized by comprising.
画像から線分を検出する線分検出工程と、
前記線分検出工程により検出された線分から、消失点検出用の線分を選択する選択工程と、
前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出工程と、
を備え、
前記選択工程では、前記線分検出工程により検出された各線分について、前記線分を含む部分領域のエッジ成分の統計で決まる画像複雑度が基準より複雑でない前記線分を前記消失点検出用の線分として選択する
ことを特徴とする画像処理方法。 An image processing method executed by an image processing device.
A line segment detection process that detects a line segment from an image,
A selection step of selecting a line segment for detecting a vanishing point from the line segments detected by the line segment detection step, and
A vanishing point detection step of detecting a vanishing point of the image based on the line segment for detecting the vanishing point,
With
Wherein in the selection step, for each line segment detected by the line detection process, the erasure inspect the complex at an unsupported prior Symbol line from the image complexity criteria determined by the statistics of the edge components in the partial region including the line segment An image processing method characterized in that it is selected as a line segment for use .
画像から線分を検出する線分検出工程と、
前記線分検出工程により検出された線分から、消失点検出用の線分を選択する選択工程と、
前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出工程と、
を備え、
前記選択工程では、
前記検出された線分のうちの第３の線分及び第４の線分の傾き及び位置が近似している場合、前記第３の線分及び前記第４の線分のうちの一方を選択せず、
前記第３の線分及び前記第４の線分の傾きが４５度の倍数である場合、前記第３の線分及び前記第４の線分の傾きが４５度の倍数でない場合よりも、前記第３の線分及び前記第４の線分の位置が近似していると判断する基準を厳しくする
ことを特徴とする画像処理方法。 An image processing method executed by an image processing device.
A line segment detection process that detects a line segment from an image,
A selection step of selecting a line segment for detecting a vanishing point from the line segments detected by the line segment detection step, and
A vanishing point detection step of detecting a vanishing point of the image based on the line segment for detecting the vanishing point,
With
In the selection step,
If the slopes and positions of the third and fourth line segments of the detected line segments are similar, one of the third line segment and the fourth line segment is selected. Without
When the inclination of the third line segment and the fourth line segment is a multiple of 45 degrees, the inclination of the third line segment and the fourth line segment is not a multiple of 45 degrees. An image processing method characterized in that the criteria for determining that the positions of the third line segment and the fourth line segment are similar are tightened .
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016127860A JP6762779B2 (en) | 2016-06-28 | 2016-06-28 | Image processing equipment, imaging equipment, image processing methods, and programs |
| US15/626,520 US10650526B2 (en) | 2016-06-28 | 2017-06-19 | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
| US16/260,028 US20190156489A1 (en) | 2016-06-28 | 2019-01-28 | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016127860A JP6762779B2 (en) | 2016-06-28 | 2016-06-28 | Image processing equipment, imaging equipment, image processing methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018005337A JP2018005337A (en) | 2018-01-11 |
| JP6762779B2 true JP6762779B2 (en) | 2020-09-30 |
Family
ID=60946291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016127860A Active JP6762779B2 (en) | 2016-06-28 | 2016-06-28 | Image processing equipment, imaging equipment, image processing methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6762779B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102389295B1 (en) * | 2020-06-17 | 2022-04-22 | 한국과학기술원 | Method and Apparatus for Instance Segmentation Based Object Size Estimation from Single Indoor Image |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11250256A (en) * | 1998-03-05 | 1999-09-17 | Nippon Telegr & Teleph Corp <Ntt> | Graphic recognizing/processing method, and record medium recorded with the program |
| JP2005275500A (en) * | 2004-03-23 | 2005-10-06 | Zenrin Co Ltd | Vanishing point decision method |
| JP5531643B2 (en) * | 2010-01-25 | 2014-06-25 | 株式会社Ｉｈｉ | Passage detection method, apparatus, and program |
| KR101224027B1 (en) * | 2011-06-22 | 2013-01-21 | (주)임베디드비젼 | Method for dectecting front vehicle using scene information of image |
| JP2015023540A (en) * | 2013-07-23 | 2015-02-02 | パナソニック株式会社 | Image processing apparatus and image processing method |
-
2016
- 2016-06-28 JP JP2016127860A patent/JP6762779B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018005337A (en) | 2018-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7003238B2 (en) | Image processing methods, devices, and devices | |
| JP6347675B2 (en) | Image processing apparatus, imaging apparatus, image processing method, imaging method, and program | |
| CN107409166B (en) | Automatic generation of panning shots | |
| JP6371553B2 (en) | Video display device and video display system | |
| US9865064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5766077B2 (en) | Image processing apparatus and image processing method for noise reduction | |
| JP5246078B2 (en) | Object location program and camera | |
| CN102227746A (en) | Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus | |
| JP7123736B2 (en) | Image processing device, image processing method, and program | |
| US11282176B2 (en) | Image refocusing | |
| US8558942B2 (en) | Focusing measurement device, focusing measurement method, and program | |
| US20140184853A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6986854B2 (en) | Image processing equipment, imaging equipment, image processing methods, and programs | |
| JP5504990B2 (en) | Imaging apparatus, image processing apparatus, and program | |
| JP6762779B2 (en) | Image processing equipment, imaging equipment, image processing methods, and programs | |
| JP2012142729A (en) | Camera | |
| JP6556033B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5493839B2 (en) | Imaging apparatus, image composition method, and program | |
| JP2017028606A (en) | Imaging apparatus | |
| JP2014153517A (en) | Image processing device, image processing method, program, and storage medium | |
| JP7458723B2 (en) | Image processing device, imaging device, control method, and program | |
| JP6833772B2 (en) | Image processing equipment, imaging equipment, image processing methods and programs | |
| JP7409604B2 (en) | Image processing device, imaging device, image processing method, program and recording medium | |
| JP7458769B2 (en) | Image processing device, imaging device, image processing method, program and recording medium | |
| JP6314281B1 (en) | Image processing method and foreground region acquisition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200626 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200909 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6762779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |