KR101731695B1 - The Method and apparatus for color distortion compensation of multiview image with maintaining the temporal coherence - Google Patents

The Method and apparatus for color distortion compensation of multiview image with maintaining the temporal coherence Download PDF

Info

Publication number
KR101731695B1
KR101731695B1 KR1020150023472A KR20150023472A KR101731695B1 KR 101731695 B1 KR101731695 B1 KR 101731695B1 KR 1020150023472 A KR1020150023472 A KR 1020150023472A KR 20150023472 A KR20150023472 A KR 20150023472A KR 101731695 B1 KR101731695 B1 KR 101731695B1
Authority
KR
South Korea
Prior art keywords
color distortion
image
viewpoint
color
feature points
Prior art date
Application number
KR1020150023472A
Other languages
Korean (ko)
Other versions
KR20160100686A (en
Inventor
노준용
김범기
이정진
정승화
김계현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150023472A priority Critical patent/KR101731695B1/en
Publication of KR20160100686A publication Critical patent/KR20160100686A/en
Application granted granted Critical
Publication of KR101731695B1 publication Critical patent/KR101731695B1/en

Links

Images

Classifications

    • H04N13/0037—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H04N13/0022—
    • H04N13/0422—
    • H04N13/0425—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명에서는 다시점 이미지의 색상 왜곡을 최소한의 작업 부하로 보다 정확하게 보정할 수 있도록 하는 다시점 이미지의 색상 왜곡 보정 방법 및 장치에 관한 것으로,
상기 방법은 다수의 시점별 이미지 중 하나를 참조 시점 이미지로 선정하고, 상기 참조 시점 이미지내 중요 영역을 설정하는 단계; 상기 중요 영역의 특징점을 추출한 후, 상기 중요 영역의 특징점에 대응되는 특징점을 나머지 시점별 이미지 각각에 대해 트랙킹하는 단계; 상기 중요 영역의 특징점과 상기 트랙킹된 특징점을 시점별로 대조하여, 시점별 색상 왜곡 정보를 획득하는 단계; 상기 시점별 색상 왜곡 정보 각각을 로우 패스 필터링하여 상기 시점별 색상 왜곡 정보에 대한 시간적 일관성을 유지시키는 단계; 및 상기 시간적 일관성이 유지된 시점별 색상 왜곡 정보를 기반으로 상기 다수의 시점별 이미지들의 색상 왜곡을 보정하는 단계를 포함할 수 있다. The present invention relates to a method and an apparatus for correcting color distortion of a multi-viewpoint image, which can more accurately correct color distortion of a multi-viewpoint image with a minimum workload,
The method includes: selecting one of a plurality of viewpoint images as a reference viewpoint image and setting an important area in the reference pointview image; Tracking feature points corresponding to the feature points of the important region after the feature points of the important region are extracted; Comparing the feature points of the important region with the tracked feature points to obtain color distortion information for each viewpoint; Performing low pass filtering on each of the color distortion information for each viewpoint to maintain temporal consistency of the color distortion information for each viewpoint; And correcting the color distortion of the plurality of viewpoint images based on the color distortion information by the point in time in which the temporal consistency is maintained.

Description

시간적 일관성을 유지하는 다시점 이미지의 색상 왜곡 보정 방법 및 장치{The Method and apparatus for color distortion compensation of multiview image with maintaining the temporal coherence}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for correcting color distortion of a multi-view image,

본 발명은 다시점 이미지의 영상 처리 기술에 관한 것으로, 다시점 이미지의 색상 왜곡을 최소한의 작업 부하로 보다 정확하게 보정할 수 있도록 하는 다시점 이미지의 색상 왜곡 보정 방법 및 장치에 관한 것이다. The present invention relates to an image processing technique of a multi-point image, and more particularly, to a method and apparatus for correcting color distortion of a multi-view image, which can more accurately correct color distortion of a multi-point image with a minimum workload.

기존 양안식 영상보다 많은 시점에서 입체감과 몰입감을 제공하는 다시점 영상에 대한 관심이 커지고 있다. 다시점 영상은 자유롭게 시점을 변경하며 영상을 시청할 수 있는 자유 시점 텔레비전(free viewpoint television)이나 게임, 시뮬레이션 등 다양한 분야에 적용될 수 있어 활용도가 무한하다고 할 수 있다. There is a growing interest in multi-view images that provide stereoscopic and immersive experiences at more points than conventional binocular images. The multi-view video can be applied to various viewpoints such as free viewpoint television, game, simulation, etc., which can freely change the viewpoint and view the video image.

이런 다시점 영상은 한 장면에 대해 서로 다른 위치에서 촬영된 여러 장의 영상으로 구성된다. 연구 초기에는 한 대의 카메라를 이용하여 한 장면을 여러 번 촬영하는 시스템이 사용되었다. 이 방법을 이용하면 여러 대의 카메라를 제어하기 위한 기술적 문제나 비용 문제를 해결할 수 있지만, 움직이는 객체를 촬영할 수 없다는 문제점이 존재했다.These multi-view images are composed of several images taken at different positions with respect to one scene. At the beginning of the research, a system that shoots one scene several times using one camera was used. This method can solve technical problems and cost problems for controlling a plurality of cameras, but there is a problem that moving objects can not be photographed.

이를 해결하기 위해서, 여러 대의 카메라를 이용하여 한 장면은 동시에 촬영하는 다시점 카메라 시스템이 제안되었다. 하지만, 카메라의 수가 증가함에 따라서 단일 카메라에서는 문제가 되지 않았던 카메라 특성 차이로 인한 색상 오차나 기하학 오차 문제 등이 발생하였다. In order to solve this problem, a multi-viewpoint camera system has been proposed in which a plurality of cameras are used to simultaneously photograph one scene. However, as the number of cameras increases, color errors and geometric error problems arise due to differences in camera characteristics that were not a problem in a single camera.

그 중 색상 불일치 문제는 시청자에게 시각적 불편함을 제공함은 물론 이후 수행되는 영상 처리 과정에도 문제를 야기시킨다. 대부분의 영상 처리 알고리즘이 서로 다른 시점에서 촬영된 영상이라도 같은 객체의 색상은 동일하다는 가정 하에 설계되었기 때문에 객체의 색이 시점별로 다르면 알고리즘의 성능이 크게 저하되게 된다. 이런 색상 불일치 문제는 동일 기종의 카메라로 같은 설정을 이용하여 촬영하더라도 발생하기 때문에 이를 해결하기 위한 후처리 작업이 반드시 필요하다.Among them, the color mismatch problem not only provides visual inconvenience to viewers but also causes a problem in the image processing process to be performed thereafter. Since most image processing algorithms are designed on the assumption that the same object colors are the same even if they are photographed at different viewpoints, the performance of the algorithm is significantly degraded if the color of the object is different from viewpoint. Such a color discrepancy problem occurs even when the camera of the same model is photographed using the same setting, so a post-processing operation is necessary to solve the problem.

이에 국내등록특허 제10-0668073호 등에서는 다시점 이미지의 각종 왜곡(예를 들어, 카메라별 밝기 균일도, 카메라 렌즈의 왜곡, 카메라간 오차와 영상크기, 및 카메라간 밝기와 색상 균일도 등)을 보정하기 위한 기술을 개시하고 있다. Therefore, in the Korean Patent No. 10-0668073, for example, various distortions of the multi-point image (e.g., brightness uniformity per camera, distortion of the camera lens, camera-to-camera error and image size, Discloses a technique for achieving this.

그러나 이는 사전에 설정된 영상을 이용하여 이미지가 일치 정보를 추출하고, 일치정보를 적용한 호모그래피 과정을 수행하여 영상 전체에 대한 일치점을 추출한 후, 영상 전체에 대한 일치점을 어파인 변환에 적용함으로써, 카메라들간의 밝기 및 색상 균일도를 보상처리하도록 하고 있다. However, this method extracts matching information of an image using a preset image, performs a homography process in which matching information is applied, extracts a matching point for the entire image, and then applies a matching point to the entire image to affine transformation, Thereby compensating for the brightness and color uniformity between the pixels.

다만, 이와 같이 영상 전체에 대한 일치점을 추출 및 분석하는 경우, 작업 부하가 상당히 증가하는 문제가 발생하는 단점이 있다. However, in the case of extracting and analyzing the coincidence points in the whole image as described above, there is a disadvantage that the workload significantly increases.

또한, 색상 왜곡을 보상함에 있어 시간적 일관성은 전혀 고려하지 않아, 임계값 안의 작은 노이즈들이 제거되지 못해 이들 이미지를 차후 합성하여 재생하는 경우에 이미지가 깜박거리는 듯한 느낌을 시청자가 받게 되는 문제도 발생하게 된다. In addition, since temporal consistency is not taken into consideration in compensating for color distortion, small noise in the threshold value can not be removed, and when the images are synthesized and reproduced in the future, a problem that the image is flickered may be received by the viewer do.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명에서는 특징점 추출 범위를 한정시키고, 이를 기반으로 다시점 이미지의 색상 왜곡 보정 동작이 수행되도록 함으로써, 다시점 이미지의 색상 왜곡 보정 동작의 작업 부하가 최소화될 수 있도록 하는 다시점 이미지의 색상 왜곡 보정 방법 및 장치를 제공하고자 한다. In order to solve the above problems, according to the present invention, the feature point extraction range is limited and the color distortion correction operation of the multi-point image is performed based on the feature point extraction range, thereby minimizing the work load of the color distortion correction operation of the multi- The present invention provides a method and apparatus for correcting color distortion of a multi-view image.

또한 시점별 색상 왜곡 정보간에 시간적 일관성을 유지시켜 줌으로써, 이미지 재생시 발생할 수 있는 깜빡거림 현상의 발생 가능성도 사전에 제거할 수 있도록 하는 다시점 이미지의 색상 왜곡 보정 방법 및 장치를 제공하고자 한다. Also, it is intended to provide a method and apparatus for correcting color distortion of a multi-view image, in which temporal consistency is maintained between time-dependent color distortion information, thereby eliminating the possibility of flickering that may occur during image reproduction.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 다수의 시점별 이미지 중 하나를 참조 시점 이미지로 선정하고, 상기 참조 시점 이미지내 중요 영역을 설정하는 단계; 상기 중요 영역의 특징점을 추출한 후, 상기 중요 영역의 특징점에 대응되는 특징점을 나머지 시점별 이미지 각각에 대해 트랙킹하는 단계; 상기 중요 영역의 특징점과 상기 트랙킹된 특징점을 시점별로 대조하여, 시점별 색상 왜곡 정보를 획득하는 단계; 상기 시점별 색상 왜곡 정보 각각을 로우 패스 필터링하여 상기 시점별 색상 왜곡 정보에 대한 시간적 일관성을 유지시키는 단계; 및 상기 시간적 일관성이 유지된 시점별 색상 왜곡 정보를 기반으로 상기 다수의 시점별 이미지들의 색상 왜곡을 보정하는 단계를 포함하는 다시점 이미지의 색상 왜곡 보정 방법을 제공한다. According to an aspect of the present invention, there is provided a method for selecting a reference point image, the method comprising: selecting one of a plurality of point-in-time images as a reference point image; Tracking feature points corresponding to the feature points of the important region after the feature points of the important region are extracted; Comparing the feature points of the important region with the tracked feature points to obtain color distortion information for each viewpoint; Performing low pass filtering on each of the color distortion information for each viewpoint to maintain temporal consistency of the color distortion information for each viewpoint; And correcting the color distortion of the plurality of viewpoint images based on the color distortion information for each point in time in which the temporal consistency is maintained.

상기 중요 영역을 설정하는 단계는 색상의 콘트라스트 정보를 기반한 중요 영역 검출 기법을 통해 상기 참조 시점 이미지내 중요 영역을 설정하는 것을 특징으로 한다. And the step of setting the important region sets the important region in the reference point-in-view image through the important region detection technique based on the contrast information of the color.

상기 시점별 색상 왜곡 정보는 특징점 각각에 대응되는 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수로 구성되는 것을 특징으로 한다. The point-by-point color distortion information may include camera characteristic coefficients of gain, gamma, and offset corresponding to each of the feature points.

상기 시점별 색상 왜곡 정보를 획득하는 단계는 상기 참조 시점의 특징점들은 유지한 채로 전체적인 비교(Global Correspondence)를 진행하여 상기 트랙킹된 특징점의 일관성을 유지하는 것을 특징으로 한다. Wherein the step of acquiring the color distortion information by the point of time maintains consistency of the tracked feature points by performing a global comparison while maintaining the feature points of the reference point.

상기 시점별 색상 왜곡 정보를 획득하는 단계는 가우스 뉴튼 순환기법의 반복적인 연산을 통해 상기 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수의 오차를 최소화하는 것을 특징으로 한다. The obtaining of the color-distortion information by the point-in-time is characterized by minimizing the errors of the camera characteristic coefficients of the gain, gamma, and offset through repetitive operations of the Gaussian-Newton circulation technique.

상기 시간적 일관성을 유지시키는 단계는 가우시안 로우 패스 필터를 통해 로우 패스 필터링을 수행하는 것을 특징으로 한다.
Wherein the temporal consistency is maintained by performing low pass filtering through a Gaussian low pass filter.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 다수의 시점별 이미지 중 하나를 참조 시점 이미지로 선정하는 참조 시점 이미지 선정부; 상기 참조 시점 이미지내 중요 영역을 설정하고, 중요 영역의 특징점을 추출하는 단계; 상기 중요 영역의 특징점에 대응되는 특징점을 나머지 시점별 이미지 각각에 대해 트랙킹하는 특징점 트래킹부; 상기 중요 영역의 특징점과 상기 트랙킹된 특징점을 시점별로 대조하여, 시점별 색상 왜곡 정보를 획득하는 색상 왜곡 정보 획득부; 상기 시점별 색상 왜곡 정보 각각을 로우 패스 필터링하여 상기 시점별 색상 왜곡 정보에 대한 시간적 일관성을 유지시키는 시간적 일관성 유지부; 및 상기 시간적 일관성이 유지된 시점별 색상 왜곡 정보를 기반으로 상기 다수의 시점별 이미지들의 색상 왜곡을 보정하는 색상 왜곡 보정부를 포함하는 다시점 이미지의 색상 왜곡 보정 장치를 제공한다. According to another aspect of the present invention, as a means for solving the above-mentioned problems, a reference point-in-time image selecting unit for selecting one of a plurality of point-in-time images as a reference point-in-time image; Setting an important region in the reference point image and extracting feature points of the important region; A feature point tracking unit for tracking feature points corresponding to feature points of the important region with respect to each of the remaining view points; A color distortion information obtaining unit for collating the feature points of the important region with the tracking feature points at each view point to obtain color distortion information for each viewpoint; A temporal consistency maintaining unit that low-pass filters each of the time-based color distortion information to maintain temporal consistency of the per-view color distortion information; And a color distortion corrector for correcting the color distortion of the plurality of viewpoint images based on the color distortion information for each point in time in which the temporal consistency is maintained.

상기 시점별 색상 왜곡 정보는 특징점 각각에 대응되는 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수로 구성되는 것을 특징으로 한다. The point-by-point color distortion information may include camera characteristic coefficients of gain, gamma, and offset corresponding to each of the feature points.

상기 색상 왜곡 정보 획득부는 상기 참조 시점의 특징점들은 유지한 채로 전체적인 비교(Global Correspondence)를 진행하여 상기 트랙킹된 특징점의 일관성을 유지하는 것을 특징으로 한다. Wherein the color distortion information obtaining unit maintains the consistency of the tracked feature points by performing a global comparison while maintaining the feature points of the reference point.

상기 색상 왜곡 정보 획득부는 가우스 뉴튼 순환기법의 반복적인 연산을 통해 상기 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수의 오차를 최소화하는 것을 특징으로 한다. The color distortion information obtaining unit minimizes an error of the camera characteristic coefficients of the gain, gamma, and offset through repetitive calculation of the Gaussian Newton circulation technique.

상기 시간적 일관성 유지부는 가우시안 로우 패스 필터를 통해 로우 패스 필터링을 수행하는 것을 특징으로 한다.
And the temporal coherence maintaining unit performs low pass filtering through a Gaussian low pass filter.

본 발명에서는 참조 이미지의 전체 영역 중에서 중요 객체가 위치되는 일ㅂ부 영역만을 중요 영역으로 한정하고, 이를 통해 색상 왜곡 정보를 획득하도록 함으로써, 작업 부하는 최소화되나 색상 왜곡 보정의 신뢰성을 보장할 수 있도록 해준다. In the present invention, only one sub-region in which an important object is located is limited to an important region among the entire region of the reference image, thereby acquiring color distortion information, thereby minimizing the workload but ensuring the reliability of color distortion correction It does.

또한 가우시안 로우 패스 필터를 통해 시점별 색상 왜곡 정보를 로우 패스 필터링함으로써, 시점별 색상 왜곡 정보에 잔존하는 임계값 안의 작은 노이즈들은 제거하여 시점별 색상 왜곡 정도간에 시간적 일관성 시간적 일관성은 유지하고, 이와 동시에 큰 변화량은 유지되어 촬영 장소의 환경 변화로 인한 특성 계수의 변화에도 유동적으로 반응할 수 있도록 해준다.
In addition, by filtering low-pass color-distortion information per viewpoint through a Gaussian low-pass filter, temporal coherence temporal consistency between the degree of color distortion per viewpoint is maintained by removing small noises in the threshold value remaining in the color- The large variation is maintained so that it can respond flexibly to changes in the coefficient of property due to changes in the environment of the shooting location.

도1은 본 발명의 일 실시예에 따른 다시점 이미지의 색상 왜곡 보정 방법의 전체 흐름도를 도시한 도면이다.
도2은 본 발명의 일 실시예에 따른 다시점 이미지의 색상 왜곡 보정 방법의 다수의 시점별 이미지로부터 참조 시점 이미지 및 중요 영역을 선정하는 단계들을 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 다시점 이미지의 색상 왜곡 보정 방법의 중요 영역의 특징점 추출 및 트랙킹 단계들을 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 색상 왜곡 정보 획득 방법의 시간적 일관성 유지 단계를 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 다시점 이미지의 색상 왜곡 보정 장치를 도시한 도면이다. 1 is a flowchart illustrating a method of correcting color distortion of a multi-view image according to an exemplary embodiment of the present invention.
FIG. 2 is a view for explaining steps of selecting a reference point image and a critical region from a plurality of point-in-time images of a method for correcting color distortion of a multi-point image according to an exemplary embodiment of the present invention.
FIG. 3 is a diagram for explaining feature point extraction and tracking steps in a significant region of a method for correcting color distortion of a multi-view image according to an exemplary embodiment of the present invention.
FIG. 4 is a view for explaining a temporal consistency maintenance step of a color distortion information obtaining method according to an embodiment of the present invention.
5 is a diagram illustrating an apparatus for correcting color distortion of a multi-view image according to an exemplary embodiment of the present invention.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. These embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art to which the present invention pertains. Only. Therefore, the definition should be based on the contents throughout this specification.

도1 내지 도4는 본 발명의 일 실시예에 따른 다시점 이미지의 색상 왜곡 보정 방법을 설명하기 위한 도면이다. 이때, 도1은 다시점 이미지의 색상 왜곡 보정 방법의 전체 흐름도를, 도2은 다수의 시점별 이미지로부터 참조 시점 이미지 및 중요 영역을 선정하는 단계들을, 도3은 중요 영역의 특징점 추출 및 트랙킹 단계들을, 도4는 시간적 일관성 유지 단계를 설명하기 위한 도면이다.
1 to 4 are views for explaining a color distortion correction method of a multi-view image according to an embodiment of the present invention. 2 is a flowchart illustrating a method for selecting a reference point image and an important region from a plurality of point-in-time images, FIG. 3 is a flowchart illustrating a method for extracting and tracking feature points of an important region And FIG. 4 is a diagram for explaining a temporal consistency maintaining step.

계속하여 도1을 참고하면, 본 발명의 다시점 이미지의 색상 왜곡 보정 방법은 다수의 시점별 이미지 획득 단계(S1), 참조 시점 이미지 선정 및 중요 영역 설정 단계(S2), 중요 영역의 특징점 추출 단계(S3), 시점별 특징점 트랙킹 단계(S4), 시점별 특징점 대조 및 색상 왜곡 정보 추정 단계(S5), 시간적 일관성 유지 단계(S6), 시점별 색상 왜곡 보정 단계(S7) 및 종료 여부 판단 단계(S8) 등을 포함하여 구성될 수 있음을 알 수 있다.
1, a color distortion correction method of a multi-viewpoint image according to the present invention includes a plurality of viewpoint image acquisition steps S1, a reference point image selection and an important area setting step S2, (S6), a color distortion correction step (S7), and an ending determination step (S7). In the step S7, S8), and the like.

다수의 시점별 이미지 획득 단계(S1)에서는 다수의 카메라로 구성되는 다시점 카메라를 통해 동시 촬영 및 저장된 다수의 시점별 이미지들을 획득한다. In the multiple viewpoint image acquisition step S1, a plurality of viewpoint images are simultaneously captured and stored through a multi-viewpoint camera composed of a plurality of cameras.

다수의 시점별 이미지는 일렬 또는 매트릭스 형태로 정렬된 다수의 카메라를 통해 동일 대상을 동일 시간에 서로 다른 시점으로 촬영함으로써 획득된 것으로, 특히 8,16,32 시점 등의 무안경식 스트레오스코픽 3차원 입체영상을 생성하기 위한 이미지를 의미한다. 다만, 다수의 카메라를 통해 동일 대상을 여러번에 걸쳐 촬영하는 경우, 각 카메라의 내부 특성과 카메라 셋팅 값의 차이로 인해, 이미지간에는 색상 정보의 차이가 존재하게 된다. 즉, 동일한 색상을 촬영하더라도 서로 다른 시점 이미지는 서로 상이한 색상값을 가지게 된다.
A plurality of viewpoint images are obtained by photographing the same object at different times in the same time through a plurality of cameras arranged in a line or a matrix form. Especially, Means an image for generating an image. However, when the same object is photographed over a plurality of cameras through a plurality of cameras, there is a difference in color information between the images because of the difference between the internal characteristics of each camera and the camera setting values. That is, even when the same color is photographed, different viewpoint images have different color values.

참조 시점 이미지 선정 및 중요 영역 설정 단계(S2)에서는, 다수의 시점별 이미지 중 하나를 참조 시점 이미지로 선정한 후, 참조 시점 이미지의 일부 영역을 중요 영역(Saliency area)으로 설정하도록 한다. 이때, 참조 시점 이미지는 다수의 시점 이미지 중에서 가장 중간의 시점을 가지는 이미지로 선정되는 것이 바람직하다. In the reference point image selection and critical area setting step S2, one of a plurality of point-in-time images is selected as a reference point image, and a certain area of the reference point image is set as a saliency area. At this time, it is preferable that the reference point image is selected as an image having the middle point of time among the plurality of point-in-time images.

그리고 참조 시점 이미지의 중요 영역은 "Saliency Filters: Contrast Based Filtering for Salient Region Detection(공개: 2012 - ieeexplore.ieee.org , 저자: F Perazzi 등)의 눈문을 통해 개시된 색상의 콘트라스트 정보를 기반한 중요 영역 검출 기법을 통해 자동 선정될 수 있다. 이는 일반적으로 중요 객체(object)가 시점의 중간에 위치한다는 점을 이용하여 시점의 가장자리의 색상들과 차이가 큰 색상의 픽셀 위치들을 중요 영역을 추가해나가는 방식이다. 이러한 중요 영역 검출 기법은 완벽히 오브젝트를 구별하기에는 부족한 방법이지만 뒤에 특징점 추출을 위한 영역 구분으로는 충분한 정보를 제공해준다. 또한 이렇게 얻어진 중요 영역은 뒤에 왜곡 계수 추정의 정확도를 높여주는 결과를 만들어 준다. The key areas of the reference point image are the key region detection based on the contrast information of the color initiated through the eyes of "Saliency Filters: Contrast Based Filtering for Salient Region Detection (Open: 2012 - ieeexplore.ieee.org, author: F Perazzi et al. Which uses the fact that an important object is located in the middle of the viewpoint, and adds the important region to the pixel positions of the color having a large difference from the colors of the edges of the viewpoint This important region detection method is not enough to completely distinguish objects, but provides sufficient information for the region classification for the subsequent feature point extraction, and the important region thus obtained results in increasing the accuracy of the distortion coefficient estimation.

또한, 필요한 경우, 참조 시점 이미지의 중요 영역은 기 설정된 위치값에 따라 자동 선정되거나, 이미지내에 존재하는 다수의 객체 중 중요 객체 하나를 기준으로 자동 선정되거나, 또는 사용자에 의해 수동 선정될 수 있을 것이다.
In addition, if necessary, the important region of the reference-point image may be automatically selected according to a predetermined position value, or automatically selected based on one important object among a plurality of objects existing in the image, or manually selected by a user .

중요 영역의 특징점 추출 단계(S3)에서는 SIFT(Scale Invariant Feature Transform) 알고리즘을 통해 중요 영역에 대한 특징점을 적어도 하나 추출하도록 한다. SIFT 알고리즘은 영상 추적 알고리즘 중 하나로, 이는 객체의 모서리나 꼭짓점 등에서 생성되는 특징점을 벡터로 추출하여, 영상의 크기변화, 회전, 조명변화 등에 의한 변형에 대해 뛰어난 매칭 성능을 가진다.
In the feature point extracting step (S3) of the important region, at least one feature point for the important region is extracted through a Scale Invariant Feature Transform (SIFT) algorithm. The SIFT algorithm is one of the image tracking algorithms, which extracts feature points generated from edges or corners of an object as vectors and has excellent matching performance against deformation due to image size change, rotation, illumination change, and the like.

시점별 특징점 트랙킹 단계(S4)에서는, 단계 S3을 통해 획득한 참조시점의 중요 영역을 기반으로 나머지 시점별 이미지를 분석하여, 나머지 시점 각각에 대응되는 특징점을 트랙킹한다.
In the characteristic point tracking step S4, the image of each remaining point of view is analyzed based on the important region of the reference point acquired through step S3, and the feature points corresponding to the respective remaining points of time are tracked.

시점별 특징점 대조 및 색상 왜곡 정보 추정 단계(S5)에서는 트랙킹된 특징점과 중요 영역의 특징점을 시점별로 대조하여 시점별 색상 왜곡 정보를 추정하도록 한다. 이때, 시점별 색상 왜곡 정보는 특징점들 각각에 대응되는 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수(p1(Gain), p2(Gamma), p3(Offset))로 구성될 수 있으며, 이는 이하의 수학식1에 따라 산출될 수 있다. In the feature point collation and color distortion information estimation step S5, color difference information is estimated by collating the tracked feature points and the feature points of the important region at each viewpoint. At this time, the color distortion information per viewpoint includes camera characteristics coefficients p 1 (Gain), p 2 (Gamma), p 3 (Offset) of the gain, gamma and offset corresponding to each of the minutiae points, ), Which can be calculated according to the following equation (1).

또한, 본 발명에서는 대응점의 일관성을 유지하기 위하여 참조시점의 특징점들을 유지한 채 다른 시점들과의 전체적인 비교(Global Correspondence)를 진행한다. 따라서 기존의 시점 간 분리된 비교대응 방식(Local Correspondence)에서 발생되는 특징점의 변동으로 인한 오류가 줄어들게 되어 시점간 생상들의 차이 또한 감소하게 된다.Also, in order to maintain consistency of correspondence points, the present invention proceeds with global comparison with other points of view while maintaining minutiae of reference points. Therefore, the error due to the feature point variation in the local correspondence is reduced and the difference between the start points is also reduced.

그리고 가우스 뉴튼 순환기법 (Gaauss-Newton circulation algorithm)의 반복적인 연산을 통해 각 카메라 특성 계수들의 오차를 최소화하여 추정하도록 한다. Then, the error of each camera characteristic coefficient is minimized through the iterative operation of the Gauss-Newton circulation algorithm.

Figure 112015016314892-pat00001
Figure 112015016314892-pat00001

이때, pr는 참조 시점의 특징점, pi는 비교 대상 시점의 특징점, j는 특징점 인덱스임.
In this case, p r is the minutiae of the reference point, p i is the minutiae point of the comparison point, and j is the minutiae index.

시간적 일관성 유지 단계(S6)에서는, 가우시안 로우 패스 필터를 통해 시점별 색상 왜곡 정보의 카메라 특성 계수(p1(Gain), p2(Gamma), p3(Offset)) 각각에 대해 로우 패스 필터링함으로써, 시점별 색상 왜곡 정보에 대한 시간적 일관성 유지하도록 한다. 즉, 임계값 안의 작은 노이즈들은 제거되어 시간적 일관성이 유지되고, 큰 변화량은 유지되어 촬영 장소의 환경 변화로 인한 특성 계수의 변화에도 유동적으로 반응할 수 있도록 한다.
In the temporal consistency maintaining step S6, low-pass filtering is performed on each of the camera characteristic coefficients p 1 (Gain), p 2 (Gamma), and p 3 (Offset) of the color distortion information per viewpoint through the Gaussian low- , And temporal consistency of color distortion information is maintained. That is, the small noises in the threshold value are removed to maintain temporal consistency, and the large change amount is maintained, so that it can be flexibly responded to the change of the characteristic coefficient due to the environmental change of the photographing place.

시점별 색상 왜곡 보정 단계(S7)에서는, 단계 S6을 통해 시간적 일관성이 반영된 시점별 색상 왜곡 정보를 기반으로 시점별 이미지 각각의 색상을 보정하여, 색상 왜곡 정보가 보정된 다수의 다시점 이미지를 획득한 후, 이들을 내부 메모리에 저장하거나 외부 장치에 제공하도록 한다.
In step S7, the color of each view-point image is corrected based on the color-distortion information at each point of time, through which the temporal consistency is reflected, thereby acquiring a plurality of multi-viewpoint images with corrected color-distortion information After that, they are stored in an internal memory or provided to an external device.

종료 여부 판단 단계(S8)에서는 사용자에 의해 종료 이벤트가 발생하거나 색상 왜곡을 보정할 다시점 이미지가 더 이상 존재하지 않으면, 색상 왜곡 보정 동작을 종료하되, 그렇지 않으면 다시 단계 S1로 재진입하여 새로운 다시점 이미지에 대한 색상 왜곡 보정 동작을 수행하도록 한다.
In the termination end determination step S8, if a termination event is generated by the user or there is no more multi-view image for color distortion correction, the color distortion correction operation is terminated, otherwise, the process returns to step S1 to re- Thereby performing a color-distortion correcting operation on the image.

도5는 본 발명의 일 실시예에 따른 다시점 이미지의 색상 왜곡 보정 장치를 도시한 도면이다. 5 is a diagram illustrating an apparatus for correcting color distortion of a multi-view image according to an exemplary embodiment of the present invention.

도5를 참고하면, 본 발명의 색상 왜곡 보정 장치(10)는 다수의 카메라(C0~C7)로 구성되는 다시점 카메라를 통해 획득된 다수의 시점별 이미지 중 하나를 참조 시점 이미지로 선정하는 참조 시점 이미지 선정부(11), 참조 시점 이미지의 일부 영역을 중요 영역으로 설정하고, 중요 영역의 특징점을 추출하는 중요 영역 설정부(12), 중요 영역의 특징점에 대응되는 지점을 시점별 이미지 각각에 대해 트래킹하는 특징점 트래킹부(13), 시점별 이미지들의 특징점과 참조 시점 이미지의 특징점을 시점별로 대조하여, 시점별 색상 왜곡 정보를 획득하는 색상 왜곡 정보 획득부(14), 시점별 색상 왜곡 정보 각각을 가우시안 로우 패스 필터를 통해 로우 패스 필터링함으로써, 시점별 색상 왜곡 정보간 시간적 일관성을 유지시키는 시간적 일관성 유지부(15), 시간적 일관성이 반영된 시점별 색상 왜곡 정보를 기반으로 시점별 이미지 각각을 변형하여 기하학적 왜곡 정보가 보정된 다수의 다시점 이미지를 획득하는 색상 왜곡 보정부(16), 다시점 이미지 입력부(20)를 통해 획득된 다수의 시점별 이미지(즉, 보정 전 다시점 이미지)를 시간순으로 순차 저장하고, 이와 동시에 시점별 색상 왜곡 보정부(16)를 통해 보정 완료된 다수의 시점별 이미지, 즉 보정 전 다시점 이미지(즉, 보정 후 다시점 이미지)를 시간순으로 순차 저장하는 저장부(17) 등을 포함하여 구성될 수 있다. Referring to FIG. 5, the color distortion correction apparatus 10 of the present invention selects one of a plurality of view-point images obtained through a multi-view camera composed of a plurality of cameras C 0 to C 7 as a reference point image A reference area designating section 12 which sets a part of the reference point image as an important area and extracts the feature points of the important area, a point corresponding to the feature point of the important area, A color distortion information acquiring unit 14 for collating the minutiae points of the viewpoint image and the minutiae points of the reference point image at each view point to acquire the color distortion information per viewpoint, A temporal coherence maintaining unit 15 for maintaining temporal consistency between color distortion information per viewpoint by performing low pass filtering on each of the information through a Gaussian low pass filter, A color distortion correction unit 16 for obtaining a plurality of multi-viewpoint images in which the geometric distortion information is corrected by modifying each of the viewpoint-based images based on the color distortion information for each viewpoint, A plurality of viewpoint-specific images (i.e., non-corrected multi-viewpoint images) are sequentially stored in chronological order, and at the same time, a plurality of viewpoint- A storage unit 17 for sequentially storing the corrected multi-view images in chronological order, and the like.

특히, 본 발명에서는 색상 왜곡 정보 획득부(16)를 통해 트랙킹된 특징점과 중요 영역의 특징점을 시점별로 대조하여, 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수(p1(Gain), p2(Gamma), p3(Offset))로 구성되는 시점별 색상 왜곡 정보를 추정하도록 한다. 또한, 각각 대응점의 일관성을 유지하기 위하여 참조 시점의 특징점들은 유지한 채로 전체적인 비교(Global Correspondence)를 진행함으로써, 특징점 비교 및 대응(Local Correspondence)로 인한 오류가 줄게 되어 시점간 색상들의 차이 또한 감소될 수 있도록 한다. 그리고 가우스 뉴튼 순환기법(Gaauss-Newton circulation algorithm)의 반복적인 연산을 통해 각 계수들을 오차를 최소화하여 추정하도록 한다. Particularly, in the present invention, the feature points of the important region and the feature points that are tracked through the color distortion information obtaining unit 16 are collated at the viewpoints, and the camera characteristic coefficients p 1 (gamma), gamma, (Gain), p 2 (Gamma), p 3 (Offset)). In addition, in order to maintain consistency of correspondence points, the Global Correspondence is maintained while the feature points of the reference point are maintained, thereby reducing the errors due to the feature point comparison and correspondence (Local Correspondence) . Then, each coefficient is estimated by minimizing the error through repetitive calculation of the Gauss-Newton circulation algorithm.

또한 시간적 일관성 유지부(15)를 통해 시점별 색상 왜곡 정보 각각을 가우시안 로우 패스 필터를 통해 로우 패스 필터링하여 시점별 색상 왜곡 정보간 시간적 일관성을 추가적으로 유지시켜 줌으로써, 임계값 안의 작은 노이즈들은 제거되도록 해준다. 그 결과, 차후 다시점 이미지가 하나의 이미지로 합성된 후 재생되는 경우, 시점별 색상 정보가 불균일하여 이미지가 깜박거리는 듯한 느낌 을 시청자가 받게 되는 문제의 발생을 사전에 방지하도록 한다. 즉, 시청자는 이미지 깜빡거림 현상 없이 보다 편안하게 다시점 이미지를 열람하게 될 수 있게 된다.
Further, the temporal consistency maintaining unit 15 low-pass filters each of the color distortion information per viewpoint through a Gaussian low-pass filter to further maintain temporal consistency between color distortion information per viewpoint, thereby removing small noises in the threshold value . As a result, when the multi-viewpoint image is synthesized into a single image and then reproduced, the color information of each viewpoint is nonuniform, thereby preventing the viewer from receiving a feeling that the image is flickering. That is, the viewer can more comfortably browse the multi-view image without flickering the image.

이와 같이 구성되는 본 발명의 색상 왜곡 보정 장치(10)는 다시점 이미지의 색상 왜곡을 보정하여 출력하는 하나의 하드웨어 장치로 구현될 수 있으며, 경우에 따라 임베디드 장치, 소프트웨어 프로그램 등의 형태로써 다시점 이미지의 영상 처리 장치에 내장되는 방식으로 구현될 수도 있을 것이다.
The color distortion correcting apparatus 10 according to the present invention may be implemented as a single hardware device that corrects color distortion of a multi-point image and outputs the result. In some cases, the color distortion correcting apparatus 10 may be implemented as an embedded device, It may be implemented in a manner embedded in an image processing apparatus of an image.

이상에서 전술한 바와 같은 이를 구현하기 위한 프로세스 명령어로서 구현될 수 있으며, 이러한 프로세스 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다. The computer readable recording medium on which the process instructions are recorded may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, Media storage devices.

또한 전술한 바와 같은 프로세스를 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.Also, the computer-readable recording medium having the above-described processes recorded thereon may be distributed to a computer device connected via a network so that computer-readable codes can be stored and executed in a distributed manner. In this case, one or more of the plurality of distributed computers may execute some of the functions presented above and send the results of the execution to one or more of the other distributed computers, The computer may also perform some of the functions described above and provide the results to other distributed computers as well.

본 발명의 각 실시예에 따른 다시점 이미지의 색상 왜곡 보정 방법을 구동시키기 위한 프로세스인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC뿐 만 아니라, 스마트 폰, 태블릿 PC, 스마트 TV 및 이동통신 단말 등의 각종 통신 장치를 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다. A computer capable of reading a recording medium on which an application, which is a process for driving a color distortion correction method of a multi-view image according to each embodiment of the present invention, can be used not only for general PCs such as general desktops and laptops, A tablet PC, a smart TV, a mobile communication terminal, and the like. In addition, it should be interpreted as all devices capable of computing.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 실행 모듈을 갖는 컴퓨터 프로세스로서 구현될 수도 있다. 그 컴퓨터 프로세스를 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로세스는 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로세스의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. Lt; / RTI > The code and code segments that make up the computer process may be easily deduced by those skilled in the art. Such a computer process may be stored in a computer-readable storage medium, readable and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer process, a magnetic recording medium, an optical recording medium, or the like may be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (12)

다수의 시점별 이미지 중 중간 시점 이미지를 참조 시점 이미지로 선정하고, 상기 참조 시점 이미지내 중요 영역을 설정하는 단계;
상기 중요 영역의 특징점을 추출한 후, 상기 중요 영역의 특징점에 대응되는 특징점을 나머지 시점별 이미지 각각에 대해 트랙킹하는 단계;
상기 중요 영역의 특징점과 상기 트랙킹된 특징점을 시점별로 대조하여, 시점별 색상 왜곡 정보를 획득하는 단계;
상기 시점별 색상 왜곡 정보 각각을 로우 패스 필터링하여 상기 시점별 색상 왜곡 정보에 대한 시간적 일관성을 유지시키는 단계; 및
상기 시간적 일관성이 유지된 시점별 색상 왜곡 정보를 기반으로 상기 다수의 시점별 이미지들의 색상 왜곡을 보정하는 단계를 포함하고,
상기 중요 영역을 설정하는 단계는,
상기 참조 시점 이미지의 가장자리 픽셀들의 색상과 차이가 큰 색상의 픽셀들을 포함하는 영역을 상기 중요 영역으로 설정하며,
상기 중요 영역을 설정하는 단계는
색상의 콘트라스트 정보를 기반한 중요 영역 검출 기법을 통해 상기 참조 시점 이미지내 중요 영역을 설정하며,
상기 시점별 색상 왜곡 정보는
특징점 각각에 대응되는 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수로 구성되며,
상기 시간적 일관성을 유지시키는 단계는
가우시안 로우 패스 필터를 통해 로우 패스 필터링을 수행하는 것을 특징으로 하는 다시점 이미지의 색상 왜곡 보정 방법. Selecting an intermediate viewpoint image among the plurality of viewpoint viewpoint images as a reference point-in-time image and setting a significant area in the reference point-in-view image;
Tracking feature points corresponding to the feature points of the important region after the feature points of the important region are extracted;
Comparing the feature points of the important region with the tracked feature points to obtain color distortion information for each viewpoint;
Performing low pass filtering on each of the color distortion information for each viewpoint to maintain temporal consistency of the color distortion information for each viewpoint; And
And correcting the color distortion of the plurality of viewpoint images based on the color distortion information per viewpoint in which the temporal consistency is maintained,
Wherein the setting of the critical area comprises:
An area including pixels of a color having a large difference from a color of the edge pixels of the reference point image is set as the critical area,
The step of setting the critical area
A critical region in the reference point-in-time image is set through a critical region detection technique based on color contrast information,
The point-by-point color distortion information
And a camera characteristic coefficient of gain, gamma, and offset corresponding to each of the minutiae points,
Wherein maintaining the temporal consistency comprises:
And low pass filtering is performed through a Gaussian low pass filter. 삭제delete 삭제delete 제1항에 있어서, 상기 시점별 색상 왜곡 정보를 획득하는 단계는
상기 참조 시점의 특징점들은 유지한 채로 전체적인 비교(Global Correspondence)를 진행하여 상기 트랙킹된 특징점의 일관성을 유지하는 것을 특징으로 하는 다시점 이미지의 색상 왜곡 보정 방법. The method of claim 1, wherein the step of acquiring the color distortion information
And maintaining the consistency of the tracked feature points by performing a global comparison while maintaining the feature points of the reference point. 제4항에 있어서, 상기 시점별 색상 왜곡 정보를 획득하는 단계는
가우스 뉴튼 순환기법의 반복적인 연산을 통해 상기 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수의 오차를 최소화하는 것을 특징으로 하는 다시점 이미지의 색상 왜곡 보정 방법. 5. The method of claim 4, wherein the obtaining of the color distortion information by the point-
Gamma, and offset are minimized through repetitive operations of a Gaussian Newton circulation technique. The color distortion correction method of a multi-view image, comprising: 삭제delete 제1항, 제 4항, 제 5항 중 어느 한 항에 따른 다시점 이미지의 색상 왜곡 보정 방법을 구현하기 위한 프로세스 명령어가 기록된, 컴퓨터가 판독 가능한 기록매체.5. A computer-readable recording medium on which a process instruction for implementing a color distortion correction method of a multi-view image according to any one of claims 1, 4, and 5 is recorded. 다수의 시점별 이미지 중 중간 시점 이미지를 참조 시점 이미지로 선정하는 참조 시점 이미지 선정부;
상기 참조 시점 이미지내 중요 영역을 설정하고, 중요 영역의 특징점을 추출하는 중요 영역 설정부;
상기 중요 영역의 특징점에 대응되는 특징점을 나머지 시점별 이미지 각각에 대해 트랙킹하는 특징점 트래킹부;
상기 중요 영역의 특징점과 상기 트랙킹된 특징점을 시점별로 대조하여, 시점별 색상 왜곡 정보를 획득하는 색상 왜곡 정보 획득부;
상기 시점별 색상 왜곡 정보 각각을 로우 패스 필터링하여 상기 시점별 색상 왜곡 정보에 대한 시간적 일관성을 유지시키는 시간적 일관성 유지부; 및
상기 시간적 일관성이 유지된 시점별 색상 왜곡 정보를 기반으로 상기 다수의 시점별 이미지들의 색상 왜곡을 보정하는 색상 왜곡 보정부를 포함하고,
상기 중요 영역 설정부는,
상기 참조 시점 이미지의 가장자리 픽셀들의 색상과 차이가 큰 색상의 픽셀들을 포함하는 영역을 상기 중요 영역으로 설정하며,
색상의 콘트라스트 정보를 기반한 중요 영역 검출 기법을 통해 상기 참조 시점 이미지내 중요 영역을 설정하며,
상기 시점별 색상 왜곡 정보는
특징점 각각에 대응되는 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수로 구성되며,
상기 시간적 일관성 유지부는,
가우시안 로우 패스 필터를 통해 로우 패스 필터링을 수행하는 것을 특징으로 하는 다시점 이미지의 색상 왜곡 보정 장치.A reference point image selection unit that selects an intermediate point image among a plurality of point-in-time images as a reference point image;
An important region setting unit for setting a significant region in the reference point image and extracting a feature point of the important region;
A feature point tracking unit for tracking feature points corresponding to feature points of the important region with respect to each of the remaining view points;
A color distortion information obtaining unit for collating the feature points of the important region with the tracking feature points at each view point to obtain color distortion information for each viewpoint;
A temporal consistency maintaining unit that low-pass filters each of the time-based color distortion information to maintain temporal consistency of the per-view color distortion information; And
And a color distortion corrector for correcting color distortions of the plurality of viewpoint images based on the color distortion information for each point in time in which the temporal consistency is maintained,
Wherein the important area setting unit comprises:
An area including pixels of a color having a large difference from a color of the edge pixels of the reference point image is set as the critical area,
A critical region in the reference point-in-time image is set through a critical region detection technique based on color contrast information,
The point-by-point color distortion information
And a camera characteristic coefficient of gain, gamma, and offset corresponding to each of the minutiae points,
Wherein the temporal consistency maintaining unit comprises:
And low pass filtering is performed through a Gaussian low pass filter. 삭제delete 제8항에 있어서, 상기 색상 왜곡 정보 획득부는
상기 참조 시점의 특징점들은 유지한 채로 전체적인 비교(Global Correspondence)를 진행하여 상기 트랙킹된 특징점의 일관성을 유지하는 것을 특징으로 하는 다시점 이미지의 색상 왜곡 보정 장치.9. The apparatus of claim 8, wherein the color distortion information obtaining unit
Wherein a global comparison is maintained while maintaining the feature points of the reference point, thereby maintaining consistency of the tracked feature points. 제10항에 있어서, 상기 색상 왜곡 정보 획득부는
가우스 뉴튼 순환기법의 반복적인 연산을 통해 상기 이득(gain), 감마(gamma), 오프셋(offset)의 카메라 특성 계수의 오차를 최소화하는 것을 특징으로 하는 다시점 이미지의 색상 왜곡 보정 장치.11. The apparatus of claim 10, wherein the color distortion information obtaining unit
Wherein an error of the camera characteristic coefficients of the gain, gamma, and offset is minimized through repetitive operations of the Gaussian Newton circulation technique. 삭제delete
KR1020150023472A 2015-02-16 2015-02-16 The Method and apparatus for color distortion compensation of multiview image with maintaining the temporal coherence KR101731695B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150023472A KR101731695B1 (en) 2015-02-16 2015-02-16 The Method and apparatus for color distortion compensation of multiview image with maintaining the temporal coherence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150023472A KR101731695B1 (en) 2015-02-16 2015-02-16 The Method and apparatus for color distortion compensation of multiview image with maintaining the temporal coherence

Publications (2)

Publication Number Publication Date
KR20160100686A KR20160100686A (en) 2016-08-24
KR101731695B1 true KR101731695B1 (en) 2017-05-11

Family

ID=56884184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150023472A KR101731695B1 (en) 2015-02-16 2015-02-16 The Method and apparatus for color distortion compensation of multiview image with maintaining the temporal coherence

Country Status (1)

Country Link
KR (1) KR101731695B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220139711A (en) 2021-04-08 2022-10-17 한국전자통신연구원 Method and apparatus for improving temporal depth consistency of depth video

Also Published As

Publication number Publication date
KR20160100686A (en) 2016-08-24

Similar Documents

Publication Publication Date Title
US9898856B2 (en) Systems and methods for depth-assisted perspective distortion correction
CN106899781B (en) Image processing method and electronic equipment
JP5197279B2 (en) Method for tracking the 3D position of an object moving in a scene implemented by a computer
Xu et al. Performance evaluation of color correction approaches for automatic multi-view image and video stitching
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
WO2018176925A1 (en) Hdr image generation method and apparatus
US8131113B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
EP3095090B1 (en) System and method for processing input images before generating a high dynamic range image
KR101524548B1 (en) Apparatus and method for alignment of images
US20190289207A1 (en) Fast scan-type panoramic image synthesis method and device
EP3644599B1 (en) Video processing method and apparatus, electronic device, and storage medium
CN105469375B (en) Method and device for processing high dynamic range panorama
US20090161982A1 (en) Restoring images
US20200302582A1 (en) Image fusion architecture
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
EP3100449A1 (en) Method for conversion of a saturated image into a non-saturated image
WO2020205008A1 (en) Image fusion processing module
WO2015086537A1 (en) Method for building a set of color correspondences from a set of feature correspondences in a set of corresponding images
WO2022179251A1 (en) Image processing method and apparatus, electronic device, and storage medium
Xu Panoramic video stitching
US11128815B2 (en) Device, method and computer program for extracting object from video
CN105791795A (en) Three-dimensional image processing method and device and three-dimensional video display device
KR101731695B1 (en) The Method and apparatus for color distortion compensation of multiview image with maintaining the temporal coherence
KR101731568B1 (en) The Method and apparatus for geometric distortion compensation of multiview image with maintaining the temporal coherence
Satiro et al. Super-resolution of facial images in forensics scenarios

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant