WO2020111311A1 - 관심객체 화질개선 시스템 및 방법 - Google Patents

관심객체 화질개선 시스템 및 방법 Download PDF

Info

Publication number
WO2020111311A1
WO2020111311A1 PCT/KR2018/014844 KR2018014844W WO2020111311A1 WO 2020111311 A1 WO2020111311 A1 WO 2020111311A1 KR 2018014844 W KR2018014844 W KR 2018014844W WO 2020111311 A1 WO2020111311 A1 WO 2020111311A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
image
camera
image quality
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/014844
Other languages
English (en)
French (fr)
Inventor
박종빈
정종진
박성주
김경원
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2020111311A1 publication Critical patent/WO2020111311A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Definitions

  • the present invention relates to a system and method for improving image quality for an object of interest photographed through a single or multiple cameras.
  • only one CCTV can apply the video, such as to enlarge the face of a specific user, determine whether a vehicle is parked, or check specific information of the vehicle. It can only be tracked according to the resolution of the information.
  • object tracking in a single camera environment is possible even with an intelligent CCTV or smart remote security technology that is widely commercialized, and various studies are being conducted to apply object tracking techniques in a multi-camera environment.
  • processing is performed to improve the overall image quality for the region of interest, thereby restoring to have a higher image quality for the region of interest than a single camera system.
  • a method for improving image quality in an image quality improvement system of interest includes: acquiring an image captured by a plurality of cameras for the same object of interest; Generating a bounding box on the image captured for each camera; Extracting feature points of each image in which the bounding box is generated; Performing matching between the extracted feature points; Receiving target shape information for converting an object of interest in the image photographed for each camera into a single shape; Correcting an object of interest in a captured image for each camera, in which matching between the feature points is performed based on the target shape information; And calculating the weights for each of the corrected objects of interest and applying the calculated weights to the objects of interest of each image captured for each camera.
  • the bounding box may be generated to include all the objects of interest.
  • the feature points may be matched so that the extracted feature points physically represent the same position with respect to the images photographed by the plurality of cameras.
  • the step of correcting the object of interest of the image captured for each camera on which matching between the feature points is performed based on the target shape information may correct the image captured for each camera based on a homography transformation matrix.
  • a higher weight may be assigned to the objects of interest in an image having high clarity among the corrected objects of interest.
  • a higher weight may be assigned to the objects of interest of an image having a high information entropy among the corrected objects of interest.
  • the image may be photographed through a plurality of physically separated cameras, or may be photographed multiple times during different times through a single camera.
  • the system for improving the image quality of an object of interest includes a plurality of cameras for capturing an image of the same object of interest, and improving the image quality of the object of interest based on each of the captured images And a processor for executing a program stored in the memory and a memory in which the program for the program is stored.
  • a bounding box is generated on an image photographed for each camera, and feature points of each image generated by the bounding box are extracted to perform matching between the feature points, and photographed for each camera.
  • Receiving target shape information for converting an object of interest in a single image into a single shape based on this, correcting an object of interest for each of the camera-recorded images on which matching between the feature points is performed, and weighting for each of the corrected objects of interest Is calculated and applied to the object of interest of the image captured for each camera.
  • any one of the above-described problem solving means of the present invention in a system such as a CCTV in which a single camera or a plurality of cameras observe and monitor a specific area, it is possible to improve the image quality of a distorted part such as an automobile license plate or You can clearly see a specific area, such as the face of a person of interest.
  • FIG. 1 is a block diagram of an image quality improvement system of interest according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining the concept of a method for improving image quality according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining an example of FIG. 2.
  • FIG. 4 is a flowchart of a method for improving image quality according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining an example of FIG. 4.
  • FIG. 6 is a diagram for explaining an example of setting a weight based on the number of pixels.
  • FIG. 7 is a view for explaining an example of setting a weight based on the clarity.
  • FIG. 8 is a view for explaining an example of setting a weight based on information entropy.
  • FIG. 9 is a diagram for describing an image acquired on a time axis through a single camera.
  • FIG. 1 is a block diagram of an object quality improvement system 100 of interest according to an embodiment of the present invention.
  • the object quality improving system 100 includes a plurality of cameras 110, a memory 120 and a processor 130.
  • the plurality of cameras 110 photographs the same target object.
  • the plurality of cameras 110 may be a concept of photographing images through a plurality of physically separated cameras, or alternatively, a concept of photographing multiple times for different times through a single camera.
  • a program for improving the image quality of the object of interest is stored in the memory 120, and the processor 130 executes the program stored in the memory 120.
  • the memory 120 is a non-volatile storage device and a volatile storage device that keeps stored information even when power is not supplied.
  • the memory 120 is a compact flash (CF) card, a secure digital (SD) card, a memory stick, a solid-state drive (SSD), and a micro SD NAND flash memory such as cards, magnetic computer storage devices such as hard disk drives (HDDs), and optical disc drives such as CD-ROMs, DVD-ROMs, and the like. Can be.
  • CF compact flash
  • SD secure digital
  • SSD solid-state drive
  • micro SD NAND flash memory such as cards, magnetic computer storage devices such as hard disk drives (HDDs), and optical disc drives such as CD-ROMs, DVD-ROMs, and the like.
  • FIG. 1 may be implemented in software or in a hardware form such as a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and perform predetermined roles. can do.
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • each component may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.
  • a component is a component, such as software components, object-oriented software components, class components, and task components, and processes, functions, attributes, procedures, subs. Includes routines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables.
  • FIG. 2 is a view for explaining the concept of a method for improving image quality according to an embodiment of the present invention.
  • one camera photographs an object of interest.
  • the image photographed by the camera 110 may be distorted and photographed according to characteristics such as a physical position of the object of interest and a relative position between the cameras 110.
  • the characteristics of the camera 110 are characterized by intrinsic parameters such as focal length, sensor size, etc., physical location of the camera 110, and extrinsic parameters such as the pointing direction. Can be quantified.
  • FIG. 3 is a view for explaining an example of FIG. 2.
  • FIG. 3 is a realistic example related to FIG. 2, and assumes that the license plate of the vehicle is an object of interest.
  • the vehicle license plate may be distorted as shown in FIG. 2 due to the relative direction.
  • the amount of information obtained in the left area of the object of interest photographed through the'camera 1' is reduced compared to the right area. This is because the left and right regions of the object of interest are initially rectangular, so the physical size is the same, but the number of image pixels acquired by the camera sensor for the object of interest is more on the right.
  • warping transformation is performed through the edge location (referred to as a Homography transformation when the physical object of interest assumes a local plane). If performed, it can be made into a rectangular shape as shown at the bottom of FIG. 2. Nevertheless, there is a problem in that the left side of the object of interest converted into a rectangular shape has a lower image quality than the right side.
  • FIG. 4 is a flowchart of a method for improving image quality according to an embodiment of the present invention.
  • 5 is a view for explaining an example of FIG. 4.
  • the present invention relates to a method of photographing an object of interest with N cameras 110 as shown in FIG. 4 by devising to improve the image quality that is finally restored to the region of interest while solving the above-described problems.
  • N means not only a physical number as described above, but also means that a single camera is photographed multiple times with a time difference.
  • the interesting part is that the amount of information in the right part of the captured image is large in'Camera 1', but the amount of information is relatively large in the left part of the captured image in'Camera N'.
  • each distortion image may be synthesized as one through the present invention to finally improve image quality.
  • images captured by a plurality of cameras 110 are acquired for the same object of interest (S110).
  • the bounding box may be automatically set, and the bounding box may be processed on an image captured through a predetermined user interface. For example, you can draw a bounding box by dragging the mouse on the computer, or by providing a slide bar and another interface.
  • such a bounding box is generated to include, as much as possible, all objects of interest within the bounding box for each image.
  • feature points or keypoints are extracted for each of the images inside the N bounding box, and various techniques such as SIFT, SURF, Star/CenSurE, ORB, BRIEF, and FREAK can be used to extract feature points. have.
  • matching is performed between the feature points so that the extracted feature points physically represent the same position with respect to the images captured by the plurality of cameras 110.
  • the point a of the camera 1 is a pixel representing a point physically the same as the point a of the arbitrary i-th camera, i ⁇ 1, 2, 3,...,N ⁇ .
  • points b, c, and d other than point a.
  • target shape information for converting an object of interest photographed for each camera into a single shape is received from a user or a system (S150).
  • the target shape information provided is, for example, the coordinate of point a is (a x (T) , a y (T) ), the coordinate of point b is (b x (T) , b y (T) ), point c
  • the coordinates are (c x (T) , c y (T) ), and the coordinates of point d are (d x (T) , d y (T) ).
  • the horizontal and vertical lengths are 1, respectively. This means converting N objects of interest into a square.
  • an object of interest of an image photographed for each camera in which matching between feature points is performed is corrected based on the box shape information (S160). That is, it is a process of collectively converting the objects of interest obtained from the i-th camera i ⁇ 1, 2, 3, ⁇ ,N ⁇ into target shape information.
  • the homography transformation matrix includes four matching points (a x (i) , a y (i) ), (b x (i) , b y (i) ), and (c x (i) ) , c y (i) ), (d x (i) , d y (i) ) and 4 target shape information (a x (T) , a y (T) ), (b x (T) , b y (T) ), (c x (T) , c y (T) ), (d x (T) , d y (T) ).
  • the weight value is the image of each object of interest after completing the homography transformation.
  • i ⁇ 1, 2, 3,...,N ⁇ can be set to any constant value w i .
  • w i is a constant, it is the i-th image It means that the weight of w i is multiplied over the whole of.
  • the weight w i 1/N can be set.
  • Other weighting methods are also Likewise, it is desirable to make the sum of all weights equal to 1 so that there is no change in the total energy of the image.
  • FIG. 6 is a diagram for explaining an example of setting a weight based on the number of pixels.
  • the number of pixels of objects of interest existing in the images obtained by the camera 110 of FIG. 4 may be calculated and the weight may be calculated differently.
  • FIG. 7 is a view for explaining an example of setting a weight based on the clarity.
  • the sharpness of interest objects converted to the same geometric size may be calculated and used for calculating the weight.
  • the weight is Can be calculated as This means that a high weight is applied to an image with high definition.
  • How to calculate the sharpness Filtering may be performed using the Laplacian kernel, and the sharpness may be calculated by taking a variance value of the filtered image.
  • FIG. 8 is a view for explaining an example of setting a weight based on information entropy.
  • information entropy may be calculated for interest objects that are geometrically converted to the same size as shown in FIG. 8 and used for calculating the weight.
  • the weight is Can be calculated as This means that a high weight is applied to an image having a high amount of information (information entropy).
  • K is the number of levels representing pixels in an image
  • K 256.
  • P k is a probability value for the k-th level.
  • a histogram of an image is obtained and divided by the total number of pixels to obtain a probability distribution function and a probability value for each level.
  • p 100 means a probability that a pixel having a pixel value of 100 occurs in the image.
  • the large information entropy means that it has a high amount of information, so it is highly likely that the image is clearer.
  • the calculated weight is applied to and synthesized by applying to the object of interest of the image captured by each camera 110 (S180).
  • a weighted object can be multiplied to each object of interest and then summed to obtain a synthesized object of interest.
  • FIG. 9 is a diagram for describing an image acquired on a time axis through a single camera.
  • such a process is performed among the N camera images in FIG. 4, but as described above, since the camera can also use a time-base image, in one embodiment of the present invention, it is specified as t. If the ⁇ t-1, t-2,..., ⁇ images as well as the images at the time point are secured, an image with improved image quality may be synthesized using the above-described method.
  • one embodiment of the present invention can be applied to a single camera rather than a plurality of physically.
  • steps S110 to S180 may be further divided into additional steps or combined into fewer steps according to an embodiment of the present invention. Also, some steps may be omitted if necessary, and the order between the steps may be changed. In addition, even if omitted, the contents already described with respect to the image quality improvement system 100 of interest in FIG. 1 are also applied to the image quality improvement methods of FIGS. 2 to 8.
  • Computer readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically include computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명에 따른 관심객체 화질개선 시스템에서의 화질 개선 방법은 동일한 관심객체에 대하여 복수의 카메라별로 촬영된 영상을 획득하는 단계; 상기 카메라별로 촬영된 영상에 바운딩 박스를 생성하는 단계; 상기 바운딩 박스가 생성된 각 영상의 특징점을 추출하는 단계; 상기 추출된 특징점 간의 매칭을 수행하는 단계; 상기 카메라별로 촬영된 영상의 관심객체를 단일 모양으로 변환하기 위한 목표모양정보를 수신하는 단계; 상기 목표모양정보에 기초하여 상기 특징점 간 매칭이 수행된 카메라별 촬영된 영상의 관심객체를 보정하는 단계; 상기 보정된 관심객체 각각에 대한 가중치를 산출하는 단계 및 상기 산출된 가중치를 각 카메라별로 촬영된 영상의 관심객체에 적용하여 합성하는 단계를 포함한다.

Description

관심객체 화질개선 시스템 및 방법
본 발명은 단일 또는 다중 카메라를 통해서 촬영된 관심객체에 대하여 화질을 개선하기 위한 시스템 및 방법에 관한 것이다.
최근 정보통신기술과 더불어 보안에 관한 중요성이 증대되면서, 일반적으로 CCTV와 같은 촬영 수단에 정보통신 기술이 접목되어 실시간으로 영상 정보를, 사전에 자격이 확인된 단말이라면, 언제 어디서나 원격으로 열람가능 한 지능형 CCTV 기술이 보편화되고 있다.
그러나 통상적인 지능형 CCTV 내지 스마트 원격보안기술에 의하더라도 특정한 사용자의 얼굴을 확대하거나 차량의 주차 유무를 판단하거나 차량의 구체적인 정보를 확인하기 위한 정도와 같이, 오직 하나의 CCTV(촬영 수단) 에서 해당 영상 정보의 해상도에 따라 추적이 가능할 뿐이다.
즉, 현재 널리 상용화되고 있는 지능형 CCTV 또는 스마트 원격 보안 기술에 의하더라도 단일 카메라 환경에서의 객체 추적이 가능할 뿐, 다중 카메라 환경에서의 객체 추적 기법을 적용하기 위해 다양한 연구가 진행 중이다.
한편, 단일 영상에서 관심을 갖는 객체영역을 선명하게 확인하고자 할 때, 영상에서 카메라와 관심객체의 상대적 위치에 따른 원근감이 발생하여 관심객체영역의 일부 영역의 화질이 저하될 수 있다는 문제가 있다.
본 발명의 실시예는 단일 또는 다수의 카메라를 구비한 시스템에서 관심영역을 설정하면, 해당 관심영역에 대해서 전반적으로 화질을 개선하도록 처리하여 단일 카메라 시스템에 비하여 관심영역에 대해 높은 화질을 가지도록 복원할 수 있는 관심객체 화질개선 시스템 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 관심객체 화질개선 시스템에서의 화질 개선 방법은 동일한 관심객체에 대하여 복수의 카메라별로 촬영된 영상을 획득하는 단계; 상기 카메라별로 촬영된 영상에 바운딩 박스를 생성하는 단계; 상기 바운딩 박스가 생성된 각 영상의 특징점을 추출하는 단계; 상기 추출된 특징점 간의 매칭을 수행하는 단계; 상기 카메라별로 촬영된 영상의 관심객체를 단일 모양으로 변환하기 위한 목표모양정보를 수신하는 단계; 상기 목표모양정보에 기초하여 상기 특징점 간 매칭이 수행된 카메라별 촬영된 영상의 관심객체를 보정하는 단계; 상기 보정된 관심객체 각각에 대한 가중치를 산출하는 단계 및 상기 산출된 가중치를 각 카메라별로 촬영된 영상의 관심객체에 적용하여 합성하는 단계를 포함한다.
상기 카메라별로 촬영된 영상에 바운딩 박스를 생성하는 단계는, 상기 관심객체가 모두 포함되도록 상기 바운딩 박스를 생성할 수 있다.
상기 추출된 특징점 간의 매칭을 수행하는 단계는, 상기 다수의 카메라별로 촬영된 영상에 대해 추출된 특징점이 물리적으로 동일한 위치를 나타내도록 특징점 간 매칭을 수행할 수 있다.
상기 목표모양정보에 기초하여 상기 특징점 간 매칭이 수행된 카메라별 촬영된 영상의 관심객체를 보정하는 단계는, 호모그래피 변환행렬에 기초하여 상기 카메라별 촬영된 영상을 보정할 수 있다.
상기 보정된 관심객체 각각에 대한 가중치를 산출하는 단계는, 상기 보정된 관심객체들 중 선명도가 높은 영상의 관심객체에 더 높은 가중치를 부여할 수 있다.
상기 보정된 관심객체 각각에 대한 가중치를 산출하는 단계는, 상기 보정된 관심객체들 중 정보엔트로피가 높은 영상의 관심객체에 더 높은 가중치를 부여할 수 있다.
동일한 관심객체에 대하여 복수의 카메라별로 촬영된 영상을 획득하는 단계는, 물리적으로 구별된 복수의 카메라를 통해 영상을 촬영하거나, 단일 카메라를 통해 서로 다른 시간 동안 복수 회 촬영할 수 있다.
또한, 본 발명의 제 2 측면에 따른 관심객체의 화질을 개선하기 위한 시스템은 동일한 관심객체를 대상으로 영상을 촬영하는 복수의 카메라, 상기 촬영된 각 영상에 기초하여 상기 관심객체의 화질을 개선하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 카메라별로 촬영된 영상에 바운딩 박스를 생성하고, 상기 바운딩 박스가 생성된 각 영상의 특징점을 추출하여 특징점 간의 매칭을 수행하며, 상기 카메라별로 촬영된 영상의 관심객체를 단일 모양으로 변환하기 위한 목표모양정보를 수신하고, 이에 기초하여 상기 특징점 간 매칭이 수행된 카메라별 촬영된 영상의 관심객체를 보정하며, 상기 보정된 관심객체 각각에 대한 가중치를 산출하고, 상기 산출된 가중치를 각 카메라별로 촬영된 영상의 관심객체에 적용하여 합성한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 단일 카메라 또는 다수 개의 카메라들이 협력하여 특정 영역을 관찰 및 감시하는 CCTV와 같은 시스템에 있어서, 왜곡된 부분의 화질의 개선이 가능한바 자동차 번호판이나 관심인물의 얼굴과 같은 특정 영역을 선명하게 확인할 수 있다.
도 1은 본 발명의 일 실시예에 따른 관심객체 화질개선 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 화질 개선 방법의 개념을 설명하기 위한 도면이다.
도 3은 도 2의 일 예시를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 화질 개선 방법의 순서도이다.
도 5는 도 4의 일 예시를 설명하기 위한 도면이다.
도 6은 픽셀 수에 기초하여 가중치를 설정하는 일 예시를 설명하기 위한 도면이다.
도 7은 선명도에 기초하여 가중치를 설정하는 일 예시를 설명하기 위한 도면이다.
도 8은 정보엔트로피에 기초하여 가중치를 설정하는 일 예시를 설명하기 위한 도면이다.
도 9는 단일 카메라를 통해 시간축 상에서 획득된 영상을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 관심객체 화질개선 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 관심객체 화질개선 시스템(100)은 복수의 카메라(110), 메모리(120) 및 프로세서(130)를 포함한다.
복수의 카메라(110)는 동일한 관심객체를 대상으로 영상을 촬영한다. 이때, 복수의 카메라(110)는 물리적으로 구별된 다수의 카메라를 통해 영상을 촬영하는 개념일 수도 있으며, 이와 달리 단일 카메라를 통해 서로 다른 시간 동안 복수 회 촬영하는 개념일 수도 있다.
메모리(120)에는 촬영된 각 영상에 기초하여 관심객체의 화질을 개선하기 위한 프로그램이 저장되며, 프로세서(130)는 상기 메모리(120)에 저장된 프로그램을 실행시킨다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 2 내지 도 9를 참조하여 관심객체 화질개선 시스템(100)에서의 화질 개선 방법에 대해 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 화질 개선 방법의 개념을 설명하기 위한 도면이다.
도 2를 참조하면, 관심객체를 1개의 카메라가 촬영하고 있다. 이때, 관심객체를 직사각형 형태라고 가정할 때, 카메라(110)로 촬영된 영상은 관심객체의 물리적 위치와 카메라(110) 상호간의 상대적 위치와 같은 특성에 따라 왜곡되어 촬영될 수 있다.
여기에서 카메라(110)의 특성은 초점거리(focal length), 센서 크기 등과 같은 내재적 파라미터(intrinsic parameters), 카메라(110)의 물리적 위치, 가리키는 방향과 같은 외재적 파라미터(extrinsic parameters)에 의해 특징을 수치화할 수 있다.
한편, 본 발명의 설명에 있어 도면에는 직사각형의 예시를 들어 설명하고 있으나, 반드시 이에 한정되는 것은 아니며 다양한 2차원, 3차원 형태가 적용될 수 있음은 물론이다. 일반적인 2차원 및 3차원 형상들도 국부적으로는 작은 직사각형들의 조합으로 표현할 수 있기 때문이다.
도 3은 도 2의 일 예시를 설명하기 위한 도면이다.
도 3은 도 2와 관련된 현실적인 예시로써, 자동차의 번호판을 관심객체라 가정한다. 자동차 번호판을 카메라(110)로 촬영하고자 할 때 상대적 방향으로 인해 자동차 번호판은 도 2와 같이 왜곡되어 촬영될 수 있다.
도 2에서 '카메라 1'을 통해 촬영된 영상은 원래 물리적인 관심객체가 직사각형이었다고 하더라도 도 3의 예시와 같이 '카메라 1'이 상대적으로 관심객체의 오른쪽 부분에 가깝게 위치하는 경우 찌그러진 형태로 촬영될 수 있다.
이 경우 '카메라 1'을 통해 촬영된 관심객체의 왼쪽 영역은 오른쪽 영역에 비해 획득된 정보량이 감소하게 된다. 왜냐하면 관심객체의 왼쪽과 오른쪽 영역은 당초 직사각형이었기 때문에 물리적 크기가 동일하지만, 관심객체에 대해서 카메라 센서에 취득된 영상 화소수는 오른쪽이 더 많기 때문이다.
'카메라 1'에 촬영된 관심객체의 4곳 모서리를 각각 a, b, c, d라고 표시하면, 모서리 위치를 통해 워핑 변환(물리적 관심객체가 국부적인 평면을 가정하는 경우 Homography 변환으로 칭함)을 수행하면 도 2의 맨 아래의 그림과 같이 직사각형 형태로 만들 수 있다. 그럼에도 불구하고 직사각형 형태로 변환된 관심객체의 왼쪽은 오른쪽에 비해 화질이 떨어지게 되는 문제가 있다.
이는 전술한 이유로 인한 정보량의 차이 때문이다. 단, 화질과 관련된 예외 상황으로는 심도(Depth of focus)가 매우 좁은 경우 초점이 관심객체의 왼쪽편이 더 잘 맞고, 오른쪽 편에는 잘 맞지 않는 경우 오히려 왼쪽 영역의 화질이 더 좋을 수는 있다.
도 4는 본 발명의 일 실시예에 따른 화질 개선 방법의 순서도이다. 도 5는 도 4의 일 예시를 설명하기 위한 도면이다.
본 발명은 전술한 문제를 해결하면서 동시에 관심영역에 대하여 최종 복원되는 화질을 높이기 위해 안출된 것으로써, 도 4와 같이 관심객체를 N개의 카메라(110)로 촬영하는 방법에 관한 것이다. 이때, N개라 함은 전술한 바와 같이 물리적인 개수를 의미하는 것뿐만 아니라, 단일 카메라를 시간적 차이를 두고 복수회 촬영한 것을 의미한다.
도 4에서는 도 2에서와 같은 이유로 인해 각각의 카메라(110) 별로 촬영된 영상은 동일한 관심객체일지라도 서로 다른 모양으로 영상에 기록되는 것이 일반적이다. 따라서, 촬영된 영상들은 영역별로 서로 다른 정보량을 가지게 된다.
그러나 흥미로운 부분은 '카메라 1'에서는 촬영영상의 오른쪽 부분에 정보량이 많지만, '카메라 N'에서는 촬영영상의 왼쪽 부분에 상대적인 정보량이 많다고 나타날 수 있는 것이다. 이는 일 예이지만, 카메라(110)의 대수가 많아질수록 본 발명을 통해 각각의 왜곡영상들을 하나로 합성하여 최종적으로 화질을 개선할 수 있다.
구체적으로 본 발명의 일 실시예에 따른 화질 개선 방법은 먼저 동일한 관심객체에 대하여 복수의 카메라별(110)로 촬영된 영상을 획득한다(S110).
다음으로, 카메라별(110)로 촬영된 영상에 바운딩 박스를 생성한다(S120).
이때, 바운딩 박스는 자동으로 설정될 수 있음은 물론이고, 소정의 사용자 인터페이스를 통해 촬영된 영상에 바운딩 박스 처리할 수도 있다. 예를 들어, 컴퓨터 상에서 마우스를 드래그하거나, 슬라이드 바와 또 다른 인터페이스를 제공하여 바운딩 박스를 그릴 수 있도록 할 수 있다.
이러한 바운딩 박스는 영상별로 바운딩 박스 내부에 가급적 관심객체가 모두 포함되도록 생성됨이 바람직하다.
다음으로, 바운딩 박스가 생성된 각 영상의 특징점을 추출하고(S130), 추출된 특징점 간의 매칭을 수행한다(S140).
먼저 N개의 바운딩 박스 내부의 영상들 각각에 대해서 특징점(feature point) 또는 키포인트(keypoint)를 추출하게 되는데, 특징점 추출은 SIFT, SURF, Star/CenSurE, ORB, BRIEF, FREAK과 같은 다양한 기술들을 활용할 수 있다.
특징점이 추출되고 나면, 다수의 카메라별(110)로 촬영된 영상에 대해 추출된 특징점이 물리적으로 동일한 위치를 나타내도록 특징점 간의 매칭을 수행한다.
이를 통해 카메라 1의 점 a가 임의의 i번째 카메라, i∈{1, 2, 3,...,N}의 점 a와 물리적으로 같은 지점을 의미하는 픽셀임이 결정되게 된다. 점 a 이외에도 점 b, c, d에 대해서도 마찬가지다.
이와 같은 특징점 매칭 과정을 거치면 임의의 i∈{1, 2, 3,...,N}번째 카메라에 대해서 각각 매칭되는 점 a의 좌표 (ax (i), ay (i)), 점 b의 좌표 (bx (i), by (i)), 점 c의 좌표 (cx (i), cy (i)), 점 d의 좌표 (dx (i), dy (i))를 획득할 수 있다.
이후 사용자나 시스템으로부터 카메라별로 촬영된 영상의 관심객체를 단일 모양으로 변환하기 위한 목표모양정보(Target shape information)을 수신한다(S150).
제공받은 목표모양정보는 예를 들어 점 a의 좌표는 (ax (T), ay (T)), 점 b의 좌표는 (bx (T), by (T)), 점 c의 좌표는 (cx (T), cy (T)), 점 d의 좌표는 (dx (T), dy (T))가 된다. 이러한 값은 N개의 관심객체를 단일한 모양의 객체로 변환하는데 사용된다.
보다 구체적인 예로는 a 좌표가 (0, 0), b 좌표가 (1, 0), c 좌표가 (0, 1), d 좌표가 (1, 1)이라면 가로와 세로 길이가 각각 1인 크기를 갖는 정사각형으로 N개의 관심객체를 변환하라는 의미이다.
다음으로, 상기 모표모양정보에 기초하여 특징점 간 매칭이 수행된 카메라별로 촬영된 영상의 관심객체를 보정한다(S160). 즉, i번째 카메라 i∈{1, 2, 3,쪋,N}로부터 얻어진 관심객체들을 목표모양정보로 일괄적으로 변환하는 과정이다.
이를 통해 관심객체들은 모두 동일한 모양을 가지게 된다.
이때 영상의 형태 변환은
Figure PCTKR2018014844-appb-I000001
를 통해 가능하다. i∈{1, 2, 3,...,N}이고,
Figure PCTKR2018014844-appb-I000002
는 i번째 입력영상,
Figure PCTKR2018014844-appb-I000003
는 i번째 출력영상,
Figure PCTKR2018014844-appb-I000004
는 i번째 호모그래피 변환행렬이다. 호모그래피 변환행렬은 카메라별로 관심객체에 대해 획득된 4개의 매칭점 (ax (i), ay (i)), (bx (i), by (i)), (cx (i), cy (i)), (dx (i), dy (i))과 4개의 목표모양정보 (ax (T), ay (T)), (bx (T), by (T)), (cx (T), cy (T)), (dx (T), dy (T))를 이용하면 산출할 수 있다.
다음으로, N개의 카메라(110)에 대해 보정된 관심객체 각각에 대한 가중치를 산출한다(S170).
가중치 값은 호모그래피 변환을 마친 각각의 관심객체 영상
Figure PCTKR2018014844-appb-I000005
, i∈{1, 2, 3,...,N}에 대하여 임의의 상수(constant value) wi로 설정할 수 있다. 이때, wi가 상수이면 i번째 영상
Figure PCTKR2018014844-appb-I000006
의 전체에 대하여 wi의 가중치가 곱해진다는 의미이다.
가중치 wi를 설정하는 가장 단순한 방법으로는 카메라(110)의 대수가 N개이므로 가중치 wi=1/N으로 설정할 수 있다. 다른 가중치 설정 방법들 역시
Figure PCTKR2018014844-appb-I000007
처럼 모든 가중치의 합이 1이 되도록 하여 영상의 전체 에너지에는 변함이 없도록 하는 것이 바람직하다.
도 6은 픽셀 수에 기초하여 가중치를 설정하는 일 예시를 설명하기 위한 도면이다.
가중치를 설정하는 또 다른 바람직한 방법으로는 도 6과 같이 도 4의 카메라별(110)로 획득된 영상들 내부에 존재하는 관심객체들의 픽셀 수를 계산하고 이를 이용하여 가중치를 서로 다르게 계산할 수 있다.
i∈{1, 2, 3,...,N}번째 관심객체의 픽셀의 개수를 ni라고 한다면
Figure PCTKR2018014844-appb-I000008
를 통해 결정할 수 있다. 이는 특정 카메라에서 촬영된 관심객체의 크기가 작다면 상대적으로 적은 가중치를 준다는 원리이다.
도 7은 선명도에 기초하여 가중치를 설정하는 일 예시를 설명하기 위한 도면이다.
가중치를 설정하는 또 다른 바람직한 방법으로는 도 7과 같이 기하학적으로 동일한 크기로 변환된 관심객체들에 대해서 선명도를 계산하고 이를 가중치 계산에 활용할 수 있다.
i∈{1, 2, 3,...,N}번째 영상에 대한 선명도를 si라고 한다면 가중치는
Figure PCTKR2018014844-appb-I000009
로 계산될 수 있다. 이는 높은 선명도를 가진 영상에 대해 높은 가중치를 취한다는 의미이다.
선명도를 계산하는 방법으로는
Figure PCTKR2018014844-appb-I000010
과 같은 라플라시안 커널을 이용하여 필터링을 수행하고, 필터링된 영상의 분산(variance)값을 취함으로써 선명도를 계산할 수 있다.
통상적으로 분산값이 높으면 선명도가 높은 영상이 되는데, 선명한 영상일수록 정보량이 많아서 영상화질 개선에 도움을 줄 수 있게 된다. 이밖에도 본 발명의 일 실시예에서는 선명도를 계산하는 다양한 방법이 적용 가능하며, 특정 선명도 계산 방법에 종속되지 않는다.
도 8은 정보엔트로피에 기초하여 가중치를 설정하는 일 예시를 설명하기 위한 도면이다.
가중치를 설정하는 또 다른 바람직한 방법으로는 도 8과 같이 기하학적으로 동일한 크기로 변환된 관심객체들에 대해서 정보엔트로피(Information Entropy)를 계산하여 이를 가중치 계산에 활용할 수 있다.
i∈{1, 2, 3,...,N}번째 영상에 대한 정보엔트로피를 hi라고 한다면 가중치는
Figure PCTKR2018014844-appb-I000011
로 계산될 수 있다. 이는 높은 정보량(정보엔트로피)를 가진 영상에 대해 높은 가중치를 취한다는 의미이다.
i∈{1, 2, 3,...,N}번째 영상에 대한 정보엔트로피는
Figure PCTKR2018014844-appb-I000012
로 나타낼 수 있는데, 여기서 K는 영상 내 픽셀을 표현하는 레벨의 수로써 1픽셀을 8비트로 표현하는 영상인 경우, K=256이 된다. 그리고 Pk는 k번째 레벨에 대한 확률값인데, 통상 영상의 히스토그램을 얻고 이를 전체 픽셀 수로 나누면 확률분포함수를 얻고, 각 레벨에 대한 확률값을 얻게 된다. 예를 들어 p100은 영상 내에서 픽셀값이 100인 픽셀이 영상 내에서 발생할 확률을 의미한다.
이와 같은 정보엔트로피가 크다는 것은 높은 정보량을 가진다는 것으로써 영상이 보다 선명할 가능성이 높다.
다음으로, 산출된 가중치를 각 카메라별(110)로 촬영된 영상의 관심객체에 적용하여 합성한다(S180).
즉,
Figure PCTKR2018014844-appb-I000013
와 같이 가중치를 관심객체들에 각각 곱한 후 이를 합산하여 합성된 하나의 관심객체를 획득할 수 있다.
도 9는 단일 카메라를 통해 시간축 상에서 획득된 영상을 설명하기 위한 도면이다.
한편, 본 발명의 일 실시예는 도 4에서 N개의 카메라 영상들 상호간에 이와 같은 처리를 수행하였으나, 전술한 바와 같이 카메라는 시간축 영상도 사용할 수 있기 때문에, 본 발명의 일 실시예에서는 t라는 특정 시간 시점의 영상 뿐만 아니라 {t-1, t-2,...,} 영상들도 확보된다면 전술한 방법을 사용하여 화질 개선된 영상을 합성할 수 있다.
즉, 본 발명의 일 실시예는 물리적으로 다수의 카메라가 아닌 단일 카메라에 대해서도 적용할 수 있다.
한편 상술한 설명에서, 단계 S110 내지 S180은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1에서의 관심객체 화질개선 시스템(100)에 관하여 이미 기술된 내용은 도 2 내지 도 8의 화질 개선 방법에도 적용된다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템(100)은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍처를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 관심객체 화질개선 시스템에서의 화질 개선 방법에 있어서,
    동일한 관심객체에 대하여 복수의 카메라별로 촬영된 영상을 획득하는 단계;
    상기 카메라별로 촬영된 영상에 바운딩 박스를 생성하는 단계;
    상기 바운딩 박스가 생성된 각 영상의 특징점을 추출하는 단계;
    상기 추출된 특징점 간의 매칭을 수행하는 단계;
    상기 카메라별로 촬영된 영상의 관심객체를 단일 모양으로 변환하기 위한 목표모양정보를 수신하는 단계;
    상기 목표모양정보에 기초하여 상기 특징점 간 매칭이 수행된 카메라별 촬영된 영상의 관심객체를 보정하는 단계;
    상기 보정된 관심객체 각각에 대한 가중치를 산출하는 단계 및
    상기 산출된 가중치를 각 카메라별로 촬영된 영상의 관심객체에 적용하여 합성하는 단계를 포함하는 화질 개선 방법.
  2. 제 1 항에 있어서,
    상기 카메라별로 촬영된 영상에 바운딩 박스를 생성하는 단계는,
    상기 관심객체가 모두 포함되도록 상기 바운딩 박스를 생성하는 것인 화질 개선 방법.
  3. 제 1 항에 있어서,
    상기 카메라별로 촬영된 영상에 바운딩 박스를 생성하는 단계는,
    상기 관심객체가 모두 포함되도록 상기 바운딩 박스를 생성하는 것인 화질 개선 방법.
  4. 제 1 항에 있어서,
    상기 추출된 특징점 간의 매칭을 수행하는 단계는,
    상기 다수의 카메라별로 촬영된 영상에 대해 추출된 특징점이 물리적으로 동일한 위치를 나타내도록 특징점 간 매칭을 수행하는 것인 화질 개선 방법.
  5. 제 1 항에 있어서,
    상기 목표모양정보에 기초하여 상기 특징점 간 매칭이 수행된 카메라별 촬영된 영상의 관심객체를 보정하는 단계는,
    호모그래피 변환행렬에 기초하여 상기 카메라별 촬영된 영상을 보정하는 것인 화질 개선 방법.
  6. 제 1 항에 있어서,
    상기 보정된 관심객체 각각에 대한 가중치를 산출하는 단계는,
    상기 보정된 관심객체들 중 선명도가 높은 영상의 관심객체에 더 높은 가중치를 부여하는 것인 화질 개선 방법.
  7. 제 1 항에 있어서,
    동일한 관심객체에 대하여 복수의 카메라별로 촬영된 영상을 획득하는 단계는,
    물리적으로 구별된 복수의 카메라를 통해 영상을 촬영하거나, 단일 카메라를 통해 서로 다른 시간 동안 복수 회 촬영하는 것인 화질 개선 방법.
  8. 관심객체의 화질을 개선하기 위한 시스템에 있어서,
    동일한 관심객체를 대상으로 영상을 촬영하는 복수의 카메라,
    상기 촬영된 각 영상에 기초하여 상기 관심객체의 화질을 개선하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라,
    상기 카메라별로 촬영된 영상에 바운딩 박스를 생성하고, 상기 바운딩 박스가 생성된 각 영상의 특징점을 추출하여 특징점 간의 매칭을 수행하며, 상기 카메라별로 촬영된 영상의 관심객체를 단일 모양으로 변환하기 위한 목표모양정보를 수신하고, 이에 기초하여 상기 특징점 간 매칭이 수행된 카메라별 촬영된 영상의 관심객체를 보정하며, 상기 보정된 관심객체 각각에 대한 가중치를 산출하고, 상기 산출된 가중치를 각 카메라별로 촬영된 영상의 관심객체에 적용하여 합성하는 것인 관심객체 화질개선 시스템.
PCT/KR2018/014844 2018-11-27 2018-11-28 관심객체 화질개선 시스템 및 방법 Ceased WO2020111311A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0148737 2018-11-27
KR1020180148737A KR102131445B1 (ko) 2018-11-27 2018-11-27 관심객체 화질개선 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2020111311A1 true WO2020111311A1 (ko) 2020-06-04

Family

ID=70853265

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014844 Ceased WO2020111311A1 (ko) 2018-11-27 2018-11-28 관심객체 화질개선 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102131445B1 (ko)
WO (1) WO2020111311A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100059A (zh) * 2022-06-23 2022-09-23 国网山东省电力公司青岛供电公司 一种输电可视化监控的清晰图像获取方法及系统
CN118806439A (zh) * 2024-09-18 2024-10-22 武汉真彩智造科技有限公司 一种基于图像融合的手术实时导航方法及系统
US12423976B2 (en) 2022-07-25 2025-09-23 Motorola Solutions, Inc. Device, system, and method for altering video streams to identify objects of interest

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102786880B1 (ko) * 2024-09-30 2025-03-26 주식회사 원우이엔지 이미지 흔들림 보정에 기반한 효율적인 객체 트래킹 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252762B1 (ko) * 2012-01-26 2013-04-12 (주) 피디케이리미티드 화상 회의 단말장치의 화상 합성 장치 및 방법
KR101540113B1 (ko) * 2014-06-18 2015-07-30 재단법인 실감교류인체감응솔루션연구단 실감 영상을 위한 영상 데이터를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR101574195B1 (ko) * 2014-02-14 2015-12-03 브이앤아이 주식회사 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
KR20160091564A (ko) * 2015-01-26 2016-08-03 엘지이노텍 주식회사 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
KR20170006201A (ko) * 2015-07-07 2017-01-17 삼성전자주식회사 촬영 장치 및 그 동작 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101410273B1 (ko) * 2012-09-11 2014-06-20 한국과학기술원 증강현실 응용을 위한 환경 모델링 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252762B1 (ko) * 2012-01-26 2013-04-12 (주) 피디케이리미티드 화상 회의 단말장치의 화상 합성 장치 및 방법
KR101574195B1 (ko) * 2014-02-14 2015-12-03 브이앤아이 주식회사 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
KR101540113B1 (ko) * 2014-06-18 2015-07-30 재단법인 실감교류인체감응솔루션연구단 실감 영상을 위한 영상 데이터를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR20160091564A (ko) * 2015-01-26 2016-08-03 엘지이노텍 주식회사 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
KR20170006201A (ko) * 2015-07-07 2017-01-17 삼성전자주식회사 촬영 장치 및 그 동작 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100059A (zh) * 2022-06-23 2022-09-23 国网山东省电力公司青岛供电公司 一种输电可视化监控的清晰图像获取方法及系统
US12423976B2 (en) 2022-07-25 2025-09-23 Motorola Solutions, Inc. Device, system, and method for altering video streams to identify objects of interest
CN118806439A (zh) * 2024-09-18 2024-10-22 武汉真彩智造科技有限公司 一种基于图像融合的手术实时导航方法及系统

Also Published As

Publication number Publication date
KR20200062839A (ko) 2020-06-04
KR102131445B1 (ko) 2020-07-08

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN110619662B (zh) 一种基于单目视觉的多行人目标空间连续定位方法及系统
CN109313799B (zh) 图像处理方法及设备
Porikli et al. Multi-camera calibration, object tracking and query generation
CN102227746A (zh) 立体图像处理装置、方法、记录介质和立体成像设备
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
EP3093822B1 (en) Displaying a target object imaged in a moving picture
CN110288511B (zh) 基于双相机图像的最小化误差拼接方法、装置、电子设备
CN110769224A (zh) 投影区域获取方法及投影方法
KR102131445B1 (ko) 관심객체 화질개선 시스템 및 방법
CN114511719B (zh) 一种图像匹配方法、装置、设备及存储介质
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
CN112689221B (zh) 录音方法、录音装置、电子设备及计算机可读存储介质
WO2022203464A2 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
CN103500471A (zh) 实现高分辨率增强现实系统的方法
WO2022040988A1 (zh) 图像处理方法、装置及可移动平台
CN111080774B (zh) 一种应用深度采样进行光场重构的方法及系统
CN116579920A (zh) 一种基于异构多模全景立体成像系统图像拼接方法及系统
CN114913239A (zh) 一种事件相机传感器与rgb相机联合标定方法和装置
CN117333686A (zh) 目标定位方法、装置、设备及介质
WO2015069063A1 (en) Method and system for creating a camera refocus effect
CN105467741A (zh) 一种全景拍照方法及终端
CN119540303A (zh) 图像配准、全景拼接方法、装置、存储介质及电子设备
JP2003317033A (ja) 画像処理におけるアフィン変換係数算出方法および画像処理装置
CN106952218A (zh) 一种鱼眼镜头成像有效区域的提取方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941335

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941335

Country of ref document: EP

Kind code of ref document: A1