WO2016043401A1 - 영상 처리 방법 - Google Patents

영상 처리 방법 Download PDF

Info

Publication number
WO2016043401A1
WO2016043401A1 PCT/KR2015/004468 KR2015004468W WO2016043401A1 WO 2016043401 A1 WO2016043401 A1 WO 2016043401A1 KR 2015004468 W KR2015004468 W KR 2015004468W WO 2016043401 A1 WO2016043401 A1 WO 2016043401A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
dimensional
information
modeling
Prior art date
Application number
PCT/KR2015/004468
Other languages
English (en)
French (fr)
Inventor
정송택
송재천
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Publication of WO2016043401A1 publication Critical patent/WO2016043401A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Definitions

  • the present invention relates to an image processing method, and more particularly, to an image processing method for generating three-dimensional modeling information using a plurality of two-dimensional images.
  • a commonly used method for acquiring a 3D image is a method of synthesizing two images taken using two cameras photographing a subject with an angle difference.
  • a 3D camera for pairing two cameras should be used.
  • building a video surveillance system using an expensive 3D camera has a disadvantage in that it is quite expensive.
  • the problem to be solved by the present invention is to generate a three-dimensional modeling of the subject based on the two-dimensional images, even if at least a part of the subject is covered by another object in the image photographed the subject three-dimensional information of the hidden part It is to provide an image processing method for providing.
  • a method of processing an image including: obtaining a plurality of two-dimensional images photographed at a plurality of viewpoints with respect to at least one subject; Generating three-dimensional modeling information of a subject; selecting one of the at least one subject; and selecting the selected subject in any two-dimensional image in which the selected subject is photographed based on the three-dimensional modeling information. Expressing at least a portion of the image in a three-dimensional image, determining whether there is a screening portion covered by an object other than the selected subject among the selected subjects in the arbitrary two-dimensional image, and wherein the screening portion is present In this case, the screening portion is based on the three-dimensional modeling information. Restoring to represent the screening portion in three-dimensional modeling within the arbitrary two-dimensional image.
  • the generating of the 3D modeling information may include separating the subject and the background from the plurality of 2D images, maintaining the background as a 2D image, and performing the 3D modeling on the subject. Information can be generated.
  • the 3D modeling information includes geometry information about the subject.
  • the 3D modeling information may further include texture information about the subject.
  • the step of expressing the screening portion in 3D modeling may include predicting the movement of the screening portion and reflecting the expected movement of the screening portion to reflect the screening portion within the arbitrary two-dimensional image. Represented by three-dimensional modeling.
  • the geometry information for the screening portion is compared in time order to predict the movement of the screening portion.
  • the 3D modeling information is generated by dividing the subject into a plurality of parts, and in the step of expressing the screening part in 3D modeling, the plurality of The motion of the screening part is predicted by comparing the geometry information of the part corresponding to the screening part in the order of time.
  • the subject may be a movable object
  • the plurality of two-dimensional images may include images of a subject photographed by a fixed camera at a time difference and a camera installed at different positions. May include at least one of the images of the subject.
  • the arbitrary two-dimensional image may be an image captured at a later point in time than a photographing time point of the plurality of two-dimensional images.
  • the arbitrary two-dimensional image may be a real-time image of the subject.
  • FIG. 1 is a block diagram illustrating an image processing system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an image processing method using an image processing system according to an exemplary embodiment of the present invention.
  • 3 to 6 are diagrams showing an example of a plurality of two-dimensional images obtained by the image acquisition unit according to an embodiment of the present invention.
  • FIG. 7 is a diagram schematically illustrating a 3D modeling image generated by an image processing method according to an exemplary embodiment of the present invention based on the images of FIGS. 3 to 6.
  • FIG. 8 is a diagram illustrating an example of an image in which a part of a subject is covered by another object among images acquired by the image acquisition unit according to an exemplary embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a state in which an obscured portion of a subject is restored in the image of FIG. 8.
  • FIGS. 10 and 11 are diagrams for describing an example of correcting and restoring a perspective ratio with respect to a screening part of a subject.
  • 12 to 14 are diagrams for explaining an example of restoring the movement of the screening portion of the subject in anticipation.
  • FIG. 1 is a block diagram illustrating an image processing system according to an exemplary embodiment of the present invention.
  • the image processing system 1 includes a plurality of image acquirers 11, 12, and 13, an image separator 20, and a 3D model generator 30. , A processing unit 40, an input unit 50, and a display unit 60.
  • the plurality of image acquisition units 11, 12, and 13 may include the first image acquisition unit 11, the second image acquisition unit 12,... And an N-th image acquisition unit 13.
  • Each of the image acquisition units 11, 12, and 13 is a photographing unit that acquires a two-dimensional image.
  • the two-dimensional images acquired by the respective image acquisition units 11, 12, and 13 include still pictures and videos.
  • the image separator 20 separates the subject and the background from the two-dimensional images acquired by the plurality of image acquirers 11, 12, and 13.
  • the subject may be a movable object such as a person or a vehicle included in the 2D image
  • the background may be an object excluding the subject from the 2D image.
  • the image separator 20 may separate a plurality of subjects existing in the 2D image from the background.
  • the 3D model generator 30 accumulates and generates 3D modeling information on the subject by using the subject separated from the 2D image by the image separator 20.
  • the front view of the subject is contained in a single two-dimensional image, complete three-dimensional modeling information cannot be generated because there is no information on the side and rear of the subject. However, if there are a plurality of two-dimensional images of the subject photographed at different angles, more specific three-dimensional modeling information about the subject may be generated.
  • a plurality of two-dimensional images in which a specific subject is photographed at various angles by the at least one image acquisition unit of the plurality of image acquisition units 11, 12, and 13 are simultaneously or sequentially transferred to the image separation unit 20.
  • the three-dimensional modeling generator 30 synthesizes the separated two-dimensional subject images of the various angles to three-dimensional modeling information about the subject. Can be generated.
  • the plurality of two-dimensional images in which a specific subject is photographed at various angles may be images in which the plurality of image capturing units 11, 12, 13 photograph the subjects at different positions, or the plurality of image capturing units 11, 12, Any one of 13) may be images of a moving subject taken over time.
  • the plurality of image acquisition units 11, 12, and 13 may rotate in a predetermined angle range and have a configuration capable of continuously tracking a subject.
  • the 3D model generator 30 secures the 2D object image photographed from more various angles as time passes, the 3D model generator 30 gradually generates complete 3D modeling information about the subject.
  • the 3D modeling information generated by the 3D model generator 30 may include geometry information and texture information of the subject from the 2D subject image.
  • the geometry information of the subject may be outline information of the subject, and may be composed of a set of dozens or more coordinates representing the outline of the subject.
  • the texture information of the subject may be information about color, texture, etc. of the subject.
  • the 3D model generator 30 may divide the subject into a plurality of parts and generate 3D modeling information for each part. In this case, the 3D model generator 30 may extract geometry information and texture information for each part to generate 3D modeling information divided for each part.
  • the 3D model generator 30 may generate the 3D modeling information by dividing the subject into a head part, a body part, and a leg part based on the neck and the waist.
  • the three-dimensional modeling information may be generated by dividing the subject into six parts, such as a head part, a torso part, a left arm part, a right arm part, a left leg part, and a right leg part.
  • the plurality of parts may be divided into three parts based on each joint of the person to generate respective three-dimensional modeling information.
  • images of front, rear, left, and right of the subject are required.
  • two-dimensional images of a subject collected through the fixedly installed image acquisition units 11, 12, and 13 do not include images of front, rear, left, and right sides of the subject.
  • the 3D model generator 30 may acquire two-dimensional images of a subject acquired by the plurality of image acquisition units 11, 12, and 13 and separated from the image separator 20. If it is insufficient to complete the complete 3D modeling information for the image, the 3D modeling information of the object is mapped by mapping the 3D modeling information of the symmetrical part to the parts not present in the 2D images transmitted from the image separator 20. You can complete the information.
  • the 3D modeling information on the left side of the subject extracted from the 2D images is symmetrically mapped to the subject.
  • Three-dimensional modeling information on the right side of can be generated.
  • the processor 40 reflects the 3D modeling information generated by the 3D model generator 30 to the 2D images captured by the plurality of image acquisition units 11, 12, and 13. That is, the background is maintained in two dimensions in the two-dimensional image, and the subject is converted into an image reflecting the three-dimensional modeling information.
  • the processor 40 may express the 3D modeling only for the subject selected by the user through the input unit 50, and the background and the unselected subject may maintain the 2D image.
  • the processor 40 determines whether a screening portion, which is covered by an object other than the subject, exists in the image photographed by the plurality of image acquisition units 11, 12, and 13.
  • the processor 40 restores the screening portion of the subject and reflects the 3D modeling information on the subject generated by the 3D model generator 30 to express the image on the image.
  • the screening part may be represented by three-dimensional modeling together with the subject.
  • the processor 40 may correct the perspective ratio of the screening portion and express the 3D modeling.
  • the subject in the image from which the 3D modeling information of the screening portion of the subject is extracted, the subject is located close to the image acquisition units 11, 12, and 13, and the subject is formed large in the image, but the screening portion of the subject is not the subject.
  • the subject In a state where the object is hidden, the subject may be located far from the image acquisition units 11, 12, and 13 so that the subject may be formed small in the image.
  • the ratio between the screening portion and the other portion of the subject may not match.
  • the processing unit 40 reduces / enlarges the 3D modeling of the screening part by reflecting the size of the part other than the screening part of the subject and the like. It can be expressed to match the ratio with other parts.
  • the processor 40 may reduce / enlarge the 3D modeling of the screening portion based on the distance change amount between the geometric coordinates of the portions other than the screening portion of the subject.
  • the processor 40 may anticipate the movement of the screening portion of the subject and may express the reflected motion.
  • the processing unit 40 grasps a movement pattern at a time before the screening portion of the subject is covered by an object other than the subject, and based on the identified movement pattern, the processing portion 40 of the screening portion after the screening portion is covered by an object other than the subject.
  • the motion can be predicted and expressed in three-dimensional modeling on the image.
  • the processor 40 extracts, in time order, the geometry information of the screening portion from the images photographed at the point in time when the screening portion of the subject is covered by an object other than the subject, and the like, and the change amount of the geometry information (geometric coordinates). Change amount), the moving direction, moving speed, and moving distance of the screening part can be determined. At the same time, the yaw, pitch, and roll degree of the screening portion can be determined.
  • the processor 40 may express the screening part after the screening part is covered by an object other than the subject and express it on the image under the assumption that the screening part maintains the movement pattern based on the identified motion information. have.
  • the processor 40 may extract the geometry information of the part corresponding to the screening part of the plurality of parts. Extracted in chronological order, grasped the movement pattern of the screening part through the amount of change in the geometry information of the part, and based on this, predicted the screening part's movement after the screening part was covered by an object other than the subject, etc. Modeling allows the user to continuously check complete information on the subject and to analyze the position and behavior of the subject more easily.
  • the display unit 60 is connected to the processor 60 to display an image in which the 3D modeling information is reflected on the subject by the processor 60.
  • the user may check 3D information on the subject of interest in the images acquired by the plurality of image acquisition units 11, 12, and 13.
  • the plurality of image acquisition units 11, 12, and 13 may acquire an image and display the 3D information about the subject in the corresponding image in real time.
  • the input unit 50 connected to the processing unit 40 receives a command from the user.
  • the command received from the user may be a command for searching for a subject among images acquired by the plurality of image acquisition units 11, 12, and 13, and a command for selecting one of the plurality of subjects.
  • the processor 40 may apply to an input subject from among images acquired by the plurality of image acquirers 11, 12, and 13. Images including information similar to the information may be extracted and the extracted images may be displayed on the display unit 60.
  • the processor 40 selects a subject from an image including the selected subject from a point in time after the corresponding command is input.
  • the 3D modeling information may be converted into an image reflected and displayed on the display unit 60.
  • the input unit 50 is configured to have a user interface (UI) that allows a user to search for and select a subject.
  • UI user interface
  • FIG. 2 is a flowchart illustrating an image processing method using an image processing system according to an exemplary embodiment of the present invention.
  • the method includes: obtaining a plurality of two-dimensional images (S11), generating three-dimensional modeling information (S12), and selecting a subject of interest (S13), determining whether a hidden part of the selected subject exists (S14), restoring the hidden portion of the subject based on the 3D modeling information (S15), and subjects in the 2D image as 3D modeling. Expressing step S16.
  • Acquiring a plurality of two-dimensional images is performed by a plurality of image acquisition units 11, 12, 13 of the image processing system 1 according to an embodiment of the present invention.
  • Each image acquisition unit 11, 12, 13 acquires a plurality of two-dimensional images.
  • 3 to 6 are diagrams showing an example of a plurality of two-dimensional images obtained by the image acquisition unit according to an embodiment of the present invention.
  • 3 to 6 illustrate images of one of the plurality of image acquisition units 11, 12, and 13 photographing a predetermined region over time.
  • the vehicle image 100, the building image 200, and the road image 300 are included in the plurality of two-dimensional images.
  • images of the front, left, and right sides, and the rear of the vehicle 100 are recorded.
  • Generating the 3D modeling information (S12) is performed by the image separator 20 and the 3D model generator 30 of the image processing system 1 according to the embodiment of the present invention.
  • the image separator 20 classifies the vehicle image 100, which is a moving object, within the plurality of two-dimensional images illustrated in FIGS. 3 to 6 as a subject, and the building image 200 and the road image 300 are set as a background. Classify. Then, the vehicle image 100 is separated from each of the plurality of two-dimensional images.
  • a vehicle is illustrated as a movable subject, but a movable target such as a person or an animal other than the vehicle may be the subject.
  • the 3D modeling generation unit 30 generates 3D modeling information on the vehicle 100 based on the vehicle images 100 of various angles separated by the image separation unit 20. As shown in FIGS. 3 to 6, in each of the two-dimensional images, images of the front, left, and right sides, and the rear of the vehicle 100 are recorded, and thus, three-dimensional modeling information of the vehicle 100 is generated. do. Although only four images are illustrated for convenience of description, when the image acquisition units 11, 12, and 13 are equipment capable of capturing video, specific three-dimensional modeling information may be generated based on dozens or more images.
  • FIG. 7 is a diagram schematically illustrating a 3D modeling image generated by an image processing method according to an exemplary embodiment of the present invention based on the images of FIGS. 3 to 6.
  • the 3D modeling generation unit 30 generates 3D modeling information for the vehicle 100 based on the vehicle images 100 having various angles separated by the image separation unit 20. do.
  • Selecting a subject of interest is performed by using the input unit 50 of the image processing system 1 according to the exemplary embodiment.
  • the user searches and / or selects a subject of interest through the input unit 50.
  • the user may search for and / or select a subject of interest through a UI (User Interface) preset in the input unit 50.
  • UI User Interface
  • Determining whether or not a hidden part of the selected subject exists is performed by the processing unit 40 of the image processing system 1 according to an exemplary embodiment of the present invention.
  • the processor 40 determines whether at least a portion of the selected subject 100 is covered by an object other than the subject 200 or 300 among the plurality of images acquired by the plurality of image acquirers 11, 12, and 13. Determine whether or not.
  • FIG. 8 is a diagram illustrating an example of an image in which a part of a subject is covered by another object among images acquired by the image acquisition unit according to an exemplary embodiment of the present invention.
  • the processor 40 determines that the screening portion of the selected subject 100 exists.
  • Restoring the hidden portion of the subject based on the 3D modeling information (S15) is also performed by the processor 40 of the image processing system 1 according to an embodiment of the present invention.
  • the processor 40 may apply to the subject 100 generated in step S12 of generating three-dimensional modeling information.
  • the hidden portion of the subject 100 is restored using the 3D modeling information.
  • FIG. 9 is a diagram illustrating a state in which an obscured portion of a subject is restored in the image of FIG. 8.
  • the processor 40 restores the screening portion 102 of the vehicle image 100, which is a subject, using 3D modeling information about the vehicle 100.
  • the step S16 of representing the subject in the 2D image by 3D modeling is performed by the processor 40 and the display 60 of the image processing system 1 according to an exemplary embodiment.
  • the image of the subject 100 is displayed by the processor 40 in 3D modeling information.
  • the reflected image is converted.
  • objects 200 and 300 other than the subject 100 as a background are maintained as two-dimensional images.
  • the processor 40 maintains the backgrounds 200 and 300 as two-dimensional images, and the subject 100 expresses the image data converted into the image in which the three-dimensional modeling information is reflected through the display 40.
  • the user may check 3D information on the subject 100 of interest through the display unit 40.
  • the processing unit 40 of the subject 100 determines whether there is a hidden portion of the selected subject, for the image determined to be present in the hidden portion of the subject, as described above.
  • the screening part 102 (refer to FIG. 9) is represented through the display unit 40 in a restored state. Even in this case, the backgrounds 200 and 300 are maintained as two-dimensional images, and the screening portion 102 (see FIG. 9) and the unobstructed portion 101 (see FIG. 9) of the subject 100 are three-dimensional modeling information. Is converted into the reflected image and expressed through the display unit 40.
  • FIGS. 10 and 11 are diagrams for explaining an example of correcting and restoring a perspective ratio of a screening part of a subject.
  • FIG. 10 is an image captured by the subject 400 being located close to the image acquirers 11, 12, and 13, and FIG. 11 illustrates that the subject 400 is an image acquirer 11, 12, and 13 compared to FIG. 10. The image was taken away from the camera.
  • the processor 40 restores and expresses the screening part of the left arm that is covered by the object 401.
  • the three-dimensional modeling information for the screening portion of the left arm as shown in FIG. 10 the left arm when the subject 400 is extracted from the images located close to the image acquisition unit (11, 12, 13) If the perspective ratio of the screening portion of the screen is expressed by three-dimensional modeling without correction, the screening portion is larger than other portions of the subject 400.
  • the processor 40 reduces or enlarges the 3D modeling of the screening part in consideration of the distance ratio between the geometry points of the 3D modeling information of the screening part of the subject 400 to screen the subject 400.
  • the part can be expressed so that the proportion matches the other part.
  • the processor 40 may obtain information about a distance ratio between the reference points A1, A2, and A3 among the geometric points from the image of FIG. 10. For example, the processor 40 may calculate a ratio of the distance between A2 and A3 to the distance between A1 and A2. As illustrated in FIG. 11, A1 and A2 may be geometric points of a portion of the subject 400 that is not covered by the object 401, and A3 may be a geometric point positioned at the screening portion of the subject 400.
  • the processor 40 restores the screening portion of the subject 400 to 3D modeling so that the distance ratio between the reference points A1, A2, and A3 is maintained. Reduced representation of three-dimensional modeling for the screening part of.
  • the overall ratio of the subject 400 may be maintained to minimize heterogeneity due to the restoration of the screening portion.
  • 12 to 14 are diagrams for describing an example of restoring a predicted movement of a screening part of a subject.
  • the three-dimensional model generator 30 moves the subject 400 to the head part P1, the torso part P2, the right arm part P3, the left arm part P4, and the right leg part ( P5) and three-dimensional modeling information can be generated for each part by dividing it into the left leg part P6.
  • the processor 40 may check the change in the geometry information for each part and express each part by 3D modeling.
  • the part whose geometry information does not change is a part which does not move and maintains 3D modeling
  • the part whose geometry information changes among the parts is a moving part and is expressed by changing 3D modeling.
  • the processor 40 may screen based on the three-dimensional modeling information of the left leg part P6. Part is represented by 3D modeling.
  • the left leg part P6 may continue to move while at least a part thereof is hidden by the object 401.
  • the processor 40 extracts, in time order, geometry information about the left leg part P6 from images taken when the left leg part P6 on which the screening part is formed is covered by the object 401.
  • the moving direction, the moving speed, the moving distance, and the like of the left leg part P6 are grasped through the change amount (change amount of geometric coordinates) of.
  • the processing unit 40 may grasp the yaw, the pitch, and the roll degree of the left leg part P6.
  • the motion of the left leg part P6 may be predicted and expressed in three-dimensional modeling on the image.
  • the subject 400 By expressing the movement of the subject 400 within a range that can be predicted from a past viewpoint, even if at least a part of the subject 400 is covered by the object 401, the subject 400 can be more naturally expressed and at the same time the subject 400 Visually represent the expected movement of
  • the image processing system 1 and the image processing method according to the exemplary embodiment of the present invention generate and reflect 3D modeling information on a subject based on a plurality of images of the subject selected by the user. After selecting the subject, the selected subject can be expressed in a 3D model so that specific information about the subject can be confirmed.
  • the subject since the 2D image is maintained for the background portion except for the subject, the subject may be converted into the 3D model in a short time, and thus the subject may be converted into the 3D model for the real time image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 영상 처리 방법은, 적어도 하나의 피사체에 대해 복수 시점에서 촬영한 복수의 2차원 이미지를 획득하는 단계, 상기 복수의 2차원 이미지로부터 상기 적어도 하나의 피사체의 3차원 모델링 정보를 생성하는 단계, 상기 적어도 하나의 피사체 중 어느 하나의 피사체를 선택하는 단계, 상기 3차원 모델링 정보를 기초로 상기 선택된 피사체가 촬영된 임의의 2차원 이미지 내에서 상기 선택된 피사체의 적어도 일부를 3차원 이미지로 표현하는 단계, 상기 임의의 2차원 이미지 내에서 상기 선택된 피사체 중 상기 선택된 피사체 이외의 물체에 의해 가려진 스크리닝 부분이 존재하는지 여부를 판단하는 단계 및 상기 스크리닝 부분이 존재하는 경우에, 상기 스크리닝 부분을 상기 3차원 모델링 정보를 기초로 복원하여 상기 임의의 2차원 이미지 내에서 상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계를 포함한다.

Description

영상 처리 방법
본 발명은 영상 처리 방법에 관한 것으로서, 보다 상세하게는 복수 개의 2차원 이미지를 이용해 3차원 모델링 정보를 생성하는 영상 처리 방법에 관한 것이다.
최근에 CCTV 등의 감시 카메라를 이용한 영상 감시 시스템이 급속히 보급되고 있다. 종래의 일반적인 감시 카메라는 2D 영상을 제공한다. 2D 영상은 감시 카메라에 의해 촬영되는 방향의 반대편에 대한 정보를 확인할 수 없으므로, 영상 이미지 내에 다양한 사각 지대가 존재하게 된다.
이러한 단점을 보완하는 방안으로, 최근에는 3D 영상을 제공하는 영상 감시 시스템에 대한 요구가 늘어나고 있다.
3D 영상을 획득하기 위해 일반적으로 사용되는 방법은 각도차를 두고 피사체를 촬영하는 2대의 카메라를 이용해 촬영한 2개의 이미지를 합성하는 방법이다. 이와 같은 방법으로 3D 영상을 제공하는 영상 감시 시스템을 구축하기 위해서는 2대의 카메라가 한 쌍으로 이루어지는 3D 촬영용 카메라를 사용하여야 한다. 그러나, 고가의 3D 촬영용 카메라를 이용해 영상 감시 시스템을 구축하는 것은 상당한 비용이 소요된다는 단점이 있다.
3D 영상을 획득하는 다른 방법으로는, 거리 또는 방향을 달리하며 피사체를 촬영한 이미지들을 통해 2D 영상을 3D 영상으로 변환하는 방법이 있다. 종래의 2D 영상 감시 시스템의 하드웨어의 교체를 최소화하고 소프트웨어의 변경 및 보완의 측면으로 접근할 수 있어, 전술한 방법에 비해 상대적으로 낮은 비용으로 3D 영상을 획득할 수 있다.
본 발명이 해결하고자 하는 과제는, 2차원 이미지들을 기초로 피사체의 3차원 모델링을 생성하고, 피사체를 촬영한 영상 내에서 피사체의 적어도 일부가 다른 물체 등에 의해 가려지는 경우에도 가려진 부분의 3차원 정보를 제공하는 영상 처리 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 처리 방법은, 적어도 하나의 피사체에 대해 복수 시점에서 촬영한 복수의 2차원 이미지를 획득하는 단계, 상기 복수의 2차원 이미지로부터 상기 적어도 하나의 피사체의 3차원 모델링 정보를 생성하는 단계, 상기 적어도 하나의 피사체 중 어느 하나의 피사체를 선택하는 단계, 상기 3차원 모델링 정보를 기초로 상기 선택된 피사체가 촬영된 임의의 2차원 이미지 내에서 상기 선택된 피사체의 적어도 일부를 3차원 이미지로 표현하는 단계, 상기 임의의 2차원 이미지 내에서 상기 선택된 피사체 중 상기 선택된 피사체 이외의 물체에 의해 가려진 스크리닝 부분이 존재하는지 여부를 판단하는 단계 및 상기 스크리닝 부분이 존재하는 경우에, 상기 스크리닝 부분을 상기 3차원 모델링 정보를 기초로 복원하여 상기 임의의 2차원 이미지 내에서 상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계를 포함한다.
일 실시예에 따르면, 상기 3차원 모델링 정보를 생성하는 단계는, 상기 복수의 2차원 이미지에서 상기 피사체와 배경을 분리하고, 상기 배경은 2차원 이미지로 유지하고, 상기 피사체에 대한 상기 3차원 모델링 정보를 생성할 수 있다.
일 실시예에 따르면, 상기 3차원 모델링 정보는, 상기 피사체에 대한 지오메트리 정보를 포함한다.
일 실시예에 따르면, 상기 3차원 모델링 정보는, 상기 피사체에 대한 텍스쳐 정보를 더 포함한다.
일 실시예에 따르면, 상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계는, 상기 스크리닝 부분의 움직임을 예상하고, 상기 스크리닝 부분의 예상되는 움직임을 반영하여 상기 임의의 2차원 이미지 내에서 상기 스크리닝 부분을 3차원 모델링으로 표현한다.
일 실시예에 따르면, 상기 스크리닝 부분에 대한 상기 지오메트리 정보를 시간 순서로 비교하여 상기 스크리닝 부분의 움직임을 예상한다.
일 실시예에 따르면, 상기 3차원 모델링 정보를 생성하는 단계에서, 상기 3차원 모델링 정보는 상기 피사체를 복수의 파트로 분리하여 생성되고, 상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계에서, 상기 복수의 파트 중 상기 스크리닝 부분과 대응되는 파트의 상기 지오메트리 정보를 시간 순서로 비교하여 상기 스크리닝 부분의 움직임을 예상한다.
일 실시예에 따르면, 상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계는, 상기 선택된 피사체 중 상기 스크리닝 부분 이외의 부분의 상기 지오메트리 정보를 기초로 상기 스크리닝 부분의 원근 비율을 보정하여 상기 스크리닝 부분을 3차원 모델링으로 표현한다.일 실시예에 따르면, 상기 피사체는 이동 가능한 대상이며, 상기 복수의 2차원 이미지는, 고정 설치된 카메라가 이동하는 상기 피사체를 시간차를 두고 촬영한 이미지 및 서로 다른 위치에 설치된 카메라가 상기 피사체를 촬영한 이미지 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 임의의 2차원 이미지는 상기 복수의 2차원 이미지의 촬영 시점보다 늦은 시점에 촬영된 이미지일 수 있다.
일 실시예에 따르면, 상기 임의의 2차원 이미지는 상기 피사체에 대한 실시간 이미지일 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 의하면 적어도 다음과 같은 효과가 있다.
피사체를 촬영한 영상 내에서 피사체의 적어도 일부가 다른 물체 등에 의해 가려지는 경우에도 가려진 부분의 3차원 정보를 제공한다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 영상 처리 시스템을 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 영상 처리 시스템을 이용한 영상 처리 방법을 도시한 순서도이다.
도 3 내지 도 6은 본 발명의 실시예에 따른 영상 획득부에 의해 획득된 복수의 2차원 이미지의 일례를 도시한 도면이다.
도 7은 도 3 내지 도 6의 이미지들을 기초로 본 발명의 실시예에 따른 영상 처리 방법에 의해 생성된 3차원 모델링 이미지를 개략적으로 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 영상 획득부에 의해 획득된 이미지 중, 피사체의 일부가 다른 물체에 의해 가려진 이미지의 일례를 도시한 도면이다.
도 9는 도 8의 이미지에서 피사체의 가려진 부분을 복원한 상태를 도시한 도면이다.
도 10 및 도 11은 피사체의 스크리닝 부분에 대해 원근 비율을 보정하여 복원하는 예를 설명하기 위한 도면이다.
도 12 내지 도 14는 피사체의 스크리닝 부분의 움직임을 예상하여 복원하는 예를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예에 따른 영상 처리 시스템 및 영상 처리 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대하여 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 영상 처리 시스템을 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 처리 시스템(1)은 복수 개의 영상 획득부(11, 12, 13), 영상 분리부(20), 3차원 모델 생성부(30), 처리부(40), 입력부(50) 및 디스플레이부(60)를 포함한다.
복수 개의 영상 획득부(11, 12, 13)는 각각 서로 다른 위치에 설치되는 제1 영상 획득부(11), 제2 영상 획득부(12), …, 제N 영상 획득부(13)를 포함한다. 각각의 영상 획득부들(11, 12, 13)은 2차원 이미지를 획득하는 촬영 유닛이다. 각각의 영상 획득부들(11, 12, 13)에 의해 획득되는 2차원 이미지들은 스틸 사진 및 동영상을 포함한다.
영상 분리부(20)는 복수 개의 영상 획득부(11, 12, 13)에 의해 획득된 2차원 이미지에서 피사체와 배경을 분리한다. 피사체는 2차원 이미지에 포함된 사람, 차량 등의 이동 가능한 대상일 수 있고, 배경은 2차원 이미지에서 피사체를 제외한 대상일 수 있다. 영상 분리부(20)는 2차원 이미지 내에 존재하는 복수의 피사체들을 배경으로부터 분리할 수 있다.
3차원 모델 생성부(30)는 영상 분리부(20)에 의해 2차원 이미지에서 분리된 피사체를 이용해 해당 피사체에 대한 3차원 모델링 정보를 축적 및 생성한다.
한 장의 2차원 이미지 내에 피사체의 정면 모습이 담겨 있다면 피사체의 측면 및 후면에 대한 정보가 없어서 온전한 3차원 모델링 정보를 생성할 수 없다. 그러나, 피사체를 서로 다른 각도에서 촬영한 복수 개의 2차원 이미지가 있다면 피사체에 대한 좀 더 구체적인 3차원 모델링 정보를 생성할 수 있다.
따라서, 복수 개의 영상 획득부(11, 12, 13) 중 적어도 하나의 영상 획득부에 의해 특정 피사체가 다양한 각도로 촬영된 복수 개의 2차원 이미지가 동시 또는 순차적으로 영상 분리부(20)에 전달되고, 영상 분리부(20)가 복수 개의 2차원 이미지로부터 다양한 각도의 피사체를 분리하면, 3차원 모델링 생성부(30)는 분리된 다양한 각도의 2차원 피사체 이미지를 합성하여 피사체에 대한 3차원 모델링 정보를 생성할 수 있다.
특정 피사체가 다양한 각도로 촬영된 복수 개의 2차원 이미지는, 복수 개의 영상 획득부(11, 12, 13)가 서로 다른 위치에서 피사체를 촬영한 이미지들이거나, 복수 개의 영상 획득부(11, 12, 13) 중 어느 하나가 이동하는 피사체를 시간의 경과에 따라 촬영한 이미지들일 수 있다. 복수 개의 영상 획득부(11, 12, 13)는 일정한 각도 범위에서 회전하며 피사체를 지속적으로 추적할 수 있는 구성을 가질 수 있다.
3차원 모델 생성부(30)는 시간이 지남에 따라 보다 다양한 각도에서 촬영된 2차원 피사체 이미지를 확보하게 되므로, 점진적으로 피사체에 대한 온전한 3차원 모델링 정보를 생성하게 된다.
3차원 모델 생성부(30)에 의해 생성되는 3차원 모델링 정보는 2차원 피사체 이미지로부터 피사체의 지오메트리 정보 및 텍스쳐 정보를 포함할 수 있다. 피사체의 지오메트리 정보는 피사체의 윤곽 정보일 수 있으며, 피사체의 윤곽을 표현하는 수십 개 이상의 좌표들의 집합으로 이루어질 수 있다. 피사체의 텍스쳐 정보는 피사체의 색상, 질감 등에 대한 정보일 수 있다.
3차원 모델 생성부(30)는 피사체를 복수의 파트로 분리하고, 각 파트 별로 3차원 모델링 정보를 생성할 수 있다. 이 경우, 3차원 모델 생성부(30)는 각 파트 별로 지오메트리 정보 및 텍스쳐 정보 등을 추출하여 각 파트 별로 구분된 3차원 모델링 정보를 생성할 수 있다.
피사체가 사람인 경우, 3차원 모델 생성부(30)는 피사체를 목과 허리를 기준으로 머리 파트, 몸통 파트, 다리 파트로 나누어 각각의 3차원 모델링 정보를 생성할 수 있다. 또는, 피사체를 머리 파트, 몸통 파트, 왼팔 파트, 오른팔 파트, 왼다리 파트, 오른 다리 파트와 같이, 6개의 파트로 나누어 각각의 3차원 모델링 정보를 생성할 수 있다. 또는 보다 세부적으로 사람의 각 관절을 기준으로 복수의 파트를 나누어 각각의 3차원 모델링 정보를 생성할 수 있다.
한편, 피사체에 대한 온전한 3차원 모델링 정보를 생성하기 위해서는 피사체의 전후좌우에 대한 이미지들이 요구된다. 그러나, 일반적으로 고정 설치되는 영상 획득부(11, 12, 13)를 통해 수집되는 피사체에 대한 2차원 이미지들이 피사체의 전후좌우에 대한 이미지들을 모두 포함하지 못하는 경우가 빈번하다.
이러한 경우에 대비하여, 3차원 모델 생성부(30)는, 복수 개의 영상 획득부(11, 12, 13)에 의해 획득되어 영상 분리부(20)로부터 분리된 피사체에 대한 2차원 이미지들이 피사체에 대한 완벽한 3차원 모델링 정보를 완성하기에 부족한 경우, 영상 분리부(20)로부터 전달된 2차원 이미지들에 존재하지 않는 부분에 대해서는 대칭되는 부분의 3차원 모델링 정보를 매핑하여 피사체의 전체적인 3차원 모델링 정보를 완성할 수 있다.
예를 들어, 영상 분리부(20)로부터 전달된 2차원 이미지들에 피사체의 우측부분이 존재하지 않는다면, 2차원 이미지들로부터 추출된 피사체의 좌측 부분에 대한 3차원 모델링 정보를 대칭되도록 매핑하여 피사체의 우측 부분에 대한 3차원 모델링 정보를 생성할 수 있다.
한편, 처리부(40)는 3차원 모델 생성부(30)에서 생성한 3차원 모델링 정보를 복수 개의 영상 획득부(11, 12, 13)가 촬영한 2차원 이미지에 반영한다. 즉 2차원 이미지 내에서 배경은 2차원으로 유지되고, 피사체는 3차원 모델링 정보가 반영된 이미지로 변환된다.
처리부(40)는 사용자가 입력부(50)를 통해 선택한 피사체에 대해서만 3차원 모델링으로 표현하고, 배경과 선택되지 않은 피사체는 2차원 이미지를 유지할 수 있다.
또한, 처리부(40)는 복수 개의 영상 획득부(11, 12, 13)가 촬영한 이미지 내에서 피사체 중 피사체 이외의 물체 등에 의해 가려진 스크리닝 부분이 존재하는 여부를 판단한다.
피사체 중 스크리닝 부분이 존재하는 경우에, 처리부(40)는 3차원 모델 생성부(30)에 의해 생성된 피사체에 대한 3차원 모델링 정보를 반영하여 피사체의 스크리닝 부분을 복원하여 이미지 상에 표현한다. 스크리닝 부분은 피사체와 함께 3차원 모델링으로 표현될 수 있다.
처리부(40)는 피사체의 스크리닝 부분을 복원하여 3차원 모델링으로 표현함에 있어, 스크리닝 부분의 원근 비율을 보정하여 3차원 모델링으로 표현할 수 있다.
예를 들어, 피사체의 스크리닝 부분에 대한 3차원 모델링 정보를 추출한 이미지에서는 피사체가 영상 획득부(11, 12, 13)에 근접하게 위치하여 피사체가 이미지 내에 크게 형성되었지만, 피사체의 스크리닝 부분이 피사체 이외의 물체 등에 가려진 상태에서는 피사체가 영상 획득부(11, 12, 13)로부터 멀게 위치하여 피사체가 이미지 내에 작게 형성될 수 있다.
이 경우에, 피사체의 스크리닝 부분을 원근 비율을 보정하지 않고 3차원 모델링으로 표현한다면, 피사체의 스크리닝 부분와 그 외 부분의 비율이 매칭되지 않을 수 있다.
따라서, 처리부(40)는 피사체의 스크리닝 부분을 3차원 모델링으로 표현함에 있어, 피사체 중 스크리닝 부분 이외의 부분의 크기 등을 반영하여 스크리닝 부분에 대한 3차원 모델링의 축소/확대시켜 피사체의 스크리닝 부분이 그 외의 부분과 비율이 매칭되도록 표현할 수 있다.
일례로서, 처리부(40)는 피사체의 스크리닝 부분 이외의 부분의 지오메트리 좌표들 간의 거리 변화량을 기반으로 스크리닝 부분에 대한 3차원 모델링의 축소/확대시킬 수 있다.
또한, 처리부(40)는 피사체의 스크리닝 부분의 움직임을 예상하고 이를 반영하여 표현할 수 있다.
처리부(40)는 피사체의 스크리닝 부분이 피사체 이외의 물체 등에 의해 가려지기 이전 시점에서의 이동 패턴을 파악하고, 파악된 이동 패턴을 기초로 스크리닝 부분이 피사체 이외의 물체 등에 의해 가려진 이후의 스크리닝 부분의 움직임을 예상하여 이미지 상에 3차원 모델링으로 표현할 수 있다.
예를 들어, 처리부(40)는 피사체의 스크리닝 부분이 피사체 이외의 물체 등에 의해 가려지기 직전 시점에 촬영된 이미지들로부터 스크리닝 부분에 대한 지오메트리 정보를 시간 순서로 추출하고, 지오메트리 정보의 변화량(지오메트리 좌표들의 변화량)을 통해 스크리닝 부분의 이동 방향, 이동 속도, 이동 거리 등을 파악할 수 있다. 동시에 스크리닝 부분의 요(yaw), 피치(pitch), 롤(roll) 정도를 파악할 수도 있다.
처리부(40)는 파악된 운동 정보를 기초로 스크리닝 부분이 이동 패턴을 유지한다는 가정하에 스크리닝 부분이 피사체 이외의 물체 등에 의해 가려진 이후의 스크리닝 부분의 움직임을 예상하여 이미지 상에 3차원 모델링으로 표현할 수 있다.
3차원 모델 생성부(30)가 피사체를 복수의 파트로 분리하고, 각 파트 별로 3차원 모델링 정보를 생성한 경우에, 처리부(40)는 복수의 파트 중 스크리닝 부분과 대응되는 파트의 지오메트리 정보를 시간 순서로 추출하고, 해당 파트의 지오메트리 정보의 변화량을 통해 스크리닝 부분의 이동 패턴을 파악하고 이를 기초로 스크리닝 부분이 피사체 이외의 물체 등에 의해 가려진 이후의 스크리닝 부분의 움직임을 예상하여 이미지 상에 3차원 모델링으로 표현할 수 있다.이와 같은 기능을 통해, 피사체에 대한 온전한 정보를 지속적으로 확인할 수 있고, 피사체의 위치 및 행동 분석이 더욱 용이하게 된다.
한편, 디스플레이부(60)는 처리부(60)와 연결되어, 처리부(60)에 의해 피사체에 3차원 모델링 정보가 반영된 이미지를 디스플레이하게 된다.
따라서, 사용자는 복수 개의 영상 획득부(11, 12, 13)가 획득한 이미지에서 관심 대상인 피사체에 대한 3차원 정보를 확인할 수 있다.
또한, 복수 개의 영상 획득부(11, 12, 13)가 획득한 이미지에서 관심 대상이 아닌 배경 부분은 2차원으로 유지되므로, 피사체에 대한 3차원 모델링 연산 처리의 속도를 향상시킬 수 있다. 따라서, 복수 개의 영상 획득부(11, 12, 13)가 이미지를 획득하는 것과 해당 이미지에 피사체에 대한 3차원 정보를 반영하여 디스플레이하는 것이 거의 실시간으로 이루어질 수 있다.
한편, 처리부(40)와 연결되는 입력부(50)는, 사용자로부터 명령을 입력받는다. 사용자로부터 입력받는 명령은 복수 개의 영상 획득부(11, 12, 13)가 획득한 이미지들 중에서 피사체를 검색하는 명령, 복수 개의 피사체들 중 어느 하나의 피사체를 선택하는 명령 등이 될 수 있다.
예를 들어, 입력부(50)를 통해 특정 피사체를 검색하는 명령이 입력된 경우에, 처리부(40)는 복수 개의 영상 획득부(11, 12, 13)에 의해 획득된 이미지들 중에서 입력된 피사체에 대한 정보와 유사한 정보를 포함하는 이미지들을 추출하고 추출된 이미지들을 디스플레이부(60)를 통해 디스플레이 할 수 있다.
또한, 입력부(50)를 통해 복수 개의 피사체들 중 어느 하나의 피사체를 선택하는 명령이 입력된 경우에, 처리부(40)는 해당 명령이 입력된 이후의 시점부터 선택된 피사체가 포함된 이미지에서 피사체를 3차원 모델링 정보가 반영된 이미지로 변환하고, 디스플레이부(60)를 통해 디스플레이 할 수 있다.
입력부(50)는 사용자가 피사체의 검색 및 선택할 수 있는 UI(User Interface)를 갖추도록 구성된다.
도 2는 본 발명의 실시예에 따른 영상 처리 시스템을 이용한 영상 처리 방법을 도시한 순서도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 처리 방법은 복수의 2차원 이미지를 획득하는 단계(S11), 3차원 모델링 정보를 생성하는 단계(S12), 관심 피사체를 선택하는 단계(S13), 선택된 피사체 중 가려진 부분이 존재하는지 여부를 판단하는 단계(S14), 3차원 모델링 정보를 기초로 피사체의 가려진 부분을 복원하는 단계(S15) 및 2차원 이미지 내의 피사체를 3차원 모델링으로 표현하는 단계(S16)를 포함한다.
복수의 2차원 이미지를 획득하는 단계(S11)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 복수 개의 영상 획득부(11, 12, 13)에 의해 수행된다. 각각의 영상 획득부(11, 12, 13)는 복수의 2차원 이미지를 획득한다.
도 3 내지 도 6은 본 발명의 실시예에 따른 영상 획득부에 의해 획득된 복수의 2차원 이미지의 일례를 도시한 도면이다. 도 3 내지 도 6에 도시된 도면은 복수 개의 영상 획득부(11, 12, 13) 중 어느 하나의 영상 획득부가 일정 영역을 시간의 흐름에 따라 촬영한 이미지들이다.
도 3 내지 도 6에 도시된 바와 같이, 복수의 2차원 이미지 내에는 차량 이미지(100), 건물 이미지(200) 및 도로 이미지(300)가 포함되어 있다. 복수의 2차원 이미지에는 차량(100)의 전면, 좌우 측면, 후면 등에 대한 이미지가 기록되어 있다.
3차원 모델링 정보를 생성하는 단계(S12)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 영상 분리부(20) 및 3차원 모델 생성부(30)에 의해 수행된다.
영상 분리부(20)는 도 3 내지 도 6에 도시된 복수의 2차원 이미지 내에서 이동하는 대상인 차량 이미지(100)을 피사체로 분류하고, 건물 이미지(200)와 도로 이미지(300)는 배경으로 분류한다. 그리고, 복수의 2차원 이미지에서 각각 차량 이미지(100)를 분리한다.
본 실시예에서는 본 발명의 구체적으로 설명하기 위한 일례로서, 이동 가능한 피사체로 차량을 예시하고 있으나, 차량 이외의 사람, 동물 등의 이동 가능한 대상이 피사체가 될 수 있다.
3차원 모델링 생성부(30)는 영상 분리부(20)에 의해 분리된 다양한 각도의 차량 이미지(100)들을 기초로 해당 차량(100)에 대한 3차원 모델링 정보를 생성한다. 도 3 내지 도 6에 도시된 바와 같이, 각 2차원 이미지 내에는 차량(100)의 전면, 좌우 측면, 후면 등에 대한 이미지가 기록되어 있으므로, 이를 기초로 차량(100)의 3차원 모델링 정보를 생성한다. 설명의 편의를 위해 4장의 이미지만을 예시하였으나, 영상 획득부(11, 12, 13)가 동영상을 촬영할 수 있는 장비인 경우에는 수십장 이상의 이미지를 기초로 구체적인 3차원 모델링 정보를 생성할 수 있다.
도 7은 도 3 내지 도 6의 이미지들을 기초로 본 발명의 실시예에 따른 영상 처리 방법에 의해 생성된 3차원 모델링 이미지를 개략적으로 도시한 도면이다.
도 7에 도시된 바와 같이, 3차원 모델링 생성부(30)는 영상 분리부(20)에 의해 분리된 다양한 각도의 차량 이미지(100)들을 기초로 차량(100)에 대한 3차원 모델링 정보를 생성한다.
관심 피사체를 선택하는 단계(S13)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 입력부(50)를 이용해 수행된다.
사용자는 입력부(50)를 통해 관심 피사체를 검색 및/또는 선택한다. 사용자는 입력부(50)에 미리 세팅된 UI(User Interface)를 통해 관심 피사체를 검색 및/또는 선택할 수 있다.
본 실시예에서는 설명의 편의를 위해 사용자가 차량(100)을 관심 피사체로 선택한 것으로 가정하고 설명한다.
선택된 피사체 중 가려진 부분이 존재하는지 여부를 판단하는 단계(S14)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 처리부(40)에 의해 수행된다.
처리부(40)는 복수 개의 영상 획득부(11, 12, 13)에 의해 획득된 복수의 이미지 중 선택된 피사체(100)의 적어도 일부가 피사체 이외의 물체(200, 300)에 의해 가려진 부분이 존재하는지 여부를 판단한다.
도 8은 본 발명의 실시예에 따른 영상 획득부에 의해 획득된 이미지 중, 피사체의 일부가 다른 물체에 의해 가려진 이미지의 일례를 도시한 도면이다.
도 8에 도시된 바와 같이, 피사체인 차량 이미지(100) 중 전방 일부가 건물 이미지(200)에 의해 가려져 있으므로, 처리부(40)는 선택된 피사체(100) 중 스크리닝 부분이 존재하는 것으로 판단한다.
3차원 모델링 정보를 기초로 피사체의 가려진 부분을 복원하는 단계(S15) 역시 본 발명의 실시예에 따른 영상 처리 시스템(1)의 처리부(40)에 의해 수행된다.
처리부(40)는, 도 8과 같이 피사체(100) 중 일부 이미지가 피사체 이외의 물체(200)에 의해 가려진 경우에, 3차원 모델링 정보를 생성하는 단계(S12)에서 생성한 피사체(100)에 대한 3차원 모델링 정보를 이용해 피사체(100)의 가려진 부분을 복원한다.
도 9는 도 8의 이미지에서 피사체의 가려진 부분을 복원한 상태를 도시한 도면이다.
도 9에 도시된 바와 같이, 처리부(40)는 피사체인 차량 이미지(100) 중 스크리닝 부분(102)을 차량(100)에 대한 3차원 모델링 정보를 이용해 복원한다.
2차원 이미지 내의 피사체를 3차원 모델링으로 표현하는 단계(S16)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 처리부(40) 및 디스플레이부(60)에 의해 수행된다.
선택된 피사체 중 가려진 부분이 존재하는지 여부를 판단하는 단계(S14)에서 피사체 중 가려진 부분이 존재하지 않는 것으로 판단된 이미지에 대해서는, 처리부(40)에 의해 피사체(100)의 이미지가 3차원 모델링 정보가 반영된 이미지로 변환된다. 이 때, 배경이 되는 피사체(100)이외의 대상(200, 300)은 2차원 이미지로 유지된다.
처리부(40)는 배경(200, 300)은 2차원 이미지로 유지되고 피사체(100)는 3차원 모델링 정보가 반영된 이미지로 변환된 이미지 데이터를 디스플레이부(40)를 통해 표현한다. 사용자는 디스플레이부(40)를 통해 관심 대상은 피사체(100)에 대한 3차원 정보를 확인할 수 있다.
한편, 선택된 피사체 중 가려진 부분이 존재하는지 여부를 판단하는 단계(S14)에서, 피사체 중 가려진 부분이 존재하는 것으로 판단된 이미지에 대해서는, 전술한 바와 같이, 처리부(40)에 의해 피사체(100)의 스크리닝 부분(102, 도 9 참고)이 복원된 상태로 디스플레이부(40)를 통해 표현된다. 이 경우에도, 배경(200, 300)은 2차원 이미지로 유지되고, 피사체(100)의 스크리닝 부분(102, 도 9 참고)과 가려지지 않은 부분(101, 도 9 참고)이 모두 3차원 모델링 정보가 반영된 이미지로 변환되어 디스플레이부(40)를 통해 표현된다.
한편, 도 10 및 도 11은 피사체의 스크리닝 부분에 대해 원근 비율을 보정하여 복원하는 예를 설명하기 위한 도면이다.
도 10은 피사체(400)가 영상 획득부(11, 12, 13)에 근접하게 위치하여 촬영된 이미지이고, 도 11은 도 10에 비해 피사체(400)가 영상 획득부(11, 12, 13)로부터 멀리 위치하여 촬영된 이미지이다.
도 11에 도시된 바와 같이, 피사체(400)의 왼쪽 팔 일부가 물체(401)에 가려진 경우, 처리부(40)는 왼쪽 팔 중 물체(401)에 가려진 스크리닝 부분을 복원시켜 표현한다.
그러나, 왼쪽 팔의 스크리닝 부분에 대한 3차원 모델링 정보가 도 10에 도시된 바와 같이, 피사체(400)가 영상 획득부(11, 12, 13)에 근접하게 위치한 이미지들로부터 추출된 경우에 왼쪽 팔의 스크리닝 부분의 원근 비율을 보정하지 않고 3차원 모델링으로 표현한다면, 피사체(400)의 다른 부분에 비해 스크리닝 부분이 크게 표현된다.
이를 방지하기 위해 처리부(40)는 피사체(400)의 스크리닝 부분에 대한 3차원 모델링 정보 중 지오메트리 포인트들 간의 거리 비율을 고려하여 스크리닝 부분에 대한 3차원 모델링의 축소/확대시켜 피사체(400)의 스크리닝 부분이 그 외의 부분과 비율이 매칭되도록 표현할 수 있다.
예를 들어, 처리부(40)는 도 10의 이미지로부터 지오메트리 포인트들 중 기준 포인트(A1, A2, A3)간의 거리 비율에 대한 정보를 획득할 수 있다. 예를 들어, 처리부(40)는 A1과 A2 사이의 거리에 대한 A2와 A3 사이의 거리의 비율을 연산할 수 있다. A1과 A2는 도 11에서 도시된 바와 같이, 피사체(400) 중 물체(401)에 의해 가려지지 않은 부분의 지오메트리 포인트이고, A3은 피사체(400)의 스크리닝 부분에 위치하는 지오메트리 포인트일 수 있다.
그리고, 처리부(40)는 도 11에 도시된 바와 같이, 피사체(400)의 스크리닝 부분을 3차원 모델링으로 복원함에 있어, 기준 포인트(A1, A2, A3)간의 거리 비율이 유지되도록 피사체(400)의 스크리닝 부분에 대한 3차원 모델링을 축소하여 표현한다.
따라서, 피사체(400)의 스크리닝 부분을 3차원 모델링으로 복원함에 있어, 피사체(400)의 전체적인 비율을 유지시켜 스크리닝 부분의 복원에 따른 이질감을 최소화할 수 있다.
한편, 도 12 내지 도 14는 피사체의 스크리닝 부분의 움직임을 예상하여 복원하는 예를 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 3차원 모델 생성부(30)는 피사체(400)를 머리 파트(P1), 몸통 파트(P2), 오른팔 파트(P3), 왼팔 파트(P4), 오른 다리 파트(P5), 왼다리 파트(P6)로 구분하여 각 파트 별로 3차원 모델링 정보를 생성할 수 있다.
처리부(40)는 각 파트별로 지오메트리 정보의 변화를 확인하며 각 파트들을 3차원 모델링으로 표현할 수 있다. 파트들 중 지오메트리 정보가 변화하지 않는 파트는 움직임이 없는 파트로서 3차원 모델링을 유지하고, 파트들 중 지오메트리 정보가 변화하는 파트는 움직임이 있는 파트이므로 3차원 모델링을 변화시키며 표현한다.
도 13에 도시된 바와 같이, 파트들 중 일부 파트(P6)가 물체(401)에 가려져 스크리닝 부분이 형성된 경우에, 처리부(40)는 왼다리 파트(P6)의 3차원 모델링 정보를 기초로 스크리닝 부분을 3차원 모델링으로 표현한다.
도 14에 도시된 바와 같이, 왼다리 파트(P6)는 적어도 일부가 물체(401)에 가려진 채 계속 움직일 수 있다.
처리부(40)는 스크리닝 부분이 형성된 왼다리 파트(P6)가 물체(401)에 가려지기 직전 시점에 촬영된 이미지들로부터 왼다리 파트(P6)에 대한 지오메트리 정보를 시간 순서로 추출하고, 지오메트리 정보의 변화량(지오메트리 좌표들의 변화량)을 통해 왼다리 파트(P6)의 이동 방향, 이동 속도, 이동 거리 등을 파악한다. 동시에 처리부(40)는 왼다리 파트(P6)의 요(yaw), 피치(pitch), 롤(roll) 정도를 파악할 수도 있다.
처리부(40)는 왼다리 파트(P6)에 대해 파악된 운동 정보를 기초로 왼다리 파트(P6)가 물체(401)에 가려지기 전의 이동 패턴을 유지한다는 가정하에 도 14에 도시된 바와 같이, 왼다리 파트(P6)의 움직임을 예상하여 이미지 상에 3차원 모델링으로 표현할 수 있다.
피사체(400)의 움직임을 과거 시점으로부터 예상 가능한 범위 내에서 표현하여 피사체(400) 중 적어도 일부가 물체(401)에 가려지더라도 피사체(400)를 보다 자연스럽게 표현하는 것이 가능하고, 동시에 피사체(400)의 예상되는 움직임을 시각적으로 표현할 수 있다.
전술한 구성에 의해 본 발명의 실시예에 따른 영상 처리 시스템(1) 및 영상 처리 방법은, 사용자가 선택한 피사체에 대한 복수 개의 이미지를 토대로 피사체에 대한 3차원 모델링 정보를 생성하고 이를 반영하여 사용자가 피사체를 선택한 이후부터는 선택된 피사체를 3차원 모델로 표현하여 피사체에 대한 구체적인 정보를 확인할 수 있게 한다. 또한, 피사체를 제외한 배경 부분에 대해서는 2차원 이미지를 유지하므로 피사체를 빠른 시간 내에 3차원 모델로 전환할 수 있으므로 실시간 이미지에 대해 피사체를 3차원 모델로 전환하여 표현할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

  1. 적어도 하나의 피사체에 대해 복수 시점에서 촬영한 복수의 2차원 이미지를 획득하는 단계;
    상기 복수의 2차원 이미지로부터 상기 적어도 하나의 피사체의 3차원 모델링 정보를 생성하는 단계;
    상기 적어도 하나의 피사체 중 어느 하나의 피사체를 선택하는 단계;
    상기 3차원 모델링 정보를 기초로 상기 선택된 피사체가 촬영된 임의의 2차원 이미지 내에서 상기 선택된 피사체의 적어도 일부를 3차원 이미지로 표현하는 단계;
    상기 임의의 2차원 이미지 내에서 상기 선택된 피사체 중 상기 선택된 피사체 이외의 물체에 의해 가려진 스크리닝 부분이 존재하는지 여부를 판단하는 단계; 및
    상기 스크리닝 부분이 존재하는 경우에, 상기 스크리닝 부분을 상기 3차원 모델링 정보를 기초로 복원하여 상기 임의의 2차원 이미지 내에서 상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 3차원 모델링 정보를 생성하는 단계는,
    상기 복수의 2차원 이미지에서 상기 피사체와 배경을 분리하고, 상기 배경은 2차원 이미지로 유지하고, 상기 피사체에 대한 상기 3차원 모델링 정보를 생성하는, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 3차원 모델링 정보는, 상기 피사체에 대한 지오메트리 정보를 포함하는, 영상 처리 방법.
  4. 상기 3차원 모델링 정보는, 상기 피사체에 대한 텍스쳐 정보를 더 포함하는, 영상 처리 방법.
  5. 제2항에 있어서,
    상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계는,
    상기 스크리닝 부분의 움직임을 예상하고, 상기 스크리닝 부분의 예상되는 움직임을 반영하여 상기 임의의 2차원 이미지 내에서 상기 스크리닝 부분을 3차원 모델링으로 표현하는, 영상 처리 방법.
  6. 제5항에 있어서,
    상기 스크리닝 부분에 대한 상기 지오메트리 정보를 시간 순서로 비교하여 상기 스크리닝 부분의 움직임을 예상하는, 영상 처리 방법.
  7. 제6항에 있어서,
    상기 3차원 모델링 정보를 생성하는 단계에서,
    상기 3차원 모델링 정보는 상기 피사체를 복수의 파트로 분리하여 생성되고,
    상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계에서,
    상기 복수의 파트 중 상기 스크리닝 부분과 대응되는 파트의 상기 지오메트리 정보를 시간 순서로 비교하여 상기 스크리닝 부분의 움직임을 예상하는, 영상 처리 방법.
  8. 제2항에 있어서,
    상기 스크리닝 부분을 3차원 모델링으로 표현하는 단계는,
    상기 선택된 피사체 중 상기 스크리닝 부분 이외의 부분의 상기 지오메트리 정보를 기초로 상기 스크리닝 부분의 원근 비율을 보정하여 상기 스크리닝 부분을 3차원 모델링으로 표현하는, 영상 처리 방법.
  9. 제1항에 있어서,
    상기 피사체는 이동 가능한 대상이며,
    상기 복수의 2차원 이미지는, 고정 설치된 카메라가 이동하는 상기 피사체를 시간차를 두고 촬영한 이미지 및 서로 다른 위치에 설치된 카메라가 상기 피사체를 촬영한 이미지 중 적어도 하나를 포함하는, 영상 처리 방법.
  10. 제1항에 있어서,
    상기 임의의 2차원 이미지는 상기 복수의 2차원 이미지의 촬영 시기보다 늦은 시기에 촬영된 이미지인, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 임의의 2차원 이미지는 상기 피사체에 대한 실시간 이미지인, 영상 처리 방법.
PCT/KR2015/004468 2014-09-19 2015-05-04 영상 처리 방법 WO2016043401A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140125167A KR102347658B1 (ko) 2014-09-19 2014-09-19 영상 처리 방법
KR10-2014-0125167 2014-09-19

Publications (1)

Publication Number Publication Date
WO2016043401A1 true WO2016043401A1 (ko) 2016-03-24

Family

ID=55533421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004468 WO2016043401A1 (ko) 2014-09-19 2015-05-04 영상 처리 방법

Country Status (2)

Country Link
KR (1) KR102347658B1 (ko)
WO (1) WO2016043401A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102038149B1 (ko) * 2017-07-19 2019-10-30 (주) 시스템뱅크 이차원 영상기반 전방위 삼차원 모델링 제어시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030198377A1 (en) * 2002-04-18 2003-10-23 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US20050104878A1 (en) * 1998-05-27 2005-05-19 Kaye Michael C. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
KR20060131145A (ko) * 2005-06-15 2006-12-20 엘지전자 주식회사 이차원 영상을 이용한 삼차원 물체의 렌더링 방법
KR100837818B1 (ko) * 2006-12-15 2008-06-13 주식회사 케이티 이차원 영상을 이용해 삼차원 형상을 복원하는 방법과,이를 이용한 삼차원 영상 생성 방법
US20080181486A1 (en) * 2007-01-26 2008-07-31 Conversion Works, Inc. Methodology for 3d scene reconstruction from 2d image sequences

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4901252A (en) * 1984-07-13 1990-02-13 International Business Machines Corporation Method for producing planar geometric projection images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050104878A1 (en) * 1998-05-27 2005-05-19 Kaye Michael C. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
US20030198377A1 (en) * 2002-04-18 2003-10-23 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
KR20060131145A (ko) * 2005-06-15 2006-12-20 엘지전자 주식회사 이차원 영상을 이용한 삼차원 물체의 렌더링 방법
KR100837818B1 (ko) * 2006-12-15 2008-06-13 주식회사 케이티 이차원 영상을 이용해 삼차원 형상을 복원하는 방법과,이를 이용한 삼차원 영상 생성 방법
US20080181486A1 (en) * 2007-01-26 2008-07-31 Conversion Works, Inc. Methodology for 3d scene reconstruction from 2d image sequences

Also Published As

Publication number Publication date
KR102347658B1 (ko) 2022-01-05
KR20160034086A (ko) 2016-03-29

Similar Documents

Publication Publication Date Title
Yacoob Computing spatio-temporal representations of human faces
KR102009292B1 (ko) 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
EP3560195A1 (en) System and method for depth map
JP6871801B2 (ja) 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2009151292A2 (ko) 영상 변환 방법 및 장치
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
KR20110070503A (ko) 멀티 카메라 연동 장치 및 방법
CN106709894B (zh) 一种图像实时拼接方法及系统
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2018135695A1 (ko) 모니터링 장치 및 시스템
WO2013014872A1 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2018155742A1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
CN108280807A (zh) 单目深度图像采集装置和系统及其图像处理方法
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
KR20140054650A (ko) 관심객체의 선택에 의한 영상 탐색장치 및 방법
WO2012002601A1 (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
WO2016043401A1 (ko) 영상 처리 방법
JP2001094968A (ja) 映像処理装置
WO2017209468A1 (ko) 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법
KR102614895B1 (ko) 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법
WO2020080616A1 (ko) 인공 신경망에 기반한 영상 처리 방법 및 장치
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2024063242A1 (ko) 영상 분석 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15842180

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15842180

Country of ref document: EP

Kind code of ref document: A1