KR20170077018A - Image processing method and image processing apparatus thereof - Google Patents

Image processing method and image processing apparatus thereof Download PDF

Info

Publication number
KR20170077018A
KR20170077018A KR1020160107984A KR20160107984A KR20170077018A KR 20170077018 A KR20170077018 A KR 20170077018A KR 1020160107984 A KR1020160107984 A KR 1020160107984A KR 20160107984 A KR20160107984 A KR 20160107984A KR 20170077018 A KR20170077018 A KR 20170077018A
Authority
KR
South Korea
Prior art keywords
current frame
insertion object
post insertion
post
text
Prior art date
Application number
KR1020160107984A
Other languages
Korean (ko)
Other versions
KR102516358B1 (en
Inventor
자이란 왕
지화 리우
웨이밍 리
조양호
남동경
밍카이 저우
타오 홍
하이타오 왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/388,513 priority Critical patent/US10531063B2/en
Publication of KR20170077018A publication Critical patent/KR20170077018A/en
Application granted granted Critical
Publication of KR102516358B1 publication Critical patent/KR102516358B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N13/0275—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

본 문서에 개시되는 실시예들은 영상 처리 방법 및 영상 처리 장치에 관한 것이다. 일실시예에 따른 입체 비디오 처리 방법은, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계, 상기 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계 및 상기 현재 프레임에 영상 오차가 존재하는 경우, 상기 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리하는 단계를 포함할 수 있다. The embodiments disclosed in this document relate to an image processing method and an image processing apparatus. A method of processing a stereoscopic video according to an embodiment includes determining whether a current frame of a stereoscopic video is a video segment boundary frame, determining whether there is an image error in the current frame if the current frame is a video segment boundary frame, And processing the current frame by removing post insertion objects (PIO) included in the current frame when there is an image error in the current frame.

Description

영상 처리 방법 및 영상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS THEREOF}TECHNICAL FIELD [0001] The present invention relates to an image processing method and an image processing apparatus,

본 문서에 개시되는 실시예들은 영상 처리 방법 및 영상 처리 장치에 관한 것이다.The embodiments disclosed in this document relate to an image processing method and an image processing apparatus.

입체영상 기술은 입체영상 컨텐츠를 생성하는 기술과 입체영상을 디스플레이하기 위한 입체영상 장비기술을 포함한다. 특히, 입체영상 컨텐츠를 디스플레이 하기 위한 입체영상 디스플레이 장비에는 입체영상 처리기술이 포함될 수 있으며 소프트웨어 처리방식을 통하여 3차원 영상의 시각 디스플레이 효과를 향상시킬 수 있다. The stereoscopic technique includes a technique for generating stereoscopic image contents and a stereoscopic image equipment technique for displaying stereoscopic images. Particularly, the stereoscopic image display device for displaying the stereoscopic image contents may include a stereoscopic image processing technique, and the visual display effect of the three-dimensional image can be improved through a software processing method.

종래기술에서, 비교적 효과적인 입체영상 처리기술에는 입체영상을 보정(rectification)하는 기술이 있다. 입체영상을 보정하는 기술의 목적은 입체영상 페어(pair) 사이의 수직방향에서의 시차를 제거하는 것이다. 입체영상 페어 사이에 존재하는 수직방향에서의 시차는, 입체영상을 촬영할 때 사용하는 두 대의 입체영상 카메라 간의 파라미터 조절 오차로 인해 발생된 것이다. 이런 파라미터 오차는 두 대의 입체영상 카메라 사이에 존재하는 위치 차이 또는 입체영상 카메라 내부의 입체영상 형성 파라미터의 불일치 등으로부터 기인할 수 있다. 입체영상을 보정하는 과정은 상기 오차를 예측하여 입체영상에 대한 변환 파라미터를 획득하고, 입체영상 페어 간의 수직방향에서의 시차를 제거하는 과정을 포함할 수 있다. In the prior art, a relatively effective stereoscopic image processing technique has a technique of rectifying a stereoscopic image. The object of the technique of correcting the stereoscopic image is to eliminate the parallax in the vertical direction between stereoscopic image pairs. The parallax in the vertical direction existing between stereoscopic image pairs is caused by a parameter adjustment error between two stereoscopic image cameras used for stereoscopic image shooting. This parameter error can be attributed to a difference in position existing between the two stereoscopic cameras or a discrepancy in stereoscopic image formation parameters in the stereoscopic camera. The step of correcting the stereoscopic image may include a step of obtaining the conversion parameter for the stereoscopic image by predicting the error and removing the parallax in the vertical direction between the stereoscopic image pairs.

입체영상 처리는 주로 입체영상 카메라에 의해 촬영된 2차원 영상 처리에 집중된다. 3차원 세계의 물체는 서로 다른 시각 포인트(좌측 및 우측)를 가진 두 대의 입체영상 카메라에 촬영되며, 촬영을 통해 획득된 입체영상 페어는 등극선(Epipolar Line) 상에 위치하게 된다. 다시각 기하이론에 따라, 두 개의 입체영상에 2차원 투시투영변환(perspective projection transformation)(또는 호모그래피(homograph))이 이루어지면 두 개의 입체영상의 등극선 정렬을 할 수 있다. 참고로, 광학렌즈로 인한 뒤틀림은 국부 평활에 해당한다는 점에서, 렌즈로부터 기인된 비선형 뒤틀림(non-linear distortion) 오차는 국부 평활 변환(local smoothing transformation)의 방법을 사용하여 보정할 수 있다. The stereoscopic image processing is mainly focused on the two-dimensional image processing which is taken by the stereoscopic camera. Objects in the 3D world are photographed by two stereoscopic cameras having different visual points (left and right), and the stereoscopic image pairs obtained through photography are located on the epipolar line. Again, according to each geometric theory, if two-dimensional perspective projection transformation (or homograph) is performed on two stereoscopic images, alignment of two stereoscopic images can be performed. For reference, non-linear distortion errors originating from the lens can be corrected using a method of local smoothing transformation in that the distortion due to the optical lens corresponds to local smoothing.

후삽입 객체(Post Inserted Object)는 입체영상이 제작된 후 입체영상에 추가로 삽입된 객체를 의미하는 것으로서, 예를 들어 방송사 로고나 자막 등이 이에 해당할 수 있다. 후삽입 객체는 입체영상을 구성하는 좌영상 및 우영상에서 동일한 수평위치에 위치하는 것이 일반적이다. 후삽입 객체와 입체영상은 생성된 시기가 상이하기 때문에 그들의 입체기하관계에 차이가 있을 수 있다. 또한, 원래 영상 자체에 오차가 존재할 경우, 원래 영상 자체에 존재하는 오차를 보정하는 과정에서 후삽입 객체와 원래 영상의 입체기하관계가 틀어지는 문제점이 발생할 수 있다.The Post Inserted Object refers to an object inserted into the stereoscopic image after the stereoscopic image is produced, for example, a logo of a broadcaster, a caption, or the like may be applicable. The inserted object is generally located at the same horizontal position on the left image and the right image constituting the stereoscopic image. Since the inserted objects and stereoscopic images are generated at different times, their stereoscopic geometric relationships may differ. Also, if there is an error in the original image itself, there may arise a problem that the post-insertion object and the original image have different stereoscopic geometric relationships in correcting the errors existing in the original image.

입체영상의 좌영상 및 우영상 사이에 존재하는 영상 오차는, 전체적 변환 또는 국부 평활 변환(local smoothing transformation)의 방법을 이용하여 보정될 수 있다. 이러한 보정 방법에 따라 후삽입 객체를 포함한 입체영상을 보정할 경우, 바르게 위치해있던 후삽입 객체의 위치가 틀어지는 오차가 발생할 수 있다. 후삽입 객체는 입체영상이 제작된 후 추후에 삽입되기 때문에, 원래 영상에 비해 비교적 선명한 시각적 특징을 가지고 있다. 이와 같이 선명한 시각적 특징을 가진 후삽입 객체에 오차가 존재할 경우 입체영상을 보는 사용자에게 상당한 불편을 발생시킬 수 있다.The image error existing between the left image and the right image of the stereoscopic image can be corrected using a method of global conversion or local smoothing transformation. According to such a correction method, when the stereoscopic image including the post insertion object is corrected, an error may occur that the position of the insertion object is changed after being correctly positioned. Since the inserted object is inserted after the stereoscopic image is produced, it has relatively clear visual characteristics as compared with the original image. If there is an error in the inserted object after having such a clear visual characteristic, a considerable inconvenience may be caused to the user who views the stereoscopic image.

본 문서에 개시되는 일실시예에 따르면, 후삽입 객체를 포함하는 입체영상을 보정할 때 원래 영상 및 후삽입 객체에 대한 입체 오차를 함께 보정함으로써 입체영상의 품질을 향상시킬 수 있다.According to an embodiment of the present invention, when correcting a stereoscopic image including a post insertion object, stereoscopic errors of the original image and the post insertion object are corrected together, thereby improving the quality of the stereoscopic image.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법은, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계, 상기 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계 및 상기 현재 프레임에 영상 오차가 존재하는 경우, 상기 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리하는 단계를 포함할 수 있다. According to an embodiment of the present invention, there is provided a stereoscopic video processing method comprising the steps of: determining whether a current frame of a stereoscopic video is a video segment boundary frame; if the current frame is a video segment boundary frame, And processing the current frame by removing post insertion objects (PIO) included in the current frame when there is an image error in the current frame .

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계는, 상기 현재 프레임과 상기 이전 프레임 간 영상 특징에 대한 변화 정도에 기초하여 상기 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present disclosure, the step of determining whether a current frame of the stereoscopic video is a video segment boundary frame may include determining whether the current frame is a video segment boundary frame, Based on whether the current frame of the stereoscopic video is a video segment boundary frame.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 영상 특징에 대한 변화 정도는, 상기 현재 프레임의 움직임, 색상, 밝기 중 적어도 하나를 포함하는 제1 특징 벡터와 이전 프레임의 제2 특징 벡터에 따라 결정될 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the degree of change of the image feature may be determined by a first feature vector including at least one of motion, color, and brightness of the current frame, 2 feature vector.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계는, 상기 현재 프레임의 좌영상 및 우영상 각각에 대한 뎁스 맵(depth map) 정보를 기초로 분포 히스토그램을 생성하는 단계 및 상기 분포 히스토그램의 피크(peak) 값이 임계치를 초과하는 경우, 상기 현재 프레임에 입차 시차가 존재하는 것으로 판단하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of determining whether or not an image error exists in the current frame may include determining a depth map for each of a left image and a right image of the current frame, Generating a distribution histogram based on the information of the distribution histogram and determining that an incident parallax exists in the current frame when a peak value of the distribution histogram exceeds a threshold value.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 처리하는 단계는, 상기 현재 프레임에서 후삽입 객체를 제거하는 단계, 상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계 및 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an embodiment disclosed herein, the processing may include removing a post insertion object in the current frame, rectifying a current frame from which the post insertion object has been removed And inserting the inserted object after the removal in the corrected current frame.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에서 후삽입 객체를 제거하는 단계는, 상기 현재 프레임에 존재하는 후삽입 객체의 유형을 결정하는 단계 및 상기 결정된 유형을 기초로, 상기 입력된 입체영상에 존재하는 상기 후삽입 객체의 경계를 설정하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present document, the step of removing a post insertion object in the current frame includes: determining a type of a post insertion object existing in the current frame; And setting a boundary of the post insertion object existing in the input stereoscopic image as a basis.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계는, 상기 후삽입 객체가 상기 현재 프레임에서 제거되었던 원래 위치에 삽입되는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of inserting an inserted object after being removed in the corrected current frame may include inserting the inserted object at an original position . ≪ / RTI >

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 처리하는 단계는, 상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계를 포함할 수 있다.In the stereoscopic video processing method according to the embodiment disclosed in this document, the processing may include filling an area from which the post insertion object has been removed in the current frame.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계는, 상기 제거된 영역 주변에 위치한 픽셀 중 상기 영역에 포함되지 않는 픽셀의 색상 값에 기초하여, 상기 영역에 포함된 픽셀을 횡단(traverse) 처리하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of populating an area from which the post insertion object has been removed in the current frame may include the steps of: And traversing the pixels included in the region based on the color value of the region.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법은, 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하는 단계, 상기 현재 프레임에 후삽입 객체가 존재하는 경우, 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 단계, 상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계 및 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided a stereoscopic video processing method comprising the steps of: determining whether a post insertion object (PIO) exists in a current frame of stereoscopic video; If present, removing the post insertion object in the current frame, rectifying the current frame from which the post insertion object has been removed, and inserting the insertion object after being removed in the corrected current frame . ≪ / RTI >

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하는 단계는, 상기 현재 프레임이 비디오 세그먼트 바운더리 프레임이고, 상기 현재 프레임에 영상 오차가 존재하는 경우에 수행될 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of determining whether or not a post insertion object (PIO) exists for a current frame of the stereoscopic video includes: Segment boundary frame, and may be performed when an image error exists in the current frame.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에서 후삽입 객체를 제거하는 단계는, 상기 현재 프레임에 존재하는 후삽입 객체의 유형을 결정하는 단계 및 상기 결정된 유형을 기초로, 상기 입력된 입체영상에 존재하는 상기 후삽입 객체의 경계를 설정하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present document, the step of removing a post insertion object in the current frame includes: determining a type of a post insertion object existing in the current frame; And setting a boundary of the post insertion object existing in the input stereoscopic image as a basis.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 단계는, 상기 현재 프레임에 대한 X방향 및 Y방향 투영분석을 통해 상기 현재 프레임에 텍스트형 후삽입 객체가 존재하는지 판단하는 단계, 상기 텍스트형 후삽입 객체가 존재할 경우, 상기 텍스트형 후삽입 객체의 뎁스(depth)를 측정하는 단계, 상기 측정된 뎁스를 기초로, 상기 텍스트형 후삽입 객체 중 전경(foreground)에 포함되지 않는 객체를 제거하는 단계, 상기 현재 프레임의 색상 분포 히스토그램을 기초로, 제거되지 않은 텍스트형 후삽입 객체의 색상을 추출하는 단계 및 상기 추출된 색상을 기초로, 상기 제거되지 않은 텍스트형 후삽입 객체를 제거하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of removing the post insertion object in the current frame may include the steps of: performing X- and Y- A step of determining whether there is an inserted object after the type of text, a step of measuring a depth of the inserted object after the text type if the inserted object exists after the text, Removing an object not included in a foreground of an object, extracting a color of a text-type post-insertion object that has not been removed based on a histogram of a color distribution of the current frame, And removing the uninstalled text-type post insertion object.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 투영분석을 통해 상기 현재 프레임에 존재하는 텍스트형 후삽입 객체를 검색하는 단계는, 상기 텍스트형 후삽입 객체의 엣지(edge) 강도 값을 계산하는 단계, 상기 계산된 엣지 강도 값이 임계값 미만인 경우, 상기 계산된 엣지 강도 값을 0으로 설정하는 단계 및 상기 설정된 엣지 강도 값을 기초로, 상기 텍스트형 후삽입 객체의 위치를 결정하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of searching for a text-type post-insertion object existing in the current frame through the projection analysis may include searching for an edge of the text- Setting the calculated edge strength value to zero if the calculated edge strength value is less than a threshold value and determining a position of the textual posterior object based on the set edge strength value, And a step of determining the number

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 투영분석을 통해 상기 현재 프레임에 존재하는 텍스트형 후삽입 객체를 검색하는 단계는, 상기 텍스트형 후삽입 객체의 컷오프(cut-off) 엣지(edge)를 추출하는 단계, 상기 추출된 컷오프 엣지의 수평투영 값 및 수직투영 값을 계산하는 단계, 상기 계산된 수평투영 값을 기초로, 상기 텍스트형 후삽입 객체의 상하 바운더리를 획득하는 단계, 상기 계산된 수직투영 값을 기초로, 상기 텍스트형 후삽입 객체의 좌우 바운더리를 획득하는 단계 및 상기 상하 바운더리 및 좌우 바운더리를 기초로, 상기 텍스트형 후삽입 객체의 위치를 조정하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of searching for a text-type post-insertion object existing in the current frame through the projection analysis may include a step of searching for a cut- off edge of the cut-off edge, calculating a horizontal projection value and a vertical projection value of the extracted cut-off edge, and obtaining a vertical boundary of the text-type post insertion object based on the calculated horizontal projection value Obtaining a left and right boundaries of the text type post insertion object based on the calculated vertical projection values and adjusting positions of the text insertion object based on the upper and lower boundaries and the left and right boundaries, .

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법은, 복수의 텍스트형 후삽입 객체 샘플들 및 비 텍스트형 후삽입 객체 샘플들로부터 추출된 각 샘플들의 특징을 바탕으로 텍스트형 후삽입 객체의 유형을 획득하는 단계 및 상기 획득된 텍스트형 후삽입 객체의 유형을 이용하여 상기 텍스트형 후삽입 객체 중 비 텍스트형 후삽입 객체에 해당하는 영역을 제거하는 단계를 더 포함할 수 있다.The stereoscopic video processing method according to the embodiment disclosed in this document is based on the feature of each sample extracted from a plurality of text-type post-insertion object samples and non-text-type post-insertion object samples, And removing the region corresponding to the non-text type post insertion object among the text type post insertion objects using the obtained type of the post-insertion type text object.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계는, 상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of rectifying a current frame from which the post insertion object has been removed may include: filling a region from which the post insertion object has been removed in the current frame . ≪ / RTI >

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계는, 상기 제거된 영역 주변에 위치한 픽셀 중 상기 영역에 포함되지 않는 픽셀의 색상 값에 기초하여, 상기 영역에 포함된 픽셀을 횡단(traverse) 처리하는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of populating an area from which the post insertion object has been removed in the current frame may include the steps of: And traversing the pixels included in the region based on the color value of the region.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계는, 상기 후삽입 객체가 상기 현재 프레임에서 제거되었던 원래 위치에 삽입되는 단계를 포함할 수 있다.In the stereoscopic video processing method according to an exemplary embodiment of the present invention, the step of inserting an inserted object after being removed in the corrected current frame may include inserting the inserted object at an original position . ≪ / RTI >

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 장치는, 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하고, 상기 현재 프레임에 후삽입 객체가 존재하는 경우 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 후삽입 객체 제거 모듈, 상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 입체 비디오 보정 모듈 및 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입(reinsert)하는 후삽입 객체 삽입 모듈을 포함할 수 있다.The stereoscopic video processing apparatus according to an embodiment disclosed herein determines whether or not a post insertion object (PIO) exists in a current frame of stereoscopic video, and if a post insertion object exists in the current frame A post-insertion object removal module for removing the post insertion object from the current frame, a stereoscopic video correction module for rectifying a current frame from which the post insertion object has been removed, and a post- You can include an insert object insertion module after reinserting an object.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 장치를 포함하는 입체 비디오 디스플레이 장치가 구비될 수 있다.A stereoscopic video display apparatus including the stereoscopic video processing apparatus according to an embodiment disclosed in this document may be provided.

본 문서에 개시되는 일실시예에 따르면, 입체영상에 존재하는 후삽입 객체를 추출하고 위치를 조정할 수 있다.According to an embodiment disclosed in this document, a post insertion object existing in a stereoscopic image can be extracted and adjusted.

본 문서에 개시되는 일실시예에 따르면, 입체영상과 후삽입 객체가 표준 입체기하관계에 부합하도록 배치할 수 있으며, 후삽입 객체를 포함하는 입체영상을 보정할 때 오차를 바로잡아 입체영상의 품질을 향상시킬 수 있다. According to an embodiment disclosed herein, a stereoscopic image and a post-insertion object can be arranged to conform to a standard stereoscopic geometric relationship, and when correcting a stereoscopic image including a post-insertion object, an error can be corrected, Can be improved.

도 1은 본 발명의 일실시예에 따른 입체 비디오의 프레임을 구성하는 좌영상 및 우영상을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 도 1의 입체 비디오의 영상 오차를 보정하는 과정을 설명하기 위한 도면이다.
도 3a은 본 발명의 일실시예에 따른 입체 비디오 처리 방법을 설명하기 위한 도면이다.
도 3b는 본 발명의 일실시예에 따른 입체 비디오 처리 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 입체 비디오 처리 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 현재 프레임에서 후삽입 객체를 처리하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 현재 프레임에 존재하는 후삽입 객체를 확인하는 과정을 설명하기 위한 도면이다.1 is a diagram showing left and right images constituting a stereoscopic video frame according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a process of correcting an image error of the stereoscopic video of FIG. 1 according to an embodiment of the present invention.
3A is a diagram for explaining a stereoscopic video processing method according to an embodiment of the present invention.
3B is a diagram for explaining a stereoscopic video processing apparatus according to an embodiment of the present invention.
4 is a diagram for explaining a stereoscopic video processing method according to an embodiment of the present invention.
5 is a diagram for explaining a method of processing a post insertion object in a current frame according to an embodiment of the present invention.
FIG. 6 is a diagram for explaining a process of identifying a post insertion object existing in a current frame according to an embodiment of the present invention. Referring to FIG.

아래에 첨부도면 및 구체적 실시예를 결합하여 본 발명에 대한 진일보의 상세한 설명을 한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings and specific embodiments.

도 1은 본 발명의 일실시예에 따른 입체 비디오의 프레임을 구성하는 좌영상 및 우영상을 나타낸 도면이다. 입체 비디오의 프레임은 좌영상(100)과 우영상(110)를 포함한다. 좌영상(100)의 (101) 및 (103)과 우영상(110)의 (111) 및 (113)은 입체 비디오의 대상이 되는 풍경 속의 피사체이다. 이상적인 좌영상(100) 및 우영상(110) 내 피사체들은 동일한 수평선상에 정렬될 수 있다. 그러나 실제로는 입체 비디오를 촬영하는 과정에서 오차가 발생하기 때문에, 도 1에 개시된 바와 같이, 좌영상(100) 및 우영상(110) 내 피사체들(101, 103, 111, 113)은 동일한 수평선상에 정렬되지 않는 경우가 많다.1 is a diagram showing left and right images constituting a stereoscopic video frame according to an embodiment of the present invention. A frame of the stereoscopic video includes a left image 100 and a right image 110. (101) and (103) of the left image 100 and (111) and (113) of the right image 110 are objects in the landscape that are objects of stereoscopic video. Subjects in the ideal left and right images 100 and 110 can be aligned on the same horizontal line. 1, the subjects 101, 103, 111, and 113 in the left and right images 100 and 110 are positioned on the same horizontal line In many cases.

촬영이 완료된 입체 비디오를 추후 편집하는 과정에서 후삽입 객체(PIO: Post Inserted Objects)가 입체 비디오에 추가될 수 있다. 예를 들어, 영상에 첨부될 수 있는 방송국 로고나 자막 등이 후삽입 객체에 해당할 수 있다. 도 1을 보면, 좌영상(100) 및 우영상(110)에 포함된 (105) 및 (115)는 방송국 로고의 예시로 볼 수 있고, (107) 및 (117)은 자막의 예시로 볼 수 있다. 후삽입 객체는 입체 비디오가 촬영된 후 추가되는 요소이기 때문에, 좌영상(100) 및 우영상(110) 각각의 서로 대응되는 위치에 삽입될 수 있다. 다시 말해, 후삽입 객체는 좌영상(100) 및 우영상(110)에서 동일 수평선상에 위치할 수 있다.Post-insertion objects (PIO) may be added to the stereoscopic video in the process of editing the stereoscopic video that has been shot. For example, a logo or a subtitle of a broadcast station that can be attached to an image may correspond to a post insertion object. Referring to FIG. 1, (105) and (115) included in the left image 100 and the right image 110 can be seen as an example of a broadcasting station logo, and (107) and (117) have. Since the post insertion object is added after the stereoscopic video is captured, it can be inserted at a position corresponding to the left image 100 and the right image 110, respectively. In other words, the post insertion object may be located on the same horizontal line in the left image 100 and the right image 110. [

도 1에 개시된 바와 같이, 입체 비디오의 프레임(100, 110)을 구성하는 요소들 간에 영상 오차가 발생할 수 있다. 여기서 말하는 영상 오차란, 프레임을 구성하는 좌영상 및 우영상 간에 발생하는 오차를 의미할 수 있다. 예를 들어, 도 1의 좌영상(100) 및 우영상(110)에서 실제 풍경 속의 피사체들(101, 103, 111, 113)이 동일한 수평선상에 정렬되지 않은 것을 확인할 수 있다. 이와 같이, 입체 비디오의 프레임을 구성하는 좌영상 및 우영상에서 서로 대응되는 피사체의 위치 또는 크기 등이 다르게 표현되는 것을 영상 오차로 볼 수 있다. 1, an image error may occur between the elements constituting the frames 100 and 110 of the stereoscopic video. The video error referred to herein may mean an error occurring between a left image and a right image constituting a frame. For example, in the left image 100 and the right image 110 of FIG. 1, it is confirmed that the subjects 101, 103, 111, and 113 in the actual scenery are not aligned on the same horizontal line. In this way, it can be seen that the positions and sizes of the objects corresponding to each other on the left image and the right image forming the frame of the stereoscopic video are expressed differently as image errors.

영상 오차를 보정하기 위해 사용되는 방법은 다음과 같다. 첫째, 좌영상 및 우영상 내에 존재하는 모든 구성 요소들을 동일한 방법으로 일괄 보정하는 방법이 있다. 둘째, 좌영상 및 우영상 내에 존재하는 일부 구성 요소들을 평활화하는 국부 평활 변환(local smoothing transformation) 방법이 있다. The method used to correct the image error is as follows. First, there is a method of collectively correcting all components existing in the left and right images by the same method. Second, there is a local smoothing transformation method of smoothing some components existing in a left image and a right image.

일실시예에 따른 도 1에 개시된 좌영상(100) 및 우영상(110)의 피사체들(101, 103, 111, 113)은 서로 대응되는 요소들 간에 영상 오차를 포함하고 있다. 예를 들어, 좌영상(100)의 (101) 피사체와 대응되는 우영상(110)의 (111) 피사체는 서로 수평선상에 정렬되지 않는다. 또한, 좌영상(100)의 (103) 피사체와 대응되는 우영상(110)의 (113) 피사체는 서로 수평선상에 정렬되지 않는다. 이와 같은 영상 오차를 보정(rectification)하기 위해, 우영상(110)에 포함된 모든 구성요소들(111, 113, 115, 117)을 동일한 방법으로 일괄 보정할 수 있다. Subjects 101, 103, 111, and 113 of the left and right images 100 and 110 shown in FIG. 1 according to an embodiment include an image error between corresponding elements. For example, the (111) subjects of the right image 110 corresponding to the subject 101 of the left image 100 are not aligned with each other on the horizontal line. Also, the subjects 113 of the right image 110 corresponding to the subject 103 of the left image 100 are not aligned with each other on the horizontal line. In order to rectify such an image error, all the components 111, 113, 115, and 117 included in the right image 110 can be collectively corrected by the same method.

우영상에 포함된 모든 구성요소들을 동일한 방법으로 일괄 보정한 실시예를 하기 도 2를 통해 더 자세히 설명한다.An embodiment in which all the components included in the right image are corrected in the same manner is described in more detail with reference to FIG.

도 2는 본 발명의 일실시예에 따른 도 1의 입체 비디오의 영상 오차를 보정하는 과정을 설명하기 위한 도면이다. FIG. 2 is a diagram for explaining a process of correcting an image error of the stereoscopic video of FIG. 1 according to an embodiment of the present invention.

일실시예에 따른 입체 비디오의 프레임을 구성하는 좌영상 및 우영상의 영상 오차를 보정하기 위해, 좌영상에 포함된 피사체를 기준으로 우영상에 포함된 구성요소들(피사체 및 후삽입 객체)을 일괄 보정할 수 있다. 예를 들어, 도 1에 개시된 좌영상(100)의 피사체들(101, 103)을 기준으로 우영상(110)에 포함된 피사체들(111, 113)의 수평 위치를 보정하기 위해, 우영상(110)에 포함된 모든 구성요소들(111, 113, 115, 117)을 일괄 보정할 수 있다. 도 2의 우영상(210)은 도1 의 우영상(110)에 포함된 구성요소들을 일괄 보정한 결과를 도시한 것이다. In order to correct the image errors of the left and right images constituting the frame of the stereoscopic video according to the embodiment, the components (the subject and the post insertion object) included in the right image based on the subject included in the left image It is possible to perform batch correction. For example, in order to correct the horizontal position of the subjects 111 and 113 included in the right image 110 based on the subjects 101 and 103 of the left image 100 shown in FIG. 1, All the components 111, 113, 115, and 117 included in the image processing unit 110 can be collectively corrected. The right image 210 of FIG. 2 shows a result of collectively correcting the components included in the right image 110 of FIG.

일실시예에 따라 우영상의 구성요소들에 대해 일괄 보정을 수행한 결과, 도 2에 개시된 좌영상(200)에 포함된 피사체(201, 203) 및 우영상(210)에 포함된 피사체(211, 213)의 위치가 수평선상에 정렬된 것을 확인할 수 있다. 그러나, 좌영상 및 우영상 간에 존재하는 영상 오차를 제거하기 위해 우영상에 포함된 구성요소들을 일괄 보정한 결과, 우영상(210)에 포함된 후삽입 객체(215, 217)들에 영상 오차가 발생한 것을 확인할 수 있다. As a result of performing the batch correction on the components of the right image according to the embodiment, the subjects 201 and 203 included in the left image 200 shown in FIG. 2 and the subjects 211 included in the right image 210 , 213 are aligned on the horizontal line. However, in order to eliminate the image error existing between the left image and the right image, the components included in the right image are corrected in a batch, and as a result, the image errors in the inserted objects 215 and 217 after being included in the right image 210 Can be confirmed.

도 3a은 본 발명의 일실시예에 따른 입체 비디오 처리 방법을 설명하기 위한 도면이다. 3A is a diagram for explaining a stereoscopic video processing method according to an embodiment of the present invention.

일실시예에 따른 입체 비디오 처리 방법은, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계(311), 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계(313) 및 현재 프레임에 영상 오차가 존재하는 경우, 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리하는 단계(315)를 포함할 수 있다.The stereoscopic video processing method according to an exemplary embodiment of the present invention includes determining (311) whether a current frame of stereoscopic video is a video segment boundary frame, determining whether there is an image error in the current frame if the current frame is a video segment boundary frame (Step 313), and if there is an image error in the current frame, processing the current frame by removing the inserted object (PIO: Post Inserted Objects) included in the current frame (step 315) .

단계(311)에서, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단할 수 있다. 판단 결과 현재 프레임이 비디오 세그먼트 바운더리 프레임에 해당할 경우, 입체 비디오의 현재 프레임에 영상 오차가 존재하는지 여부를 판단할 수 있다. In step 311, it may be determined whether the current frame of the stereoscopic video is a video segment boundary frame. As a result of the determination, if the current frame corresponds to the video segment boundary frame, it can be determined whether or not an image error exists in the current frame of the stereoscopic video.

만약 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임이 아닐 경우, 현재 프레임의 이전 프레임과 동일한 처리방식을 사용하여 현재 프레임의 입체영상을 처리할 수 있다. If the current frame of the stereoscopic video is not a video segment boundary frame, the stereoscopic image of the current frame can be processed using the same processing method as the previous frame of the current frame.

이와 같은 방법에 따를 경우, 비디오 프레임 내의 모든 입체영상에 대하여 입체오차가 존재하는지 여부를 판단할 필요가 없기 때문에 시간이 절약될 수 있다.According to this method, time can be saved because it is not necessary to judge whether stereoscopic error exists in all stereoscopic images in a video frame.

입체영상이 속한 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부의 판단은, 현재 처리 중인 영상 프레임이 다른 풍경을 촬영한 두 세그먼트의 바운더리에 위치하는지 여부를 판단함으로써 수행될 수 있다. 입체 비디오를 구성하는 좌영상 및 우영상 간의 영상 오차는 비디오 세그먼트 단위 별로 발생할 수 있다. 그렇기 때문에 입체 비디오에 영상 오차가 존재하는지 여부를 판단하는 동작을 비디오 세그먼트 당 한 번만 수행함으로써, 입체 비디오를 처리하는데 소요되는 시간 등을 감소시킬 수 있다.The determination as to whether the current frame to which the stereoscopic image belongs is a video segment boundary frame may be performed by determining whether the current image frame is located at the boundary of two segments that photographed another landscape. Image errors between the left and right images constituting stereoscopic video can be generated for each video segment unit. Therefore, it is possible to reduce the time required to process the stereoscopic video by performing the operation of determining whether there is an image error in the stereoscopic video only once per video segment.

단계(313)에서, 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 현재 프레임에 영상 오차가 존재하는지 여부를 판단할 수 있다. 일실시예에 따라, 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계는 다음 과정을 통해 이루어질 수 있다.In step 313, if the current frame is a video segment boundary frame, it may be determined whether there is an image error in the current frame. According to an exemplary embodiment, the step of determining whether an image error exists in the current frame may be performed through the following process.

입체 비디오의 현재 프레임을 구성하는 좌영상 및 우영상 각각에서 특징 포인트를 추출할 수 있다. 특징 포인트는 좌영상 및 우영상에 포함된 구성요소들 중 의미를 가질 수 있는 최소 단위의 구성요소들을 의미할 수 있다. 또한, 좌영상의 특징 포인트와 우영상의 특징 포인트 각각에 대하여 특징 벡터를 생성할 수 있다. 생성된 좌영상의 특징 벡터와 우영상의 특징 벡터의 상호 유사성에 근거하여, 좌영상의 특징 포인트 및 우영상의 특징 포인트를 매칭시킬 수 있다. 매칭된 좌영상의 특징 포인트 및 우영상의 특징 포인트로부터 획득된 수직방향의 뎁스 값(depth value)을 합산함으로써, 뎁스 값과 관련된 분포 히스토그램을 생성할 수 있다. 생성된 분포 히스토그램의 피크(peak) 값이 미리 설정된 임계값을 초과할 경우, 현재 프레임에 영상 오차가 존재하는 것으로 판단할 수 있다. 만약 생성된 분포 히스토그램의 피크(peak) 값이 미리 설정된 임계값을 초과하지 않을 경우, 현재 프레임에 영상 오차가 존재하지 않는 것으로 판단할 수 있다. Feature points can be extracted from each of the left and right images constituting the current frame of stereoscopic video. The feature point may mean a minimum unit component having meaning among the components included in the left image and the right image. In addition, feature vectors can be generated for feature points of the left image and feature points of the right image, respectively. The feature point of the left image and the feature point of the right image can be matched based on the mutual similarity of the generated feature vector of the left image and the feature vector of the right image. The distribution histogram related to the depth value can be generated by summing the feature points of the matched left image and the vertical depth values obtained from the feature points of the right image. If the peak value of the generated distribution histogram exceeds a predetermined threshold value, it can be determined that an image error exists in the current frame. If the peak value of the generated distribution histogram does not exceed the preset threshold value, it can be determined that no image error exists in the current frame.

단계(315)에서, 현재 프레임에 영상 오차가 존재하는 경우, 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리할 수 있다.In step 315, if there is an image error in the current frame, the current frame can be processed by removing the inserted object (PIO) after being included in the current frame.

일실시예에 따른 현재 프레임에 존재하는 영상 오차는, 입체 비디오의 촬영 대상인 피사체가 입체 비디오의 프레임을 구성하는 좌영상 및 우영상에서 서로 동일한 수평선상에 정렬되지 않는 상황을 의미할 수 있다. 현재 프레임에 존재하는 영상 오차를 보정하기 위해, 좌영상 및 우영상 중 어느 하나에 포함된 피사체를 기준으로 타 영상에 포함된 피사체의 위치를 수정할 수 있다. 예를 들어, 우영상에 포함된 피사체들의 위치가 좌영상에 포함된 피사체와 수평선상에 정렬되도록, 우영상에 포함된 피사체들의 위치를 수정할 수 있다. An image error existing in a current frame according to an embodiment may mean a situation in which a subject to be photographed by stereoscopic video is not aligned on the same horizontal line on the left image and the right image forming the stereoscopic video frame. In order to correct an image error existing in the current frame, the position of a subject included in the other image can be modified based on the subject included in either the left image or the right image. For example, the position of the subjects included in the right image can be modified so that the positions of the subjects included in the right image are aligned with the horizontal line of the subject included in the left image.

이 때, 우영상에 포함된 구성요소들 중 정렬이 필요하지 않는 구성요소는 보정을 수행하는 과정에서 제외될 필요가 있다. 따라서, 현재 프레임에 영상 오차가 존재하는 것으로 판단된 경우, 현재 프레임에 포함된 구성요소들 중 보정이 필요하지 않은 구성요소들은 현재 프레임에서 제거될 수 있다. 예를 들어, 좌영상에 포함된 구성요소들의 위치를 기준으로 우영상에 포함된 구성요소들의 위치를 보정할 경우, 우영상에 포함된 구성요소들 중 보정이 필요하지 않은 구성요소가 있는지 판단할 수 있다. 우영상에 포함된 구성요소들 중 후삽입 객체는 입체 비디오가 촬영된 후 삽입된 객체이므로, 우영상에 포함된 피사체와 달리 보정이 필요하지 않을 수 있다. 이 경우, 입체 비디오를 처리하는 방법은 우영상에 포함된 후삽입 객체를 우영상에서 제거하는 단계를 포함할 수 있다.At this time, among the components included in the right image, components that do not need alignment need to be excluded from the process of performing correction. Accordingly, when it is determined that an image error exists in the current frame, the components that are not required to be corrected among the components included in the current frame can be removed from the current frame. For example, when the positions of the components included in the right image are corrected based on the positions of the components included in the left image, it is determined whether there is a component that is not required to be corrected among the components included in the right image . Of the components included in the right image, the posterior insertion object is inserted after the stereoscopic video is captured, so correction may not be required unlike the object included in the right image. In this case, the method of processing the stereoscopic video may include removing the inserted object on the right side after being included in the right image.

도 3b는 본 발명의 일실시예에 따른 입체 비디오 처리 장치를 설명하기 위한 도면이다.3B is a diagram for explaining a stereoscopic video processing apparatus according to an embodiment of the present invention.

일실시예에 따른 입체 비디오 처리 장치는 입체 비디오의 현재 프레임에 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하고, 현재 프레임에 후삽입 객체가 존재하는 경우 현재 프레임에서 후삽입 객체를 제거하는 후삽입 객체 제거 모듈, 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 입체 비디오 보정 모듈 및 보정된 현재 프레임에 제거된 후삽입 객체를 삽입(reinsert)하는 후삽입 객체 삽입 모듈을 포함할 수 있다. The stereoscopic video processing apparatus according to an exemplary embodiment determines whether or not a post insertion object (PIO) exists in a current frame of stereoscopic video. If there is a post insertion object in the current frame, A stereoscopic video correction module for rectifying the current frame after the insertion object is removed, and an insertion object insertion module after reinsertion of the insertion object after being removed to the corrected current frame, .

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법과 처리 장치는 정지상태의 입체영상을 처리하는데 이용될 수 있다. 뿐만아니라 동적 상태의 입체 비디오를 처리하는데 이용될 수 있다. 입체 비디오를 처리하는 과정은 입체 비디오를 구성하는 프레임 각각에 대하여 수행될 수 있다. 또한, 본 문서에 개시되는 입체 비디오 처리 방법과 처리 장치는, 입체 비디오의 프레임을 구성하는 좌영상 및 우영상 중 적어도 어느 하나를 처리하는데 이용될 수 있다.The stereoscopic video processing method and the processing apparatus according to the embodiment disclosed in this document can be used for processing stereoscopic images in a static state. But also for processing stereoscopic video in a dynamic state. The process of processing the stereoscopic video can be performed for each frame constituting the stereoscopic video. Further, the stereoscopic video processing method and the processing apparatus disclosed in this document can be used for processing at least one of a left image and a right image constituting a stereoscopic video frame.

도 4는 본 발명의 일실시예에 따른 입체 비디오 처리 방법을 설명하기 위한 도면이다.4 is a diagram for explaining a stereoscopic video processing method according to an embodiment of the present invention.

단계(401)에서, 일실시예에 따른 처리 방법은, 입체 비디오가 입력되는지 여부를 판단하는 단계를 포함할 수 있다. 입체 비디오 처리 방법은, 입력된 입체 비디오의 현재 프레임에 대하여 보정이 필요한지 여부를 판단하고, 보정을 수행하기 위한 것이므로, 입체 비디오가 입력되는지 여부를 판단하는 단계를 포함할 수 있다.In step 401, the processing method according to one embodiment may include determining whether stereoscopic video is input. The stereoscopic video processing method may include a step of determining whether or not stereoscopic video is input, since it is determined whether or not correction is necessary for the current frame of the input stereoscopic video and the correction is performed.

단계(403)에서, 일실시예에 따른 처리 방법은, 입력된 입체 비디오의 현재 프레임에 후삽입 객체(Post Inserted Objects)가 존재하는지 여부를 판단하는 단계를 포함할 수 있다. 후삽입 객체는 입체 비디오가 촬영된 후 입체 비디오에 추가로 삽입된 객체를 의미할 수 있다. 예를 들어, 입체 비디오에 추가로 삽입된 방송국 로고 또는 자막이 후삽입 객체에 포함될 수 있다. In step 403, the processing method according to one embodiment may include determining whether there is a post insertion object in the current frame of the input stereoscopic video. The post insertion object may refer to an object inserted into the stereoscopic video after the stereoscopic video is captured. For example, a station logo or subtitle inserted further into the stereoscopic video may be included in the inserted object afterwards.

단계(405)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에 텍스트형 PIO가 존재하는지 여부를 판단할 수 있다. 예를 들어, 입체 비디오가 촬영된 후 삽입된 자막이 존재하는 경우, 입체 비디오의 현재 프레임에 텍스트형 PIO가 존재하는 것으로 판단할 수 있다.In step 405, the processing method according to one embodiment may determine whether textual PIO is present in the current frame of the stereoscopic video. For example, if there is an inserted subtitle after the stereoscopic video has been captured, it can be determined that the text type PIO exists in the current frame of the stereoscopic video.

단계(407)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에 아이콘형 PIO가 존재하는지 여부를 판단할 수 있다. 예를 들어, 입체 비디오가 촬영된 후 삽입된 방송국 로고가 존재하는 경우, 입체 비디오의 현재 프레임에 아이콘형 PIO가 존재하는 것으로 판단할 수 있다. 아이콘형 PIO는 사진, 그림, 아이콘 형태의 컨텐츠를 포함할 수 있다.In step 407, the processing method according to one embodiment may determine whether an iconic PIO is present in the current frame of the stereoscopic video. For example, if the inserted station logo exists after the stereoscopic video is shot, it can be determined that the icon PIO exists in the current frame of the stereoscopic video. Iconic PIOs can contain content in the form of pictures, pictures, or icons.

단계(409)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에 포함된 후삽입 객체를 제거하는 단계를 포함할 수 있다. 예를 들어, 현재 프레임에 텍스트형 PIO가 존재하는 경우, 텍스트형 PIO의 바운더리가 설정될 수 있다. 현재 프레임에 포함된 텍스트형 PIO의 형태 및 유형에 따라 문자 단위, 문장 단위 또는 문단 단위로 바운더리가 설정될 수 있다. 설정된 바운더리를 기초로, 텍스트형 PIO가 현재 프레임에서 제거될 수 있다. 현재 프레임에 아이콘형 PIO가 존재하는 경우, 아이콘형 PIO의 바운더리가 설정될 수 있으며, 설정된 바운더리를 기초로 현재 프레임에서 제거될 수 있다.In step 409, the processing method according to one embodiment may include removing the inserted object after being included in the current frame of the stereoscopic video. For example, if there is a textual PIO in the current frame, then the boundary of the textual PIO can be set. Depending on the type and type of the text-type PIO included in the current frame, a boundary can be set in units of characters, sentences, or paragraphs. Based on the set boundary, the textual PIO can be removed from the current frame. If an iconic PIO exists in the current frame, the boundary of the iconic PIO can be set and removed from the current frame based on the set boundary.

단계(411)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에서 후삽입 객체가 제거된 영역을 채우는 단계를 포함할 수 있다. 현재 프레임에서 후삽입 객체가 제거되면, 제거된 영역이 공백으로 표현될 수 있다. 예를 들어, 흰색 또는 검은색으로 표현될 수 있다. 후삽입 객체가 제거된 영역의 주변에 위치한 픽셀의 색상을 기초로, 후삽입 객체가 제거된 영역의 전부 또는 일부를 채울 수 있다. 입체 비디오에 후삽입 객체가 추가되기 전의 원본 입체 비디오가 존재하는 경우, 원본 입체 비디오를 기초로, 후삽입 객체가 제거된 영역을 채울 수 있다. In step 411, the processing method according to one embodiment may include populating an area from which the post insertion object has been removed in the current frame of the stereoscopic video. If the post insertion object is removed from the current frame, the removed area may be represented as blank. For example, white or black. Based on the color of the pixel located around the area where the insertion object has been removed, all or part of the area from which the insertion object has been removed. If there is a source stereoscopic video before the insert object is added to the stereoscopic video, the area where the insert object has been removed may be filled based on the original stereoscopic video.

일실시예에 따라, 후삽입 객체가 제거된 영역 중 일부만 채울 수 있다. 예를 들어, 후삽입 객체가 제거된 영역의 경계에서 중심 방향으로 일정 영역만 채울 수 있다. 또는, 후삽입 객체가 제거된 영역의 경계를 블러(blur) 처리하여, 제거된 영역 중 공백으로 표현되는 영역을 줄일 수 있다.According to one embodiment, only a portion of the area where the post insertion object is removed may be filled. For example, only a certain region can be filled in the center direction from the boundary of the region where the post insertion object is removed. Alternatively, the border of the area where the post insertion object is removed may be blurred to reduce the area represented by the blank space among the removed areas.

단계(413)에서, 일실시예에 따른 처리 방법은, 후삽입 객체가 제거된 입체 비디오의 현재 프레임을 보정하는 단계를 포함할 수 있다. 예를 들어, 후삽입 객체가 제거된 현재 프레임은 영상 오차를 포함할 수 있다. 현재 프레임에 존재하는 영상 오차는, 현재 프레임을 구성하는 좌영상 및 우영상 중 적어도 어느 하나를 수정하여 좌영상 및 우영상에 포함된 구성요소들을 동일한 수평선상에 정렬하는 방식으로 보정될 수 있다. 앞서, 단계(409)에서 후삽입 객체가 제거되었기 때문에, 단계(411)에서 수행되는 보정의 대상은 원본 입체 비디오에 포함된 피사체들이다.In step 413, the processing method according to one embodiment may include correcting the current frame of the stereoscopic video from which the post insertion object has been removed. For example, the current frame from which the post insertion object has been removed may include an image error. The image error existing in the current frame can be corrected by modifying at least one of the left image and the right image constituting the current frame and arranging the components included in the left image and the right image on the same horizontal line. Since the insertion object has been removed in step 409, the object of correction performed in step 411 is the objects included in the original stereoscopic video.

단계(415)에서, 일실시예에 따른 처리 방법은, 보정된 현재 프레임에 후삽입 객체를 삽입하는 단계를 포함할 수 있다. 현재 프레임에서 제거된 후삽입 객체는, 현재 프레임에 존재하는 영상 오차에 대한 보정이 완료된 후 다시 삽입될 수 있다. 후삽입 객체가 보정된 현재 프레임에 삽입되는 위치는, 보정 전 현재 프레임에서 제거된 위치와 동일한 위치일 수 있다.In step 415, the processing method according to one embodiment may include inserting a post insertion object in the corrected current frame. After being removed from the current frame, the inserted object can be inserted again after the correction for the image error present in the current frame is completed. The position at which the inserted object is inserted into the corrected current frame may be the same position as the position removed from the current frame before correction.

단계(417)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에 후삽입 객체가 존재하지 않는 것으로 판단된 경우, 현재 프레임에 포함된 영상 오차를 보정하는 단계를 포함할 수 있다. 현재 프레임에 후삽입 객체가 존재하지 않으므로, 현재 프레임의 영상 오차에 대한 보정은 후삽입 객체를 고려할 필요없이 바로 수행될 수 있다.In step 417, the processing method according to one embodiment may include correcting the image error included in the current frame if it is determined that there is no post insertion object in the current frame of the stereoscopic video. Since there is no post insertion object in the current frame, correction for the video error of the current frame can be performed immediately without considering the post insertion object.

단계(419)에서, 일실시예에 따른 처리 방법은, 보정이 완료된 입체 비디오를 출력하는 단계를 포함할 수 있다. 후삽입 객체를 포함하는 입체 비디오 또는 후삽입 객체를 포함하지 않는 입체 비디오에 대한 보정이 완료된 경우, 보정된 입체 비디오를 사용자에게 출력할 수 있다.In step 419, the processing method according to one embodiment may include outputting the corrected stereoscopic video. When the correction for the stereoscopic video including the inserted object or the stereoscopic video that does not include the inserted object is completed, the corrected stereoscopic video can be output to the user.

본 문서에 개시된 입체 비디오의 현재 프레임을 처리하는 방법은 단계(401) 내지 단계(419) 중 적어도 하나 이상의 단계를 포함할 수 있다. 단계(401) 내지 단계(419) 중 어느 단계는 현재 프레임을 처리하는 방법에서 제외될 수 있다.The method of processing the current frame of stereoscopic video disclosed in this document may include at least one of steps 401 to 419. Either step 401 to step 419 may be excluded from the method of processing the current frame.

도 5는 본 발명의 일실시예에 따른 현재 프레임에서 후삽입 객체를 처리하는 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a method of processing a post insertion object in a current frame according to an embodiment of the present invention.

단계(500)에서, 입력된 입체 비디오의 현재 프레임에 후삽입 객체가 존재하는지 여부를 판단하는 단계에 있어서, 후삽입 객체의 존재여부를 판단하기 전에 입력된 입체 비디오의 현재 프레임에 영상 오차가 존재하는지 여부를 먼저 판단할 수 있다. 따라서 현재 프레임에 영상 오차가 존재하는 경우, 현재 프레임에 후삽입 객체가 존재하는지 여부를 판단할 수 있다. 반대로, 현재 프레임에 영상 오차가 존재하지 않는 경우, 현재 프레임에 후삽입 객체가 존재하는지 여부를 판단하는 동작을 수행하지 않을 수 있다.In step 500, it is determined whether there is a post insertion object in the current frame of the inputted stereoscopic video. In step 500, it is determined whether there is an image error in the current frame of the input stereoscopic video, Or not. Accordingly, if there is an image error in the current frame, it can be determined whether or not a post insertion object exists in the current frame. On the contrary, if there is no video error in the current frame, it may not be performed to determine whether there is a post insertion object in the current frame.

단계(510)에서, 입체 비디오의 현재 프레임에 후삽입 객체가 존재하는 경우, 현재 프레임에서 후삽입 객체를 제거하는 단계에 있어서, 후삽입 객체를 제거하기에 앞서 후삽입 객체의 유형을 결정하는 동작을 수행할 수 있다. 후삽입 객체의 유형과 관련된 정보는 사용자에 의해 미리 저장될 수 있다. 후삽입 객체의 유형에는 자막 등을 포함하는 텍스트형 후삽입 객체나, 로고 또는 사진 등을 포함하는 아이콘형 후삽입 객체가 포함될 수 있다. 후삽입 객체를 제거하는 동작은 결정된 유형에 따라 상이한 방법으로 수행될 수 있다. 예를 들어, 자막 등의 경우, 자막에 포함된 문자를 일일이 분리하여 추출하는 방법이 적용될 수 있다. 결정된 유형에 따라 후삽입 객체의 경계를 설정하는 동작을 추가로 수행할 수 있으며, 설정된 경계에 따라 후삽입 객체를 제거할 수 있다.In step 510, if there is a post insertion object in the current frame of the stereoscopic video, removing the post insertion object in the current frame may include the step of determining the type of the post insertion object before removing the post insertion object Can be performed. Information related to the type of the inserted object may be stored in advance by the user. The type of the inserted object may include a text-type post-insertion object including a caption or the like, or an icon-type post-insertion object including a logo or a photograph. The operation of removing the inserted object afterwards may be performed in a different manner depending on the determined type. For example, in the case of subtitles or the like, a method of extracting the characters included in the subtitles separately may be applied. An operation of setting the boundary of the inserted object according to the determined type can be additionally performed, and the inserted object can be removed according to the set boundary.

단계(520)에서, 후삽입 객체가 제거된 현재 프레임을 보정하는 단계에 있어서, 혀재 프레임에서 후삽입 객체가 분할하여 제거됨으로 인해, 후삽입 객체가 있었던 영역이 비어있는 상태(예를 들면, 검은색 또는 흰색)로 표현될 수 있다. 이 경우, 후삽입 객체가 있었던 영역을 주변 픽셀 정보를 기초로 하여 채우는 동작을 수행할 수 있다. 예를 들어, 후삽입 객체의 제거로 인해 생긴 영역의 주변에 위치한 픽셀의 색상 값에 기초하여, 제거된 영역에 포함된 픽셀을 횡단(traverse) 처리하는 방법을 이용하여 채울 수 있다.In step 520, in the step of correcting the current frame from which the post insertion object has been removed, since the post insertion object is divided and removed in the tongue frame, the area in which the post insertion object is present is empty (for example, black Color or white). In this case, it is possible to perform the operation of populating the region where the post insertion object was present based on the surrounding pixel information. For example, it can be filled using a method of traversing the pixels included in the removed area based on the color value of the pixel located around the area resulting from the removal of the inserted object.

단계(530)에서, 보정된 현재 프레임에 앞서 제거된 후삽입 객체를 삽입하는 단계에 있어서, 제거된 후삽입 객체가 보정된 현재 프레임에 삽입될 때, 제거된 후삽입 객체는 최초 입력된 입체 비디오의 현재 프레임에 위치했던 위치와 동일한 위치에 재입력될 수 있다.In step 530, in the step of inserting the inserted object after being removed before the corrected current frame, when the inserted object is inserted into the corrected current frame after being removed, after the inserted object is removed, Can be re-entered at the same position as the position of the current frame.

도 6은 본 발명의 일실시예에 따른 현재 프레임에 존재하는 후삽입 객체를 확인하는 과정을 설명하기 위한 도면이다.FIG. 6 is a diagram for explaining a process of identifying a post insertion object existing in a current frame according to an embodiment of the present invention. Referring to FIG.

일일시예에 따라, 현재 프레임에 후삽입 객체가 존재할 경우, 후삽입 객체를 제거할 수 있다. 이어서 현재 프레임에서 제거된 후삽입 객체가 적절하게 제거된 것인지 확인할 수 있다. 후삽입 객체의 예시에 해당하는 텍스트형 후삽입 객체 및 아이콘형 후삽입 객체가 아닌 나뭇잎, 벽 등 입체 비디오의 풍경에 해당하는 요소가 후삽입 객체로 인식되는 경우가 발생할 수 있다. 이와 같은 문제를 해결하기 위해, 제거된 후삽입 객체를 확인하는 과정을 더 포함할 수 있다. According to the daily example, if there is a post insert object in the current frame, the post insert object can be removed. Then, it can be confirmed whether or not the inserted object has been appropriately removed after being removed from the current frame. It may happen that an element corresponding to a landscape of a stereoscopic video such as a leaf or a wall, which is not an inserted object after the text type and the inserted object after the icon type, corresponding to the example of the inserted object after the insertion, may be recognized as a post inserted object. In order to solve such a problem, it is possible to further include a process of confirming an inserted object after being removed.

단계(600)에서, 후삽입 객체 샘플(positive example)과 비(非) 후삽입 객체 샘플(counterexample)을 저장할 수 있다. 예를 들어, 데이터베이스에 후삽입 객체 샘플과 비 후삽입 객체 샘플을 미리 저장할 수 있으며, 온라인을 통해 실시간으로 샘플들을 수집하여 저장할 수도 있다.In step 600, a post-insertion object sample (positive example) and a non-inserted post-object sample (counterexample) can be stored. For example, you can pre-store post-insert and post-insert objects in the database, or you can collect and store samples in real time online.

단계(610) 내지 단계(620)에서, 저장된 복수의 샘플들에 대하여 각 샘플 별 특징을 추출하고, 추출된 샘플 별 특징을 기초로 오프라인 학습 알고리즘을 적용하여 제거된 후삽입 객체에 대응하는 샘플을 검색할 수 있다. 검색을 통해 획득한 샘플은 제거된 후삽입 객체의 유형을 결정하는데 이용될 수 있다. In steps 610 to 620, the features of each sample are extracted for the stored plurality of samples, and the sample corresponding to the inserted object is removed by applying the offline learning algorithm based on the extracted characteristics of the sample You can search. The sample acquired through the search can be used to determine the type of the inserted object after it has been removed.

단계(630)에서, 결정된 후삽입 객체의 유형 정보를 기초로, 제거된 후삽입 객체 영역 중 비 후삽입 객체에 해당하는 영역을 제거할 수 있으며, 이를 통해 보다 정확하게 후삽입 객체를 제거할 수 있다. 상기 샘플 별 특징에는 척도가 변하지 않는 특징 변환(SIFT, Scale-invariant feature transform) 특징이나 방향 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 특징이 포함될 수 있다. After the determination, in step 630, the region corresponding to the insertion object after the removal of the insertion object area after the removal is removed based on the type information of the insertion object, thereby removing the insertion object more accurately through the insertion . The characteristics of each sample may include a feature of a scale-invariant feature transform (SIFT) or a histogram of orientation gradient (HOG).

일실시예에 따라, 샘플을 이용하여 상기 추출된 후삽입 객체의 유형을 분류하는 동작에는 SVM(Support Vector Machine) 분류기가 사용될 수 있다.According to an exemplary embodiment, an SVM (Support Vector Machine) classifier may be used for classifying the type of the inserted object after the extraction using the sample.

본 문서에 개시된 입체 비디오의 현재 프레임을 처리하는 방법 및 처리하는 장치는 입체 비디오 디스플레이 장비에 응용될 수 있다. 본 문서에 개시된 다양한 실시예들은, 3차원 스마트 TV에 사용될 수 있다. 스마트폰, TV, 큰 규모의 스크린 디스플레이에도 응용될 수 있다. Methods and apparatus for processing current frames of stereoscopic video disclosed herein may be applied to stereoscopic video display equipment. The various embodiments disclosed herein can be used in 3D smart TVs. It can also be applied to smart phones, TVs, and large-scale screen displays.

본 문서에 개시된 다양한 실시예들은, 안경을 착용하는 입체 디스플레이 장치와 안경을 착용하지 않는 입체 디스플레이 장치에 응용될 수 있다. 또한, 본 문서에 개시된 다양한 모듈들은 하나의 처리부에 통합될 수 있고, 각 모듈이 단독물리존재일 수도 있으며 적어도 두 개 이상의 모듈이 하나의 통합부에 결합될 수도 있다. 상술한 통합부는 하드웨어 형식으로 실현될 수 있고, 소프트웨어 기능부의 형식으로도 실현될 수 있다. 본 문서에 개시된 다양한 모듈들은 하나의 단말 또는 네트워크 노드에 위치할 수 있고, 복수의 단말 또는 네트워크 노드상에 분포될 수도 있다.The various embodiments disclosed in this document can be applied to a stereoscopic display apparatus wearing glasses and a stereoscopic display apparatus not wearing glasses. In addition, the various modules disclosed herein may be integrated into a single processing unit, each module may be a single physical entity, or at least two or more modules may be combined into one integrated unit. The above-described integrated unit can be realized in a hardware form or in a form of a software function. The various modules disclosed herein may be located in one terminal or network node, and may be distributed on a plurality of terminals or network nodes.

본 문서에 개시된 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to the embodiments disclosed herein can be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims (21)

입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계;
상기 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계; 및
상기 현재 프레임에 영상 오차가 존재하는 경우, 상기 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리하는 단계
를 포함하는 입체 비디오 처리 방법.
Determining whether the current frame of stereoscopic video is a video segment boundary frame;
Determining whether an image error exists in the current frame if the current frame is a video segment boundary frame; And
If there is an image error in the current frame, processing a current frame by removing an inserted object (PIO: Post Inserted Objects) after being included in the current frame
/ RTI >
제1항에 있어서,
상기 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계는,
상기 현재 프레임과 상기 이전 프레임 간 영상 특징에 대한 변화 정도에 기초하여 상기 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 입체 비디오 처리 방법.
The method according to claim 1,
Wherein determining whether the current frame of the stereoscopic video is a video segment boundary frame comprises:
And determining whether the current frame of the stereoscopic video is a video segment boundary frame based on the degree of change of the current frame and the previous frame image feature.
제2항에 있어서,
상기 영상 특징에 대한 변화 정도는,
상기 현재 프레임의 움직임, 색상, 밝기 중 적어도 하나를 포함하는 제1 특징 벡터와 이전 프레임의 제2 특징 벡터에 따라 결정되는 입체 비디오 처리 방법.
3. The method of claim 2,
The degree of change with respect to the image characteristic may be,
Wherein the first feature vector includes at least one of a motion, a color, and a brightness of the current frame and a second feature vector of the previous frame.
제1항에 있어서,
상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계는,
상기 현재 프레임의 좌영상 및 우영상 각각에 대한 뎁스 맵(depth map) 정보를 기초로 분포 히스토그램을 생성하는 단계; 및
상기 분포 히스토그램의 피크(peak) 값이 임계치를 초과하는 경우, 상기 현재 프레임에 입차 시차가 존재하는 것으로 판단하는 단계
를 포함하는 입체 비디오 처리 방법.
The method according to claim 1,
Wherein the step of determining whether an image error exists in the current frame includes:
Generating a distribution histogram based on depth map information for the left and right images of the current frame; And
Determining that an incident parallax exists in the current frame when a peak value of the distribution histogram exceeds a threshold value
/ RTI >
제1항에 있어서,
상기 처리하는 단계는,
상기 현재 프레임에서 후삽입 객체를 제거하는 단계;
상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계; 및
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계
를 포함하는 입체 비디오 처리 방법.
The method according to claim 1,
Wherein the processing comprises:
Removing a post insertion object in the current frame;
Rectifying the current frame from which the post insertion object has been removed; And
Inserting the inserted object after the removal in the corrected current frame
/ RTI >
제5항에 있어서,
상기 현재 프레임에서 후삽입 객체를 제거하는 단계는,
상기 현재 프레임에 존재하는 후삽입 객체의 유형을 결정하는 단계; 및
상기 결정된 유형을 기초로, 상기 입력된 입체영상에 존재하는 상기 후삽입 객체의 경계를 설정하는 단계
를 포함하는 입체 비디오 처리 방법.
6. The method of claim 5,
Wherein removing the post insertion object in the current frame comprises:
Determining a type of a post insertion object existing in the current frame; And
Setting a boundary of the post insertion object existing in the input stereoscopic image on the basis of the determined type
/ RTI >
제5항에 있어서,
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계는,
상기 후삽입 객체가 상기 현재 프레임에서 제거되었던 원래 위치에 삽입되는 단계
를 포함하는 입체 비디오 처리 방법.
6. The method of claim 5,
Wherein the inserting the inserted object into the corrected current frame includes:
And inserting the post insertion object at the original position from which it was removed from the current frame
/ RTI >
제1항에 있어서,
상기 처리하는 단계는,
상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계
를 포함하는 입체 비디오 처리 방법.
The method according to claim 1,
Wherein the processing comprises:
Filling the region in which the post insertion object has been removed in the current frame
/ RTI >
제8항에 있어서,
상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계는,
상기 제거된 영역 주변에 위치한 픽셀 중 상기 영역에 포함되지 않는 픽셀의 색상 값에 기초하여, 상기 영역에 포함된 픽셀을 횡단(traverse) 처리하는 단계
를 포함하는 입체 비디오 처리 방법.
9. The method of claim 8,
The step of filling the region from which the post insertion object has been removed in the current frame,
Traversing a pixel included in the area based on a color value of a pixel not included in the area among pixels located around the removed area
/ RTI >
입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하는 단계;
상기 현재 프레임에 후삽입 객체가 존재하는 경우, 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 단계;
상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계; 및
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계
를 포함하는 입체 비디오 처리 방법.
Determining whether a post insertion object (PIO) exists for a current frame of the stereoscopic video;
Removing the post insertion object from the current frame if the post insertion object exists in the current frame;
Rectifying the current frame from which the post insertion object has been removed; And
Inserting the inserted object after the removal in the corrected current frame
/ RTI >
제10항에 있어서
상기 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하는 단계는,
상기 현재 프레임이 비디오 세그먼트 바운더리 프레임이고, 상기 현재 프레임에 영상 오차가 존재하는 경우에 수행되는 입체 비디오 처리 방법.
The method of claim 10, wherein
Wherein the step of determining whether there is Post Inserted Objects (PIO) for the current frame of the stereoscopic video includes:
Wherein the current frame is a video segment boundary frame and an image error exists in the current frame.
제10항에 있어서,
상기 현재 프레임에서 후삽입 객체를 제거하는 단계는,
상기 현재 프레임에 존재하는 후삽입 객체의 유형을 결정하는 단계; 및
상기 결정된 유형을 기초로, 상기 입력된 입체영상에 존재하는 상기 후삽입 객체의 경계를 설정하는 단계
를 포함하는 입체 비디오 처리 방법.
11. The method of claim 10,
Wherein removing the post insertion object in the current frame comprises:
Determining a type of a post insertion object existing in the current frame; And
Setting a boundary of the post insertion object existing in the input stereoscopic image on the basis of the determined type
/ RTI >
제10항에 있어서,
상기 현재 프레임에서 상기 후삽입 객체를 제거하는 단계는,
상기 현재 프레임에 대한 X방향 및 Y방향 투영분석을 통해 상기 현재 프레임에 텍스트형 후삽입 객체가 존재하는지 판단하는 단계;
상기 텍스트형 후삽입 객체가 존재할 경우, 상기 텍스트형 후삽입 객체의 뎁스(depth)를 측정하는 단계;
상기 측정된 뎁스를 기초로, 상기 텍스트형 후삽입 객체 중 전경(foreground)에 포함되지 않는 객체를 제거하는 단계;
상기 현재 프레임의 색상 분포 히스토그램을 기초로, 제거되지 않은 텍스트형 후삽입 객체의 색상을 추출하는 단계; 및
상기 추출된 색상을 기초로, 상기 제거되지 않은 텍스트형 후삽입 객체를 제거하는 단계
를 포함하는 입체 비디오 처리 방법.
11. The method of claim 10,
Wherein removing the post insertion object in the current frame comprises:
Determining whether a text-inserted object exists in the current frame through X-direction and Y-direction projection analysis of the current frame;
Measuring a depth of the text-type post insertion object when the text-type post insertion object exists;
Removing an object not included in the foreground of the text-type post-insertion object based on the measured depth;
Extracting a color of the text-type post insertion object that has not been removed based on the histogram of the color distribution of the current frame; And
Removing the non-removed text-based post insertion object based on the extracted color
/ RTI >
제13항에 있어서,
상기 투영분석을 통해 상기 현재 프레임에 존재하는 텍스트형 후삽입 객체를 검색하는 단계는,
상기 텍스트형 후삽입 객체의 엣지(edge) 강도 값을 계산하는 단계;
상기 계산된 엣지 강도 값이 임계값 미만인 경우, 상기 계산된 엣지 강도 값을 0으로 설정하는 단계; 및
상기 설정된 엣지 강도 값을 기초로, 상기 텍스트형 후삽입 객체의 위치를 결정하는 단계
를 포함하는 입체 비디오 처리 방법.
14. The method of claim 13,
The step of searching for a text-type post insertion object existing in the current frame through the projection analysis,
Calculating an edge strength value of the text-based post insertion object;
Setting the calculated edge strength value to zero if the calculated edge strength value is less than a threshold value; And
Determining a position of the text-type post insertion object based on the set edge strength value
/ RTI >
제13항에 있어서,
상기 투영분석을 통해 상기 현재 프레임에 존재하는 텍스트형 후삽입 객체를 검색하는 단계는,
상기 텍스트형 후삽입 객체의 컷오프(cut-off) 엣지(edge)를 추출하는 단계;
상기 추출된 컷오프 엣지의 수평투영 값 및 수직투영 값을 계산하는 단계;
상기 계산된 수평투영 값을 기초로, 상기 텍스트형 후삽입 객체의 상하 바운더리를 획득하는 단계;
상기 계산된 수직투영 값을 기초로, 상기 텍스트형 후삽입 객체의 좌우 바운더리를 획득하는 단계; 및
상기 상하 바운더리 및 좌우 바운더리를 기초로, 상기 텍스트형 후삽입 객체의 위치를 조정하는 단계
를 포함하는 입체 비디오 처리 방법.
14. The method of claim 13,
The step of searching for a text-type post insertion object existing in the current frame through the projection analysis,
Extracting a cut-off edge of the text-type post-insertion object;
Calculating a horizontal projection value and a vertical projection value of the extracted cutoff edge;
Acquiring upper and lower boundaries of the text-type post insertion object based on the calculated horizontal projection value;
Acquiring left and right boundaries of the text-type post insertion object based on the calculated vertical projection value; And
A step of adjusting the position of the text type post insertion object based on the upper and lower boundaries and the left and right boundaries
/ RTI >
제13항에 있어서,
복수의 텍스트형 후삽입 객체 샘플들 및 비 텍스트형 후삽입 객체 샘플들로부터 추출된 각 샘플들의 특징을 바탕으로 텍스트형 후삽입 객체의 유형을 획득하는 단계; 및
상기 획득된 텍스트형 후삽입 객체의 유형을 이용하여 상기 텍스트형 후삽입 객체 중 비 텍스트형 후삽입 객체에 해당하는 영역을 제거하는 단계
를 더 포함하는 입체 비디오 처리 방법.
14. The method of claim 13,
Obtaining a type of a text-type post-insertion object based on characteristics of each of the plurality of samples of the text-type post-insertion object and the samples extracted from the non-text-type post-insertion object samples; And
Removing the region corresponding to the non-text type post insertion object among the text type post insertion objects using the obtained type of the post-insertion type text object
And outputting the stereoscopic video image.
제10항에 있어서,
상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계는,
상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계
를 포함하는 입체 비디오 처리 방법.
11. The method of claim 10,
Wherein rectifying the current frame from which the post insertion object has been removed comprises:
Filling the region in which the post insertion object has been removed in the current frame
/ RTI >
제17항에 있어서,
상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계는,
상기 제거된 영역 주변에 위치한 픽셀 중 상기 영역에 포함되지 않는 픽셀의 색상 값에 기초하여, 상기 영역에 포함된 픽셀을 횡단(traverse) 처리하는 단계
를 포함하는 입체 비디오 처리 방법.
18. The method of claim 17,
The step of filling the region from which the post insertion object has been removed in the current frame,
Traversing a pixel included in the area based on a color value of a pixel not included in the area among pixels located around the removed area
/ RTI >
제10항에 있어서,
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계는,
상기 후삽입 객체가 상기 현재 프레임에서 제거되었던 원래 위치에 삽입되는 단계
를 포함하는 입체 비디오 처리 방법.
11. The method of claim 10,
Wherein the inserting the inserted object into the corrected current frame includes:
And inserting the post insertion object at the original position from which it was removed from the current frame
/ RTI >
입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하고, 상기 현재 프레임에 후삽입 객체가 존재하는 경우 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 후삽입 객체 제거 모듈;
상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 입체 비디오 보정 모듈; 및
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입(reinsert)하는 후삽입 객체 삽입 모듈을 포함하는 입체 비디오 처리 장치.
The method comprising the steps of: determining whether a post insertion object (PIO) exists for a current frame of stereoscopic video; if the post insertion object exists in the current frame, Removal module;
A stereoscopic video correction module that rectifies a current frame from which the inserted object has been removed; And
And an insertion object inserting module after inserting the inserted object into the corrected current frame after being reinserted.
상기 제20항의 입체 비디오 처리 장치를 포함하는 입체 비디오 디스플레이 장치.

A stereoscopic video processing apparatus comprising the stereoscopic video processing apparatus of claim 20.

KR1020160107984A 2015-12-25 2016-08-24 Image processing method and image processing apparatus thereof KR102516358B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/388,513 US10531063B2 (en) 2015-12-25 2016-12-22 Method and apparatus for processing stereoscopic video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510993718.X 2015-12-25
CN201510993718.XA CN106921856B (en) 2015-12-25 2015-12-25 Processing method, detection dividing method and the relevant apparatus and equipment of stereo-picture

Publications (2)

Publication Number Publication Date
KR20170077018A true KR20170077018A (en) 2017-07-05
KR102516358B1 KR102516358B1 (en) 2023-03-31

Family

ID=59352237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160107984A KR102516358B1 (en) 2015-12-25 2016-08-24 Image processing method and image processing apparatus thereof

Country Status (2)

Country Link
KR (1) KR102516358B1 (en)
CN (1) CN106921856B (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108015764B (en) * 2017-11-20 2020-07-14 中国运载火箭技术研究院 Spatial zero prior target capturing method based on multi-source visual information fusion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070140593A1 (en) * 2005-12-15 2007-06-21 General Instrument Corporation Method and apparatus for scaling selected areas of a graphics display
KR20140046335A (en) * 2012-10-10 2014-04-18 삼성전자주식회사 Imaging optical system and 3d image acquisition apparatus including the imaging optical system
US20140293003A1 (en) * 2011-11-07 2014-10-02 Thomson Licensing A Corporation Method for processing a stereoscopic image comprising an embedded object and corresponding device
US20180011285A1 (en) * 2015-02-06 2018-01-11 Optotune Ag Optical device for enhancing resolution of an image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102419B (en) * 2007-07-10 2010-06-09 北京大学 A method for caption area of positioning video
GB2489674A (en) * 2011-03-29 2012-10-10 Sony Corp 3D image generation
EP3036901B1 (en) * 2013-08-19 2019-01-30 Nokia Technologies OY Method, apparatus and computer program product for object detection and segmentation
CN105791795B (en) * 2014-12-24 2018-01-26 北京三星通信技术研究有限公司 Stereoscopic image processing method, device and Stereoscopic Video Presentation equipment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070140593A1 (en) * 2005-12-15 2007-06-21 General Instrument Corporation Method and apparatus for scaling selected areas of a graphics display
US20140293003A1 (en) * 2011-11-07 2014-10-02 Thomson Licensing A Corporation Method for processing a stereoscopic image comprising an embedded object and corresponding device
KR20140046335A (en) * 2012-10-10 2014-04-18 삼성전자주식회사 Imaging optical system and 3d image acquisition apparatus including the imaging optical system
US20180011285A1 (en) * 2015-02-06 2018-01-11 Optotune Ag Optical device for enhancing resolution of an image

Also Published As

Publication number Publication date
KR102516358B1 (en) 2023-03-31
CN106921856B (en) 2019-07-12
CN106921856A (en) 2017-07-04

Similar Documents

Publication Publication Date Title
US20210314547A1 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3d) images of a scene
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
KR102281184B1 (en) Method and apparatus for calibrating image
EP2950520B1 (en) Method and apparatus for outputting picture
WO2012096163A1 (en) Image processing device, image processing method, and program therefor
KR101377325B1 (en) Stereoscopic image, multi-view image and depth image acquisition appratus and its control method
US9167232B2 (en) System for converting 2D video into 3D video
US9792698B2 (en) Image refocusing
KR20150023370A (en) Method and apparatus for fusion of images
CN109525786B (en) Video processing method and device, terminal equipment and storage medium
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
CN105791795B (en) Stereoscopic image processing method, device and Stereoscopic Video Presentation equipment
US9995905B2 (en) Method for creating a camera capture effect from user space in a camera capture system
CN110557556A (en) Multi-object shooting method and device
KR102516358B1 (en) Image processing method and image processing apparatus thereof
US10096116B2 (en) Method and apparatus for segmentation of 3D image data
KR101373603B1 (en) 3D warping method for hole reduction and image processing apparatus using the same
CN112991419B (en) Parallax data generation method, parallax data generation device, computer equipment and storage medium
US10531063B2 (en) Method and apparatus for processing stereoscopic video
KR101718309B1 (en) The method of auto stitching and panoramic image genertation using color histogram
EP2932466B1 (en) Method and apparatus for segmentation of 3d image data
CN105282534A (en) System and method for embedding stereo imagery
US20110267434A1 (en) Camera device, arrangement and system
CN111193920B (en) Video picture three-dimensional splicing method and system based on deep learning network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant