KR101372463B1 - Stereo image processing device and mobile apparatus and stereo image system - Google Patents

Stereo image processing device and mobile apparatus and stereo image system Download PDF

Info

Publication number
KR101372463B1
KR101372463B1 KR1020130009175A KR20130009175A KR101372463B1 KR 101372463 B1 KR101372463 B1 KR 101372463B1 KR 1020130009175 A KR1020130009175 A KR 1020130009175A KR 20130009175 A KR20130009175 A KR 20130009175A KR 101372463 B1 KR101372463 B1 KR 101372463B1
Authority
KR
South Korea
Prior art keywords
image
stereoscopic
parameter
information
stereoscopic parameter
Prior art date
Application number
KR1020130009175A
Other languages
Korean (ko)
Inventor
강호석
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020130009175A priority Critical patent/KR101372463B1/en
Application granted granted Critical
Publication of KR101372463B1 publication Critical patent/KR101372463B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Provided are a stereoscopic image processing device capable of easily outputting an stereoscopic image by using a general image and a stereoscopic parameter; a portable terminal; and a stereoscopic image system using the same. The stereoscopic image system includes the stereoscopic image processing device generating a stereoscopic parameter of an inputted image and transmitting the image and the stereoscopic parameter to the outside and the portable terminal receiving information on the stereoscopic parameter and the image and generating a stereoscopic image by applying the stereoscopic parameter to the image. Therefore, the stereoscopic image processing device easily generates the stereoscopic image in the portable terminal of low performance and reduces a capacity of data which should be transmitted to generate the stereoscopic image. [Reference numerals] (110) Image analysis unit; (120) Image interpretation unit; (130) Depth estimating unit; (135) Depth map; (140) Stereoscopic parameter generating unit; (160) Data management unit; (AA) Inputted image

Description

입체 영상 처리 장치, 휴대용 단말기 및 이를 이용한 입체 영상 시스템{STEREO IMAGE PROCESSING DEVICE AND MOBILE APPARATUS AND STEREO IMAGE SYSTEM}STEREO IMAGE PROCESSING DEVICE AND MOBILE APPARATUS AND STEREO IMAGE SYSTEM}

본 발명은 일반 영상을 입체 영상으로 변환할 수 있는 입체 영상 처리 장치, 휴대용 단말기 및 이를 이용한 입체 영상 시스템에 관한 것이다.The present invention relates to a stereoscopic image processing apparatus capable of converting a general image into a stereoscopic image, a portable terminal, and a stereoscopic image system using the same.

최근의 3차원 영상을 구현하는 방식에 대한 연구가 활발히 진행되고 있다. 이는 보다 사실적이고 현실감 있는 영상 정보를 표현하기 위함이다. 인간 시각 특성을 활용하여, 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 해당 위치에 주사한 후, 좌시점과 우시점을 사용자의 좌안과 우안에 분리하여 상기 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정받고 있다. 일예로, Barrier LCD를 장착한 휴대용 단말기(입체휴대폰, 입체 카메라, 입체 캠코더 등) 및 3D TV에서는 스테레오스코픽 컨텐츠를 재생하여 사용자에게 좀 더 실감나는 영상을 제공할 수 있게 되었다.Recently, researches on how to implement 3D images have been actively conducted. This is to express more realistic and realistic image information. By utilizing the human visual characteristics, the left and right view images are respectively scanned at the corresponding positions on the existing display device, and then the left and right views are separated into the left and right eyes of the user to make a three-dimensional feeling. How to do this is recognized in many ways. For example, portable terminals (stereophones, stereoscopic cameras, stereoscopic camcorders, etc.) and 3D TVs equipped with Barrier LCDs can play stereoscopic contents to provide more realistic images to users.

그러나, 종래에는 송신측에서 입체 영상을 직접 송출하여 휴대용 단말기에서 수신하여 입체 영상을 출력하거나, 휴대용 단말기에서 일반 영상을 입체 영상으로 변환하는 작업을 수행하여 입체 영상을 출력하였다. 전자의 경우, 송출되는 입체 영상의 데이터 용량이 매우 크다는 단점이 있으며, 후자의 경우 휴대용 단말기의 성능이 고성능이어야 한다는 문제가 있다.
However, in the related art, a stereoscopic image is output by directly transmitting a stereoscopic image at a transmitting side and received at a portable terminal to output a stereoscopic image, or by converting a general image into a stereoscopic image at the portable terminal. In the former case, the data capacity of the transmitted stereoscopic image is very large. In the latter case, the performance of the portable terminal should be high performance.

본 발명의 일측면은 입체 영상 처리 장치에서 입체 영상 구현을 위한 대부분의 작업을 수행하고, 휴대용 단말기에서는 일반 영상과 입체 파라미터를 이용하여 손쉽게 입체 영상을 출력할 수 있는 입체 영상 처리 장치, 휴대용 단말기 및 이를 이용한 입체 영상 시스템을 제공한다.
In one aspect of the present invention, a stereoscopic image processing apparatus capable of easily outputting a stereoscopic image using a general image and a stereoscopic parameter in a stereoscopic image processing apparatus and performing most of operations for realizing a stereoscopic image, and a portable terminal and It provides a stereoscopic imaging system using the same.

이를 위한 본 발명의 일측면에 의한 입체 영상 처리 장치는 영상을 수집하여 모션 벡터를 추출하는 영상 분석부;와, 상기 모션 벡터에 따른 모션 필드를 분석하여 상기 영상의 특성 정보를 추출하는 영상 해석부;와, 상기 영상의 각 프레임마다 깊이 값을 추정하는 깊이 추정부;와, 상기 깊이 값에 상기 특성 정보를 반영하여 입체 파라미터를 생성하는 입체 파라미터 생성부; 및 상기 입체 파라미터와 상기 영상을 패키징하여 휴대용 단말기에 전송하는 데이터 관리부를 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for processing a stereoscopic image, including: an image analyzer configured to collect images and extract a motion vector; and an image analyzer extracting characteristic information of the image by analyzing a motion field according to the motion vector A depth estimator for estimating a depth value for each frame of the image; and a stereoscopic parameter generator for generating a stereoscopic parameter by reflecting the characteristic information on the depth value; And a data management unit for packaging the stereoscopic parameter and the image and transmitting the image to the portable terminal.

상기 영상 분석부는 상기 영상의 프레임을 분할하고, 연속된 프레임을 분석하여 모션 벡터를 추출할 수 있다.The image analyzer may divide a frame of the image and extract a motion vector by analyzing a continuous frame.

상기 영상 해석부는 상기 모션 필드를 분석하여 객체의 운동 유형을 결정하고, 상기 객체의 운동 유형에 따라 분리된 동영상과 정지영상의 특성 정보를 추출할 수 있다.The image analyzer may determine the motion type of the object by analyzing the motion field, and extract the characteristic information of the separated video and the still image according to the motion type of the object.

상기 입체 파라미터 생성부는 상기 깊이 추정부에 의해 추정된 깊이 값에 상기 특성 정보에 따른 가중치를 반영하여 입체 파라미터를 생성할 수 있다.The stereoscopic parameter generator may generate stereoscopic parameters by reflecting a weight value according to the characteristic information to the depth value estimated by the depth estimator.

상기 특성 정보는 상기 영상의 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 중 적어도 하나를 포함할 수 있으며, 상기 입체 파라미터 생성부는 상기 특성 정보에 따라 상기 영상의 특정 화소와 인접하는 화소의 가중치를 계산하여 상기 입체 파라미터를 생성할 수 있다.The characteristic information may include at least one of boundary information, color information, luminance information, motion information, or histogram information of the image, and the stereoscopic parameter generator may be configured to determine a pixel adjacent to a specific pixel of the image according to the characteristic information. The stereoscopic parameter may be generated by calculating a weight.

그리고, 본 발명의 일실시예에 의한 휴대용 단말기는 외부로부터 일반 영상 신호와 입체 파라미터를 전송받는 외부 인터페이스부;와, 상기 일반 영상 신호에 상기 입체 파라미터를 적용하여 입체 영상을 생성하는 입체 영상 변환부; 및 상기 입체 영상을 외부로 출력하는 영상출력부를 포함할 수 있다.In addition, the portable terminal according to an embodiment of the present invention includes an external interface unit for receiving a general video signal and a stereoscopic parameter from the outside; and a stereoscopic image converter for generating a stereoscopic image by applying the stereoscopic parameter to the general video signal. ; And an image output unit configured to output the stereoscopic image to the outside.

상기 외부 인터페이스부를 통해 입력되는 일반 영상 신호와 입체 파라미터는 화소별로 패키징되어 입력될 수 있다.The general video signal and the stereoscopic parameter input through the external interface unit may be packaged and input for each pixel.

상기 입체 파라미터는 상기 일반 영상 신호를 입체 영상으로 변환시킬 수 있는 화소별 깊이 값을 포함하며, 상기 깊이 값은 상기 일반 영상 신호로부터 추출된 특성 정보에 따라 가중치가 적용될 수 있다.The stereoscopic parameter may include a depth value for each pixel capable of converting the general video signal into a stereoscopic image, and the depth value may be weighted according to characteristic information extracted from the general video signal.

그리고, 본 발명의 일실시예에 의한 입체 영상 시스템은 입력되는 영상의 입체 파라미터를 생성하고, 상기 영상과 상기 입체 파라미터를 외부로 송신하는 입체 영상 처리 장치; 및 상기 영상과 상기 입체 파라미터에 대한 정보를 수신하고, 상기 입체 파라미터를 상기 영상에 적용하여 입체 영상을 생성하는 휴대용 단말기를 포함할 수 있다.In addition, the stereoscopic image system according to an embodiment of the present invention generates a stereoscopic parameter of the input image, and the stereoscopic image processing apparatus for transmitting the image and the stereoscopic parameter to the outside; And a portable terminal for receiving the information on the image and the stereoscopic parameter and generating the stereoscopic image by applying the stereoscopic parameter to the image.

상기 입체 영상 처리 장치가 상기 영상의 입체 파라미터를 생성하는 것은,The stereoscopic image processing apparatus generating stereoscopic parameters of the image,

상기 영상으로부터 깊이 값을 추출하여 상기 입체 파라미터를 생성할 수 있다.The stereoscopic parameter may be generated by extracting a depth value from the image.

상기 입체 영상 처리 장치가 상기 영상의 입체 파라미터를 생성하는 것은, 상기 영상으로부터 특성 정보를 추출하고, 상기 깊이 값에 상기 특성 정보에 따른 가중치를 반영하여 상기 입체 파라미터를 생성할 수 있다.The generating of the stereoscopic parameter of the image by the stereoscopic image processing apparatus may extract the characteristic information from the image, and generate the stereoscopic parameter by reflecting a weight value according to the characteristic information in the depth value.

상기 입체 영상 처리 장치가 상기 영상과 상기 입체 파라미터를 외부로 송신하는 것은, 상기 영상과 상기 입체 파라미터를 화소별로 패키징하여 송신하는 것일 수 있다.The stereoscopic image processing apparatus may transmit the image and the stereoscopic parameter to the outside by packaging the image and the stereoscopic parameter for each pixel.

이상에서 설명한 바와 같이, 본 발명의 일측면에 의하면 일반 영상과 입체 파라미터만을 송신하여 입체 영상을 구현하므로 송출해야 하는 데이터 용량이 줄어들고 저성능의 휴대폰 단말기에서도 입체 영상을 용이하게 구현할 수 있다.As described above, according to an aspect of the present invention, since the stereoscopic image is implemented by transmitting only the general image and the stereoscopic parameter, the data volume to be transmitted is reduced, and the stereoscopic image can be easily implemented even in a low-performance mobile phone terminal.

도 1은 본 발명의 일실시예에 의한 입체 영상 시스템을 개략적으로 도시한 블록도
도 2는 본 발명의 일실시예에 의한 입체 영상 처리 장치의 세부 구성을 나타내는 개략적인 블록도
도 3은 본 발명의 일실시예에 의한 입체 영상 처리 장치에서 2D 영상 정보에 입체 파라미터 정보를 패키징한 데이터를 설명하기 위한 도면
도 4는 본 발명의 일실시예에 의한 휴대용 단말기의 세부 구성을 나타내는 개략적인 블록도
도 5는 본 발명의 일실시예에 의한 휴대용 단말기에서 일반 영상과 입체 파라미터 정보를 이용하여 3D 영상을 구현하는 것을 설명하기 위한 도면
도 6은 본 발명의 일실시예에 의한 입체 영상 시스템의 제어흐름도1 is a block diagram schematically illustrating a stereoscopic imaging system according to an embodiment of the present invention.
2 is a schematic block diagram showing a detailed configuration of a stereoscopic image processing apparatus according to an embodiment of the present invention;
3 is a diagram for describing data in which stereoscopic parameter information is packaged in 2D image information in a stereoscopic image processing apparatus according to an embodiment of the present invention;
4 is a schematic block diagram showing a detailed configuration of a portable terminal according to an embodiment of the present invention;
5 is a diagram for describing a 3D image by using a general image and stereoscopic parameter information in a portable terminal according to an embodiment of the present invention.
6 is a control flowchart of a stereoscopic imaging system according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 사용하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, like reference numerals are used to denote like elements in the drawings, even if they are shown in different drawings.

도 1은 본 발명의 일실시예에 의한 입체 영상 시스템을 개략적으로 도시한 블록도이다.1 is a block diagram schematically illustrating a stereoscopic image system according to an embodiment of the present invention.

입체 영상 시스템(1)은 입체 영상 처리 장치(100)와 휴대용 단말기(200)를 포함할 수 있다.The stereoscopic image system 1 may include a stereoscopic image processing apparatus 100 and a portable terminal 200.

입체 영상 처리 장치(100)는 일반 영상을 수집하고, 수집된 일반 영상으로부터 입체 파라미터를 추출하여 휴대용 단말기(200)에 전송할 수 있다. 입체 파라미터는 일반 영상을 3D 영상으로 전환시키기 위해 필요한 파라미터이다. 입체 파라미터는 깊이 맵에 대한 정보에 특성 정보를 반영하여 만들어진 파라미터이며, 일반 영상에 적용 시 3D 영상을 구현할 수 있다. 여기서, 특성 정보는 명암비, 출력 해상도, 휘도 등과 같이 입체 영상 변환 시 선명한 3D 화면을 만들 수 있는 정보이다.The stereoscopic image processing apparatus 100 may collect a general image, extract a stereoscopic parameter from the collected general image, and transmit the stereoscopic parameter to the portable terminal 200. The stereoscopic parameter is a parameter required for converting a general image into a 3D image. The stereoscopic parameter is a parameter created by reflecting characteristic information in information on a depth map, and when applied to a general image, a 3D image can be realized. Here, the characteristic information is information for creating a clear 3D screen when converting a stereoscopic image such as contrast ratio, output resolution, and luminance.

휴대용 단말기(200)는 입체 영상 처리 장치(100)로부터 일반 영상과 입체 파라미터를 수신할 수 있다. 휴대용 단말기(200)는 수신된 일반 영상에 입체 파라미터를 적용하여 3D 영상을 생성할 수 있다.The portable terminal 200 may receive a general image and a stereoscopic parameter from the stereoscopic image processing apparatus 100. The portable terminal 200 may generate a 3D image by applying a stereoscopic parameter to the received general image.

도 2는 본 발명의 일실시예에 의한 입체 영상 처리 장치의 세부 구성을 나타내는 개략적인 블록도이다.2 is a schematic block diagram showing a detailed configuration of a stereoscopic image processing apparatus according to an embodiment of the present invention.

입체 영상 처리 장치(100)는 영상 분석부(110), 영상 해석부(120), 깊이 추정부(130), 입체 파라미터 생성부(140) 및 데이터 관리부(150)를 포함할 수 있다.The stereoscopic image processing apparatus 100 may include an image analyzer 110, an image analyzer 120, a depth estimator 130, a stereoscopic parameter generator 140, and a data manager 150.

영상 분석부(110)는 입력 영상의 컬러 공간(color space)을 변환하거나, 입력 영상이 기 설정된 비디오 스트림으로 인코딩된 영상인 경우 입력 영상을 디코딩하여 모션 벡터를 추출할 수 있다. 영상 분석부(110)는 입력 영상이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 입력 영상의 컬러 공간을 L*u*v* 컬러 공간으로 변환할 수 있다.The image analyzer 110 may convert a color space of the input image, or extract a motion vector by decoding the input image when the input image is an image encoded with a preset video stream. When the input image is an image consisting of an RGB color space or a YCbCr color space, the image analyzer 110 may convert the color space of the input image into an L * u * v * color space.

영상 해석부(120)는 영상 분석부(110)로부터 입력 영상의 모션 벡터가 반영된 모션 필드에 대한 정보를 전송받고, 모션 필드를 분석하여 객체의 운동 유형을 결정할 수 있다. 객체의 운동 유형은 영상 내에 움직임이 있는 동영상 유형과, 움직임이 없는 정지영상 유형으로 나뉠수 있다.The image analyzer 120 may receive information about the motion field in which the motion vector of the input image is reflected from the image analyzer 110, and analyze the motion field to determine the type of motion of the object. The motion type of the object may be divided into a motion picture type having motion in the image and a still picture type without motion.

영상 해석부(120)는 동영상과 정지영상의 특성 정보를 추출할 수 있다. 영상 해석부(120)가 추출하는 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보, 히스토그램 정보 또는 그 외 영상의 특성에 관련된 모든 정보를 포함할 수 있다.The image analyzer 120 may extract feature information of the moving image and the still image. The characteristic information extracted by the image analyzer 120 may include boundary information, color information, luminance information, motion information, histogram information, or all other information related to characteristics of an image.

영상 해석부(120)는 특성 정보를 기초로, 입력 영상을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 계산할 수 있다. 영상 해석부(120)는 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 가중치를 연산할 수 있다. 예를 들어, 영상 해석부(120)는 휘도 정보의 유사도에 따라 입력 영상을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다. 영상 해석부(120)가 a 화소와, 인접한 x 화소, y 화소, z 화소 및 w 화소 사이의 가중치를 연산한다고 가정한다. x 화소, y 화소, z 화소 및 w 화소 순으로 a화소의 휘도와 유사하다고 하면, x 화소, y 화소, z 화소 및 w 화소 순으로 가중치의 크기가 결정될 수 있다.The image analyzer 120 may calculate weights between at least one pixel constituting the input image and adjacent pixels based on the characteristic information. The image analyzer 120 may calculate a weight to depend on the similarity of the characteristic information between at least one pixel and adjacent pixels. For example, the image analyzer 120 may calculate a weight between at least one pixel constituting the input image and adjacent pixels according to the similarity of the luminance information. It is assumed that the image analyzer 120 calculates a weight between a pixel and adjacent x pixels, y pixels, z pixels, and w pixels. If it is similar to the luminance of the a pixel in the order of x pixels, y pixels, z pixels, and w pixels, the magnitude of the weight may be determined in the order of x pixels, y pixels, z pixels, and w pixels.

영상 해석부(120)는 입력 영상의 특성 정보를 입체 파라미터 생성부(140)에 전송할 수 있다. The image analyzer 120 may transmit characteristic information of the input image to the stereoscopic parameter generator 140.

깊이 추정부(130)는 입력 영상을 구성하는 적어도 하나의 화소에 대한 깊이 값을 설정하여 깊이 맵(135)에 저장할 수 있다. 깊이 추정부(130)는 입력 영상 시퀀스의 각 프레임마다 깊이 값을 설정하여 깊이 맵(135)에 저장할 수 있다. The depth estimator 130 may set a depth value of at least one pixel constituting the input image and store the depth value in the depth map 135. The depth estimator 130 may set a depth value for each frame of the input image sequence and store the depth value in the depth map 135.

입체 파라미터 생성부(140)는 영상 해석부(120)로부터 송신받은 특성 정보와, 깊이 추정부(130)에서 추출한 깊이 값을 기초로 필터링을 수행하여 입력 영상에 대한 입체 파라미터를 추출할 수 있다.The stereoscopic parameter generator 140 may extract stereoscopic parameters of the input image by performing filtering based on the characteristic information received from the image analyzer 120 and the depth value extracted by the depth estimator 130.

예를 들어, 입체 파라미터 생성부(140)가 a 화소와, 인접한 x 화소, y 화소, z 화소 및 w 화소 사이의 가중치를 반영하여 입체 파라미터를 생성한다고 가정한다.For example, it is assumed that the stereoscopic parameter generator 140 generates a stereoscopic parameter by reflecting a weight between a pixel and adjacent x pixels, y pixels, z pixels, and w pixels.

입체 파라미터 생성부(140)는 영상 해석부(120)에 의해 산출된 가중치의 값을 반영하여 a 화소의 제1(a) 값을 산정한 후, 깊이 맵(135)에 저장되어 있는 a화소의 깊이 값을 제1(a)값으로 갱신할 수 있다. 이와 동시에, 입체 파라미터 생성부(140)는 a 화소의 경우와 동일한 방법으로 x 화소, y 화소, z 화소 및 w 화소 각각에 대한 제1(b)깊이 값을 산정한 후, 깊이 맵(135)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 깊이 값을 제1(b)값으로 갱신할 수 있다. The stereoscopic parameter generator 140 calculates the first (a) value of the pixel a by reflecting the value of the weight calculated by the image analyzer 120, and then calculates the value of the a pixel stored in the depth map 135. The depth value may be updated to the first (a) value. At the same time, the stereoscopic parameter generator 140 calculates a first (b) depth value for each of the x pixel, the y pixel, the z pixel, and the w pixel in the same manner as in the case of the a pixel, and then the depth map 135. The depth values of the x pixels, the y pixels, the z pixels, and the w pixels stored in the second pixel may be updated to the first (b) value.

입체 파라미터 생성부(140)는 상술한 방법으로, 특성 정보인 “경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보” 중 적어도 하나의 정보에 따른 가중치를 반영하여 깊이 맵(135)을 갱신할 수 있다. 가중치를 반영하여 갱신된 깊이 맵(135)에 대한 정보는 입체 파라미터로 사용될 수 있으며, 일반 영상에 조합시켜 3D 영상을 구현할 수 있게 된다. 한편, 특성 정보는 상술한 정보 외에 영상의 특성을 나타낼 수 있는 모든 정보를 포함할 수 있다.The stereoscopic parameter generator 140 updates the depth map 135 by reflecting the weight according to at least one of the information “boundary information, color information, luminance information, motion information, or histogram information” which is characteristic information. can do. The information about the depth map 135 updated by reflecting the weight may be used as a stereoscopic parameter, and the 3D image may be implemented by combining it with a general image. On the other hand, the characteristic information may include all the information that can represent the characteristics of the image in addition to the above-described information.

입체 영상 처리 장치(100)는 일반 영상과 특성 정보가 반영된 깊이 값에 대한 정보 즉 입체 파라미터를 전송하여 보다 선명한 3D 영상을 구현할 수 있도록 한다.The stereoscopic image processing apparatus 100 may transmit information about a depth value in which a general image and characteristic information are reflected, that is, a stereoscopic parameter, to implement a clearer 3D image.

데이터 관리부(150)는 입체 파라미터와 일반 영상 신호를 하나의 파일로 합치도록 한다. 데이터 관리부(150)는 일반 영상 신호를 압축하고, 입체 파라미터를 하나의 파일로 합칠 수 있다. 데이터 관리부(150)는 휴대용 단말기(200)에 일반 영상 신호와 입체 파라미터를 매칭하여 전송할 수 있고, 휴대용 단말기(200)는 일반 영상 신호에 입체 파라미터를 적용하여 3D 영상을 손쉽게 구현할 수 있다. 한편, 2차원 영상은 일반적으로 RGB 각 8비트 씩 총 24비트로 이루어진 연속된 화소로써 이루어진다. 24비트로 구성된 화소에서 하위 비트 일부에 영상 정보 대신 입체 파라미터 정보를 넣어 전달한 후 화면에 영상을 표시할 때, 입체 파라미터 정보로 3D 영상 화면을 쉽게 구현할 수 있다. 도 3을 참조하면, 데이터 관리부(150)는 2D 영상 정보에 입체 파라미터 정보를 패키징하여 전송할 수 있다. 도 3의 (a)를 참조하면, 화소 당 20bit에는 2D 영상을 전송하고, 4bit에는 입체 파라미터 정보를 패키징하여 전송하는 것을 예시로 나타낸 화면이다. 도 3의 (b)를 참조하면, 화소당 32bit 중 24bit는 2D 영상을 전송하고, 8bit는 입체 파라미터 정보를 패키징하여 전송할 수 있다. 도 3의 (c)를 참조하면, 24bits의 2D 영상을 한 라인이나 블록 또는 프레임 만큼 먼저 보내고, 24bit에 입체 파라미터를 패키징시켜 전송할 수 있다.The data manager 150 combines the stereoscopic parameters and the general video signal into one file. The data manager 150 may compress a general video signal and combine stereoscopic parameters into one file. The data manager 150 may match and transmit the stereoscopic parameter and the general video signal to the portable terminal 200, and the portable terminal 200 may easily implement the 3D image by applying the stereoscopic parameter to the general video signal. On the other hand, the two-dimensional image is generally composed of a continuous pixel consisting of a total of 24 bits, each 8 bits RGB. When displaying an image on a screen after transmitting stereoscopic parameter information instead of image information in a part of a lower bit in a 24-bit pixel, a 3D image screen can be easily implemented using stereoscopic parameter information. Referring to FIG. 3, the data manager 150 may package and transmit stereoscopic parameter information in 2D image information. Referring to FIG. 3A, a 2D image is transmitted to 20 bits per pixel, and stereoscopic parameter information is packaged and transmitted to 4 bits. Referring to FIG. 3B, 24 bits among 32 bits per pixel may transmit a 2D image, and 8 bits may package and transmit stereoscopic parameter information. Referring to (c) of FIG. 3, a 2D image of 24 bits may be sent first by one line, block, or frame, and stereoscopic parameters may be packaged and transmitted on 24 bits.

도 4는 본 발명의 일실시예에 의한 휴대용 단말기의 세부 구성을 나타내는 개략적인 블록도이다.4 is a schematic block diagram showing a detailed configuration of a portable terminal according to an embodiment of the present invention.

휴대용 단말기(200)는 외부 인터페이스부(210), 입체 영상 변환부(220), 메모리(230) 및 영상출력부(240)를 포함할 수 있다.The portable terminal 200 may include an external interface 210, a stereoscopic image converter 220, a memory 230, and an image outputter 240.

외부 인터페이스부(210)는 입체 영상 처리 장치(100)로부터 일반 영상 신호와 입체 파라미터가 패키징된 데이터를 입력받을 수 있다.The external interface unit 210 may receive a general image signal and data packed with stereoscopic parameters from the stereoscopic image processing apparatus 100.

입체 영상 변환부(220)는 외부 인터페이스부(210)를 통해 입력되는 일반 영상 신호와 입체 파라미터가 패키징된 데이터를 3D 영상으로 변환하여 메모리(230)에 저장하고, 영상 출력부(240)로 전송할 수 있다. 입체 영상 변환부(220)는 사용자의 조작에 의해, 2D 영상을 출력해야 하는 경우에는 3D 영상으로 변환 없이 일반 영상(2D 영상)을 메모리(230)에 저장하고, 영상출력부(240)로 전송할 수 있다. 도 5를 참조하면, 입체 영상 변환부(220)는 일반 영상과 입체 파라미터 정보를 이용하여 3D 영상을 구현할 수 있다.The stereoscopic image converting unit 220 converts the general video signal inputted through the external interface unit 210 and the data packed with the stereoscopic parameters into 3D images, stores them in the memory 230, and transmits them to the image output unit 240. Can be. When the 3D image converter 220 needs to output a 2D image by a user's manipulation, the stereoscopic image converter 220 stores the general image (2D image) in the memory 230 without converting the 3D image to the image output unit 240. Can be. Referring to FIG. 5, the stereoscopic image converter 220 may implement a 3D image using a general image and stereoscopic parameter information.

영상출력부(240)는 입체필터를 포함할 수 있으며, 입체 영상 변환부(220)를 통해 입력되는 3D 영상을 외부로 출력할 수 있다. 입체필터는 3D영상의 포맷에 따라 Frame by Frame, Line by Line, Pixel by Pixel, Side by Side, Top and Bottom 중 어느 한 방식으로 구동될 수 있다. The image output unit 240 may include a stereoscopic filter, and may output the 3D image input through the stereoscopic image converter 220 to the outside. The stereoscopic filter may be driven in any one of Frame by Frame, Line by Line, Pixel by Pixel, Side by Side, Top and Bottom depending on the format of the 3D image.

도 6은 본 발명의 일실시예에 의한 입체 영상 시스템의 제어흐름도이다.6 is a control flowchart of a stereoscopic imaging system according to an embodiment of the present invention.

입체 영상 처리 장치(100)의 영상 분석부(110)는 일반 영상을 수신하고, 수신된 일반 영상의 컬러 공간을 변환하거나, 모션 벡터를 추출한다.(300)The image analyzer 110 of the 3D image processing apparatus 100 receives a general image, converts a color space of the received general image, or extracts a motion vector.

입체 영상 처리 장치(100)의 영상 해석부(120)는 입력된 영상의 모션 벡터가 반영된 모션 필드에 대한 정보를 전송받고, 객체의 운동 유형을 결정할 수 있다. 영상 해석부(120)는 입력된 일반 영상의 특성 정보 즉, 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 중 적어도 하나의 정보를 추출할 수 있다.(310)The image analyzer 120 of the 3D image processing apparatus 100 may receive information about a motion field in which the motion vector of the input image is reflected, and determine the motion type of the object. The image analyzer 120 may extract at least one of characteristic information of the input general image, that is, boundary information, color information, luminance information, motion information, or histogram information.

입체 영상 처리 장치(100)의 영상 해석부(120)는 특성 정보를 기초로, 입력 영상을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 계산할 수 있다.(320)The image analyzer 120 of the stereoscopic image processing apparatus 100 may calculate a weight between at least one pixel constituting the input image and adjacent pixels based on the characteristic information.

입체 영상 처리 장치(100)의 깊이 추정부(130)는 입력 영상을 구성하는 적어도 하나의 화소에 대한 깊이 값을 설정하여 깊이 맵(135)에 저장할 수 있다. 깊이 추정부(130)는 입력 영상 시퀀스의 각 프레임마다 깊이 값을 설정하여 깊이 맵(135)에 저장할 수 있다.(330) The depth estimator 130 of the stereoscopic image processing apparatus 100 may set a depth value for at least one pixel constituting the input image and store the depth value in the depth map 135. The depth estimator 130 may set a depth value for each frame of the input image sequence and store the depth value in the depth map 135 (330).

입체 영상 처리 장치(100)의 입체 파라미터 생성부(140)는 영상 해석부(120)로부터 송신받은 특성 정보에 따른 가중치 정보와, 깊이 추정부(130)에서 추출한 깊이 값을 기초로 필터링을 수행하여 입력 영상에 대한 입체 파라미터를 추출할 수 있다. 가중치를 반영하여 갱신된 깊이 맵(135)에 대한 정보는 입체 파라미터로 사용될 수 있으며, 일반 영상에 조합시켜 3D 영상을 구현할 수 있게 된다.(340)The stereoscopic parameter generator 140 of the stereoscopic image processing apparatus 100 performs filtering based on the weight information according to the characteristic information received from the image analyzer 120 and the depth value extracted by the depth estimator 130. Stereoscopic parameters for the input image may be extracted. The information on the depth map 135 updated by reflecting the weight may be used as a stereoscopic parameter, and the 3D image may be implemented by combining it with a general image (340).

입체 영상 처리 장치(100)의 데이터 관리부(150)는 입체 파라미터와 일반 영상 신호를 하나의 파일로 합치도록 한다.(350)The data manager 150 of the 3D image processing apparatus 100 combines the 3D parameter and the general video signal into one file.

입체 영상 처리 장치(100)의 데이터 관리부(150)는 휴대용 단말기(200)에 일반 영상 신호와 입체 파라미터가 매칭된 파일을 전송한다.(360) The data manager 150 of the stereoscopic image processing apparatus 100 transmits a file in which the general image signal and the stereoscopic parameter are matched to the portable terminal 200 (360).

한편, 휴대용 단말기(200)는 일반 영상 신호에 입체 파라미터를 적용하여 3D 영상을 손쉽게 구현할 수 있다.  Meanwhile, the portable terminal 200 may easily implement 3D video by applying stereoscopic parameters to a general video signal.

비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허청구범위의 범위에 속함은 자명하다.
Although the invention has been described in connection with the preferred embodiments mentioned above, it will be readily apparent to those skilled in the art that various other modifications and variations are possible without departing from the spirit and scope of the invention. Are all within the scope of the appended claims.

Claims (12)

영상을 수집하여 모션 벡터를 추출하는 영상 분석부;
상기 모션 벡터에 따른 모션 필드를 분석하여 상기 영상의 특성 정보를 추출하는 영상 해석부;
상기 영상의 각 프레임마다 깊이 값을 추정하는 깊이 추정부;
상기 깊이 값에 상기 특성 정보를 반영하여 입체 파라미터를 생성하는 입체 파라미터 생성부; 및
상기 입체 파라미터와 상기 영상을 패키징하여 휴대용 단말기에 전송하는 데이터 관리부를 포함하는 입체 영상 처리 장치.An image analyzer which collects an image and extracts a motion vector;
An image analyzer extracting characteristic information of the image by analyzing a motion field according to the motion vector;
A depth estimator for estimating a depth value for each frame of the image;
A stereoscopic parameter generating unit generating stereoscopic parameters by reflecting the characteristic information on the depth values; And
And a data manager configured to package the stereoscopic parameter and the image and transmit the image to the portable terminal. 제 1 항에 있어서,
상기 영상 분석부는 상기 영상의 프레임을 분할하고, 연속된 프레임을 분석하여 모션 벡터를 추출하는 것인 입체 영상 처리 장치.The method of claim 1,
And the image analyzer divides a frame of the image and extracts a motion vector by analyzing a continuous frame. 제 1 항에 있어서,
상기 영상 해석부는 상기 모션 필드를 분석하여 객체의 운동 유형을 결정하고, 상기 객체의 운동 유형에 따라 분리된 동영상과 정지영상의 특성 정보를 추출하는 것인 입체 영상 처리 장치.The method of claim 1,
The image analyzing unit analyzes the motion field to determine a motion type of an object, and extracts characteristic information of a separated video and a still image according to the motion type of the object. 제 1 항에 있어서,
상기 입체 파라미터 생성부는 상기 깊이 추정부에 의해 추정된 깊이 값에 상기 특성 정보에 따른 가중치를 반영하여 입체 파라미터를 생성하는 것인 입체 영상 처리 장치.The method of claim 1,
And the stereoscopic parameter generator generates a stereoscopic parameter by reflecting a weight value according to the characteristic information to a depth value estimated by the depth estimator. 제 1 항에 있어서,
상기 특성 정보는 상기 영상의 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 중 적어도 하나를 포함할 수 있으며,
상기 입체 파라미터 생성부는 상기 특성 정보에 따라 상기 영상의 특정 화소와 인접하는 화소의 가중치를 계산하여 상기 입체 파라미터를 생성하는 것인 입체 영상 처리 장치.The method of claim 1,
The characteristic information may include at least one of boundary information, color information, luminance information, motion information, or histogram information of the image.
And the stereoscopic parameter generator generates the stereoscopic parameter by calculating a weight of a pixel adjacent to a specific pixel of the image according to the characteristic information. 외부로부터 일반 영상 신호와 입체 파라미터를 전송받는 외부 인터페이스부;
상기 일반 영상 신호에 상기 입체 파라미터를 적용하여 입체 영상을 생성하는 입체 영상 변환부; 및
상기 입체 영상을 외부로 출력하는 영상출력부를 포함하며, 상기 입체 파라미터는 상기 일반 영상 신호의 각 프레임마다 추정된 깊이 값에 상기 일반 영상 신호의 특성 정보를 반영하여 생성되는 것인 휴대용 단말기.An external interface unit which receives a general image signal and a stereoscopic parameter from the outside;
A stereoscopic image converter for generating a stereoscopic image by applying the stereoscopic parameter to the general video signal; And
And an image output unit configured to output the stereoscopic image to the outside, wherein the stereoscopic parameter is generated by reflecting the characteristic information of the general video signal to a depth value estimated for each frame of the general video signal. 제 6 항에 있어서,
상기 외부 인터페이스부를 통해 입력되는 일반 영상 신호와 입체 파라미터는 화소별로 패키징되어 입력되는 것인 휴대용 단말기.The method according to claim 6,
The portable video terminal and the stereoscopic parameter input through the external interface unit are packaged for each pixel and input. 제 6 항에 있어서,
상기 입체 파라미터는 상기 일반 영상 신호를 입체 영상으로 변환시킬 수 있는 화소별 깊이 값을 포함하며, 상기 깊이 값은 상기 일반 영상 신호로부터 추출된 특성 정보에 따라 가중치가 적용된 것인 휴대용 단말기.The method according to claim 6,
The stereoscopic parameter includes a depth value for each pixel capable of converting the general video signal into a stereoscopic image, wherein the depth value is weighted according to the characteristic information extracted from the general video signal. 입력되는 영상의 각 프레임마다 추정된 깊이 값에 상기 영상의 특성 정보를 반영하여 입체 파라미터를 생성하고, 상기 영상과 상기 입체 파라미터를 외부로 송신하는 입체 영상 처리 장치; 및
상기 영상과 상기 입체 파라미터에 대한 정보를 수신하고, 상기 입체 파라미터를 상기 영상에 적용하여 입체 영상을 생성하는 휴대용 단말기를 포함하는 입체 영상 시스템.A stereoscopic image processing device for generating stereoscopic parameters by reflecting characteristic information of the image to the estimated depth value of each frame of the input image, and transmitting the stereoscopic parameter to the outside; And
And a portable terminal for receiving the information on the image and the stereoscopic parameter, and applying the stereoscopic parameter to the image to generate a stereoscopic image. 제 9 항에 있어서,
상기 입체 영상 처리 장치가 상기 영상의 입체 파라미터를 생성하는 것은,
상기 영상으로부터 깊이 값을 추출하여 상기 입체 파라미터를 생성하는 것인 입체 영상 시스템.The method of claim 9,
The stereoscopic image processing apparatus generating stereoscopic parameters of the image,
And extracting a depth value from the image to generate the stereoscopic parameter. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.Claim 11 was abandoned when the registration fee was paid. 제 10 항에 있어서,
상기 입체 영상 처리 장치가 상기 영상의 입체 파라미터를 생성하는 것은,
상기 영상으로부터 특성 정보를 추출하고, 상기 깊이 값에 상기 특성 정보에 따른 가중치를 반영하여 상기 입체 파라미터를 생성하는 것인 입체 영상 시스템.11. The method of claim 10,
The stereoscopic image processing apparatus generating stereoscopic parameters of the image,
Extracting feature information from the image, and generating the stereoscopic parameter by reflecting a weight value according to the feature information in the depth value. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.Claim 12 is abandoned in setting registration fee. 제 10 항에 있어서,
상기 입체 영상 처리 장치가 상기 영상과 상기 입체 파라미터를 외부로 송신하는 것은,
상기 영상과 상기 입체 파라미터를 화소별로 패키징하여 송신하는 것인 입체 영상 시스템.

11. The method of claim 10,
The stereoscopic image processing apparatus transmits the image and the stereoscopic parameter to the outside,
And packaging the image and the stereoscopic parameter for each pixel for transmission.

KR1020130009175A 2013-01-28 2013-01-28 Stereo image processing device and mobile apparatus and stereo image system KR101372463B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130009175A KR101372463B1 (en) 2013-01-28 2013-01-28 Stereo image processing device and mobile apparatus and stereo image system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130009175A KR101372463B1 (en) 2013-01-28 2013-01-28 Stereo image processing device and mobile apparatus and stereo image system

Publications (1)

Publication Number Publication Date
KR101372463B1 true KR101372463B1 (en) 2014-03-10

Family

ID=50648178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130009175A KR101372463B1 (en) 2013-01-28 2013-01-28 Stereo image processing device and mobile apparatus and stereo image system

Country Status (1)

Country Link
KR (1) KR101372463B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131500A (en) * 2015-03-17 2017-11-29 알리바바 그룹 홀딩 리미티드 3D modeling method and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004201204A (en) * 2002-12-20 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> Apparatus and method of generating distance image, program thereof, and recording medium
KR20120000478A (en) * 2010-06-25 2012-01-02 삼성전자주식회사 Method and apparatus for coding/decoding depth image using color image
KR20120052142A (en) * 2010-11-15 2012-05-23 삼성전자주식회사 3-dimension display apparatus and method for extracting depth of 3d image thereof
KR101154051B1 (en) * 2008-11-28 2012-06-08 한국전자통신연구원 Apparatus and method for multi-view video transmission and reception

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004201204A (en) * 2002-12-20 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> Apparatus and method of generating distance image, program thereof, and recording medium
KR101154051B1 (en) * 2008-11-28 2012-06-08 한국전자통신연구원 Apparatus and method for multi-view video transmission and reception
KR20120000478A (en) * 2010-06-25 2012-01-02 삼성전자주식회사 Method and apparatus for coding/decoding depth image using color image
KR20120052142A (en) * 2010-11-15 2012-05-23 삼성전자주식회사 3-dimension display apparatus and method for extracting depth of 3d image thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131500A (en) * 2015-03-17 2017-11-29 알리바바 그룹 홀딩 리미티드 3D modeling method and apparatus
KR102113909B1 (en) * 2015-03-17 2020-05-22 알리바바 그룹 홀딩 리미티드 3D modeling method and device
US10789767B2 (en) 2015-03-17 2020-09-29 Alibaba Group Holding Limited Reducing computational complexity in three-dimensional modeling based on two-dimensional images

Similar Documents

Publication Publication Date Title
TWI524734B (en) Method and device for generating a depth map
US9137512B2 (en) Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video
JP5750505B2 (en) 3D image error improving method and apparatus
US8488869B2 (en) Image processing method and apparatus
JP4903240B2 (en) Video processing apparatus, video processing method, and computer program
KR101848959B1 (en) Color channels and optical markers
MX2013013313A (en) Moving picture capturing device, information processing system, information processing device, and image data processing method.
US20140146139A1 (en) Depth or disparity map upscaling
JP2010093816A (en) Apparatus and method for converting 2d image to 3d image based on visual attention
WO2014199505A1 (en) Video surveillance system, video surveillance device
US20180115770A1 (en) Light field perception enhancement for integral display applications
KR101372463B1 (en) Stereo image processing device and mobile apparatus and stereo image system
US20120121163A1 (en) 3d display apparatus and method for extracting depth of 3d image thereof
KR102294937B1 (en) Dual Mode Depth Estimator
KR20170073937A (en) Method and apparatus for transmitting image data, and method and apparatus for generating 3dimension image
JP4230331B2 (en) Stereoscopic image generation apparatus and image distribution server
KR20070010306A (en) Device taking a picture and method to generating the image with depth information
US20120170841A1 (en) Image processing apparatus and method
CN104982032A (en) Method and apparatus for segmentation of 3D image data
KR101451236B1 (en) Method for converting three dimensional image and apparatus thereof
US20150002644A1 (en) Determination device and determination method
KR101207862B1 (en) Method for converting 2 dimensional video image into stereoscopic video
EP2590417A1 (en) Stereoscopic image display apparatus
KR20100116520A (en) System and method for providing 3d image data in 3d image system
JP2002095011A (en) Method and device for generating pseudo-three dimensional image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190213

Year of fee payment: 6