KR101814174B1 - Apparatus and method for determining image type and smart device including the apparatus - Google Patents

Apparatus and method for determining image type and smart device including the apparatus Download PDF

Info

Publication number
KR101814174B1
KR101814174B1 KR1020160166353A KR20160166353A KR101814174B1 KR 101814174 B1 KR101814174 B1 KR 101814174B1 KR 1020160166353 A KR1020160166353 A KR 1020160166353A KR 20160166353 A KR20160166353 A KR 20160166353A KR 101814174 B1 KR101814174 B1 KR 101814174B1
Authority
KR
South Korea
Prior art keywords
image
thumbnails
input image
binarization
thumbnail
Prior art date
Application number
KR1020160166353A
Other languages
Korean (ko)
Inventor
이준구
김호권
Original Assignee
주식회사 라온텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라온텍 filed Critical 주식회사 라온텍
Priority to KR1020160166353A priority Critical patent/KR101814174B1/en
Application granted granted Critical
Publication of KR101814174B1 publication Critical patent/KR101814174B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The present invention discloses an image type determining apparatus for determining an image type. The image type determining apparatus includes: an image acquiring unit for extracting a plurality of partial images from an input image; a downscaling unit for generating thumbnails by downscaling the partial images; a binarization threshold value calculating unit for calculating a binarization threshold value by using the thumbnails; a binarization thumbnail generating unit for converting the thumbnails into binarization thumbnails based on the calculated binarization threshold value; and an image type determining unit for calculating and summing a difference value between the binarization thumbnails and determining the input image as a three-dimensional image when the sum of the difference values is less than or equal to a determination reference value. Accordingly, the present invention can reduce a used resource and determine the image type with low power.

Description

영상 타입 판별 장치와 방법 및 영상 타입 판별 장치를 포함하는 스마트 기기{APPARATUS AND METHOD FOR DETERMINING IMAGE TYPE AND SMART DEVICE INCLUDING THE APPARATUS}TECHNICAL FIELD [0001] The present invention relates to a smart device including a video type discrimination device, a video type discrimination device, a video type discrimination device, a video type discrimination device,

본 발명은 영상 신호를 처리하기 위한 장치 및 방법에 관한 것으로서, 보다 상세하게는 마이크로 디스플레이를 탑재한 스마트 기기를 위하여 임의의 입력 영상에 대해 저전력으로 2D용 영상인지 3D용 영상인지를 자동으로 판별하는 영상 타입 판별 장치와 이를 포함하는 스마트 기기 및 영상 타입 판별 방법에 관한 것이다. The present invention relates to an apparatus and a method for processing a video signal, and more particularly, to a smart device equipped with a microdisplay, the present invention automatically discriminates a 2D input image or a 3D input image with respect to an arbitrary input image A smart device including the same, and a method of determining a video type.

최근 마이크로 디스플레이를 탑재한 스마트 기기가 출시되고 있다. 마이크로 디스플레이는 일반적으로 대각 2인치 이하의 화면 크기를 가진 소형 디스플레이를 의미한다.Recently, a smart device equipped with a microdisplay has been released. A microdisplay generally refers to a small display with a screen size of less than 2 inches diagonally.

이러한 스마트 기기는 2차원 평면 영상(이하, 2D 영상이라고도 함) 뿐만 아니라 3차원 입체 영상(이하, 3D 영상이라고도 함)을 표시할 수 있다. 2D 영상은 사람의 양안에 모두 같은 영상을 보여주는데 반해, 3D 영상은 사람의 좌안과 우안에 연속적으로 다른 영상을 보여줌으로써 양안 시차(binocular parallax)를 이용하여 사람이 입체 영상처럼 느끼게 해 준다. Such a smart device can display not only a two-dimensional plane image (hereinafter, also referred to as a 2D image) but also a three-dimensional image (hereinafter, also referred to as a 3D image). While 2D images show the same images in both eyes, 3D images show different images successively in the left and right eyes of a person, thereby making a person feel like a stereoscopic image by using binocular parallax.

한편, 현재의 3D TV나 모니터를 통해 보편적으로 즐길 수 있는 3D 영화나 3D 게임들은 실제와 같은 거리감만 느낄 수 있게 제작되는 것으로, 가상현실을 현실처럼 느끼는 데에는 한계가 있다. 최근에는 헤드 마운티드 디스플레이(Head Mounted Display, HMD)가 상용화되어 마이크로 디스플레이를 이용하여 사용자의 눈 전방에서 3D 가상 현실을 디스플레이 하기 때문에, 사용자에게 현실감 높은 영상을 제공하고 있다.On the other hand, 3D movies and 3D games that can be universally enjoyed through current 3D TVs and monitors are produced so that they can feel the realistic distance feeling, and there is a limitation in realizing virtual reality as reality. In recent years, a head mounted display (HMD) has been commercialized and displays a 3D virtual reality in front of the user using a microdisplay, thereby providing a realistic image to the user.

3D 영상 포맷은 사이드-바이-사이드(Side-by-Side), 탑-앤-바텀(Top-and-Bottom), 및 프레임 시퀀셜(Frame Sequential) 등이 있다. 사이드-바이-사이드 포맷은 좌우 영상을 하나의 영상 프레임 안에 좌우로 구성하는 영상 포맷이며, 탑-앤-바텀은 좌우 영상을 하나의 영상 프레임 안에 상하로 구성하는 영상 포맷이고 프레임 시퀀셜은 좌우 영상의 해상도를 축소하지 않고 좌우 영상 프레임을 번갈아 가며 순차적으로 구성하는 영상 포맷이다. 예컨대, 사이드-바이-사이드(Side-by-Side) 포맷의 3D 영상은 좌우로 구분된 두 프레임으로 구성된다.The 3D image formats include side-by-side, top-and-bottom, and frame sequential. The side-by-side format is an image format in which left and right images are arranged horizontally in one image frame. Top-and-bottom is an image format in which left and right images are arranged vertically in one image frame. It is an image format that sequentially composes left and right video frames alternately without reducing the resolution. For example, a 3D image in a side-by-side format is composed of two frames divided into left and right sides.

그런데, 2D 영상을 표시하는 방식과 3D 영상을 표시하는 방식이 다르므로, 스마트 기기는 2D 영상을 표시하는 지 3D 영상을 표시하는 지를 알아야 한다. 만약 2D 디스플레이 모드 동작 중에 3D 영상 입력이 들어오거나, 3D 디스플레이 모드 동작 중에 2D 영상 입력이 들어오는 경우 스마트 기기는 정상적인 영상 표현을 기대할 수 없다. 따라서, 2D 영상과 3D 영상을 판별할 필요성이 있다.However, since the method of displaying a 2D image is different from the method of displaying a 3D image, the smart device should know whether to display a 2D image or a 3D image. If a 3D image input is received while the 2D display mode is in operation, or a 2D image input is received during the 3D display mode operation, the smart device can not expect a normal image display. Therefore, there is a need to distinguish between a 2D image and a 3D image.

종래에 2D 영상과 3D 영상을 판별하는 기술이 공지되어 있다. 일 예로 미국 공개 특허 US2013/0293673에는 비디오 프레임 타입을 판별하는 기술이 개시되어 있다. 이 특허에서는 해당 프레임이 2D 타입, 사이드-바이-사이드 타입, 또는 탑-앤-바텀 타입일 가능성을 나타내는 프레임 타입 계수들(frame type coefficients)을 출력하는데, 상기 프레임 타입 계수들은 서로 독립적으로 계산된다. 2. Description of the Related Art [0002] Conventionally, a technique for distinguishing a 2D image and a 3D image is known. For example, US Patent Publication No. US2013 / 0293673 discloses a technique for determining a video frame type. In this patent, frame type coefficients are output which indicate that the frame is a 2D type, a side-by-side type, or a top-and-bottom type, wherein the frame type coefficients are calculated independently of each other .

이러한 종래 기술에서는 영상 타입 판별을 처리하는데 많은 소프트웨어 및 하드웨어 자원이 필요하다. 따라서, 종래 영상 타입 판별 기술이 제한적 자원을 갖는, 예컨대, 배터리로 구동되며 소형으로 구현되어 제한적 하드웨어 자원을 갖는 스마트 폰, HMD 장치와 같은 스마트 기기에서 구현하는 것은 어렵다. 다시 말해, 스마트 기기는 전원으로 배터리를 사용해야 하며, 긴 사용시간을 유지하기 위해 소비 전력을 최소로 하여야 하기 때문에, 기존의 영상 타입 판별 기술을 구현하기에는 제한이 따른다.In this conventional technique, a lot of software and hardware resources are required to process image type discrimination. Therefore, it is difficult to implement the conventional image type discrimination technology in a smart device such as a smartphone or HMD device having a limited resource, for example, a battery-driven small-sized and limited hardware resource. In other words, since the smart device must use the battery as the power source and the power consumption must be minimized in order to maintain the long usage time, there is a limitation in implementing the conventional image type discrimination technology.

한편, 임의의 입력 영상에 대해 정상적인 영상 표현을 위해서 사용자가 디스플레이 모드를 수동으로 선택하거나, 입력 영상에 인식코드 등을 삽입하여 2D 또는 3D 영상에 대한 코드를 인식하여 디스플레이 모드를 자동으로 전환하는 방식이 있지만 입력 오버헤드 추가 및 인식을 위한 추가 과정이 필요하다.On the other hand, a method of automatically switching the display mode by recognizing codes for a 2D or 3D image by manually selecting a display mode or inserting a recognition code into an input image for normal image display on an arbitrary input image However, additional steps are needed to add and recognize input overhead.

미국 공개 특허 2013/0293673 A1U.S. Published Patent Application 2013/0293673 A1

본 발명은 상기한 문제점을 해결하기 위해서, 마이크로 디스플레이를 탑재한 스마트 기기에서 입력 영상에 대하여 추가 오버헤드나 사용자에 의한 수동 전환 없이 2D와 3D 영상 인식을 자동으로 하여 각 영상 출력에 맞는 디스플레이 모드로 자동 전환하고자 하며, 더불어 전력 용량이 제한적인 스마트 기기의 특성을 고려해 저전력으로 영상 타입 판별이 가능한 영상 타입 판별 장치와 방법 및 영상 타입 판별 장치를 포함하는 스마트 기기를 제공함에 그 목적이 있다.In order to solve the problems described above, in a smart device equipped with a microdisplay, the present invention automatically performs 2D and 3D image recognition without additional overhead or manual switching by a user, The present invention is directed to a smart device including a video type determination device capable of automatically determining a video type with low power in consideration of the characteristics of a smart device having a limited power capacity, a method thereof, and a video type determination device.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 타입을 판별하는 영상 타입 판별 장치는 입력 영상으로부터 복수개의 부분 영상들을 추출하는 영상 획득부; 상기 부분 영상들을 다운 스케일링하여 썸네일들을 생성하는 다운 스케일링부; 상기 썸네일들을 이용하여 이진화용 임계값을 산출하는 이진화용 임계값 산출부; 상기 산출된 이진화용 임계값에 기초하여 상기 썸네일들을 이진화 썸네일들로 변환하는 이진화 썸네일 생성부; 및 상기 이진화 썸네일들 사이의 차이값을 산출하여 합산하고, 상기 차이값들의 합산 값이 판별 기준값 이하인 경우 상기 입력 영상을 3차원 영상으로 판별하는 영상 타입 판별부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for discriminating a video type according to an embodiment of the present invention includes an image acquiring unit for extracting a plurality of partial images from an input image; A downscaling unit for downscaling the partial images to generate thumbnails; A binarization threshold value calculation unit for calculating binarization threshold values using the thumbnails; A binarization thumbnail generator for converting the thumbnails into binarized thumbnails based on the binarization threshold; And an image type discrimination unit for discriminating the input image as a three-dimensional image when the sum of the difference values is less than or equal to a discrimination reference value.

본 발명의 다른 실시예에 따른 영상 타입을 판별하는 영상 타입 판별 방법은 입력 영상으로부터 복수개의 부분 영상들을 추출하는 단계; 상기 부분 영상들을 다운 스케일링하여 썸네일들을 생성하는 단계; 상기 썸네일들을 이용하여 이진화용 임계값을 산출하는 단계; 상기 산출된 이진화용 임계값에 기초하여 상기 썸네일들을 이진화 썸네일들로 변환하는 단계; 상기 이진화 썸네일들 사이의 차이값을 산출하여 합산하는 단계; 상기 차이값들의 합산 값이 판별 기준값 이하인 경우 상기 입력 영상을 3차원 영상으로 판별하는 단계를 포함한다.According to another aspect of the present invention, there is provided an image type determination method for determining a video type, including: extracting a plurality of partial images from an input image; Downscaling the partial images to generate thumbnails; Calculating a threshold value for binarization using the thumbnails; Converting the thumbnails into binarized thumbnails based on the calculated binarization threshold; Calculating and summing difference values between the binarized thumbnails; And discriminating the input image as a three-dimensional image when the sum of the difference values is less than or equal to a discrimination reference value.

본 발명의 다른 실시예에 따른 마이크로 디스플레이를 포함하는 스마트 기기는 입력 영상을 기초로 생성된 이진화 썸네일들 간의 차를 연산하여 상기 입력 영상이 2차원 영상 인지 3차원 영상인지를 판별하는 영상 타입 판별 장치; 및 상기 영상 타입 판별 장치의 판별 결과에 따라 디스플레이 모드들을 전환하는 디스플레이 모드 전환 장치를 포함한다.A smart device including a microdisplay according to another embodiment of the present invention includes an image type determination device for determining whether the input image is a two-dimensional image or a three-dimensional image by calculating a difference between binarized thumbnails generated based on an input image, ; And a display mode switching device for switching display modes according to the discrimination result of the image type discrimination device.

본 발명의 실시예들에 따르면, 전체 이미지에 대한 연산 대신에 다운스케일링을 통해 축소한 썸네일으로 모든 연산을 수행하므로 사용 자원을 줄일 수 있고, 복수개 썸네일에 대하여 임계값(T) 기준으로 이진화 한 후 이진값의 차이는 XOR와 같은 간단한 논리 연산으로 구할 수 있어 영상 판별을 위한 장치를 저전력으로 설계 가능하다.According to embodiments of the present invention, since all operations are performed on thumbnails reduced through downscaling instead of operations on the entire image, resources to be used can be reduced, and a plurality of thumbnails are binarized on the basis of a threshold value (T) The difference between binary values can be obtained by a simple logic operation such as XOR, so that a device for image discrimination can be designed with low power.

또한, 본 발명의 실시예들에 따라 입력 영상에 대해 영상 타입 판별 결과를 실시간으로 반영하여 2D와 3D 디스플레이 모드 간 전환을 자동으로 하는 효과가 있다.In addition, according to the embodiments of the present invention, there is an effect that the image type determination result is automatically reflected on the input image in real time to switch between 2D and 3D display modes.

도 1은 본 발명의 일 실시예에 따른 마이크로 디스플레이를 탑재한 스마트기기의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 타입 판별 장치의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 다운 스케일링부에서 대표 픽셀을 선정 할 때 픽셀 선정 후보를 개선하기 위한 방법의 흐름도이다.
도 4은 본 발명의 일 실시예에 따라 입력 영상이 썸네일 영상들로 변환된 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이진화용 임계값 계산 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 이진화 썸네일 영상을 도시한다.
도 7은 본 발명의 일 실시예에 따른 영상 타입 판별부의 동작을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따라, 영상 타입 판별 장치에서 영상 타입을 판별하는 방법의 흐름도이다.
도 9는 부분 영상의 이진화 썸네일의 차이가 있는 픽셀 수를 썸네일의 크기(전체 픽셀 수)로 나누었을 때 차이 비율을 나타낸 결과 그래프이다.
1 is a configuration diagram of a smart device equipped with a microdisplay according to an embodiment of the present invention.
2 is a block diagram of a video type determination apparatus according to an exemplary embodiment of the present invention.
3 is a flowchart of a method for improving a pixel selection candidate when a representative pixel is selected in a downscaling unit according to an exemplary embodiment of the present invention.
4 is a diagram for explaining an example in which an input image is converted into thumbnail images according to an embodiment of the present invention.
5 is a flowchart of a threshold calculation method for binarization according to an embodiment of the present invention.
FIG. 6 illustrates a binary thumbnail image according to an embodiment of the present invention.
7 is a flowchart illustrating an operation of the image type determination unit according to an exemplary embodiment of the present invention.
FIG. 8 is a flowchart illustrating a method of determining a video type in a video type determination apparatus according to an exemplary embodiment of the present invention. Referring to FIG.
9 is a graph showing a difference ratio when the number of pixels having a difference in the binarized thumbnail of the partial image is divided by the size of the thumbnail (the total number of pixels).

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used in the present invention are used only to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be construed in a sense generally understood by a person having ordinary skill in the art to which the present invention belongs, unless otherwise defined in the present invention, Should not be construed to mean, or be interpreted in an excessively reduced sense. In addition, when a technical term used in the present invention is an erroneous technical term that does not accurately express the concept of the present invention, it should be understood that technical terms that can be understood by a person skilled in the art can be properly understood. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Furthermore, the singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. The term "comprising" or "comprising" or the like in the present invention should not be construed as necessarily including the various elements or steps described in the invention, Or may further include additional components or steps.

또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Furthermore, terms including ordinals such as first, second, etc. used in the present invention can be used to describe elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 마이크로 디스플레이를 탑재한 스마트기기의 구성도이다.1 is a configuration diagram of a smart device equipped with a microdisplay according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스마트 기기(100)는 입력 영상의 타입, 즉 2D 영상 또는 3D 영상을 자동으로 인식하고, 디스플레이 모드를 자동으로 전환한다. 이를 위해, 스마트 기기(100)는 영상 타입 판별 장치(110), 디스플레이 모드 전환 장치(120), 및 디스플레이(130)를 포함할 수 있다.As shown in FIG. 1, the smart device 100 according to an exemplary embodiment of the present invention automatically recognizes the type of an input image, that is, a 2D image or a 3D image, and automatically switches the display mode. To this end, the smart device 100 may include a video type determination device 110, a display mode switching device 120, and a display 130.

영상 타입 판별 장치(110)는 입력 영상을 수신하여 입력 영상이 2D 영상인지 3D 영상인지 판별하여 판별 결과를 디스플레이 모드 전환 장치(120)로 출력한다.The image type determination apparatus 110 receives the input image, determines whether the input image is a 2D image or a 3D image, and outputs the determination result to the display mode switching device 120.

영상 타입 판별 장치(110)는 임의의 입력 영상을 기초로 생성된 이진화 썸네일들 간의 차를 연산하여 상기 입력 영상이 2차원 영상 인지 3차원 영상인지를 판별할 수 있다.The image type determination apparatus 110 can determine whether the input image is a two-dimensional image or a three-dimensional image by calculating a difference between binary thumbnails generated based on an arbitrary input image.

디스플레이 모드 전환 장치(120)는 상기 영상 타입 판별 장치(110)의 출력 값을 수신하여 디스플레이(130)의 디스플레이 모드를 2D 디스플레이 모드 또는 3D 디스플레이 모드로 전환할 수 있도록 신호를 생성한다.The display mode switching device 120 receives the output value of the image type determination device 110 and generates a signal so that the display mode of the display 130 can be switched to the 2D display mode or the 3D display mode.

상기 영상 타입 판별 장치(110)의 출력 값은 입력 영상이 2D 영상인지 3D 영상인지 나타내는 결과를 포함할 수 있다. 3D 영상인 경우, 3D 영상 포맷 방식(사이드-바이-사이드, 탑-앤-바텀, 프레임 시퀀셜 등)을 결과에 포함할 수 있다. 또한, 3D 영상 포맷 방식 판별이 추가된다면 상기 디스플레이 모드 전환기(120)는 각 영상 포맷에 대응하는 모드로 자동으로 선택하게 구성될 수 있다.The output value of the image type determination apparatus 110 may include a result indicating whether the input image is a 2D image or a 3D image. In the case of a 3D image, a 3D image format scheme (side-by-side, top-and-bottom, frame sequential, etc.) can be included in the result. In addition, if the 3D image format type determination is added, the display mode converter 120 may be configured to automatically select a mode corresponding to each image format.

이하 도 2를 참조하여 영상 타입 판별 장치(110)의 구성 및 동작을 설명한다.Hereinafter, the configuration and operation of the image type determination apparatus 110 will be described with reference to FIG.

도 2는 본 발명의 일 실시예에 따른 영상 타입 판별 장치의 블록도를 도시한다. 2 is a block diagram of a video type determination apparatus according to an exemplary embodiment of the present invention.

영상 타입 판별 장치(110)는 영상 타입을 판별하기 위해 영상 획득부(111), 다운 스케일링부(112), 이진화용 임계값 산출부(113), 이진화 썸네일 생성부(114), 및 영상 타입 판별부(115)를 포함한다. The image type determination apparatus 110 includes an image acquisition unit 111, a downscaling unit 112, a binning threshold value calculation unit 113, a binarization thumbnail generation unit 114, (115).

영상 획득부(111)는 입력 영상으로부터 복수개의 부분 영상들을 추출한다.The image acquisition unit 111 extracts a plurality of partial images from the input image.

'부분 영상'이란 용어는 하나의 영상을 구성하는 적어도 하나의 프레임을 의미한다. 2D 영상의 경우, 부분 영상은 2D 영상을 구성하는 프레임의 일부 일 수 있다. 3D 영상의 경우, 부분 영상은 3D 영상을 구성하는 복수개의 프레임들중 하나의 프레임일 수 있다. 입력 영상은 2D 영상 또는 3D 영상일 수 있다. 3D 영상은 예컨대, 사이드-바이-사이드(Side-by-Side), 탑-앤-바텀(Top-and-Bottom), 프레임 시퀀셜(Frame Sequential) 등의 3D 영상 포맷을 가질 수 있다. 영상 획득부(111)는 디폴트로 정해진 3D 영상 포맷에 따라 입력 영상으로부터 부분 영상들을 추출할 수 있다. 또는 영상 획득부(111)는 다른 어떤 방식에 따라 획득된 3D 영상 포맷에 대한 정보에 따라 입력 영상으로부터 부분 영상들을 추출할 수 있다. The term " partial image " means at least one frame constituting one image. In the case of a 2D image, the partial image may be a part of a frame constituting the 2D image. In the case of a 3D image, the partial image may be one of a plurality of frames constituting the 3D image. The input image may be a 2D image or a 3D image. The 3D image may have a 3D image format such as a side-by-side, a top-and-bottom, and a frame sequential. The image obtaining unit 111 may extract partial images from the input image according to the 3D image format set by default. Alternatively, the image obtaining unit 111 may extract partial images from the input image according to the information on the 3D image format obtained according to any other method.

입력 영상이 사이드-바이-사이드 포맷의 3D 영상인 경우, 영상 획득부(111)는 입력 영상으로부터 좌측 및 우측 부분 영상들을 추출한다. 예컨대, 영상 획득부(111)는 입력 영상의 해상도 폭의 1/2을 기준점이 되어 좌측을 좌측 부분 영상 우측을 우측 부분 영상으로 추출한다.If the input image is a 3D image in a side-by-side format, the image obtaining unit 111 extracts left and right partial images from the input image. For example, the image obtaining unit 111 extracts the left side partial image as the right side partial image and the left side as the reference point, half of the resolution width of the input image.

입력 영상이 탑-앤-바텀 포맷의 3D 영상인 경우, 입력 영상으로부터 상측 및 하측 부분 영상들을 추출한다. 프레임 시퀀셜 포맷의 3D 영상인 경우, 3D 영상의 부분 영상들은 하나의 프레임으로 코딩되지 않는다. 이 경우, 영상 획득부(111)는 입력 영상의 2개의 순차적으로 제공되는 영상 프레임들을 3D 영상의 부분 영상들로 추출할 수 있다. If the input image is a 3D image of a top-and-bottom format, the upper and lower partial images are extracted from the input image. In the case of a 3D image of a frame sequential format, the partial images of the 3D image are not coded into one frame. In this case, the image obtaining unit 111 may extract the two sequentially provided image frames of the input image as partial images of the 3D image.

영상 획득부(111)로부터 출력되는 부분 영상들은 다운 스케일링부(112)로 입력된다. 다운 스케일링부(112)는 부분 영상들 각각을 N:1 비율로 다운 스케일링함으로써 썸네일 영상들을 생성한다.The partial images output from the image acquisition unit 111 are input to the downscaling unit 112. The downscaling unit 112 generates thumbnail images by downscaling each of the partial images at an N: 1 ratio.

예컨대, N이 16이라면 다운 스케일링부(112)는 각 부분 영상을 복수개의 NxN 크기의 블록으로 나누고, 각각의 NxN 크기의 블록에서 1개의 대표 픽셀을 선택하여 샘플 부분 영상의 썸네일 영상을 생성한다. 여기에서, 썸네일 영상은 부분 영상의 블록들의 샘플 픽셀들로 이루어진 영상이다.For example, if N is 16, the downscaling unit 112 divides each partial image into a plurality of NxN-sized blocks, and selects one representative pixel in each NxN-sized block to generate a thumbnail image of the sample partial image. Here, the thumbnail image is an image composed of sample pixels of blocks of the partial image.

N으로 표현한 수는 임의의 자연수 일 수 있으며, 부분 영상의 가로 해상도를 W, 세로 해상도를 H라 할 때, W/N x H/N으로 축소됨을 기본적으로 의미하지만, 경우에 따라 W/M x H/N또는 W/N x H/M으로 축소가 필요한 경우 X축과 Y축에 각각의 축소 비율(M, N)을 정의하여 사용할 수 있다. The number represented by N may be any natural number. When the horizontal resolution of the partial image is W and the vertical resolution is H, it is basically reduced to W / NxH / N. In some cases, W / Mx If you need to reduce to H / N or W / N x H / M, you can define the reduction ratio (M, N) for X and Y axis respectively.

또한, 마이크로 디스플레이를 탑재한 스마트 기기에서는 전력 소모가 중요한 설계요소이기 때문에 N(또는 M)의 값이 커지면 이후 단계에서 연산 부담이 줄어 전력 소비 또한 더 줄어들게 되지만 2D와 3D 영상으로 정확하게 인식하는 정확도 줄어드는 측면이 있기 때문에 정확도와 전력소비에 따른 연산량에 대한 트레이드오프(trade-off)를 따져서 선정하면 된다.Also, since power consumption is an important design factor in smart devices equipped with microdisplay, if N (or M) becomes large, the computation burden will be reduced in the following stage to further reduce power consumption. However, Since there is a side view, it can be selected based on the trade-off of the amount of calculation depending on accuracy and power consumption.

또한, 대표 픽셀은 랜덤 픽셀, 고정 픽셀 그리고 알고리즘에 의해 특정하는 방법 등으로 선정될 수 있다. In addition, representative pixels can be selected by a random pixel, a fixed pixel, and a method specified by an algorithm.

이 경우, 다운 스케일링부(112)는 대표 픽셀 후보들 중에 경계(가장자리)에 있는 픽셀은 제외하고 랜덤 방식, 고정 방식, 또는, 소정의 알고리즘을 사용하여 대표 픽셀을 선정할 수 있다. 다운 스케일링부(112)에서 대표 픽셀을 선정할 때 픽셀 선정 후보를 개선하기 위한 일 실시예를 도 3을 참조하여 설명한다.In this case, the downscaling unit 112 may select a representative pixel by using a random method, a fixed method, or a predetermined algorithm, excluding the pixels at the boundary (edge) among representative pixel candidates. An embodiment for improving the pixel selection candidate when the representative pixel is selected in the downscaling unit 112 will be described with reference to FIG.

도 3은 본 발명의 일 실시예에 따른 다운 스케일링부에서 대표 픽셀을 선정할 때 픽셀 선정 후보를 개선하기 위한 방법의 흐름도이다.3 is a flowchart of a method for improving a pixel selection candidate when a representative pixel is selected in a downscaling unit according to an exemplary embodiment of the present invention.

다운 스케일링부(112)는 해당 픽셀이 부분 영상의 가장자리 부분은 영상의 특성을 대표하지 않는 경우가 많기 때문에 부분 영상의 가장자리 영역의 픽셀은 대표 픽셀이 되지 않도록 픽셀 선정 후보에서 제외한다. Since the edge portion of the partial image does not represent the characteristic of the image, the downscaling unit 112 excludes the pixel in the edge region of the partial image from the pixel selection candidate so as not to become the representative pixel.

도 3을 참조하면, 다운 스케일링부(112)는 부분 영상을 분할한 블록들 각각에 대해 대표 픽셀을 선정하는 경우, 단계 310에서 해당 픽셀이 부분 영상의 가장자리 영역에 있는 픽셀인지를 판단한다. 해당 픽셀이 부분 영상의 경계(가장자리) 영역에 있는 픽셀이면, 다운 스케일링부(112)는 단계 320에서 해당 픽셀을 썸네일 영상을 위한 선정 후보에서 제외하여 대표 픽셀을 선정하고, 단계 330에서 썸네일 영상을 생성한다. 도 4에 입력 영상에 대한 썸네일 영상이 도시되어 있다.Referring to FIG. 3, when a representative pixel is selected for each of the blocks obtained by dividing the partial image, the downscaling unit 112 determines whether the pixel is a pixel in the edge area of the partial image in step 310. If the corresponding pixel is a pixel in the boundary region of the partial image, the downscaling unit 112 selects the representative pixel by excluding the corresponding pixel from the selection candidate for the thumbnail image in step 320, and outputs the thumbnail image in step 330 . FIG. 4 shows a thumbnail image of the input image.

도 4은 본 발명의 일 실시예에 따라 입력 영상이 썸네일 영상들로 변환된 예를 설명하기 위한 도면이다. 도 4의 좌측 영상은 입력 영상이며, 도 4의 우측 영상은 부분 영상을 축소한 썸네일 영상이다. 4 is a diagram for explaining an example in which an input image is converted into thumbnail images according to an embodiment of the present invention. The left image of FIG. 4 is an input image, and the right image of FIG. 4 is a thumbnail image obtained by reducing a partial image.

도 4의 좌측에 도시된 바와 같이, 입력 영상은 FHD(Full HD)(해상도: 1920x1080)급 영상들이다. 3D 영상들은 사이드-바이-사이드 영상 포맷을 갖는 영상이다. 각 영상들에 대해 스포츠, 영화, 풍경 등을 대상으로 하고 이미지의 특징에 따른 이름이 붙여져 있다(3D_golf, 3D_avatar, 2D_coastalcity, 2D_road).As shown on the left side of FIG. 4, the input image is a FHD (Full HD) (resolution: 1920x1080) class image. 3D images are images having a side-by-side image format. For each image, sports, movies, landscapes and so on are named according to the characteristics of the images (3D_golf, 3D_avatar, 2D_coastalcity, 2D_road).

도 4의 좌측에 나타낸 영상을 입력으로 하고 축소비(N)을 가로와 세로 각각 16으로 실험 하였다. 따라서 FHD 영상(1920x1080)의 축소된 썸네일의 크기는 좌우 각각 60x68으로 표현된다. 도 4의 우측에 나타낸 썸네일 영상은 입력 영상에 대하여 가로와 세로 16:1의 축소비로 축소함으로써 생성되며, 그레이 스케일로 나타낸 썸네일 영상이다.The image shown on the left side of FIG. 4 was input and the reduction ratio N was experimentally set to 16 in both the horizontal and vertical directions. Therefore, the size of the reduced thumbnail of the FHD image (1920x1080) is represented by 60x68 on each side. The thumbnail image shown on the right side of FIG. 4 is generated by reducing the input image to a reduction ratio of 16: 1 in the horizontal and vertical directions, and is a thumbnail image in gray scale.

다시 도 2를 참조하면, 다운 스케일링부(112)는 생성한 썸네일 영상을 이진화용 임계값 산출부(113) 및 이진화 썸네일 생성부(114)에 제공한다. Referring to FIG. 2 again, the downscaling unit 112 provides the generated thumbnail image to the binarization threshold calculator 113 and the binarized thumbnail generator 114.

이진화용 임계값 산출부(113)는 상기 썸네일 영상들을 이용하여 이진화용 임계값(T)을 산출한다. 구체적으로, 임계값 산출부(113)는 부분 영상들의 썸네일 영상들을 이진화 썸네일 영상들로 변환하는데 사용하기 위한 이진화용 임계값을 산출한다. 이진화용 임계값(T)은 사전에 정의한 값으로 할 수 있다. 이 경우, 부분 영상마다 영상 특성이 다를 수 있기 때문에 각 부분 영상별로 이진화용 임계값(T)을 계산하는 것이 바람직할 수 있다. 이진화용 임계값 산출부(113)에서 이진화용 임계값을 계산하는 방법을 도 5를 참조하여 설명한다.The binarization threshold value calculation unit 113 calculates the binarization threshold value T using the thumbnail images. Specifically, the threshold value calculation unit 113 calculates a threshold value for binarization for use in converting thumbnail images of partial images into binary thumbnail images. The binarization threshold value T may be a previously defined value. In this case, since the image characteristics may be different for each partial image, it may be preferable to calculate the binarization threshold T for each partial image. A method of calculating the threshold value for binarization by the binarization threshold value calculation unit 113 will be described with reference to FIG.

도 5는 본 발명의 일 실시예에 따른 이진화용 임계값 계산 방법의 흐름도이다. 도 5에서는 입력 영상이 사이드-바이-사이드 포맷을 갖는 것으로 가정하여 입력 영상으로부터 좌 부분 영상 및 우 부분 영상을 추출한 경우에 한정하여 설명한다.5 is a flowchart of a threshold calculation method for binarization according to an embodiment of the present invention. 5, description will be made only on the assumption that the input image has the side-by-side format and that the left partial image and the right partial image are extracted from the input image.

도 5를 참조하면, 이진화용 임계값 산출부(113)는 단계 410에서 각 부분 영상의 썸네일 영상의 모든 픽셀값을 합산하여 합산 픽셀값을 산출한다. 이진화용 임계값 산출부(113)는 예컨대, 좌우 썸네일 영상의 모든 픽셀값을 합산한다.Referring to FIG. 5, in step 410, the binarization threshold calculator 113 calculates sum pixel values by summing all the pixel values of the thumbnail image of each partial image. The binarization threshold value calculator 113 sums all the pixel values of the left and right thumbnail images, for example.

각 썸네일 영상의 합산 픽셀값은 이하 수학식 1과 같이 구할 수 있다.The sum pixel value of each thumbnail image can be obtained as shown in Equation (1) below.

Figure 112016120279912-pat00001
Figure 112016120279912-pat00001

상기 수학식 1에서 W는 썸네일 영상의 폭을 나타내며, H는 썸네일 영상의 높이를 나타낸다.In Equation (1), W represents the width of the thumbnail image, and H represents the height of the thumbnail image.

합산 픽셀값을 산출한 후, 이진화용 임계값 산출부(113)는 단계 420에서 각 썸네일 영상의 합산 픽셀값을 썸네일 영상의 크기, 즉, 픽셀수로 나누어 평균 픽셀값을 계산한다. 각 썸네일 영상의 평균 픽셀값은 다음 수학식 2와 같이 구할 수 있다.After calculating the sum pixel value, the binarization threshold calculating unit 113 calculates the average pixel value by dividing the sum pixel value of each thumbnail image by the size of the thumbnail image, that is, the number of pixels in step 420. The average pixel value of each thumbnail image can be obtained by the following equation (2).

Figure 112016120279912-pat00002
Figure 112016120279912-pat00002

이진화용 임계값 산출부(113)는 단계 430에서 썸네일 영상들의 평균 픽셀값들의 평균값을 계산하여 이진화용 임계값으로 결정한다. 이진화용 임계값은 다음 수학식 3과 같이 구할 수 있다. The binarization threshold value calculation unit 113 calculates an average value of average pixel values of the thumbnail images in step 430 and determines binarization threshold value as a binarization threshold value. The threshold value for binarization can be obtained by the following equation (3).

Figure 112016120279912-pat00003
Figure 112016120279912-pat00003

도 5의 단계들은 필요에 따라 동작 단계의 기능을 재정의하여 분리/확장/추가 또는 통합/축소하여 적용할 수 있다.The steps of FIG. 5 may be separated / expanded / added or integrated / reduced by redefining the function of the operation step as necessary.

이진화 썸네일 생성부(114)는 이진화용 임계값 산출부(113)로부터 이진화용 임계값(T)을 수신한다. 또한, 이진화 썸네일 생성부(114)는 다운 스케일링부(112)로부터 썸네일 영상을 수신한다. 이진화 썸네일 생성부(114)는 이진화용 임계값(T)에 기초하여 썸네일 영상들을 이진화 썸네일 영상들로 변환한다.The binarized thumbnail generator 114 receives the binarization threshold T from the binarization threshold calculator 113. In addition, the binarized thumbnail generator 114 receives the thumbnail image from the downscaling unit 112. The binarized thumbnail generator 114 converts the thumbnail images into binarized thumbnail images based on the binarization threshold value T.

구체적으로, 이진화 썸네일 생성부(114)는 각 부분 영상의 썸네일 영상에 대해서 각 픽셀의 값을 이진화용 임계값(T)과 비교하여 임계값 초과일 경우 해당 픽셀의 값을 이진값 1로 변경하고, 해당 픽셀의 값을 이진화용 임계값(T) 이하면, 이진값 0으로 변경함으로써 이진화 썸네일 영상을 생성한다.Specifically, the binarized thumbnail generator 114 compares the value of each pixel with the binarization threshold T for a thumbnail image of each partial image, and changes the value of the corresponding pixel to a binary value 1 when the threshold is exceeded And generates a binary thumbnail image by changing the value of the pixel to a binary value 0 if the value of the pixel is equal to or smaller than the binarization threshold value T. [

도 6은 본 발명의 일 실시예에 따른 이진화 썸네일 영상을 도시한다.FIG. 6 illustrates a binary thumbnail image according to an embodiment of the present invention.

도 6을 참조하면, 이진화 썸네일 생성부(114)로부터 출력되는 이진화 썸네일 영상이 도시되어 있다. 도 6의 경우, 입력 영상에 대하여 가로와 세로 16:1의 축소비로 축소한 썸네일이 이진화용 임계값(T)에 기초하여 이진화 썸네일 영상들로 변환된 것이다.Referring to FIG. 6, a binarized thumbnail image output from the binarized thumbnail generator 114 is shown. In the case of FIG. 6, a thumbnail reduced to a reduction ratio of 16: 1 in the horizontal and vertical directions with respect to the input image is converted into binary thumbnail images based on the threshold value T for binarization.

이진화 썸네일 생성부(114)는 부분 영상들의 이진화 썸네일 영상들을 영상 타입 판별부(115)에 제공한다. The binarized thumbnail generating unit 114 provides the binarized thumbnail images of the partial images to the image type discriminating unit 115.

영상 타입 판별부(115)는 이진화 썸네일 영상들 간의 차이값을 산출하여 합산한다. 구체적으로, 영상 타입 판별부(115)는 이진화 썸네일 영상들의 픽셀값들에 대해 논리 연산을 수행하여 논리 연산의 결과값들을 이진화 썸네일 영상들 간의 차이값으로서 산출할 수 있다. The image type determination unit 115 calculates and sums the difference value between the binarized thumbnail images. Specifically, the image type determination unit 115 may perform logical operations on the pixel values of the binarized thumbnail images to calculate the result of the logical operation as the difference value between the binarized thumbnail images.

논리 연산은 배타적 논리합(exclusive or: XOR) 연산일 수 있다. 이진화 썸네일 영상들 간의 픽셀값들이 동일한 값이면 O의 결과값이 산출되고, 이진화 썸네일 영상들 간의 픽셀값들이 다른 값이면 1의 결과값이 산출된다. 영상 타입 판별부(115)는 논리 연산의 결과값으로 이루어진 차이 썸네일을 생성할 수도 있다.The logical operation may be an exclusive or (XOR) operation. If the pixel values between the binarized thumbnail images are the same value, the result value of O is calculated. If the pixel values between the binarized thumbnail images are different values, a result value of 1 is calculated. The image type determination unit 115 may generate a difference thumbnail made up of the result of the logical operation.

이 경우, 영상 타입 판별부(115)는 XOR 회로로 구현될 수 있다.In this case, the image type determination unit 115 may be implemented as an XOR circuit.

영상 타입 판별부(115)는 이진화 썸네일 영상들 간의 차이값을 합산하여 합산값을 계산한다. 논리 연산이 배타적 논리합인 경우, 이진화 썸네일 영상들 간의 차이값들의 합산값은 이진화 썸네일 영상들이 얼마나 서로 다른 지를 나타낼 수 있다. 이진화 썸네일 영상들 간의 차이값들의 합산값이 크면 이진화 썸네일 영상들 간에 차이가 큰 것을 나타내며, 이진화 썸네일 영상들 간의 차이값들의 합산값이 작으면 이진화 썸네일 영상들 간에 차이가 작은 것을 나타낸다.The image type determination unit 115 calculates the sum value by summing the difference values between the binarized thumbnail images. If the logical operation is an exclusive logical OR, the sum of the difference values between the binarized thumbnail images can indicate how the binarized thumbnail images are different. If the sum of the difference values between the binarized thumbnail images is large, the difference between the binarized thumbnail images is large. If the sum of the differences between the binarized thumbnail images is small, the difference between the binarized thumbnail images is small.

영상 타입 판별부(115)는 상기 합산값이 판별 기준값과 비교한다. 판별 기준값은 입력 영상이 2D 영상인지 3D 영상인지 판단하기 위해 사용된다. 구체적으로, 영상 타입 판별부(115)는 상기 합산값이 판별 기준값이 초과할 경우 부분 영상들이 동일한 부분이기 보다는 다른 부분들 인 것으로 판단할 수 있으므로 입력 영상을 2D 영상으로 판별한 결과값을 출력한다. 또한, 영상 타입 판별부(115)는 상기 합산값이 판별 기준값 이하일 경우 부분 영상들이 동일한 부분의 3D 프레임들인 것으로 판단할 수 있으므로 입력 영상을 3D 영상으로 판별하여 결과값을 출력한다. The image type determination unit 115 compares the sum value with the determination reference value. The discriminant reference value is used to determine whether the input image is a 2D image or a 3D image. Specifically, when the sum value exceeds the discrimination reference value, the image type determination unit 115 may determine that the partial images are different parts than the same part, and thus output a result of discriminating the input image as a 2D image . If the sum value is equal to or smaller than the discrimination reference value, the image type determination unit 115 may determine that the partial images are 3D frames of the same portion, and thus output the resultant image as the 3D image.

한편, 영상 타입 판별부(115)는 영상 타입이 일반적인 영상을 나타내지 않는 경우를 판별할 수도 있다. 이 경우, 영상 타입 판별부(115)는 입력 영상이 미리 결정된 패턴(스페셜 패턴이라고도 함)을 갖는 영상 타입을 가지는 것을 나타내는 판별값을 출력할 수 있다. 이러한 경우의 영상 타입 판별부(115)의 동작은 도 7에 도시되어 있다.On the other hand, the image type determination unit 115 may determine the case where the image type does not represent a general image. In this case, the video type determination unit 115 can output a determination value indicating that the input video has a video type having a predetermined pattern (also referred to as a special pattern). The operation of the image type determination unit 115 in this case is shown in FIG.

도 7은 본 발명의 일 실시예에 따른 영상 타입 판별부의 동작을 나타낸 흐름도이다. 7 is a flowchart illustrating an operation of the image type determination unit according to an exemplary embodiment of the present invention.

도 7을 참조하면, 영상 타입 판별부(115)는 단계 610에서 이진화 썸네일 영상들에 대한 논리 연산을 수행 한 후, 단계 620에서 입력 영상이 스페셜 패턴을 갖는 지를 판단한다. 예컨대, 2D 영상이 한가지 색으로 표현된 경우와 같이, 부분 영상들 간의 차이가 거의 없는 2D 영상은 3D 영상으로 판별될 가능성이 크다. 영상 타입 판별부(115)는 입력 영상이 스페셜 패턴을 가지면 단계 630에서 해당 입력 영상이 스페셜 패턴을 가지고 있음을 나타내는 판별값을 출력할 수 있다. 영상 타입 판별부(115)는 해당 입력 영상이 스페셜 패턴을 갖지 않으면, 단계 640에서 이진화 썸네일 영상들 간의 차이값들의 합산값을 판별 기준값과 비교한다. 그리고, 영상 타입 판별부(115)는 단계 650 또는 660에서 상기 비교 결과에 따라 입력 영상을 2D 영상 또는 3D 영상으로 판별한다. 영상 타입 판별부(115)는 영상 타입 판별값을 디스플레이 모드 전환 장치(120)으로 출력한다. Referring to FIG. 7, the image type determination unit 115 performs logic operation on the binary thumbnail images in step 610, and determines whether the input image has a special pattern in step 620. For example, as in the case where a 2D image is represented by one color, a 2D image having little difference between partial images is highly likely to be discriminated as a 3D image. If the input image has a special pattern, the image type determination unit 115 may output a determination value indicating that the input image has a special pattern in step 630. If the input image does not have the special pattern, the image type determination unit 115 compares the sum of the difference values between the binarized thumbnail images with the discrimination reference value in step 640. In step 650 or 660, the image type determination unit 115 determines the input image as a 2D image or a 3D image according to the comparison result. The video type determination unit 115 outputs the video type determination value to the display mode switching device 120. [

이후 상기 디스플레이 모드 전환 장치(120)는 입력 영상이 스페셜 패턴을 갖는 경우 스패셜 패턴에 적합한 디스플레이 모드를 선택하거나 이전의 디스플레이 모드를 유지하는 등의 방법으로 더 부드러운 영상 표현에 반영하도록 할 수 있다. 스페셜 패턴으로 판별된 영상을 처리하기 위해서 디스플레이 모드 전환 장치(120)에서는 현재 입력 영상에 대한 판별 값만 고려하는 것이 아닌, 얼마간의 지난 영상의 디스플레이 모드 값을 보유하며 부드러운 전환 또는 모드 전환 무시 등을 구현할 수 있다.If the input image has a special pattern, the display mode switching device 120 may select a display mode suitable for the special pattern, or maintain the previous display mode, or the like so that the display mode switching device 120 reflects the smoother image representation. In order to process an image discriminated as a special pattern, the display mode switching device 120 does not consider only the discrimination value of the current input image, but rather holds a display mode value of some past image and performs a smooth transition or a mode switching disregard .

전술한 바와 같은 구성의 영상 타입 판별 장치(110)의 동작은 도 8에 도시되어 있다.  The operation of the video type determination device 110 having the above-described configuration is shown in Fig.

도 8은 본 발명의 일 실시예에 따라, 영상 타입 판별 장치에서 영상 타입을 판별하는 방법의 흐름도이다. FIG. 8 is a flowchart illustrating a method of determining a video type in a video type determination apparatus according to an exemplary embodiment of the present invention. Referring to FIG.

도 8을 참조하면, 영상 타입 판별 장치(110)는 단계 810에서 입력 영상으로부터 복수개의 부분 영상들을 추출한다. Referring to FIG. 8, in operation 810, the image type determination apparatus 110 extracts a plurality of partial images from the input image.

영상 타입 판별 장치(110)는 단계 820에서 상기 부분 영상들 각각을 N:1 비율로 다운 스케일링함으로써 부분 영상들의 썸네일 영상들을 생성한다.In step 820, the image type determination apparatus 110 generates thumbnail images of partial images by downscaling each of the partial images at an N: 1 ratio.

영상 타입 판별 장치(110)는 단계 830에서 상기 썸네일 영상들을 이용하여 이진화용 임계값(T)을 산출한다. 구체적으로, 영상 타입 판별 장치(110)는 부분 영상들의 썸네일 영상들을 이진화 썸네일 영상들로 변환하는데 사용하기 위한 이진화용 임계값을 산출한다. 이진화용 임계값은 각 부분 영상의 썸네일 영상의 모든 픽셀값을 합산하여 합산 픽셀값을 산출하고, 각 썸네일 영상의 합산 픽셀값을 썸네일 영상의 크기, 즉, 픽셀수로 나누어 평균 픽셀값을 계산한 후, 썸네일 영상들의 평균 픽셀값들의 평균값을 계산함으로써 결정될 수 있다.In operation 830, the image type determination apparatus 110 calculates the binarization threshold value T using the thumbnail images. Specifically, the image type determination apparatus 110 calculates a threshold value for binarization for use in converting thumbnail images of partial images into binary thumbnail images. The binarization threshold value is calculated by summing all the pixel values of the thumbnail image of each partial image, calculating the sum pixel value, and calculating the average pixel value by dividing the sum pixel value of each thumbnail image by the size of the thumbnail image, And then calculating an average value of average pixel values of the thumbnail images.

이어서, 영상 타입 판별 장치(110)는 단계 840에서 상기 산출된 이진화용 임계값에 기초하여 상기 썸네일들을 이진화 썸네일들로 변환한다. 구체적으로, 영상 타입 판별 장치(110)는 각 부분 영상의 썸네일 영상에 대해서 각 픽셀의 값을 이진화용 임계값(T)과 비교하여 임계값 초과일 경우 해당 픽셀의 값을 이진값 1로 변경하고, 해당 픽셀의 값을 이진화용 임계값(T) 이하면, 이진값 0으로 변경함으로써 이진화 썸네일 영상을 생성한다.Subsequently, in step 840, the image type determination apparatus 110 converts the thumbnails into binary thumbnails based on the calculated binarization threshold value. Specifically, the image type determination apparatus 110 compares the value of each pixel with the threshold value T for binarization with respect to a thumbnail image of each partial image, and changes the value of the pixel to a binary value 1 when the threshold value is exceeded And generates a binary thumbnail image by changing the value of the pixel to a binary value 0 if the value of the pixel is equal to or smaller than the binarization threshold value T. [

이어서, 영상 타입 판별 장치(110)는 단계 850에서 상기 이진화 썸네일들 사이의 차이값을 산출하여 합산한다. 구체적으로, 영상 타입 판별 장치(110)는 이진화 썸네일 영상들의 픽셀값들에 대해 논리 연산을 수행하여 논리 연산의 결과값들을 이진화 썸네일 영상들 간의 차이값으로서 산출할 수 있다. 그리고, 영상 타입 판별 장치(110)는 이진화 썸네일 영상들 간의 차이값을 합산하여 합산값을 계산한다.Then, in step 850, the image type determination device 110 calculates and sums the difference value between the binarized thumbnails. Specifically, the image type determination apparatus 110 may perform a logical operation on pixel values of the binarized thumbnail images to calculate the result of the logical operation as a difference value between the binarized thumbnail images. Then, the image type determination apparatus 110 calculates the summation value by summing the difference values between the binarized thumbnail images.

영상 타입 판별 장치(110)는 단계 860에서 상기 차이값들의 합산 값이 판별 기준값과 비교하고, 단계 880에서 상기 합산 값이 상기 판별 기준값 이하인 경우 상기 입력 영상을 3차원 영상으로 판별한다. 그리고, 영상 타입 판별 장치(110)는 단계 870에서 상기 합산 값이 상기 판별 기준값을 초과하면 경우 상기 입력 영상을 2차원 영상으로 판별한다.The image type discriminating apparatus 110 discriminates the input image as a three-dimensional image when the sum of the difference values is compared with the discrimination reference value in step 860 and the sum value is equal to or smaller than the discrimination reference value in step 880. If the sum value exceeds the determination reference value in step 870, the image type determination device 110 determines the input image as a two-dimensional image.

도 9는 부분 영상의 이진화 썸네일의 차이가 있는 픽셀 수를 썸네일의 크기(전체 픽셀 수)로 나누었을 때 차이 비율을 나타낸 결과 그래프이다. 9 is a graph showing a difference ratio when the number of pixels having a difference in the binarized thumbnail of the partial image is divided by the size of the thumbnail (the total number of pixels).

각각의 입력 영상(가로축)에 대하여 부분 영상들이 차이가 적은 경우는 3D 영상으로 판별할 수 있으며, 부분 영상들 간이 차이가 어느 정도 나는 경우 2D 영상으로 판별할 수 있도록 그 확연한 차이가 그래프에서 확인된다. 또한, 도 9에서 2D와 3D의 기준 값으로 설정할 수 있는 판별 마진 영역이 충분하기 때문에 본 발명에서 제안한 방법이 효과적임을 확인 할 수 있다. In the case where the partial images are small in the input image (horizontal axis), the 3D image can be discriminated. In the case where the partial images are different, the 2D image can be distinguished from the graph in the graph . In addition, since the discrimination margin area which can be set as the reference value of 2D and 3D is sufficient in FIG. 9, it can be confirmed that the method proposed by the present invention is effective.

111: 영상 획득부
112: 다운 스케일링부
113: 이진화용 임계값 산출부
114: 이진화 썸네일 생성부
115: 영상 타입 판별부
111:
112: downscaling unit
113: binarization threshold value calculation unit
114: a binarized thumbnail generating unit
115: image type discrimination unit

Claims (16)

영상 타입을 판별하는 영상 타입 판별 장치에 있어서,
입력 영상으로부터 복수개의 부분 영상들을 추출하는 영상 획득부;
상기 복수개의 부분 영상들을 각각 다운 스케일링하여 복수개의 썸네일들을 생성하는 다운 스케일링부;
상기 복수개의 썸네일들을 이용하여 이진화용 임계값을 산출하는 이진화용 임계값 산출부;
상기 산출된 이진화용 임계값에 기초하여 상기 복수개의 썸네일들을 복수개의 이진화 썸네일들로 변환하는 이진화 썸네일 생성부; 및
상기 복수개의 이진화 썸네일들 사이의 차이값들을 산출하여 합산하고, 상기 차이값들의 합산 값이 판별 기준값 이하인 경우 상기 입력 영상을 3차원 영상으로 판별하는 영상 타입 판별부를 포함하는 영상 타입 판별 장치.
A video type discriminating apparatus for discriminating a video type, comprising:
An image obtaining unit for extracting a plurality of partial images from the input image;
A downscaling unit for downscaling each of the plurality of partial images to generate a plurality of thumbnails;
A binarization threshold value calculation unit for calculating binarization threshold values using the plurality of thumbnails;
A binarization thumbnail generator for converting the plurality of thumbnails into a plurality of binarization thumbnails based on the calculated binarization threshold; And
And an image type discrimination unit for discriminating the input image as a three-dimensional image when the sum of the difference values is less than or equal to a discrimination reference value, based on the differences between the plurality of binarization thumbnails.
청구항 1에 있어서, 상기 복수개의 부분 영상들은 제1 부분 영상 및 제2 부분 영상을 포함하는 영상 타입 판별 장치.
The apparatus of claim 1, wherein the plurality of partial images include a first partial image and a second partial image.
청구항 2에 있어서, 상기 영상 타입 판별부는 상기 제1 부분 영상의 이진화 썸네일의 픽셀값들과 상기 제2 부분 영상의 이진화 썸네일의 픽셀값들에 대해 각각 논리 연산을 수행함으로써 획득한 논리 연산 결과값들을 상기 차이값들로 산출하여 합산하는 영상 타입 판별 장치.
The apparatus of claim 2, wherein the image type determination unit comprises logic operation result values obtained by performing logical operations on pixel values of a binarized thumbnail of the first partial image and pixel values of a binarized thumbnail of the second partial image, And calculates and sums the difference values.
청구항 1에 있어서, 상기 영상 타입 판별부는 상기 차이값들의 합산 값이 상기 판별 기준값을 초과하면 상기 입력 영상을 2차원 영상으로 판별하는 영상 타입 판별 장치.
The image type discrimination apparatus of claim 1, wherein the image type discrimination unit discriminates the input image as a two-dimensional image when the sum of the difference values exceeds the discrimination reference value.
청구항 3에 있어서, 상기 논리 연산은 배타적 논리합(exclusive or: XOR) 연산인 영상 타입 판별 장치.
4. The apparatus of claim 3, wherein the logical operation is an exclusive or (XOR) operation.
청구항 1에 있어서, 상기 영상 타입 판별부는 상기 입력 영상이 미리 결정된 패턴을 갖는 지를 판단하고, 상기 입력 영상이 미리 결정된 패턴을 갖는 것으로 판단되면 상기 입력 영상이 미리 결정된 패턴을 가지고 있음을 나타내는 판별값을 출력하는 영상 타입 판별 장치.
The apparatus of claim 1, wherein the image type determination unit determines whether the input image has a predetermined pattern, and determines whether the input image has a predetermined pattern if it is determined that the input image has a predetermined pattern Output type image type discrimination device.
영상 타입을 판별하는 영상 타입 판별 방법에 있어서,
입력 영상으로부터 복수개의 부분 영상들을 추출하는 단계;
상기 복수개의 부분 영상들을 각각 다운 스케일링하여 복수개의 썸네일들을 생성하는 단계;
상기 복수개의 썸네일들을 이용하여 이진화용 임계값을 산출하는 단계;
상기 산출된 이진화용 임계값에 기초하여 상기 복수개의 썸네일들을 복수개의 이진화 썸네일들로 변환하는 단계;
상기 복수개의 이진화 썸네일들 사이의 차이값들을 산출하여 합산하는 단계;
상기 차이값들의 합산 값이 판별 기준값 이하인 경우 상기 입력 영상을 3차원 영상으로 판별하는 단계를 포함하는 영상 타입 판별 방법.
A video type discrimination method for discriminating a video type,
Extracting a plurality of partial images from an input image;
Generating a plurality of thumbnails by downscaling each of the plurality of partial images;
Calculating a threshold value for binarization using the plurality of thumbnails;
Converting the plurality of thumbnails into a plurality of binarization thumbnails based on the calculated binarization threshold value;
Calculating and summing difference values between the plurality of binarized thumbnails;
And discriminating the input image as a three-dimensional image when the sum of the difference values is less than or equal to a discrimination reference value.
청구항 7에 있어서, 상기 복수개의 부분 영상들은 제1 부분 영상 및 제2 부분 영상을 포함하는 영상 타입 판별 방법.
8. The method of claim 7, wherein the plurality of partial images include a first partial image and a second partial image.
청구항 8에 있어서, 상기 복수개의 이진화 썸네일들 사이의 차이값들을 산출하여 합산하는 단계는 상기 제1 부분 영상의 이진화 썸네일의 픽셀값들과 상기 제2 부분 영상의 이진화 썸네일의 픽셀값들에 대해 각각 논리 연산을 수행함으로써 획득한 논리 연산의 결과값들을 상기 차이값들로 산출하여 합산하는 단계를 포함하는 영상 타입 판별 방법.
The method of claim 8, wherein calculating and summing the difference values between the plurality of binarized thumbnails is performed for pixel values of the binarized thumbnail of the first partial image and pixel values of the binarized thumbnail of the second partial image, And calculating and summing the result values of the logical operations obtained by performing the logical operation as the difference values.
청구항 7에 있어서, 상기 차이값들의 합산 값이 상기 판별 기준값을 초과하면 상기 입력 영상을 2차원 영상으로 판별하는 단계를 더 포함하는 영상 타입 판별 방법.
8. The method of claim 7, further comprising determining the input image as a two-dimensional image if the sum of the difference values exceeds the determination reference value.
청구항 9에 있어서, 상기 논리 연산은 배타적 논리합(exclusive or: XOR) 연산인 영상 타입 판별 방법.
11. The method of claim 9, wherein the logical operation is an exclusive or (XOR) operation.
청구항 7에 있어서, 상기 입력 영상이 미리 결정된 패턴을 갖는 지를 판단하는 단계; 및
상기 입력 영상이 미리 결정된 패턴을 가는 것으로 판단되면 상기 입력 영상이 미리 결정된 패턴을 가지고 있음을 나타내는 판별값을 출력하는 단계를 더 포함하는 영상 타입 판별 방법.
The method of claim 7, further comprising: determining whether the input image has a predetermined pattern; And
And outputting a discrimination value indicating that the input image has a predetermined pattern if it is determined that the input image has a predetermined pattern.
마이크로 디스플레이를 포함하는 스마트 기기에 있어서,
입력 영상을 기초로 생성된 이진화 썸네일들 간의 차를 연산하여 상기 입력 영상이 2차원 영상 인지 3차원 영상인지를 판별하는 영상 타입 판별 장치; 및
상기 영상 타입 판별 장치의 판별 결과에 따라 디스플레이 모드들을 전환하는 디스플레이 모드 전환 장치를 포함하며,
상기 영상 타입 판별 장치는,
입력 영상으로부터 복수개의 부분 영상들을 추출하는 영상 획득부,
상기 복수개의 부분 영상들을 각각 다운 스케일링하여 복수개의 썸네일들을 생성하는 다운 스케일링부,
상기 복수개의 썸네일들을 이용하여 이진화용 임계값을 산출하는 이진화용 임계값 산출부,
상기 산출된 이진화용 임계값에 기초하여 상기 복수개의 썸네일들을 복수개의 이진화 썸네일들로 변환하는 이진화 썸네일 생성부, 및
상기 복수개의 이진화 썸네일들 사이의 차이값들을 산출하여 합산하고, 상기 차이값들의 합산 값이 판별 기준값 이하인 경우 상기 입력 영상을 3차원 영상으로 판별하는 영상 타입 판별부를 포함하는 스마트 기기.
In a smart device including a microdisplay,
An image type discrimination device for discriminating whether the input image is a two-dimensional image or a three-dimensional image by calculating a difference between binarized thumbnails generated based on an input image; And
And a display mode switching device for switching display modes according to the discrimination result of the image type discrimination device,
Wherein the image type determination device comprises:
An image acquiring unit for extracting a plurality of partial images from the input image,
A downscaling unit for downscaling each of the plurality of partial images to generate a plurality of thumbnails,
A binarization threshold value calculation unit for calculating a binarization threshold value using the plurality of thumbnails,
A binarization thumbnail generator for transforming the plurality of thumbnails into a plurality of binarization thumbnails based on the binarization threshold;
And a video type determination unit for determining and summing difference values between the plurality of binarization thumbnails and determining the input video as a three-dimensional video when the sum of the difference values is less than or equal to a discrimination reference value.
삭제delete 청구항 13에 있어서, 상기 영상 타입 판별부는 상기 입력 영상이 미리 결정된 패턴을 갖는 지를 판단하고, 상기 입력 영상이 미리 결정된 패턴을 가는 것으로 판단되면 상기 입력 영상이 미리 결정된 패턴을 가지고 있음을 나타내는 판별값을 출력하는 스마트 기기.
14. The apparatus of claim 13, wherein the image type determination unit determines whether the input image has a predetermined pattern, and determines whether the input image has a predetermined pattern if it is determined that the input image has a predetermined pattern Smart device to output.
청구항 15에 있어서, 상기 디스플레이 모드 전환 장치는 상기 영상 타입 판별부로부터 상기 입력 영상이 미리 결정된 패턴을 가지고 있음을 나타내는 판별값 수신하면, 상기 미리 결정된 패턴에 대응하는 디스플레이 모드로 전환하는 스마트 기기.16. The smart device according to claim 15, wherein the display mode switching device switches to a display mode corresponding to the predetermined pattern upon receiving a discrimination value indicating that the input image has a predetermined pattern, from the image type discriminating part.
KR1020160166353A 2016-12-08 2016-12-08 Apparatus and method for determining image type and smart device including the apparatus KR101814174B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160166353A KR101814174B1 (en) 2016-12-08 2016-12-08 Apparatus and method for determining image type and smart device including the apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166353A KR101814174B1 (en) 2016-12-08 2016-12-08 Apparatus and method for determining image type and smart device including the apparatus

Publications (1)

Publication Number Publication Date
KR101814174B1 true KR101814174B1 (en) 2018-01-02

Family

ID=61004362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166353A KR101814174B1 (en) 2016-12-08 2016-12-08 Apparatus and method for determining image type and smart device including the apparatus

Country Status (1)

Country Link
KR (1) KR101814174B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012132417A1 (en) * 2011-03-28 2012-10-04 パナソニック株式会社 Playback device, playback method, and computer program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012132417A1 (en) * 2011-03-28 2012-10-04 パナソニック株式会社 Playback device, playback method, and computer program

Similar Documents

Publication Publication Date Title
KR101420681B1 (en) Method and apparatus for generating the depth map of video image
KR101065230B1 (en) Rendering 3d video images on a stereo-enabled display
JP5750505B2 (en) 3D image error improving method and apparatus
JP5587894B2 (en) Method and apparatus for generating a depth map
CN102972038B (en) Image processing apparatus, image processing method, program, integrated circuit
JP6412690B2 (en) Method for obtaining depth information and display device
KR20100002032A (en) Image generating method, image processing method, and apparatus thereof
EP2757789A1 (en) Image processing system, image processing method, and image processing program
US11232625B2 (en) Image processing
CN101223552A (en) Video processing method and device for depth extraction
JP2013527646A5 (en)
KR20110113924A (en) Image converting device and three dimensional image display device including the same
CN110140151A (en) Device and method for generating light intensity image
JP5755571B2 (en) Virtual viewpoint image generation device, virtual viewpoint image generation method, control program, recording medium, and stereoscopic display device
KR101797035B1 (en) Method for converting overlaying area into 3D image and apparatus thereof
TWI786107B (en) Apparatus and method for processing a depth map
CN104982032B (en) The method and apparatus of 3D rendering data segmentation
KR101814174B1 (en) Apparatus and method for determining image type and smart device including the apparatus
JP2014072809A (en) Image generation apparatus, image generation method, and program for the image generation apparatus
US12081722B2 (en) Stereo image generation method and electronic apparatus using the same
KR20130060978A (en) Method of 3-d video quality enhancement by dynamic configuration of depth map based on moving objects and apparatus for the same
CN105513113B (en) A kind of image processing method and electronic equipment
JP7118913B2 (en) Display device, display method and program
KR101626679B1 (en) Method for generating stereoscopic image from 2D image and for medium recording the same
JP2011199382A (en) Image evaluation apparatus, method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant