KR20190059091A - Method and apparatus for generating plenoptic image - Google Patents

Method and apparatus for generating plenoptic image Download PDF

Info

Publication number
KR20190059091A
KR20190059091A KR1020170156690A KR20170156690A KR20190059091A KR 20190059091 A KR20190059091 A KR 20190059091A KR 1020170156690 A KR1020170156690 A KR 1020170156690A KR 20170156690 A KR20170156690 A KR 20170156690A KR 20190059091 A KR20190059091 A KR 20190059091A
Authority
KR
South Korea
Prior art keywords
source
image
planar optical
pixel
optical image
Prior art date
Application number
KR1020170156690A
Other languages
Korean (ko)
Inventor
배성준
김도형
김재우
박성진
장호욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170156690A priority Critical patent/KR20190059091A/en
Publication of KR20190059091A publication Critical patent/KR20190059091A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are a method and an apparatus for generating a plenoptic image which can generate plenoptic image content by using general image content. According to an embodiment of the present invention, the method for generating a plenoptic image comprises the processes of: receiving at least one original image; converting the at least one source image into a plurality of source images configuring a plenoptic image, wherein the conversion is performed by considering a position relation of a plurality of virtual cameras corresponding to each of the plurality of source images and focus information of the plurality of source images based on the position relation of the plurality of virtual cameras; and reflecting the position relation of the plurality of virtual cameras and the focus information of the plurality of source images to configure the plenoptic image.

Description

플렌옵틱 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING PLENOPTIC IMAGE}METHOD AND APPARATUS FOR GENERATING PLENOPTIC IMAGE < RTI ID = 0.0 >

본 개시는 영상 처리 기술에 관한 것이며, 보다 구체적으로는 플렌옵틱 영상의 기초가 되는 소스 영상을 생성하는 방법 및 장치에 대한 것이다.This disclosure relates to image processing techniques, and more particularly, to a method and apparatus for generating source images that are the basis of planar optical images.

인공 시각(머신 비전, machine vision)과 같은 어플리케이션에서는 빠르게 변화하는 조명 조건, 특히 어두운 조명과 흐릿한(blurry) 환경, 연기, 안개, 눈부심 및 수중 조건 등 다양한 악조건들로 인하여 현재 개발된 가장 복잡한 인공 시각 알고리즘을 이용하더라도 제대로 된 영상 인식 결과값을 얻어내지 못할 수 있다.In applications such as artificial vision (machine vision), the most complex artificial visuals currently being developed due to a variety of adverse conditions, such as rapidly changing lighting conditions, especially dark lighting and blurry environments, smoke, fog, glare and underwater conditions It may not be possible to obtain a proper image recognition result even if an algorithm is used.

이상적인 조건 하에서도, 복잡하고 비구조적인 환경, 예를 들어 곧은 엣지, 엣지가 없는 물체 또는 부드러운 물체도 일반적인 환경을 위하여 개발된 인공 시각 알고리즘의 연산을 방해할 수 있다.Even under ideal conditions, complex and unstructured environments, such as straight edges, non-edge or soft objects, can interfere with the operation of artificial vision algorithms developed for the general environment.

일반적인 카메라는 인공 시각을 처리하기 위해서는 꼭 필요한 장치이지만 비이상적 환경 조건에서의 인공 시각알고리즘은 굉장히 복잡하여 알고리즘을 단순화하는 기술이 필요한 실정이다.Although a general camera is a necessary device for processing artificial vision, artificial vision algorithm in a non-ideal environment condition is very complicated and a technique for simplifying the algorithm is needed.

최근에 '플렌옵틱(plenoptic) 카메라'라는 새로운 개념의 카메라가 연구되고 있다. 플렌옵틱 카메라는 광 필드(light field) 카메라로 불려지기도 하며, 마이크로 렌즈 어레이(통상적으로 렌티큘러 렌즈 어레이) 또는 광 부호화 마스크(light coded mask)를 이용하여 장면에 대한 4D 광 필드 정보를 캡처한다.Recently, a new concept camera called "plenoptic camera" is being studied. Plane-optic cameras are often referred to as light field cameras and capture 4D optical field information for a scene using a microlens array (typically a lenticular lens array) or a light coded mask.

플렌옵틱 카메라는 카메라 렌즈와 영상 센서 사이에 마이크로 렌즈 어레이를 두고, 마이크로 렌즈 어레이가 약간 다른 시점으로부터 찍은 다수의 많은 소스 영상들을 생성한다. 그리고, 영상 센서에서 빛의 초점을 재조정한 다음, 다수의 많은 소스 영상들의 초점이나 시점을 조정한 플렌옵틱 영상 컨텐츠를 생성 및 제공할 수 있다.The planar optical camera has a microlens array between the camera lens and the image sensor and produces a large number of source images taken from slightly different viewpoints of the microlens array. Then, after the focus of the light is re-adjusted by the image sensor, the planar-optic image contents can be generated and provided by adjusting the focus or the viewpoint of a number of many source images.

이러한, 플렌옵틱 영상 컨텐츠는 공간 상에서 빛이 진행하는 각도에 따라 독립된 영상 정보를 구비하는 복수의 소스 영상을 기반으로 생성되므로, 촬영이 완료된 이후에도 촬영된 공간상의 임의의 위치나 초점거리에 해당하는 영상을 자유롭게 생성하는 등, 컨텐츠의 사후 활용도가 높다는 장점이 있다. Since the planar optical image contents are generated on the basis of a plurality of source images having independent image information according to an angle at which the light travels in the space, even when the photographing is completed, an image corresponding to an arbitrary position or a focal distance And the post-utilization of the content is high.

그러나, 플렌옵틱 영상 컨텐츠를 생성하기 위해서는, 복잡한 구조를 구비하는 플렌옵틱 카메라가 요구된다는 문제가 있다.However, there is a problem that a planar optical camera having a complicated structure is required to generate plane optical image contents.

본 개시의 기술적 과제는 일반적인 영상 컨텐츠를 사용하여 플렌옵틱 영상 컨텐츠를 생성할 수 있는 방법 및 장치를 제공하는 것이다. SUMMARY OF THE INVENTION The present invention provides a method and apparatus for generating planar image content using general image content.

본 개시의 다른 기술적 과제는 일반적인 영상 컨텐츠를 사용하여 플렌옵틱 영상 컨텐츠의 기초가 되는 소스 영상을 용이하게 생성할 수 있는 방법 및 장치를 제공하는 것이다.It is another object of the present invention to provide a method and apparatus for easily generating a source image that is a basis of planar image contents using general image contents.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical objects to be achieved by the present disclosure are not limited to the above-mentioned technical subjects, and other technical subjects which are not mentioned are to be clearly understood from the following description to those skilled in the art It will be possible.

본 개시의 일 양상에 따르면 플렌옵틱 영상 생성 방법이 제공될 수 있다. 상기 방법은 적어도 하나의 원본 영상을 입력받는 과정과, 상기 적어도 하나의 원본 영상을, 플렌옵틱 영상을 구성하는 복수의 소스 영상으로 변환하되, 상기 복수의 소스 영상에 각각 대응되는 복수의 가상 카메라의 위치관계, 및 상기 복수의 가상 카메라의 위치관계에 기초한 상기 복수의 소스 영상의 초점정보를 고려하여 변환하는 과정, 상기 복수의 가상 카메라의 위치관계 및 상기 복수의 소스 영상의 초점정보를 반영하여, 상기 플렌옵틱 영상을 구성하는 과정을 포함할 수 있다.According to an aspect of the present disclosure, a planar optical image generation method can be provided. The method includes the steps of receiving at least one original image, converting the at least one original image into a plurality of source images constituting a planar optical image, A positional relationship between the plurality of virtual cameras and the focus information of the plurality of source images based on the positional relationship of the plurality of virtual cameras; And constructing the planar optical image.

본 개시의 다른 양상에 따르면 플렌옵틱 영상 생성 장치가 제공될 수 있다. 상기 장치는 플렌옵틱 영상을 구성하는 복수의 소스 영상 사이의 관계를 저장하되, 상기 복수의 소스 영상에 각각 대응되는 복수의 가상 카메라의 위치관계, 및 상기 복수의 소스 영상의 플렌옵틱 영상 공간에서의 배열 관계, 상기 복수의 가상 카메라의 위치관계와 상기 플렌옵틱 영상 공간에서의 배열 관계에 기초한 상기 복수의 소스 영상의 초점정보를 저장하는 플렌옵틱 영상 설정 저장부와, 상기 플렌옵틱 영상 설정 저장부에 저장된 상기 복수의 소스 영상에 각각 대응되는 복수의 가상 카메라의 위치관계, 및 상기 복수의 가상 카메라의 위치관계에 기초한 상기 복수의 소스 영상의 초점정보를 고려하여, 적어도 하나의 원본 영상을 상기 복수의 소스 영상으로 변환하는 소스 영상 변환부와, 상기 복수의 가상 카메라의 위치관계 및 상기 복수의 소스 영상의 초점정보를 고려하여, 상기 복수의 소스 영상에 기초한 상기 플렌옵틱 영상을 구성하는 플렌옵틱 영상 구성부를 포함할 수 있다. According to another aspect of the present disclosure, a planar optical image generating apparatus can be provided. The apparatus stores a relationship between a plurality of source images constituting a planar optical image, the positional relationship of a plurality of virtual cameras respectively corresponding to the plurality of source images, Optic image storage unit for storing focal information of the plurality of source images based on the arrangement relationship, the positional relationship of the plurality of virtual cameras, and the arrangement relationship in the planar optical image space; Considering at least one source image based on positional relationships of a plurality of virtual cameras respectively corresponding to the stored plurality of source images and focus information of the plurality of source images based on a positional relationship between the plurality of virtual cameras, A source image converting unit for converting the source image into a source image, a positional relationship between the plurality of virtual cameras, And a planar optical image constructing unit configured to construct the planar optical image based on the plurality of source images in consideration of the focus information of the image.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above for this disclosure are only exemplary aspects of the detailed description of the disclosure which follow, and are not intended to limit the scope of the disclosure.

본 개시에 따르면, 플렌옵틱 카메라와 같은 복잡한 장비를 사용하지 않고, 일반적인 영상 컨텐츠를 사용하여 플렌옵틱 영상 컨텐츠를 생성할 수 있는 방법 및 장치가 제공될 수 있다.According to the present disclosure, a method and apparatus for generating planar optical image contents using general image contents without using complicated equipment such as a planar optical camera can be provided.

또한, 본 개시에 따르면, 플렌옵틱 카메라와 같은 복잡한 장비를 사용하지 않더라도, 일반적인 영상 컨텐츠를 사용하여 플렌옵틱 영상 컨텐츠의 기초가 되는 소스 영상을 생성하는 방법 및 장치가 제공될 수 있다.Also, according to the present disclosure, a method and apparatus for generating a source image that is a basis of planar image contents using general image contents can be provided without using complicated equipment such as a planar optical camera.

또한, 본 개시에 따르면, 기존에 존재하는 영상 컨텐츠를 사용하여 플렌옵틱 영상 컨텐츠를 생성하도록 함으로써, 기존에 존재하는 영상 컨텐츠를 다양하게 활용할 수 있는 효과가 있다. In addition, according to the present disclosure, it is possible to utilize existing image contents in various ways by generating plane optical image contents using existing image contents.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable from the present disclosure are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below will be.

도 1은 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 장치의 구성을 도시하는 블록도이다.
도 2a는 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 장치에서 참조되는 복수의 카메라의 배열 관계를 예시하는 도면이다.
도 2b는 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 장치에서 참조되는 복수의 카메라와, 복수의 카메라에서 촬영되는 소스 영상의 관계를 예시하는 도면이다.
도 2c는 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 장치에서 참조되는 복수의 소스 영상의 플렌옵틱 영상 공간에서의 위치관계 및 초점정보를 예시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 방법의 순서를 도시하는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다. 1 is a block diagram showing a configuration of a plane optical image generating apparatus according to an embodiment of the present disclosure.
FIG. 2A is a diagram illustrating an arrangement relationship of a plurality of cameras that are referred to in the planar optical image generating apparatus according to an embodiment of the present disclosure.
2B is a diagram illustrating a relationship between a plurality of cameras that are referred to in the planar optical image generating apparatus according to an embodiment of the present disclosure and source images captured by a plurality of cameras.
FIG. 2C is a diagram illustrating positional relationship and focus information in a plane-optic image space of a plurality of source images referred to in the planar-optical image generating apparatus according to an embodiment of the present disclosure.
3 is a flowchart showing a procedure of a planar optical image generating method according to an embodiment of the present disclosure.
4 is a block diagram illustrating a computing system for implementing a method and apparatus for generating planen-optical images in accordance with an embodiment of the present disclosure.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, which will be easily understood by those skilled in the art. However, the present disclosure may be embodied in many different forms and is not limited to the embodiments described herein.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear. Parts not related to the description of the present disclosure in the drawings are omitted, and like parts are denoted by similar reference numerals.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present disclosure, when an element is referred to as being "connected", "coupled", or "connected" to another element, it is understood that not only a direct connection relationship but also an indirect connection relationship May also be included. Also, when an element is referred to as " comprising " or " having " another element, it is meant to include not only excluding another element but also another element .

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다. In the present disclosure, the terms first, second, etc. are used only for the purpose of distinguishing one element from another, and do not limit the order or importance of elements, etc. unless specifically stated otherwise. Thus, within the scope of this disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly a second component in one embodiment may be referred to as a first component .

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components that are distinguished from each other are intended to clearly illustrate each feature and do not necessarily mean that components are separate. That is, a plurality of components may be integrated into one hardware or software unit, or a single component may be distributed into a plurality of hardware or software units. Thus, unless otherwise noted, such integrated or distributed embodiments are also included within the scope of this disclosure.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components described in the various embodiments are not necessarily essential components, and some may be optional components. Thus, embodiments consisting of a subset of the components described in one embodiment are also included within the scope of the present disclosure. Also, embodiments that include other elements in addition to the elements described in the various embodiments are also included in the scope of the present disclosure.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings.

도 1은 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 장치의 구성을 도시하는 블록도이다.1 is a block diagram showing a configuration of a plane optical image generating apparatus according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 장치(10)는 플렌옵틱 영상 설정 저장부(11), 소스 영상 변환부(13), 및 플렌옵틱 영상 구성부(15)를 구비할 수 있다.The planar optical image generating apparatus 10 according to an embodiment of the present disclosure may include a planar optical image setting storage unit 11, a source image converting unit 13, and a planar optical image forming unit 15.

플렌옵틱 영상 설정 저장부(11)는 플렌옵틱 영상과 복수의 소스 영상 사이의 관계를 저장할 수 있다. The plane optical image setting storage unit 11 may store the relationship between the plane optical image and a plurality of source images.

구체적으로, 미리 정해진 규칙에 의해 배열된 복수의 카메라에 의해 촬영되는 소스 영상을 조합하여 플렌옵틱 영상을 구성할 수 있다. 예를 들면, 복수의 카메라(200)는 도 2a에 예시되는 바와 같이 N×M개(N, M은 자연수 임)의 카메라가 미리 정해진 간격을 두고 규칙적으로 배열되도록 고정되어 구비될 수 있다. 이와 같이, 배열된 복수의 카메라(200)는 각각 영상을 촬영하여 제공할 수 있으며, 이렇게 촬영된 복수의 영상(210, 220, 도 2b 참조)은 플렌옵틱 영상을 구성하는 소스 영상으로 사용될 수 있다. 나아가, 복수의 카메라(200)의 촬영환경, 예컨대, 화각, 촬영 방향, 해상도, 촬영 감도(ISO), 렌즈 밝기 등은 동일하게 설정될 수 있으며, 이에 따라, 복수의 카메라(200)를 통해 쵤영되는 복수의 소스 영상은 동일한 촬영환경이 반영된 영상이 획득될 수 있다.Specifically, a planar optical image can be constructed by combining source images photographed by a plurality of cameras arranged by predetermined rules. For example, the plurality of cameras 200 may be fixedly provided so as to regularly arrange N × M cameras (N and M are natural numbers) at predetermined intervals as illustrated in FIG. 2A. As described above, the plurality of cameras 200 arranged can provide images, respectively, and the captured plurality of images 210 and 220 (see FIG. 2B) can be used as the source images constituting the planar optical image . Further, the photographing environments of the plurality of cameras 200, for example, the angle of view, the photographing direction, the resolution, the photographing sensitivity ISO, and the lens brightness can be set to be the same, An image in which the same shooting environment is reflected can be obtained from a plurality of source images.

또한, 복수의 카메라(200)의 배열 상태에 따라, 복수의 카메라(200)를 통해 쵤영되는 복수의 소스 영상은 서로 다른 영역 또는 피사체가 촬영된 영상을 포함할 수 있다. 이를 고려하여, 플렌옵틱 영상에는 촬영된 복수의 소스 영상의 배열 상태가 반영될 수 있으며, 특히, 복수의 소스 영상(231, 232, 233, 234, 235, 도 2c 참조)이 플렌옵틱 영상 공간(250)에 재배열될 수 있다. 이와 같이, 복수의 소스 영상이 플렌옵틱 영상 공간(250)에 재배열됨으로써, 복수의 소스 영상(231, 232, 233, 234, 235) 각각의 초점 영역은 서로 다르게 설정될 수 있다.In addition, depending on the arrangement state of the plurality of cameras 200, a plurality of source images shot through the plurality of cameras 200 may include different regions or images in which the subject is photographed. In particular, a plurality of source images (231, 232, 233, 234, 235, and 2c) are stored in the planar optical image space 250). As described above, the plurality of source images are rearranged in the planar optical image space 250, so that the focus areas of the plurality of source images 231, 232, 233, 234, and 235 can be set to be different from each other.

전술한 바를 고려하여, 플렌옵틱 영상 설정 저장부(11)는 가상의 카메라 배열과, 가상의 카메라로부터 획득되는 소스 영상과의 관계를 정의하여 저장할 수 있다. 즉, 플렌옵틱 영상 설정 저장부(11)는 복수의 가상 카메라의 배열 관계 또는 위치 관계를 정의하여 저장할 수 있다. 그리고, 플렌옵틱 영상 설정 저장부(11)는 복수의 소스 영상의 플렌옵틱 영상 공간에서의 배열 관계, 및 복수의 가상 카메라의 배열 관계 또는 위치관계와 상기 플렌옵틱 영상 공간에서의 배열 관계에 기초한 상기 복수의 소스 영상의 초점정보를 저장할 수 있다.In consideration of the above, the planar optical image setting storage unit 11 may define and store the relationship between the virtual camera arrangement and the source image acquired from the virtual camera. In other words, the planar-optic image setting storage unit 11 may define and store the arrangement relationship or the positional relationship of a plurality of virtual cameras. The planar optical image setting storage unit 11 stores the arrangement relationship in the planar optical image space of the plurality of source images and the arrangement relationship or the positional relationship of the plurality of virtual cameras and the arrangement relationship in the planar optical image space The focus information of a plurality of source images can be stored.

소스 영상 변환부(13)는 플렌옵틱 영상 설정 저장부(11)에 저장된 복수의 가상 카메라의 배열 관계 또는 위치 관계를 확인할 수 있다. 그리고, 소스 영상 변환부(13)는 복수의 소스 영상의 플렌옵틱 영상 공간에서의 배열 관계, 및 복수의 가상 카메라에 대응되는 복수의 소스 영상의 초점정보를 확인할 수 있다. 소스 영상 변환부(13)는 전술한 정보에 기초하여, 원본 영상을 복수의 소스 영상으로 변환할 수 있다. The source image converting unit 13 can confirm the arrangement relationship or the positional relation of the plurality of virtual cameras stored in the planar optical image setting storage unit 11. [ Then, the source image converting unit 13 can confirm the arrangement relationship of the plurality of source images in the planar optical image space, and the focus information of a plurality of source images corresponding to the plurality of virtual cameras. The source image converting unit 13 can convert the source image into a plurality of source images based on the above-described information.

예컨대, 소스 영상 변환부(13)는 상기 원본 영상에 구비된 원본 화소의 값에, 상기 소스 영상에 대응되는 가상 카메라의 위치관계 및 상기 가상 카메라의 위치관계에 기초한 상기 소스 영상의 초점정보를 반영하여, 상기 소스 영상에 구비되는 소스 화소의 값을 생성할 수 있다. For example, the source image converting unit 13 reflects the focal information of the source image based on the positional relationship of the virtual camera corresponding to the source image and the positional relationship of the virtual camera, with the value of the source pixel included in the source image And generate a value of a source pixel included in the source image.

또한, 소스 영상 변환부(13)는 미리 정해진 규칙에 따라 배열된 상기 복수의 가상 카메라 중, 기준 카메라를 설정하고, 상기 기준 카메라로부터 상기 소스 영상에 대응되는 가상 카메라까지의 거리를 산출할 수 있다. Further, the source image converting unit 13 may set a reference camera among the plurality of virtual cameras arranged in accordance with a predetermined rule, and calculate the distance from the reference camera to the virtual camera corresponding to the source image .

예컨대, 소스 영상 변환부(13)는 하기의 수학식 1의 연산을 통해 복수의 소스 영상을 생성할 수 있다.For example, the source image transforming unit 13 can generate a plurality of source images through the operation of Equation (1).

Figure pat00001
Figure pat00001

원본 영상 및 소스 영상은 x×y개의 화소를 구비하는 해상도로 이루어지며, Pi(x, y)는 i번째 카메라에 대응되는 소스 영상에 구비된 x,y 좌표에 대응되는 소스 화소의 밝기 값을 나타내고, 원본 영상의 x,y좌표에 대응되는 원본 화소의 밝기 값을 나타낸다. 그리고, CR은 (CxR, CyR)로 표시될 수 있으며, 기준 가상 카메라의 x,y 좌표에 대응되는 위치를 나타내고, Ci는 (Cxi, Cyi)로 표시될 수 있으며, i번째 가상 카메라의 x,y 좌표에 대응되는 위치를 나타낸다. 그리고, μ는 소스 영상의 초점 위치를 나타낸다.The original image and the source image have a resolution including x x y pixels, and P i (x, y) represents a brightness value of a source pixel corresponding to x, y coordinates provided in the source image corresponding to the i- And represents the brightness value of the original pixel corresponding to the x, y coordinates of the original image. C R can be expressed as (C x R , Cy R ) and represents a position corresponding to the x, y coordinates of the reference virtual camera, C i can be expressed as (C x i , Cy i ) Represents the position corresponding to the x, y coordinates of the second virtual camera. And, μ represents the focus position of the source image.

한편, 플렌옵틱 영상 구성부(15)는 플렌옵틱 영상 설정 저장부(11)에 저장된 정보, 즉, 가상의 카메라의 배열 또는 위치 관계, 복수의 가상 카메라에 대응되는 복수의 소스 영상의 플렌옵틱 영상 공간에서의 배치 관계, 복수의 소스 영상의 초점 정보 등을 확인할 수 있다. 그리고, 플렌옵틱 영상 구성부(15)는 플렌옵틱 영상 설정 저장부(11)로부터 확인된 정보를, 상기 복수의 소스 영상에 반영하여 플렌옵틱 영상을 구성할 수 있다.On the other hand, the planar optical image constructing unit 15 constructs a planar optical image of the source image corresponding to a plurality of virtual cameras, that is, information stored in the planar optical image setting storage unit 11, The placement relationship in the space, the focus information of a plurality of source images, and the like can be confirmed. The planar optical image forming unit 15 can construct the planar optical image by reflecting the information confirmed from the planar optical image setting storage unit 11 to the plurality of source images.

도 3은 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 방법의 순서를 도시하는 흐름도이다.3 is a flowchart showing a procedure of a planar optical image generating method according to an embodiment of the present disclosure.

플렌옵틱 영상 생성 방법은 전술한 플렌옵틱 영상 생성 장치에 의해 수행될 수 있다. The planen-optical image generating method may be performed by the planen-optical image generating apparatus described above.

우선, 플렌옵틱 영상 생성 방법은 플렌옵틱 영상 생성하기 위한 준비 동작으로서, 플렌옵틱 영상과, 플렌옵틱 영상을 구성하는 복수의 소스 영상 사이의 관계를 정의하여 저장할 수 있다(S31). First, a planar-optic image generation method is a preparation operation for generating planar-optic images. The relationship between the planar-optic image and a plurality of source images constituting the planar-optic image can be defined and stored (S31).

예를 들어, 미리 정해진 규칙에 의해 배열된 복수의 카메라에 의해 촬영되는 소스 영상을 조합하여 플렌옵틱 영상을 구성할 수 있는데, 복수의 카메라는 도 2a에 예시되는 바와 같이 N*M개(N, M은 자연수 임)의 카메라가 미리 정해진 간격을 두고 규칙적으로 배열되도록 고정되어 구비될 수 있다. 이와 같이, 배열된 복수의 카메라(200)는 각각 영상을 촬영하여 제공할 수 있으며, 이렇게 촬영된 복수의 영상(210, 220, 도 2b 참조)은 플렌옵틱 영상을 구성하는 소스 영상으로 사용될 수 있다. 나아가, 복수의 카메라(200)의 촬영환경, 예컨대, 화각, 촬영 방향, 해상도, 촬영 감도(ISO), 렌즈 밝기 등은 동일하게 설정될 수 있으며, 이에 따라, 복수의 카메라(200)를 통해 쵤영되는 복수의 소스 영상은 동일한 촬영환경이 반영된 영상이 획득될 수 있다. 또한, 복수의 카메라(200)의 배열 상태에 따라, 복수의 카메라(200)를 통해 쵤영되는 복수의 소스 영상은 서로 다른 영역 또는 피사체가 촬영된 영상을 포함할 수 있다. 이를 고려하여, 플렌옵틱 영상에는 촬영된 복수의 소스 영상의 배열 상태가 반영될 수 있으며, 특히, 복수의 소스 영상(231, 232, 233, 234, 235, 도 2c 참조)이 플렌옵틱 영상 공간(250)에 재배열될 수 있다. 이와 같이, 복수의 소스 영상이 플렌옵틱 영상 공간(250)에 재배열됨으로써, 복수의 소스 영상(231, 232, 233, 234, 235) 각각의 초점 영역은 서로 다르게 설정될 수 있다.For example, it is possible to construct a planar optical image by combining source images photographed by a plurality of cameras arranged by a predetermined rule. The plurality of cameras may include N * M (N, And M is a natural number) may be fixedly provided so as to be regularly arranged at predetermined intervals. As described above, the plurality of cameras 200 arranged can provide images, respectively, and the captured plurality of images 210 and 220 (see FIG. 2B) can be used as the source images constituting the planar optical image . Further, the photographing environments of the plurality of cameras 200, for example, the angle of view, the photographing direction, the resolution, the photographing sensitivity ISO, and the lens brightness can be set to be the same, An image in which the same shooting environment is reflected can be obtained from a plurality of source images. In addition, depending on the arrangement state of the plurality of cameras 200, a plurality of source images shot through the plurality of cameras 200 may include different regions or images in which the subject is photographed. In particular, a plurality of source images (231, 232, 233, 234, 235, and 2c) are stored in the planar optical image space 250). As described above, the plurality of source images are rearranged in the planar optical image space 250, so that the focus areas of the plurality of source images 231, 232, 233, 234, and 235 can be set to be different from each other.

전술한 바를 고려하여, S31단계에서 플렌옵틱 영상 생성 장치는 가상의 카메라 배열과, 가상의 카메라로부터 획득되는 소스 영상과의 관계를 정의하여 저장할 수 있다. 즉, 플렌옵틱 영상 생성 장치는 복수의 가상 카메라의 배열 관계 또는 위치 관계를 정의하여 저장할 수 있다. 그리고, 플렌옵틱 영상 생성 장치는 복수의 소스 영상의 플렌옵틱 영상 공간에서의 배열 관계, 및 복수의 가상 카메라의 배열 관계 또는 위치관계와 상기 플렌옵틱 영상 공간에서의 배열 관계에 기초한 상기 복수의 소스 영상의 초점정보를 저장할 수 있다.In consideration of the above, in step S31, the planar optical image generation apparatus may define and store the relationship between the virtual camera array and the source image acquired from the virtual camera. That is, the planar optical image generating apparatus can define and store the arrangement relationship or positional relationship of a plurality of virtual cameras. The planar optical image generating apparatus further includes a plurality of source images based on the arrangement relationship of the plurality of source images in the planar optical image space and the arrangement relationship or positional relationship between the plurality of virtual cameras and the arrangement relationship in the planar optical image space. Can be stored.

S32 단계에서, 플렌옵틱 영상 생성 장치는 S31 단계에서 저장된 복수의 가상 카메라의 배열 관계 또는 위치 관계를 확인할 수 있다. 그리고, 플렌옵틱 영상 생성 장치는 복수의 소스 영상의 플렌옵틱 영상 공간에서의 배열 관계, 및 복수의 가상 카메라에 대응되는 복수의 소스 영상의 초점정보를 확인할 수 있다. 플렌옵틱 영상 생성 장치는 전술한 정보에 기초하여, 원본 영상을 복수의 소스 영상으로 변환할 수 있다. In step S32, the planar-optical-image generating device can confirm the arrangement relationship or the positional relationship of the plurality of virtual cameras stored in step S31. The planar optical image generating apparatus can confirm the arrangement relationship of the plurality of source images in the planar optical image space and the focus information of a plurality of source images corresponding to the plurality of virtual cameras. The planar optical image generating apparatus can convert the original image into a plurality of source images based on the above-described information.

예컨대, 플렌옵틱 영상 생성 장치는 상기 원본 영상에 구비된 원본 화소의 값에, 상기 소스 영상에 대응되는 가상 카메라의 위치관계 및 상기 가상 카메라의 위치관계에 기초한 상기 소스 영상의 초점정보를 반영하여, 상기 소스 영상에 구비되는 소스 화소의 값을 생성할 수 있다. For example, the planar-optical image generation device may reflect the focus information of the source image based on the positional relationship of the virtual camera corresponding to the source image and the positional relationship of the virtual camera, with the value of the original pixel included in the original image, A value of a source pixel included in the source image can be generated.

또한, 플렌옵틱 영상 생성 장치는 미리 정해진 규칙에 따라 배열된 상기 복수의 가상 카메라 중, 기준 카메라를 설정하고, 상기 기준 카메라로부터 상기 소스 영상에 대응되는 가상 카메라까지의 거리를 산출할 수 있다. The planar optical image generating apparatus may set a reference camera among the plurality of virtual cameras arranged in accordance with a predetermined rule and calculate a distance from the reference camera to a virtual camera corresponding to the source image.

예컨대, 플렌옵틱 영상 생성 장치는 전술한 수학식 1의 연산을 통해 복수의 소스 영상을 생성할 수 있다.For example, the plane optical image generating apparatus can generate a plurality of source images through the operation of Equation (1).

한편, S33 단계에서, 플렌옵틱 영상 생성 장치는 저장된 정보, 즉, 가상의 카메라의 배열 또는 위치 관계, 복수의 가상 카메라에 대응되는 복수의 소스 영상의 플렌옵틱 영상 공간에서의 배치 관계, 복수의 소스 영상의 초점 정보 등을 확인할 수 있다. 그리고, 플렌옵틱 영상 생성 장치는 확인된 정보를, 상기 복수의 소스 영상에 반영하여 플렌옵틱 영상을 구성할 수 있다.On the other hand, in step S33, the planar optical image generating apparatus generates the planar information based on the stored information, that is, the arrangement or positional relationship of the virtual cameras, the arrangement relationship of the plurality of source images corresponding to the plurality of virtual cameras in the planar optical image space, The focus information of the image can be confirmed. In addition, the planar optical image generating apparatus can construct the planar optical image by reflecting the confirmed information on the plurality of source images.

도 4는 본 개시의 일 실시예에 따른 플렌옵틱 영상 생성 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다. 4 is a block diagram illustrating a computing system for implementing a method and apparatus for generating planen-optical images in accordance with an embodiment of the present disclosure.

도 4를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.4, a computing system 1000 includes at least one processor 1100, a memory 1300, a user interface input device 1400, a user interface output device 1500, (1600), and a network interface (1700).

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다. The processor 1100 may be a central processing unit (CPU) or a memory device 1300 and / or a semiconductor device that performs processing for instructions stored in the storage 1600. Memory 1300 and storage 1600 may include various types of volatile or non-volatile storage media. For example, the memory 1300 may include a ROM (Read Only Memory) and a RAM (Random Access Memory).

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.Thus, the steps of a method or algorithm described in connection with the embodiments disclosed herein may be embodied directly in hardware, in a software module executed by processor 1100, or in a combination of the two. The software module may reside in a storage medium (i.e., memory 1300 and / or storage 1600) such as a RAM memory, a flash memory, a ROM memory, an EPROM memory, an EEPROM memory, a register, a hard disk, a removable disk, You may. An exemplary storage medium is coupled to the processor 1100, which can read information from, and write information to, the storage medium. Alternatively, the storage medium may be integral to the processor 1100. [ The processor and the storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and the storage medium may reside as discrete components in a user terminal.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Although the exemplary methods of this disclosure are represented by a series of acts for clarity of explanation, they are not intended to limit the order in which the steps are performed, and if necessary, each step may be performed simultaneously or in a different order. In order to implement the method according to the present disclosure, the illustrative steps may additionally include other steps, include the remaining steps except for some steps, or may include additional steps other than some steps.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.The various embodiments of the disclosure are not intended to be all-inclusive and are intended to illustrate representative aspects of the disclosure, and the features described in the various embodiments may be applied independently or in a combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. In the case of hardware implementation, one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays A general processor, a controller, a microcontroller, a microprocessor, and the like.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present disclosure is to be accorded the broadest interpretation as understanding of the principles of the invention, as well as software or machine-executable instructions (e.g., operating system, applications, firmware, Instructions, and the like are stored and are non-transitory computer-readable medium executable on the device or computer.

Claims (10)

적어도 하나의 원본 영상을 입력받는 과정과,
상기 적어도 하나의 원본 영상을, 플렌옵틱 영상을 구성하는 복수의 소스 영상으로 변환하되, 상기 복수의 소스 영상에 각각 대응되는 복수의 가상 카메라의 위치관계, 및 상기 복수의 가상 카메라의 위치관계에 기초한 상기 복수의 소스 영상의 초점정보를 고려하여 변환하는 과정과,
상기 복수의 가상 카메라의 위치관계 및 상기 복수의 소스 영상의 초점정보를 반영하여, 상기 플렌옵틱 영상을 구성하는 과정을 포함하는 플렌옵틱 영상 생성 방법.
Receiving at least one original image;
And converting the at least one original image into a plurality of source images constituting a planar optical image, wherein the positional relationship of the plurality of virtual cameras corresponding to the plurality of source images and the positional relationship of the plurality of virtual cameras Converting the plurality of source images in consideration of the focus information;
And constructing the planar optical image by reflecting the positional relationship of the plurality of virtual cameras and the focus information of the plurality of source images.
제1항에 있어서,
상기 원본 영상에 구비된 원본 화소의 값에, 상기 소스 영상에 대응되는 가상 카메라의 위치관계 및 상기 가상 카메라의 위치관계에 기초한 상기 소스 영상의 초점정보를 반영하여, 상기 소스 영상에 구비되는 소스 화소의 값을 생성하는 과정을 포함하는 것을 특징으로 하는 플렌옵틱 영상 생성 방법.
The method according to claim 1,
A source pixel of the source image, a source pixel of the source image, a source pixel of the source image, a source pixel of the source image, And generating a value of the pixel value of the pixel.
제2항에 있어서,
상기 소스 영상에 구비되는 소스 화소의 값을 생성하는 과정은,
미리 정해진 규칙에 따라 배열된 상기 복수의 가상 카메라 중, 기준 카메라를 설정하고, 상기 기준 카메라로부터 상기 소스 영상에 대응되는 가상 카메라까지의 거리를 확인하는 과정을 포함하는 것을 특징으로 하는 플렌옵틱 영상 생성 방법.
3. The method of claim 2,
Wherein the step of generating the value of the source pixel included in the source image comprises:
Setting a reference camera among the plurality of virtual cameras arranged according to a predetermined rule and checking a distance from the reference camera to a virtual camera corresponding to the source image, Way.
제3항에 있어서,
상기 소스 영상에 구비되는 소스 화소의 값을 생성하는 과정은,
상기 소스 영상의 초점정보를 확인하는 과정을 포함하는 것을 특징으로 하는 플렌옵틱 영상 생성 방법.
The method of claim 3,
Wherein the step of generating the value of the source pixel included in the source image comprises:
And checking the focal information of the source image.
제3항에 있어서,
상기 소스 영상에 구비되는 소스 화소의 값을 생성하는 과정은,
상기 기준 카메라로부터 상기 소스 영상에 대응되는 상기 가상 카메라까지의 거리에 상기 소스 영상의 초점정보를 반영한 값을 생성하고, 생성된 값을 상기 원본 영상에 구비된 원본 화소의 값으로 적용하는 것을 특징으로 하는 플렌옵틱 영상 생성 방법.
The method of claim 3,
Wherein the step of generating the value of the source pixel included in the source image comprises:
A value reflecting the focus information of the source image at a distance from the reference camera to the virtual camera corresponding to the source image is generated and the generated value is used as a value of a source pixel included in the source image. A method of generating a planar optical image.
플렌옵틱 영상을 구성하는 복수의 소스 영상 사이의 관계를 저장하되, 상기 복수의 소스 영상에 각각 대응되는 복수의 가상 카메라의 위치관계, 및 상기 복수의 소스 영상의 플렌옵틱 영상 공간에서의 배열 관계, 상기 복수의 가상 카메라의 위치관계와 상기 플렌옵틱 영상 공간에서의 배열 관계에 기초한 상기 복수의 소스 영상의 초점정보를 저장하는 플렌옵틱 영상 설정 저장부와,
상기 플렌옵틱 영상 설정 저장부에 저장된 상기 복수의 소스 영상에 각각 대응되는 복수의 가상 카메라의 위치관계, 및 상기 복수의 가상 카메라의 위치관계에 기초한 상기 복수의 소스 영상의 초점정보를 고려하여, 적어도 하나의 원본 영상을 상기 복수의 소스 영상으로 변환하는 소스 영상 변환부와,
상기 복수의 가상 카메라의 위치관계 및 상기 복수의 소스 영상의 초점정보를 고려하여, 상기 복수의 소스 영상에 기초한 상기 플렌옵틱 영상을 구성하는 플렌옵틱 영상 구성부를 포함하는 플렌옵틱 영상 생성 장치.
Wherein a relationship between a plurality of source images constituting a planar optical image is stored, and a relation between a plurality of virtual cameras respectively corresponding to the plurality of source images and an arrangement relationship in the planar optical image space of the plurality of source images, A planar optical image setting storage unit for storing the focal information of the plurality of source images based on the positional relationship of the plurality of virtual cameras and the arrangement relationship in the planar optical image space,
Taking into consideration the positional relationship of the plurality of virtual cameras respectively corresponding to the plurality of source images stored in the planar optical image setting storage section and the focus information of the plurality of source images based on the positional relationship of the plurality of virtual cameras, A source image converter for converting one original image into the plurality of source images;
And a planar optical image constructing unit configured to construct the planar optical image based on the plurality of source images in consideration of the positional relationship of the plurality of virtual cameras and the focus information of the plurality of source images.
제6항에 있어서,
상기 소스 영상 변환부는,
상기 원본 영상에 구비된 원본 화소의 값에, 상기 소스 영상에 대응되는 가상 카메라의 위치관계 및 상기 가상 카메라의 위치관계에 기초한 상기 소스 영상의 초점정보를 반영하여, 상기 소스 영상에 구비되는 소스 화소의 값을 생성하는 것을 특징으로 하는 플렌옵틱 영상 생성 장치.
The method according to claim 6,
The source-
A source pixel of the source image, a source pixel of the source image, a source pixel of the source image, a source pixel of the source image, And a value of a pixel of interest is generated.
제7항에 있어서,
상기 소스 영상 변환부는,
미리 정해진 규칙에 따라 배열된 상기 복수의 가상 카메라 중, 기준 카메라를 설정하고, 상기 기준 카메라로부터 상기 소스 영상에 대응되는 가상 카메라까지의 거리를 산출하는 것을 특징으로 하는 플렌옵틱 영상 생성 장치.
8. The method of claim 7,
The source-
Wherein a reference camera is set among the plurality of virtual cameras arranged in accordance with a predetermined rule and a distance from the reference camera to a virtual camera corresponding to the source image is calculated.
제8항에 있어서,
상기 소스 영상 변환부는,
상기 플렌옵틱 영상 설정 저장부로부터, 상기 소스 영상의 초점정보를 확인하는 것을 특징으로 하는 플렌옵틱 영상 생성 장치.
9. The method of claim 8,
The source-
And the focus information of the source image is confirmed from the planar-optic image setting storage unit.
제8항에 있어서,
상기 소스 영상 변환부는,
상기 기준 카메라로부터 상기 소스 영상에 대응되는 상기 가상 카메라까지의 거리에 상기 소스 영상의 초점정보를 반영한 값을 생성하고, 생성된 값을 상기 원본 영상에 구비된 원본 화소의 값으로 적용하여, 상기 소스 영상에 구비되는 소스 화소의 값을 생성하는 것을 특징으로 하는 플렌옵틱 영상 생성 장치.9. The method of claim 8,
The source-
Generating a value reflecting the focal information of the source image at a distance from the reference camera to the virtual camera corresponding to the source image, applying the generated value to the value of the original pixel provided in the source image, And generates a value of a source pixel included in the image.
KR1020170156690A 2017-11-22 2017-11-22 Method and apparatus for generating plenoptic image KR20190059091A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170156690A KR20190059091A (en) 2017-11-22 2017-11-22 Method and apparatus for generating plenoptic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170156690A KR20190059091A (en) 2017-11-22 2017-11-22 Method and apparatus for generating plenoptic image

Publications (1)

Publication Number Publication Date
KR20190059091A true KR20190059091A (en) 2019-05-30

Family

ID=66675495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170156690A KR20190059091A (en) 2017-11-22 2017-11-22 Method and apparatus for generating plenoptic image

Country Status (1)

Country Link
KR (1) KR20190059091A (en)

Similar Documents

Publication Publication Date Title
KR102278776B1 (en) Image processing method, apparatus, and apparatus
TWI668997B (en) Image device for generating panorama depth images and related image device
US9338380B2 (en) Image processing methods for image sensors with phase detection pixels
US8508619B2 (en) High dynamic range image generating apparatus and method
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
EP3414763B1 (en) Mobile device for hdr video capture
US10681286B2 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium
US20160173869A1 (en) Multi-Camera System Consisting Of Variably Calibrated Cameras
JP6802372B2 (en) Shooting method and terminal for terminal
US10154216B2 (en) Image capturing apparatus, image capturing method, and storage medium using compressive sensing
JP6220148B2 (en) Imaging apparatus and control method thereof
CN107431755B (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20200174222A1 (en) Image processing method, image processing device, and image pickup apparatus
CN112995545B (en) Multi-sensor high dynamic range imaging
JP6544978B2 (en) Image output apparatus, control method therefor, imaging apparatus, program
US8358366B1 (en) Methods and apparatus for high-speed digital imaging
JP2017139646A (en) Imaging apparatus
JP2020502689A (en) Image processing method and apparatus, and non-transitory computer readable storage medium
JP2014215436A (en) Image-capturing device, and control method and control program therefor
KR20190059091A (en) Method and apparatus for generating plenoptic image
TWI508554B (en) An image focus processing method based on light-field camera and the system thereof are disclosed
US11295464B2 (en) Shape measurement device, control method, and recording medium
CN112866547B (en) Focusing method and device, electronic equipment and computer readable storage medium
KR20120039855A (en) Method for processing image of camera module
US20140347529A1 (en) Device and method for capturing images