KR20210143607A - Apparatus and method for generating image - Google Patents

Apparatus and method for generating image Download PDF

Info

Publication number
KR20210143607A
KR20210143607A KR1020200060616A KR20200060616A KR20210143607A KR 20210143607 A KR20210143607 A KR 20210143607A KR 1020200060616 A KR1020200060616 A KR 1020200060616A KR 20200060616 A KR20200060616 A KR 20200060616A KR 20210143607 A KR20210143607 A KR 20210143607A
Authority
KR
South Korea
Prior art keywords
image
region
distortion
camera
instructions
Prior art date
Application number
KR1020200060616A
Other languages
Korean (ko)
Inventor
임성훈
권태혁
김덕호
이재웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200060616A priority Critical patent/KR20210143607A/en
Priority to PCT/KR2021/004374 priority patent/WO2021235693A1/en
Publication of KR20210143607A publication Critical patent/KR20210143607A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23232—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • H04N5/23299—

Abstract

An image generating apparatus includes a camera capable of changing direction, a memory storing one or more instructions, and a processor executing the one or more instructions. The processor controls the camera in a first direction to obtain a first image, controls the camera in a second direction different from the first direction to obtain a second image partially overlapping the first image, analyzes a distortion region of the first image based on the first image and the second image, and generates a third image formed by performing image correction corresponding to the analyzed distortion region on the first image.

Description

이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING IMAGE} Image generating apparatus and method {APPARATUS AND METHOD FOR GENERATING IMAGE}

이미지 생성 장치 및 방법에 관한 것이다.It relates to an image generating apparatus and method.

광원을 바라보는 촬영의 경우, 예를 들어, 역광이나 야간 촬영 등의 환경에서 카메라를 이용하여 촬영할 경우, 촬영된 이미지에 실제의 모습과 다른 이미지 영역이 포함될 수 있다. 광원으로부터 광선이 카메라에 입사된 후 산란되거나 카메라 내부에서 반사됨에 따라 실제의 모습과 다른 이미지 영역이 포함된 이미지가 생성된다. 광원을 바라보는 촬영의 경우, 촬영 방향이 달라지면, 광원의 위치와 카메라 렌즈의 상대적인 위치가 달라짐에 따라, 이미지 왜곡의 발생 여부 및 발생 양상이 변경될 수 있다.In the case of photographing looking at a light source, for example, when photographing using a camera in an environment such as backlight or night photographing, an image area different from the actual appearance may be included in the photographed image. As light rays from a light source enter the camera and then are scattered or reflected inside the camera, an image is created that contains an image area that is different from the actual appearance. In the case of photographing looking at the light source, when the photographing direction is changed, as the position of the light source and the relative position of the camera lens change, whether or not image distortion occurs and how it occurs may be changed.

방향 전환이 가능한 카메라를 이용하여 광원을 포함한 촬영 시 발생하는 이미지 왜곡을 보정할 수 있는 이미지 생성 장치 및 이미지 생성 방법을 제공하는 것이다.To provide an image generating apparatus and an image generating method capable of correcting image distortion occurring during photographing including a light source using a camera capable of changing a direction.

제1 측면에 따른 이미지 생성 장치는, 방향 전환이 가능한 카메라, 하나 이상의 명령어들을 저장하는 메모리, 및 상기 하나 이상의 명령어들을 실행하는 프로세서를 포함하며, 상기 프로세서는, 상기 카메라를 제1 방향으로 제어하여 제1 이미지를 획득하고, 상기 카메라를 상기 제1 방향과 다른 제2 방향으로 제어하여, 상기 제1 이미지와 일부가 겹치는 제2 이미지를 획득하며, 상기 제1 이미지와 상기 제2 이미지에 기초하여, 상기 제1 이미지의 왜곡 영역을 분석하고, 상기 제1 이미지에 대해 상기 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성한다.An image generating apparatus according to a first aspect includes a camera capable of changing a direction, a memory storing one or more instructions, and a processor executing the one or more instructions, wherein the processor controls the camera in a first direction to acquiring a first image, controlling the camera in a second direction different from the first direction to obtain a second image partially overlapping with the first image, based on the first image and the second image , to analyze the distortion region of the first image, and generate a third image in which image correction corresponding to the analyzed distortion region is performed on the first image.

제2 측면에 따른 이미지 생성 방법은, 방향 전환이 가능한 카메라를 제1 방향으로 제어하여 제1 이미지를 획득하는 단계, 상기 카메라를 상기 제1 방향과 다른 제2 방향으로 제어하여, 상기 제1 이미지와 일부가 겹치는 제2 이미지를 획득하는 단계, 상기 제1 이미지와 상기 제2 이미지에 기초하여, 상기 제1 이미지의 왜곡 영역을 분석하는 단계, 및 상기 제1 이미지에 대해 상기 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성하는 단계를 포함한다.The method for generating an image according to a second aspect includes the steps of: acquiring a first image by controlling a camera capable of changing a direction in a first direction; controlling the camera in a second direction different from the first direction to obtain the first image obtaining a second image partially overlapping with , analyzing a distortion region of the first image based on the first image and the second image, and adding the analyzed distortion region to the first image. and generating a third image on which the corresponding image correction has been performed.

제3 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는, 방향 전환이 가능한 카메라를 제1 방향으로 제어하여 제1 이미지를 획득하는 명령어들, 상기 카메라를 상기 제1 방향과 다른 제2 방향으로 제어하여, 상기 제1 이미지와 일부가 겹치는 제2 이미지를 획득하는 명령어들, 상기 제1 이미지와 상기 제2 이미지에 기초하여, 상기 제1 이미지의 왜곡 영역을 분석하는 명령어들, 및 상기 제1 이미지에 대해 상기 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성하는 명령어들을 포함하는 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.The computer-readable recording medium according to the third aspect includes instructions for controlling a camera capable of changing a direction in a first direction to obtain a first image, and controlling the camera in a second direction different from the first direction. , instructions for obtaining a second image partially overlapping the first image, instructions for analyzing a distortion region of the first image based on the first image and the second image, and Records a program for executing on a computer including instructions for generating a third image that has been subjected to image correction corresponding to the analyzed distortion region.

도 1은 방향 전환이 가능한 카메라를 구비하는 이미지 생성 장치를 나타낸 도면이다.
도 2는 이미지 생성 장치의 구성을 설명하기 위한 도면이다.
도 3은 이미지 생성 장치의 메모리, 프로세서, 및 카메라의 동작을 설명하기 위한 도면이다.
도 4는 광원으로부터 광선이 입사되는 렌즈 플레어가 발생하는 상황과 카메라를 회전시켜 카메라의 방향이 변경될 때 렌즈 플레어의 변화를 설명하기 위한 도면이다.
도 5는 제1 이미지를 획득하는 제1 방향과 제2 이미지를 획득하는 제2 방향의 관계를 설명하기 위한 도면이다.
도 6은 제1 이미지와 제2 이미지에 기초하여, 제1 이미지의 왜곡 영역을 분석하는 과정을 설명하기 위한 도면이다.
도 7은 제1 이미지에 대해 왜곡 영역에 대응되는 이미지 보정을 수행하는 과정을 설명하기 위한 도면이다.
도 8은 이미지 생성 방법을 설명하기 위한 흐름도이다.
도 9는 이미지 생성 장치의 일 예를 설명하기 위한 도면이다.
도 10은 이미지 생성 장치의 다른 예를 설명하기 위한 도면이다.1 is a diagram illustrating an image generating apparatus including a camera capable of changing a direction.
2 is a diagram for explaining the configuration of an image generating apparatus.
3 is a diagram for explaining operations of a memory, a processor, and a camera of an image generating apparatus.
FIG. 4 is a view for explaining a situation in which a lens flare in which a light beam is incident from a light source occurs, and a change in lens flare when the direction of the camera is changed by rotating the camera.
FIG. 5 is a diagram for explaining a relationship between a first direction in which a first image is acquired and a second direction in which a second image is acquired.
6 is a view for explaining a process of analyzing a distortion region of the first image based on the first image and the second image.
7 is a diagram for explaining a process of performing image correction corresponding to a distortion region on a first image.
8 is a flowchart illustrating an image generation method.
9 is a diagram for explaining an example of an image generating apparatus.
10 is a diagram for explaining another example of an image generating apparatus.

이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the drawings, the embodiments of the present disclosure will be described in detail so that those of ordinary skill in the art to which the present disclosure pertains can easily implement them. The present disclosure may be implemented in several different forms and is not limited to the embodiments described herein.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When a part "includes" a certain element throughout the specification, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "... unit" and "... module" described in the specification mean a unit that processes at least one function or operation, which is implemented as hardware or software, or a combination of hardware and software. can be

또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. Also, terms including an ordinal number such as 'first' or 'second' used in this specification may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

본 실시예들은 이미지 생성 장치 및 방법에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.The present embodiments relate to an apparatus and method for generating an image, and detailed descriptions of matters widely known to those of ordinary skill in the art to which the following embodiments belong will be omitted.

본 개시에서 "이미지 생성 장치"는 이미지를 생성할 수 있는 전자 장치를 통칭하는 용어로서, 카메라 기능을 탑재한 전자 장치일 수 있다. 예를 들어, 이미지 생성 장치는 스마트 폰, 증강 현실 장치, 디지털 카메라 등일 수 있다. In the present disclosure, an “image generating device” is a generic term for an electronic device capable of generating an image, and may be an electronic device equipped with a camera function. For example, the image generating device may be a smart phone, an augmented reality device, a digital camera, or the like.

"왜곡 영역"은 카메라를 통해 획득된 이미지에 발생한 허상 영역을 의미한다. 카메라의 렌즈에 의도하지 않은 외부의 광선이 입사되어, 산란 또는 반사됨에 따라, 이미지에 발생한 왜곡 현상을 "렌즈 플레어(lens flare)"라고 부른다. 렌즈 플레어는 베일링 플레어와 고스팅 플레어로 구분될 수 있다. "베일링 플레어(veiling flare)"는 외부의 광선이 난반사 또는 산란됨에 따라, 헤이즈가 발생하여, 콘트라스트가 낮고 명확하지 않은 이미지를 생성하는 왜곡 현상이다. "고스팅 플레어(ghosting flare)"는 외부의 광선이 명확히 반사됨에 따라, 다각형 모양이나 광 스트릭(light streak) 등의 허상이 포함된 이미지를 생성하는 왜곡 현상이다.The “distortion region” refers to a virtual image region generated in an image acquired through a camera. Distortion that occurs in an image as an unintentional external light ray is incident on the camera's lens, is scattered or reflected, is called "lens flare". Lens flares can be divided into baling flares and ghosting flares. A "veiling flare" is a distortion phenomenon in which external light rays are diffusely reflected or scattered, resulting in haze, producing low-contrast and unclear images. A "ghosting flare" is a distortion phenomenon that creates an image that contains artifacts such as polygonal shapes or light streaks as external light rays are clearly reflected.

도 1은 방향 전환이 가능한 카메라(1300)을 구비하는 이미지 생성 장치(1000)를 나타낸 도면이다.1 is a diagram illustrating an image generating apparatus 1000 including a camera 1300 capable of changing a direction.

도 1을 참조하면, 이미지 생성 장치(1000)는 방향 전환이 가능한 카메라(1300)를 구비할 수 있다. 카메라(1300)가 방향 전환이 가능하다는 것은 촬영 방향 변경이 가능함을 의미한다. 카메라(1300)는 방향 전환이 가능한 구조로 설계되어, 이미지 생성 장치(1000)의 소정의 부분에 장착될 수 있다. 카메라(1300)는 이미지 생성 장치(1000)의 종류와 형태에 따라, 이미지 생성 장치(1000)의 소정의 부분에 장착될 수 있다. 도 1에 도시된 바와 같이, 이미지 생성 장치(1000)가 안경 형태의 증강 현실 장치인 경우, 카메라(1300)는 좌안 렌즈부와 우안 렌즈부 사이를 연결하는 브릿지 프레임에 내장된 형태로 장착되거나, 안경 다리의 전면부에 설치될 수도 있으나, 이에 제한되는 것은 아니다. Referring to FIG. 1 , an image generating apparatus 1000 may include a camera 1300 capable of changing a direction. If the camera 1300 can change the direction, it means that the shooting direction can be changed. The camera 1300 is designed to have a structure in which a direction can be changed, and may be mounted on a predetermined portion of the image generating apparatus 1000 . The camera 1300 may be mounted on a predetermined part of the image generating apparatus 1000 according to the type and shape of the image generating apparatus 1000 . As shown in FIG. 1, when the image generating device 1000 is an augmented reality device in the form of glasses, the camera 1300 is mounted in a built-in form in a bridge frame connecting the left eye lens unit and the right eye lens unit, or It may be installed on the front portion of the spectacle leg, but is not limited thereto.

이미지 생성 장치(1000)는 촬영 방향에 대응되는 다양한 각도로 카메라(1300)의 방향을 변경할 수 있다. 예를 들어, 이미지 생성 장치(1000)는 카메라(1300)를 제1 방향으로 제어하여 제1 이미지를 획득하고, 카메라(1300)를 제1 방향과 다른 제2 방향으로 제어하여, 제1 이미지와 일부가 겹치는 제2 이미지를 획득할 수 있다. 제1 방향에서 획득된 제1 이미지에 광원이 포함되어 있는 경우, 제2 방향은 제1 이미지에 포함된 광원이 제2 이미지에서 제외되도록 하는 임의의 방향일 수 있다. 예를 들어, 제1 방향이 소정의 광원을 바라보는 방향이라면, 제2 방향은 해당 소정의 광원으로부터 임의의 거리만큼 떨어진 지점을 바라보는 방향일 수 있다. 제1 방향과 제2 방향의 관계에 대해서는 도 4 및 도 5에서 상세히 설명한다.The image generating apparatus 1000 may change the direction of the camera 1300 to various angles corresponding to the photographing direction. For example, the image generating apparatus 1000 obtains a first image by controlling the camera 1300 in a first direction, and controls the camera 1300 in a second direction different from the first direction to obtain a first image and A second image partially overlapping may be obtained. When the light source is included in the first image acquired in the first direction, the second direction may be any direction in which the light source included in the first image is excluded from the second image. For example, if the first direction is a direction looking at a predetermined light source, the second direction may be a direction looking at a point separated by an arbitrary distance from the predetermined light source. The relationship between the first direction and the second direction will be described in detail with reference to FIGS. 4 and 5 .

예를 들어, 도 1에 도시된 바와 같이, 제1 이미지의 좌측 부분 영역에 광원이 포함되는 경우, 이로부터 파생된 광선에 의해 제1 이미지의 우측 부분 영역에 이미지의 왜곡이 발생될 수 있다. 이와 같은 경우, 이미지 생성 장치(1000)는 제1 이미지를 획득한 제1 방향보다 우측으로 카메라(1300)의 방향을 변경한 제2 방향에서, 제1 이미지의 우측 부분 영역과 일부가 겹치는 제2 이미지를 획득할 수 있다. 제1 이미지와 제2 이미지는 제1 이미지의 왜곡 영역을 수정한 제3 이미지를 생성하는데 이용될 수 있다. 이하, 이미지 생성 장치(1000)가 이미지 왜곡을 보정하여 이미지를 생성하는 방식에 대해 상세히 설명한다.For example, as illustrated in FIG. 1 , when a light source is included in the left partial region of the first image, image distortion may occur in the right partial region of the first image by a light beam derived therefrom. In this case, in the second direction in which the direction of the camera 1300 is changed to the right of the first direction in which the first image is acquired, the image generating apparatus 1000 may generate a second partial area on the right side of the first image that partially overlaps image can be obtained. The first image and the second image may be used to generate a third image in which a distortion region of the first image is corrected. Hereinafter, a method in which the image generating apparatus 1000 generates an image by correcting image distortion will be described in detail.

도 2는 이미지 생성 장치(1000)의 구성을 설명하기 위한 도면이다.2 is a diagram for explaining the configuration of the image generating apparatus 1000 .

도 2를 참조하면, 이미지 생성 장치(1000)는 메모리(1100), 프로세서(1200), 및 카메라(1300)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. Referring to FIG. 2 , the image generating apparatus 1000 may include a memory 1100 , a processor 1200 , and a camera 1300 . Those of ordinary skill in the art related to the present embodiment can see that other general-purpose components other than the components shown in FIG. 2 may be further included.

메모리(1100)는 프로세서(1200)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(1100)는 명령어들로 구성된 프로그램을 저장할 수 있다. 메모리(1100)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.The memory 1100 may store instructions executable by the processor 1200 . The memory 1100 may store a program composed of instructions. The memory 1100 may include, for example, RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), flash memory, EEPROM (Electrically Erasable Programmable Read-Memory). Only memory), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of hardware device.

메모리(1100)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(1200)에 의해 실행됨으로써, 이미지 생성 장치(1000)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 도 2에 도시된 바와 같이, 메모리(1100)는 촬영 모드 모듈, 왜곡 분석 모듈, 및 이미지 보정 모듈을 저장할 수 있으나, 이에 한정되는 것은 아니며, 이 중 일부를 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다.The memory 1100 may store at least one software module including instructions. Each software module is executed by the processor 1200 to cause the image generating apparatus 1000 to perform a predetermined operation or function. For example, as shown in FIG. 2 , the memory 1100 may store a photographing mode module, a distortion analysis module, and an image correction module, but is not limited thereto. may include more.

프로세서(1200)는 메모리(1100)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 이미지 생성 장치(1000)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. The processor 1200 may control an operation or function performed by the image generating apparatus 1000 by executing instructions stored in the memory 1100 or a programmed software module. The processor 1200 may be configured as a hardware component that performs arithmetic, logic, input/output operations and signal processing.

프로세서(1200)는 적어도 하나의 프로세싱 모듈을 포함할 수 있다. 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다. The processor 1200 may include at least one processing module. For example, central processing unit (Central Processing Unit), microprocessor (microprocessor), graphic processing unit (Graphic Processing Unit), ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), It may include hardware of at least one of Programmable Logic Devices (PLDs) and Field Programmable Gate Arrays (FPGAs), but is not limited thereto.

카메라(1300)는 방향 전환이 가능하다. 카메라(1300)는 이미지 생성 장치(1000)에서 방향 전환이 가능한 구조를 가지며, 상하 또는 좌우뿐만 아니라, 소정의 각도의 방향을 향할 수 있도록 설계된 카메라(1300)일 수 있다. 예를 들어, 카메라(1300)는 위치가 고정된 채, 카메라(1300)를 좌우로 방향을 회전시켜 대상을 촬영하는 팬(pan) 또는 카메라(1300)의 위치가 고정된 채, 카메라(1300)를 상하로 방향을 회전시켜 대상을 촬영하는 틸트(tilt) 동작을 수행할 수 있는 일명 팬틸트 카메라일 수 있다. 카메라(1300)는 복수의 축에 대하여 회동함으로써 소정의 각도로 촬영 방향을 제어할 수 있다. 예를 들어, 카메라(1300)는 가로 방향에 대응되는 제1 축에 대하여 회동하거나, 세로 방향에 대응되는 제2 축에 대하여 회동할 수 있다. 또는, 카메라(1300)는 좌측 상단에서 우측 하단으로 이어지는 대각선 방향에 대응되는 제1 축에 대하여 회동하거나, 우측 상단에서 좌측 하단으로 이어지는 대각선 방향에 대응되는 제2 축에 대하여 회동할 수 있다. 카메라(1300)는 실제 촬영 환경, 촬영 기능의 종류, 촬영을 위한 환경 설정 정보에 따라, 미리 설정된 각도로 방향이 변경될 수 있다. The camera 1300 can change direction. The camera 1300 may be a camera 1300 that has a structure in which the direction can be changed in the image generating apparatus 1000 and is designed to face a direction at a predetermined angle as well as up and down or left and right. For example, the camera 1300 has a fixed position, and rotates the camera 1300 left and right to take pictures of an object or a camera 1300 while the position of the camera 1300 is fixed. It may be a so-called pan-tilt camera capable of performing a tilt operation of photographing an object by rotating the direction up and down. The camera 1300 may control a photographing direction at a predetermined angle by rotating about a plurality of axes. For example, the camera 1300 may be rotated about a first axis corresponding to a horizontal direction or rotated about a second axis corresponding to a vertical direction. Alternatively, the camera 1300 may rotate with respect to a first axis corresponding to a diagonal direction extending from the upper left to the lower right, or rotated about a second axis corresponding to a diagonal direction extending from the upper right to the lower left. The direction of the camera 1300 may be changed at a preset angle according to the actual photographing environment, the type of photographing function, and environment setting information for photographing.

상기한 구성에 따라, 프로세서(1200)는 메모리(1100)에 저장된 촬영 모드 모듈, 왜곡 분석 모듈, 및 이미지 보정 모듈 중 적어도 하나를 실행하여, 이미지를 생성할 수 있다. According to the above configuration, the processor 1200 may generate an image by executing at least one of the photographing mode module, the distortion analysis module, and the image correction module stored in the memory 1100 .

프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 카메라(1300)를 제1 방향으로 제어하여 제1 이미지를 획득하고, 카메라(1300)를 제1 방향과 다른 제2 방향으로 제어하여, 제1 이미지와 일부가 겹치는 제2 이미지를 획득할 수 있다. 프로세서(1200)는 촬영 모드에서 카메라(1300)의 방향을 변경할 수 있다. The processor 1200 executes the instructions stored in the memory 1100 to obtain a first image by controlling the camera 1300 in a first direction, and controls the camera 1300 in a second direction different from the first direction. , a second image partially overlapping with the first image may be acquired. The processor 1200 may change the direction of the camera 1300 in the photographing mode.

프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 제1 이미지와 제2 이미지에 기초하여, 제1 이미지의 왜곡 영역을 분석할 수 있다. 제1 이미지의 왜곡 영역을 분석하기 위하여, 프로세서(1200)는 제1 이미지에 대해 제2 이미지를 와핑(warping)하고, 제1 이미지와 와핑된 제2 이미지 간의 매칭 영역을 결정할 수 있다. 프로세서(1200)는 매칭 영역 간의 픽셀 값의 차에 기초하여, 제1 이미지에서 왜곡 후보 영역을 분할(segmentation)할 수 있다. 프로세서(1200)는 분할된 왜곡 후보 영역이 렌즈 플레어로 판정되는 조건을 만족하는지에 따라 왜곡 영역을 판단할 수 있다. 예를 들어, 프로세서(1200)는 분할된 왜곡 후보 영역에서의 밝기의 변화도 또는 분할된 왜곡 후보 영역과 주변 영역의 경계에서의 픽셀 값의 연속도에 기초하여, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다. 다른 예를 들어, 프로세스는, 분할된 왜곡 후보 영역과 렌즈 플레어의 템플릿 이미지와의 유사도 또는 분할된 왜곡 후보 영역과 제1 이미지 및 제2 이미지 중에 소정 기준 이상의 광량을 가지는 영역인 매칭 후보 영역과의 유사도에 기초하여, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다.The processor 1200 may execute instructions stored in the memory 1100 to analyze the distortion region of the first image based on the first image and the second image. In order to analyze the distortion region of the first image, the processor 1200 may warp the second image with respect to the first image and determine a matching region between the first image and the warped second image. The processor 1200 may segment the distortion candidate region in the first image based on a difference in pixel values between the matching regions. The processor 1200 may determine the distortion region according to whether the divided distortion candidate region satisfies a condition for determining the lens flare. For example, the processor 1200 sets the divided distortion candidate region as the distortion region based on the degree of change in brightness in the divided distortion candidate region or the continuity of pixel values at the boundary between the divided distortion candidate region and the surrounding region. can be judged as For another example, the process may include a similarity between the segmented distortion candidate area and the template image of the lens flare, or a matching candidate area, which is an area between the segmented distortion candidate area and the first image and the second image having an amount of light equal to or greater than a predetermined standard. Based on the similarity, the divided distortion candidate region may be determined as the distortion region.

프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여 제1 이미지에 대해 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성할 수 있다. 프로세서(1200)는 제1 이미지의 분석된 왜곡 영역에 대응되는 영역을 제2 이미지에서 추출하고, 제1 이미지에서 제1 이미지의 분석된 왜곡 영역을 제2 이미지에서 추출된 영역으로 대체하여 이미지 보정을 수행할 수 있다. 이를 위해, 프로세서(1200)는 제1 이미지의 노출 값에 따라 제2 이미지의 노출 값을 조정한 후 제1 이미지의 분석된 왜곡 영역에 대응되는 영역을 제2 이미지에서 추출할 수 있다. 프로세서(1200)는 제1 이미지에서 제1 이미지의 분석된 왜곡 영역을 제2 이미지에서 추출된 영역으로 대체한 후 대체된 영역의 경계에 블렌딩 처리를 수행하여 이미지 보정을 수행할 수 있다.The processor 1200 may execute instructions stored in the memory 1100 to generate a third image in which image correction corresponding to the analyzed distortion region is performed on the first image. The processor 1200 extracts a region corresponding to the analyzed distortion region of the first image from the second image, and corrects the image by replacing the analyzed distortion region of the first image in the first image with the region extracted from the second image can be performed. To this end, after adjusting the exposure value of the second image according to the exposure value of the first image, the processor 1200 may extract a region corresponding to the analyzed distortion region of the first image from the second image. The processor 1200 may perform image correction in the first image by replacing the analyzed distortion region of the first image with the region extracted from the second image, and then performing a blending process on the boundary of the replaced region.

도 3은 이미지 생성 장치(1000)의 메모리(1100), 프로세서(1200), 및 카메라(1300)의 동작을 설명하기 위한 도면이다. FIG. 3 is a diagram for explaining operations of the memory 1100 , the processor 1200 , and the camera 1300 of the image generating apparatus 1000 .

도 2에서 설명한 메모리(1100)와 프로세서(1200)에 대해 중복되는 내용은 이하 설명을 생략한다. 카메라(1300)는 카메라 구동 모듈(1310)과 이미지 처리 모듈(1330)을 포함할 수 있다. The overlapping contents of the memory 1100 and the processor 1200 described in FIG. 2 will be omitted below. The camera 1300 may include a camera driving module 1310 and an image processing module 1330 .

카메라 구동 모듈(1310)은 렌즈들을 포함하는 렌즈 모듈, AF(Auto Focus) 액추에이터를 포함할 수 있다. 렌즈 모듈은 경통부 내에 복수 개의 렌즈들이 배치된 구조를 가지며, 외부로부터 입사되는 광이 배치된 렌즈들을 통과하도록 할 수 있다. AF 액추에이터는 선명한 화질의 영상을 획득하기 위해, 렌즈들을 최적의 초점 위치로 이동시킬 수 있다. 예를 들어, AF 엑추에이터는 VCM(Voice Coil Motor) 방식일 수 있다. VCM 방식은 코일과 전자석을 이용하여, 렌즈 모듈이 앞뒤로 움직이게 함으로써, 렌즈들의 위치를 결정하여, 초점을 잡을 수 있다.The camera driving module 1310 may include a lens module including lenses and an auto focus (AF) actuator. The lens module has a structure in which a plurality of lenses are disposed in the barrel, and may allow light incident from the outside to pass through the disposed lenses. The AF actuator may move the lenses to an optimal focus position in order to obtain a clear image. For example, the AF actuator may be a voice coil motor (VCM) type. The VCM method uses a coil and an electromagnet to move the lens module back and forth, thereby determining the positions of the lenses and focusing.

이미지 처리 모듈(1330)은 이미지 센서와 이미지 신호 프로세서를 포함할 수 있다. 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 센서 또는 CCD(Charge-Coupled Device)센서일 수 있으며, 광학 신호를 전기적 신호로 변환할 수 있다. 이미지 신호 프로세서는 이미지 센서에서 변환된 전기적 신호를 이미지 신호로 변환할 수 있다. The image processing module 1330 may include an image sensor and an image signal processor. The image sensor may be a complementary metal oxide semiconductor (CMOS) sensor or a charge-coupled device (CCD) sensor, and may convert an optical signal into an electrical signal. The image signal processor may convert the electrical signal converted by the image sensor into an image signal.

본 개시의 일 예에 따르면, 이미지 처리 모듈(1330)의 이미지 센서는 카메라 구동 모듈(1310)의 렌즈 모듈과 연결된 형태일 수 있다. 이미지 센서는 렌즈 모듈의 하부에 연결된 형태일 수 있다. 이미지 센서의 중심을 수직으로 지나는 축은 렌즈들의 중심을 지나는 광축(optical axis)과 동일한 축일 수 있다. 이미지 센서는 렌즈 모듈과 연결된 형태이므로, 렌즈 모듈이 렌즈들의 광축 상의 중심점을 기준으로 소정의 각도만큼 움직이면, 이미지 센서 또한 소정의 각도만큼 움직이게 될 수 있다.According to an example of the present disclosure, the image sensor of the image processing module 1330 may be connected to the lens module of the camera driving module 1310 . The image sensor may be connected to the lower portion of the lens module. An axis passing vertically through the center of the image sensor may be the same as an optical axis passing through the center of the lenses. Since the image sensor is connected to the lens module, when the lens module moves by a predetermined angle with respect to the center point on the optical axis of the lenses, the image sensor may also move by a predetermined angle.

예를 들어, 렌즈 모듈을 감싸는 형태의 AF 액추에이터가 렌즈 모듈과 물리적으로 접촉하는 부분에 스러스트 베어링(thrust bearing)과 같은 베어링 두 쌍을 구비하는 경우, 카메라 구동 모듈(1310)은 마주하는 각 쌍의 베어링을 가상으로 연결한 2축 상에서 이미지 처리 모듈(1330)의 이미지 센서와 이에 연결된, 카메라 구동 모듈(1310)의 렌즈 모듈을 함께 동작시키는 회전 모듈을 더 구비하여, 소정의 각도가 되도록 카메라(1300)의 방향을 제어할 수 있다. 다른 예를 들어, 카메라(1300)를 팬 동작 또는 틸트 동작을 수행시키기 위해, 카메라 구동 모듈(1310)은 카메라(1300)를 세로 방향에 대응되는 제1 축에 대하여 회동시켜 팬 동작을 수행하게 하거나, 가로 방향에 대응되는 제2 축에 대하여 회동시켜 틸트 동작을 수행하게 하는 회전 모듈을 더 구비하여, 소정의 각도가 되도록 카메라(1300)의 방향을 제어할 수 있다.For example, when the AF actuator of the type surrounding the lens module includes two pairs of bearings, such as a thrust bearing, in a portion in physical contact with the lens module, the camera driving module 1310 may A rotation module for operating the image sensor of the image processing module 1330 and the lens module of the camera driving module 1310 connected thereto on two axes virtually connecting the bearings is further provided, so that the camera 1300 is at a predetermined angle. ) can be controlled. For another example, in order to perform a pan operation or a tilt operation of the camera 1300, the camera driving module 1310 rotates the camera 1300 about a first axis corresponding to a vertical direction to perform a pan operation or , a rotation module for performing a tilt operation by rotating about a second axis corresponding to the horizontal direction may be further provided to control the direction of the camera 1300 to a predetermined angle.

프로세서(1200)는 메모리(1100)에 저장된 명령어들 또는 소프트웨어 모듈을 로딩하고 이를 실행할 수 있다. 도 3에 도시된 바와 같이, 프로세서(1200)는 적어도 하나의 프로세싱 하드웨어 모듈을 구비하여, 촬영 모드 모듈, 왜곡 분석 모듈, 이미지 보정 모듈을 실행할 수 있다. 예를 들어, 프로세서(1200)는 CPU와 이미지 처리에 전용하기 위한 GPU를 구비하여, CPU에서 촬영 모드 모듈을 실행하고, GPU에서 왜곡 분석 모듈 및 이미지 보정 모듈을 실행할 수 있다. 다른 예를 들어, 프로세서(1200)는 촬영 모드 모듈, 왜곡 분석 모듈, 이미지 보정 모듈을 모두 실행하는 하나의 통합 프로세서 형태이거나, 각각의 모듈을 각각 실행하기 위한 개별 프로세서들을 포함하는 형태일 수 있다. The processor 1200 may load instructions or software modules stored in the memory 1100 and execute them. As shown in FIG. 3 , the processor 1200 may include at least one processing hardware module to execute a photographing mode module, a distortion analysis module, and an image correction module. For example, the processor 1200 may include a CPU and a GPU dedicated to image processing, so that the CPU may execute a photographing mode module, and the GPU may execute a distortion analysis module and an image correction module. For another example, the processor 1200 may be in the form of a single integrated processor that executes all of the imaging mode module, the distortion analysis module, and the image correction module, or may include individual processors for executing each module.

프로세서(1200)는 촬영 모드 모듈을 실행하여, 이미지 처리 모듈(1330)에 촬영 제어 신호를 전송할 수 있다. 이미지 처리 모듈(1330)은 촬영 제어 신호에 따라 획득된 제1 이미지를 메모리(1100)에 전송할 수 있다. 메모리(1100)는 이미지 처리 모듈(1330)에서 획득된 제1 이미지를 저장하는 버퍼 역할을 할 수 있다. 메모리(1100)에 저장된 제1 이미지는 왜곡 영역을 분석하여 이미지를 보정하는데 이용될 수 있다.The processor 1200 may execute a photographing mode module to transmit a photographing control signal to the image processing module 1330 . The image processing module 1330 may transmit the first image obtained according to the shooting control signal to the memory 1100 . The memory 1100 may serve as a buffer for storing the first image acquired by the image processing module 1330 . The first image stored in the memory 1100 may be used to correct the image by analyzing the distortion region.

프로세서(1200)는 촬영 모드 모듈을 실행하여, 제1 이미지를 획득한 제1 방향에서 제1 방향과 다른 제2 방향으로 카메라(1300)의 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 전송할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)가 소정의 각도로 방향이 변경된 후, 프로세서(1200)는 이미지 처리 모듈(1330)에 촬영 제어 신호를 전송할 수 있다. 이미지 처리 모듈(1330)은 촬영 제어 신호에 따라, 획득된 제2 이미지를 메모리(1100)에 저장할 수 있다. 제2 이미지는 왜곡 영역을 분석하여 이미지를 보정하는데 이용될 수 있다. The processor 1200 executes the photographing mode module to provide a driving control signal to the camera driving module 1310 to change the direction of the camera 1300 from the first direction in which the first image is obtained to the second direction different from the first direction. can be transmitted. After the camera 1300 is changed to a predetermined angle by the camera driving module 1310 , the processor 1200 may transmit a shooting control signal to the image processing module 1330 . The image processing module 1330 may store the acquired second image in the memory 1100 according to the shooting control signal. The second image may be used to correct the image by analyzing the distortion region.

프로세서(1200)는 왜곡 분석 모듈을 실행하여, 메모리(1100)에 저장된 제1 이미지와 제2 이미지를 불러와, 제1 이미지와 제2 이미지에 기초하여, 제1 이미지의 왜곡 영역을 분석할 수 있다. 프로세서(1200)는 제1 이미지와 제2 이미지에서 서로 겹치는 부분을 확인하고 비교함으로써, 제1 이미지의 왜곡 영역을 분석할 수 있다. 프로세서(1200)는 제1 이미지의 왜곡 영역을 분석함으로써, 제1 이미지에서 보정될 부분을 결정할 수 있다.The processor 1200 may execute the distortion analysis module, retrieve the first image and the second image stored in the memory 1100, and analyze the distortion region of the first image based on the first image and the second image. have. The processor 1200 may analyze the distortion region of the first image by checking and comparing portions overlapping each other in the first image and the second image. The processor 1200 may determine a portion to be corrected in the first image by analyzing the distortion region of the first image.

프로세서(1200)는 이미지 보정 모듈을 실행하여, 제1 이미지에 대해 제1 이미지의 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성할 수 있다. 프로세서(1200)는 제1 이미지, 제2 이미지, 및 제1 이미지의 왜곡 영역에 기초하여, 제3 이미지를 생성할 수 있다. 프로세서(1200)는 제2 이미지를 이용하여, 제1 이미지에서 제1 이미지의 왜곡 영역에 대응되는 이미지 보정을 수행함으로써, 제3 이미지를 생성할 수 있다. 제3 이미지는 제1 이미지에서 왜곡 영역이 수정된 형태의 이미지일 수 있다. 프로세서(1200)는 생성된 제3 이미지를 메모리(1100)에 저장할 수 있다. 제1 이미지와 제2 이미지는 메모리(1100)의 제한적인 저장 공간을 고려하여, 제3 이미지가 생성된 후 메모리(1100)에서 삭제될 수 있으나, 설정 옵션에 따라 메모리(1100)에 저장해 두도록 할 수도 있다. The processor 1200 may generate a third image in which image correction corresponding to the distortion region of the first image is performed on the first image by executing the image correction module. The processor 1200 may generate a third image based on the first image, the second image, and the distortion region of the first image. The processor 1200 may generate a third image by performing image correction corresponding to the distortion region of the first image in the first image using the second image. The third image may be an image in which the distortion region is corrected in the first image. The processor 1200 may store the generated third image in the memory 1100 . The first image and the second image may be deleted from the memory 1100 after the third image is created in consideration of the limited storage space of the memory 1100, but to be stored in the memory 1100 according to a setting option. may be

한편, 이미지 생성 장치(1000)는 더욱 자연스럽고 이미지 전체에 왜곡 영역이 없는 이미지를 생성하기 위해, 제2 이미지를 포함한 복수의 이미지들 더 획득하여 활용할 수 있다. Meanwhile, the image generating apparatus 1000 may further acquire and utilize a plurality of images including the second image in order to generate a more natural and no distortion region in the entire image.

예를 들어, 프로세서(1200)는 제2 방향에서, 제2 이미지를 획득할 때의 촬영 파라미터를 조정하여 제4 이미지를 더 획득하고, 제4 이미지를 이용하여 이미지 보정을 수행한 제3 이미지를 생성할 수 있다. 즉, 프로세서(1200)는 제2 이미지를 획득한 촬영 방향과 동일한 촬영 방향에서 촬영 파라미터만 달리하여 제4 이미지를 추가로 획득하고, 제4 이미지를 제1 이미지의 왜곡 영역에 대응되는 이미지 보정을 수행할 때 이용할 수 있다. 따라서, 프로세서(1200)는 제1 이미지와 제2 이미지에 기초하여, 제1 이미지의 왜곡 영역을 분석하고, 이와 같이 분석된 제1 이미지의 왜곡 영역, 제1 이미지, 및 제4 이미지에 기초하여, 제3 이미지를 생성할 수 있다. 제1 이미지의 왜곡 영역을 분석할 때에는 제1 이미지와 동일한 촬영 파라미터로 다른 방향에서 촬영된 제2 이미지를 이용하고, 제1 이미지의 이미지를 보정할 때에는 왜곡 영역을 분석할 때 이용한 제2 이미지와 다른 촬영 파라미터로 동일한 촬영 방향에서 촬영된 제4 이미지를 이용하는 것이다. 이미지의 왜곡 영역을 분석하는 경우에는 촬영 방향을 제외한 모든 조건이 동일한 이미지를 이용하는 것이 유리하고, 이미지를 보정하는 경우에는 왜곡 영역이 포함된 제1 이미지와는 다른 촬영 파라미터로 촬영된 이미지를 이용하는 것이 유리할 수 있기 때문이다.For example, the processor 1200 may further acquire a fourth image by adjusting a shooting parameter when acquiring the second image in the second direction, and obtain a third image on which image correction is performed using the fourth image. can create That is, the processor 1200 additionally acquires a fourth image by changing only the shooting parameters in the same shooting direction as the shooting direction in which the second image is acquired, and corrects the fourth image corresponding to the distortion region of the first image. available when performing. Accordingly, the processor 1200 analyzes the distortion region of the first image based on the first image and the second image, and based on the analyzed distortion region of the first image, the first image, and the fourth image , a third image may be generated. When analyzing the distortion region of the first image, a second image taken in a different direction with the same shooting parameters as the first image is used, and when correcting the image of the first image, the second image used when analyzing the distortion region and The fourth image photographed in the same photographing direction is used as a different photographing parameter. When analyzing the distorted region of the image, it is advantageous to use the same image in all conditions except the shooting direction, and when correcting the image, it is advantageous to use an image shot with different shooting parameters from the first image including the distorted region. Because it can be beneficial.

다른 예를 들어, 프로세서(1200)는 카메라(1300)를 제2 방향을 포함한 복수의 방향으로 제어하여 제2 이미지를 포함하는 복수의 이미지들을 획득하고, 제1 이미지와 복수의 이미지들에 기초하여, 제1 이미지의 왜곡 영역을 분석할 수 있다. 프로세서(1200)는 제1 방향을 중심으로 하는 소정의 궤적을 따라 카메라(1300)의 방향을 변경하면서 복수의 이미지들을 획득할 수 있다. 이와 같이 획득한 복수의 이미지들을 활용하면, 제1 이미지의 전체 영역에 대해 왜곡 영역을 분석할 수 있다. 프로세서(1200)는 제1 이미지에 대해 분석된 왜곡 영역에 대응되는 이미지 보정을 수행하기 위해, 카메라(1300)를 제2 방향을 포함한 복수의 방향으로 제어하여 획득한 복수의 이미지들 중 적어도 하나를 이용할 수 있다. As another example, the processor 1200 controls the camera 1300 in a plurality of directions including the second direction to obtain a plurality of images including the second image, and based on the first image and the plurality of images, , the distortion region of the first image may be analyzed. The processor 1200 may acquire a plurality of images while changing the direction of the camera 1300 along a predetermined trajectory based on the first direction. By using the plurality of images obtained in this way, the distortion region may be analyzed for the entire region of the first image. The processor 1200 selects at least one of a plurality of images obtained by controlling the camera 1300 in a plurality of directions including the second direction to perform image correction corresponding to the analyzed distortion region on the first image. Available.

이와 같은 이미지 생성 장치(1000)를 이용하여 이미지 보정 기능이 수행되는 사진 촬영이 이루어지는 경우, 사용자는 사진 촬영이 종료된 후, 메모리(1100)에 저장된 제3 이미지에 접근할 수 있다. 다시 말해, 사용자는 사용자가 직접 촬영한 제1 이미지 대신 제1 이미지의 왜곡 영역이 수정된 제3 이미지를 확인할 수 있다.When a picture for which an image correction function is performed is taken using the image generating apparatus 1000 as described above, the user may access the third image stored in the memory 1100 after the picture taking is finished. In other words, the user may check the third image in which the distortion region of the first image is corrected instead of the first image taken directly by the user.

도 4는 카메라(1300)에 광원으로부터 광선이 입사되어 렌즈 플레어가 발생하는 상황과 카메라(1300)를 회전시켜 카메라(1300)의 방향이 변경될 때 렌즈 플레어의 변화를 설명하기 위한 도면이다. FIG. 4 is a view for explaining a situation in which a light beam is incident on the camera 1300 to generate lens flare and a change in lens flare when the direction of the camera 1300 is changed by rotating the camera 1300 .

카메라(1300)의 렌즈 모듈에 일반 광선(regular light ray)이 아닌, 광원으로부터 의도하지 않은 밝은 광선(bright light ray)이 입사되는 경우, 렌즈 모듈을 구성하는 렌즈들에 의해 해당 광선의 산란 또는 반사가 발생할 수 있다. 이에 따라, 도 4에 도시된 바와 같이, 산란 또는 반사된 광선이 이미지 센서의 상평면(image plane)의 임의의 지점에 결상되는 렌즈 플레어가 발생하게 된다. 렌즈 플레어가 발생된 지점은 이미지 생성 장치(1000)에서 생성된 이미지에서 왜곡 영역이 된다.When an unintentional bright light ray from a light source, not a regular light ray, is incident on the lens module of the camera 1300, the scattering or reflection of the light by the lenses constituting the lens module may occur. Accordingly, as shown in FIG. 4 , a lens flare occurs in which scattered or reflected light rays are formed at an arbitrary point on an image plane of the image sensor. The point where the lens flare is generated becomes a distortion region in the image generated by the image generating apparatus 1000 .

도 4를 참조하면, 광축(optical axis) 상의 한 점인 회전 중심에 대해, 카메라(1300)를 소정의 각도만큼 회전시켜, 카메라(1300)의 방향을 변경하면, 광원의 상대적인 위치가 변경되고, 광원으로부터 의도하지 않은 밝은 광선이 렌즈 모듈에 입사되는 지점이나 방향이 바뀜을 알 수 있다. 그 결과, 카메라(1300)의 방향이 변경되기 전 렌즈 플레어가 발생된 상황과 다른 상황이 되어, 방향을 변경하기 전에 발생되었던 렌즈 플레어가 발생하지 않거나, 이미지 센서의 상평면의 다른 지점에 다른 패턴으로 결상되는 렌즈 플레어가 발생함을 확인할 수 있다.Referring to FIG. 4 , when the camera 1300 is rotated by a predetermined angle with respect to the center of rotation, which is a point on the optical axis, and the direction of the camera 1300 is changed, the relative position of the light source is changed, and the light source It can be seen that the unintentional bright ray is incident on the lens module or the direction is changed. As a result, the situation is different from the situation in which the lens flare occurred before the direction of the camera 1300 was changed, so that the lens flare that occurred before the direction was changed does not occur, or a different pattern at a different point on the image plane of the image sensor It can be confirmed that lens flare that forms an image with

카메라(1300)의 회전에 따른 카메라(1300)의 방향이 변경되면, 방향 변경 전 이미지에 발생된 렌즈 플레어에 따른 왜곡 영역은 방향 변경 후 이미지에서는 생성되지 않거나 이미지의 다른 영역에 다른 패턴으로 다른 왜곡 영역이 생성될 수 있다. 다시 말해, 카메라(1300)의 회전에 따른 카메라(1300)의 방향이 변경되면, 제1 방향에서 획득된 제1 이미지에 발생된 렌즈 플레어에 따른 왜곡 영역이 제2 방향에서 획득된 제2 이미지에서는 생성되지 않거나 제1 이미지의 왜곡 영역에 대응되는 영역이 아닌 다른 영역에 다른 패턴의 렌즈 플레어에 따른 다른 왜곡 영역이 생성될 수 있다. 따라서, 카메라(1300)의 회전에 따른 카메라(1300)의 방향이 변경되면, 카메라(1300)는 제1 이미지에서 발생된 렌즈 플레어에 따른 왜곡 영역이 생성되지 않은 제2 이미지를 획득할 수 있고, 프로세서(1200)는 제2 이미지를 이용하여 제1 이미지의 왜곡 영역에 대한 이미지 보정을 할 수 있다.When the direction of the camera 1300 is changed according to the rotation of the camera 1300, the distortion area due to the lens flare generated in the image before the direction change is not generated in the image after the direction change or is distorted with a different pattern in another area of the image Regions can be created. In other words, when the direction of the camera 1300 is changed according to the rotation of the camera 1300, the distortion region due to the lens flare generated in the first image obtained in the first direction is generated in the second image obtained in the second direction. A different distortion region according to a lens flare having a different pattern may be generated in a region other than the region not generated or corresponding to the distortion region of the first image. Therefore, when the direction of the camera 1300 is changed according to the rotation of the camera 1300, the camera 1300 may obtain a second image in which a distortion region according to the lens flare generated in the first image is not generated, The processor 1200 may perform image correction on the distortion region of the first image by using the second image.

도 5는 제1 이미지를 획득하는 제1 방향과 제2 이미지를 획득하는 제2 방향의 관계를 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining a relationship between a first direction in which a first image is acquired and a second direction in which a second image is acquired.

앞서 설명한 바와 같이, 카메라(1300)의 회전에 따른 카메라(1300)의 방향 변경이 있으면, 방향 변경 전인 제1 방향에서 획득된 제1 이미지에 발생한 렌즈 플레어와 동일한 렌즈 플레어가 방향 변경 후인 제2 방향에서 획득된 제2 이미지에는 발생되지 않는다. 따라서, 카메라(1300)가 촬영하는 방향이 서로 다른 두 이미지가 있으면, 어느 하나의 이미지에 발생된 렌즈 플레어에 따른 왜곡 영역을 다른 이미지를 이용하여 분석하고, 해당 왜곡 영역을 수정할 수 있다.As described above, if there is a change in the direction of the camera 1300 according to the rotation of the camera 1300, the same lens flare as the lens flare generated in the first image acquired in the first direction before the change of direction is the second direction after the change of direction It does not occur in the second image acquired in . Therefore, if there are two images in which the direction in which the camera 1300 shoots are different, a distortion region due to lens flare generated in one image may be analyzed using the other image, and the distortion region may be corrected.

도 5에서는 제1 방향에서 획득된 제1 이미지에 광원이 포함되어 있는 경우, 제2 이미지를 획득하기 위한 제2 방향에 대해 나타내고 있다. 도 5에 도시된 바와 같이, 제1 방향에서 획득된 제1 이미지에 광원이 포함되어 있는 경우, 제2 방향은 제1 이미지에 포함된 광원이 제2 이미지에서 제외되도록 하는 임의의 방향일 수 있다. 다만, 제1 이미지와 제2 이미지는 서로 일부가 겹치지는 관계여야 한다. 바람직하게는, 제2 방향은 제1 방향에서의 광원이 직접적으로 촬영되지 않는 방향과 제1 이미지와 제2 이미지가 일부 겹치는 영역이 있도록 촬영되는 방향을 모두 만족하는 적어도 하나의 방향일 수 있다. 도 5에서는 임의의 제2 방향을 포함한 복수의 방향(이하, 제2 방향들)에 대응되는 임의의 제2 이미지를 포함하는 복수의 이미지들(이하, 제2 이미지들)의 예로서, 제1 방향에 대응되는 제1 이미지의 상, 하, 좌, 우 각각에서 제2 이미지를 획득한 것을 도시하고 있으나, 이에 제한되는 것은 아니다. 이미지 생성 장치(1000)는 제2 방향들에 대응되는 제2 이미지들을 획득하고, 제1 이미지와 제2 이미지들에 기초하여, 제1 이미지의 왜곡 영역을 분석하고, 해당 왜곡 영역을 수정할 수 있다.In FIG. 5 , when the light source is included in the first image acquired in the first direction, the second direction for acquiring the second image is shown. As shown in FIG. 5 , when a light source is included in the first image acquired in the first direction, the second direction may be any direction in which the light source included in the first image is excluded from the second image. . However, the first image and the second image should have a relationship in which some overlap with each other. Preferably, the second direction may be at least one direction that satisfies both a direction in which the light source in the first direction is not directly photographed and a direction in which the first image and the second image partially overlap each other. In FIG. 5 , as an example of a plurality of images (hereinafter, second images) including an arbitrary second image corresponding to a plurality of directions (hereinafter, second directions) including an arbitrary second direction, the first Although it is shown that the second image is obtained from each of the top, bottom, left, and right of the first image corresponding to the direction, the present invention is not limited thereto. The image generating apparatus 1000 may obtain second images corresponding to the second directions, analyze a distortion region of the first image based on the first image and the second images, and correct the distortion region. .

제1 방향을 중심으로 하는 소정의 궤적을 따라 제2 방향들을 변경하면서 제2 이미지들을 획득하므로, 도 5에 도시된 제2 방향들에 대응되는 제2 이미지들의 중심을 연결하면, 제1 방향을 중심으로 하는 마름모 형태의 궤적이 형성됨을 알 수 있다. 이와 같은 소정의 궤적은 제2 이미지들을 촬영하는 간격, 결과적으로 제2 이미지들의 개수에 따라 그 형태가 다를 수 있다.Since the second images are acquired while changing the second directions along a predetermined trajectory centered on the first direction, when the centers of the second images corresponding to the second directions shown in FIG. 5 are connected, the first direction is It can be seen that a rhombus-shaped trajectory is formed around the center. Such a predetermined trajectory may have a different shape depending on the interval at which the second images are captured and, consequently, the number of the second images.

이미지 생성 장치(1000)의 프로세서(1200)는 카메라(1300)를 제1 방향과 다른 제2 방향으로 제어하기 위해, 미리 설정된 각도에 대응되는 제어값들에 기초하여, 카메라 구동 모듈(1310)에 구동 제어 신호를 전송할 수 있다. 미리 설정된 각도에 대응되는 제어값들은 카메라(1300)의 시야각과 제1 이미지의 전체 영역에 대한 제1 이미지와 제2 이미지가 겹치는 영역의 면적 비에 기초하여, 실험 통계치에 따라 획득된 것일 수 있다. 메모리(1100)는 미리 설정된 각도에 대응되는 제어값들을 저장해 둘 수 있고, 프로세서(1200)는 저장되어 있는 제어값들에 접근할 수 있다. 이와 같은 제어값들은 촬영 모드 모듈에 포함되어 있을 수 있다.The processor 1200 of the image generating apparatus 1000 sends the camera 1300 to the camera driving module 1310 based on control values corresponding to preset angles to control the camera 1300 in a second direction different from the first direction. A drive control signal may be transmitted. The control values corresponding to the preset angles may be obtained according to experimental statistics based on the area ratio of the area where the first image and the second image overlap with respect to the viewing angle of the camera 1300 and the entire area of the first image. . The memory 1100 may store control values corresponding to preset angles, and the processor 1200 may access the stored control values. Such control values may be included in the photographing mode module.

이미지 생성 장치(1000)의 프로세서(1200)는 카메라(1300)를 제1 방향과 다른 제2 방향으로 제어하기 위해, 제1 방향에서 획득된 제1 이미지를 이용하여 계산된 각도에 대응되는 제어값들에 기초하여, 카메라 구동 모듈(1310)에 구동 제어 신호를 전송할 수 있다. 제1 이미지를 이용하여 계산된 각도에 대응되는 제어값들은 카메라(1300)의 시야각과 제1 이미지에 포함된 광원이 직접적으로 촬영되지 않게 하기 위해 회전해야 하는 최소 각도에 기초하여, 연산을 통해 획득된 것일 수 있다. 메모리(1100)는 제1 방향에서 획득된 제1 이미지를 이용하여 계산된 각도에 대응되는 제어값들을 획득하는 연산 코드를 저장해 둘 수 있고, 프로세서(1200)는 저장되어 있는 연산 코드에 접근할 수 있다. 이와 같은 연산 코드는 촬영 모드 모듈에 포함되어 있을 수 있다.The processor 1200 of the image generating apparatus 1000 controls the camera 1300 in a second direction different from the first direction, a control value corresponding to an angle calculated using the first image obtained in the first direction. Based on the values, a driving control signal may be transmitted to the camera driving module 1310 . Control values corresponding to the angle calculated using the first image are obtained through calculation based on the viewing angle of the camera 1300 and the minimum angle to be rotated so that the light source included in the first image is not taken directly. it may have been The memory 1100 may store an operation code for obtaining control values corresponding to the angle calculated using the first image obtained in the first direction, and the processor 1200 may access the stored operation code. have. Such an operation code may be included in the photographing mode module.

한편, 이미지 생성 장치(1000)는 제2 방향에서, 제2 이미지를 획득할 때의 촬영 파라미터를 조정하여 제4 이미지를 더 획득할 수 있다. 이와 같이 획득된 제4 이미지는 이미지 보정을 수행한 제3 이미지를 생성하는데 이용될 수 있다. 예를 들어, 이미지 생성 장치(1000)는 임의의 제2 방향에서, 제2 이미지와 촬영 파라미터가 다른 제4 이미지를 더 획득할 수 있다. 이와 같은 방식으로 제2 방향들에서 획득된 제4 이미지들 각각은 대응되는 제2 이미지들 각각과 촬영 방향은 동일하고, 촬영 파라미터만 다른 이미지들일 수 있다. 제2 이미지들은 제1 이미지와 동일한 촬영 파라미터로 다른 방향에서 촬영된 이미지들이므로, 제1 이미지의 왜곡 영역을 분석하는데 이용되고, 제1 이미지의 왜곡 영역이 분석된 후에는, 제1 이미지의 왜곡 영역을 분석하는데 이용한 제2 이미지들과 촬영 파라미터만 다른 제4 이미지들이 제1 이미지의 왜곡 영역에 대응되는 이미지 보정을 수행하는데 이용될 수 있다.Meanwhile, the image generating apparatus 1000 may further acquire a fourth image by adjusting a shooting parameter when acquiring the second image in the second direction. The fourth image obtained in this way may be used to generate a third image on which image correction is performed. For example, the image generating apparatus 1000 may further acquire a fourth image having a different shooting parameter from the second image in an arbitrary second direction. In this way, each of the fourth images obtained in the second directions may be images having the same photographing direction as each of the corresponding second images and different photographing parameters only. Since the second images are images taken in different directions with the same shooting parameters as the first image, they are used to analyze the distortion region of the first image, and after the distortion region of the first image is analyzed, the distortion of the first image The second images used to analyze the region and the fourth images that differ only in the shooting parameter may be used to perform image correction corresponding to the distorted region of the first image.

도 6은 제1 이미지와 제2 이미지에 기초하여, 제1 이미지의 왜곡 영역을 분석하는 과정을 설명하기 위한 도면이다.6 is a view for explaining a process of analyzing a distortion region of the first image based on the first image and the second image.

도 6을 참조하면, 이미지 생성 장치(1000)는 제1 방향에서 획득된 제1 이미지와 제2 방향에서 획득된, 제1 이미지와 일부가 겹치는 제2 이미지에 기초하여, 제1 이미지의 왜곡 영역을 분석할 수 있다.Referring to FIG. 6 , the image generating apparatus 1000 generates a distortion region of the first image based on a first image acquired in the first direction and a second image acquired in the second direction, the first image partially overlapping with the first image. can be analyzed.

이미지 생성 장치(1000)는 제1 이미지에 대해 제2 이미지를 와핑(warping)할 수 있다. 이미지를 와핑하는 것은 하나의 이미지상에 있는 (x,y) 위치의 픽셀을 다른 이미지상에 있는 (x',y') 위치의 픽셀로 대응시켜 이미지의 기하하적 변형을 일으키는 것을 말한다. 하나의 이미지를 다른 이미지로 이미지 변환을 하기 위해서는 두 이미지의 대응되는 픽셀들 간의 관계를 나타내는 호모그래피 행렬(homography matrix)이 이용될 수 있다. The image generating apparatus 1000 may warp the second image with respect to the first image. Image warping refers to causing geometric deformation of an image by mapping a pixel at (x,y) position on one image to a pixel at position (x',y') on another image. In order to convert one image into another image, a homography matrix indicating a relationship between corresponding pixels of two images may be used.

제1 이미지와 매칭을 위한 와핑된 제2 이미지를 획득하는 와핑 함수는 미리 알고 있는 회전 각도에 기초하여, 제1 이미지와 제2 이미지 사이의 외부 파라미터(extrinsic parameter)를 확보하여 호모그래피 행렬을 구함으로써 획득하거나, 제1 이미지와 제2 이미지 간의 특징점들에 기초하여, 호모그래피 행렬을 직접 계산함으로써 획득할 수 있다. 와핑 함수에 따라 제2 이미지를 제1 이미지에 대해 와핑한 후, 와핑된 제2 이미지와 제1 이미지를 매칭할 수 있다.The warping function for obtaining the warped second image for matching with the first image obtains an extrinsic parameter between the first image and the second image based on a known rotation angle to obtain a homography matrix. , or by directly calculating a homography matrix based on feature points between the first image and the second image. After the second image is warped with respect to the first image according to the warping function, the warped second image and the first image may be matched.

이미지 생성 장치(1000)는 제1 이미지와 와핑된 제2 이미지 간의 매칭 영역을 결정할 수 있다. 제1 이미지와 와핑된 제2 이미지 간의 매칭 영역은 미리 알고 있는 회전 각도에 기초하여, 와핑된 제2 이미지의 상대 위치를 계산하거나 제1 이미지와 와핑된 제2 이미지 간의 특징점들이 일치하는 지점의 위치에 따라 매칭 영역을 결정할 수 있다.The image generating apparatus 1000 may determine a matching area between the first image and the warped second image. The matching area between the first image and the warped second image is based on a known rotation angle, either by calculating the relative position of the warped second image or the position of the point where the feature points between the first image and the warped second image coincide. A matching area may be determined according to

이미지 생성 장치(1000)는 매칭 영역 간의 픽셀 값의 차에 기초하여, 제1 이미지에서 왜곡 후보 영역을 분할(segmentation)할 수 있다. 만약, 제1 이미지의 매칭 영역이 렌즈 플레어에 따른 왜곡 영역을 포함하고 있으면, 제1 이미지와 와핑된 제2 이미지에서 서로 대응되는 매칭 영역 간의 픽셀 값의 차를 구했을 때, 제1 이미지에서 왜곡 영역에 해당하는 픽셀들의 픽셀 값의 차는 주변의 픽셀들의 픽셀 값의 차와 소정의 수준 이상으로 차이가 나타날 수 있다. 이와 같이 매칭 영역 내의 픽셀들 중 서로 대응되는 픽셀들 간의 픽셀 값의 차가 서로 대응되는 주변의 픽셀들 간의 픽셀 값의 차와 소정의 수준 이상으로 차이나는 픽셀들을 왜곡 후보 영역으로 결정하여 분할할 수 있다.The image generating apparatus 1000 may segment the distortion candidate area in the first image based on the difference in pixel values between the matching areas. If the matching area of the first image includes a distortion area according to the lens flare, when the difference in pixel values between the matching areas corresponding to each other in the first image and the warped second image is obtained, the distortion area in the first image A difference in pixel values of pixels corresponding to ? may be greater than or equal to a predetermined level from a difference in pixel values of neighboring pixels. As described above, pixels in which the pixel value difference between the corresponding pixels among the pixels in the matching area differs from the pixel value difference between the neighboring pixels corresponding to each other by a predetermined level or more may be determined and divided into the distortion candidate area. .

제1 이미지와 와핑된 제2 이미지의 노출(exposure) 값이 서로 다른 경우, 제1 이미지의 노출 값과 와핑된 제2 이미지의 노출 값을 일치시킨 뒤, 서로 대응되는 매칭 영역 간의 픽셀 값의 차를 구하여, 픽셀 값의 차가 소정의 수준 이상으로 차이나는 픽셀들을 왜곡 후보 영역으로 결정할 수 있다. 이미지 생성 장치(1000)에 기록된, 제1 이미지를 촬영한 환경에서 노출 파라미터의 값과 제2 이미지를 촬영한 환경에서의 노출 파라미터의 값에 기초하여, 두 이미지의 노출 값을 일치시킬 수 있다. 또는, 제1 이미지와 와핑된 제2 이미지의 노출 값이 서로 다른 경우, 제1 이미지와 와핑된 제2 이미지에서 서로 대응되는 매칭 영역 간의 픽셀 값의 차를 구하여, 매칭 영역 내 픽셀들 전체의 픽셀 값의 차의 평균 값으로부터 일정 범위 이상의 픽셀 값의 차를 갖는 픽셀들을 왜곡 후보 영역으로 결정할 수 있다. 이와 같이 왜곡 후보 영역으로 결정된 영역을 제1 이미지에서 분할할 수 있다.When the exposure values of the first image and the warped second image are different from each other, the exposure value of the first image and the exposure value of the warped second image are matched, and then the pixel value difference between the corresponding matching areas By obtaining , pixels having a difference in pixel values greater than or equal to a predetermined level may be determined as distortion candidate regions. Based on the value of the exposure parameter recorded in the image generating apparatus 1000 in the environment in which the first image is photographed and the value of the exposure parameter in the environment in which the second image is photographed, the exposure values of the two images may be matched . Alternatively, when the exposure values of the first image and the warped second image are different from each other, the difference in pixel values between the matching areas corresponding to each other in the first image and the warped second image is obtained, and the pixels of all pixels in the matching area are obtained. Pixels having a difference of pixel values greater than or equal to a predetermined range from the average value of the difference in values may be determined as the distortion candidate region. As described above, the region determined as the distortion candidate region may be divided in the first image.

이미지 생성 장치(1000)는 제1 이미지에서 분할된 왜곡 후보 영역이 렌즈 플레어로 판정되는 조건을 만족하는지에 따라 분할된 왜곡 후보 영역이 왜곡 영역인지 판단할 수 있다. The image generating apparatus 1000 may determine whether the divided distortion candidate area is a distortion area according to whether the divided distortion candidate area in the first image satisfies a condition for determining the lens flare.

예를 들어, 이미지 생성 장치(1000)는 분할된 왜곡 후보 영역에서의 밝기의 변화도에 기초하여, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다. 이미지 생성 장치(1000)는 분할된 왜곡 후보 영역에서의 밝기의 변화도가 일정한 값을 유지하거나, 분할된 왜곡 후보 영역에서의 밝기가 그라데이션(gradation)을 보이는 경우, 분할된 왜곡 후보 영역을 베일링 플레어가 발생한 왜곡 영역으로 판단할 수 있다.For example, the image generating apparatus 1000 may determine the divided distortion candidate area as the distortion area based on the degree of change in brightness in the divided distortion candidate area. The image generating apparatus 1000 bales the divided distortion candidate area when the gradient of brightness in the divided distortion candidate area maintains a constant value or when the brightness in the divided distortion candidate area shows gradation. It can be determined as a distortion region in which flare occurs.

다른 예를 들어, 이미지 생성 장치(1000)는 분할된 왜곡 후보 영역과 주변 영역의 경계에서의 픽셀 값의 연속도에 기초하여, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다. 이미지 생성 장치(1000)는 픽셀 값의 컬러 비교, 컬러 히스토그램 비교, 엣지 검출(edge detection) 방식 등의 적어도 하나의 방식에 따라, 제1 이미지에서 분할된 왜곡 후보 영역과 이에 인접한 주변 영역의 픽셀 값의 연속성을 확인할 수 있다. 이미지 생성 장치(1000)는 제1 이미지에서 분할된 왜곡 후보 영역과 이에 인접한 주변 영역의 픽셀 값의 연속성이 없으면, 분할된 왜곡 후보 영역을 고스팅 플레어가 발생한 왜곡 영역으로 판단할 수 있다. 추가로, 제1 이미지에서 분할된 왜곡 후보 영역에 대응되는 제2 이미지의 영역에 대해서도, 이에 인접한 주변 영역의 픽셀 값의 연속성을 확인하여, 제1 이미지에서 분할된 왜곡 후보 영역에 대한 왜곡 영역 판단이 적절한 것인지 확인할 수도 있다.As another example, the image generating apparatus 1000 may determine the divided distortion candidate region as the distortion region based on the continuity of pixel values at the boundary between the divided distortion candidate region and the peripheral region. The image generating apparatus 1000 determines the pixel values of the distortion candidate region divided in the first image and the neighboring region adjacent thereto according to at least one method such as a color comparison of pixel values, a color histogram comparison, an edge detection method, and the like. continuity can be checked. The image generating apparatus 1000 may determine the divided distortion candidate region as a distortion region in which ghosting flare occurs when there is no continuity between pixel values of the divided distortion candidate region and the neighboring region adjacent thereto in the first image. In addition, in the region of the second image corresponding to the segmented distortion candidate region in the first image, the continuity of pixel values in the neighboring region is checked to determine the distortion region for the segmented distortion candidate region in the first image You can also check if this is appropriate.

또 다른 예를 들어, 이미지 생성 장치(1000)는 분할된 왜곡 후보 영역과 렌즈 플레어의 템플릿 이미지와의 유사도에 기초하여, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다. 이미지 생성 장치(1000)는 일반적인 렌즈 플레어에 따른 이미지의 왜곡 모양을 나타내는 템플릿 이미지와 분할된 왜곡 후보 영역의 이미지 간에 일치하거나 유사한 패턴이 확인되면, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다.As another example, the image generating apparatus 1000 may determine the divided distortion candidate region as the distortion region based on the similarity between the divided distortion candidate region and the template image of the lens flare. The image generating apparatus 1000 may determine the divided distortion candidate region as the distortion region when a pattern matching or similar between the template image representing the distortion shape of the image according to the general lens flare and the image of the divided distortion candidate region is identified. .

다른 예를 들어, 이미지 생성 장치(1000)는 분할된 왜곡 후보 영역과 제1 이미지 및 제2 이미지 중에 소정 기준 이상의 광량을 가지는 영역인 매칭 후보 영역과의 유사도에 기초하여, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다. 앞서 설명한 예에서, 렌즈 플레어의 템플릿 이미지는 일반적인 렌즈 플레어에 따른 이미지의 왜곡 모양을 나타내므로, 상황에 따라 다양하게 발생되는 렌즈 플레어에 따른 다양한 왜곡 모양을 모두 반영하지 못할 수 있다. 제1 이미지 및 제2 이미지 중에 소정 기준 이상의 광량을 가지는 영역은 렌즈 플레어에 따른 이미지의 왜곡 영역일 가능성이 높으므로, 이미지 생성 장치(1000)는 이를 매칭 후보 영역으로 결정할 수 있다. 이미지 생성 장치(1000)는 결정된 매칭 후보 영역을 앞의 예에서의 렌즈 플레어의 템플릿 이미지와 같은 용도로 활용하여, 매칭 후보 영역과 분할된 왜곡 후보 영역의 이미지 간에 일치하거나 유사한 패턴이 확인되면, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다.As another example, the image generating apparatus 1000 may generate the divided distortion candidate region based on the similarity between the divided distortion candidate region and the matching candidate region, which is a region having a light quantity greater than or equal to a predetermined reference among the first image and the second image. It can be judged as a distortion region. In the above-described example, since the template image of the lens flare represents the distortion shape of the image according to the general lens flare, it may not be able to reflect all the various distortion shapes according to the lens flare that are variously generated depending on the situation. Since a region having a light quantity greater than or equal to a predetermined reference among the first image and the second image is highly likely to be a distortion region of the image due to the lens flare, the image generating apparatus 1000 may determine it as a matching candidate region. The image generating apparatus 1000 uses the determined matching candidate area for the same purpose as the template image of the lens flare in the previous example, and when a matching or similar pattern is found between the matching candidate area and the image of the divided distortion candidate area, it is divided The distorted distortion candidate region may be determined as the distortion region.

도 7은 제1 이미지에 대해 왜곡 영역에 대응되는 이미지 보정을 수행하는 과정을 설명하기 위한 도면이다.7 is a diagram for explaining a process of performing image correction corresponding to a distortion region on a first image.

도 7을 참조하면, 이미지 생성 장치(1000)는 제1 이미지에서 분석된 왜곡 영역에 대응되는 영역을 제2 이미지에서 추출하고, 제1 이미지에서 분석된 왜곡 영역을 제2 이미지에서 추출된 영역으로 대체하여 이미지 보정을 수행할 수 있다. 결과적으로, 이미지 생성 장치(1000)가 제1 이미지에서 왜곡 영역을 제거하고, 제거된 왜곡 영역에 대응되는 영역을 제2 이미지에서 복사하여, 제1 이미지에 삽입하는 것으로 볼 수 있다.Referring to FIG. 7 , the image generating apparatus 1000 extracts a region corresponding to the distortion region analyzed in the first image from the second image, and converts the distortion region analyzed in the first image to the region extracted from the second image. Alternatively, image correction can be performed. As a result, it can be seen that the image generating apparatus 1000 removes the distortion region from the first image, copies the region corresponding to the removed distortion region from the second image, and inserts the region into the first image.

제1 이미지의 왜곡 영역에 대응되는 제2 이미지의 영역이 제1 이미지의 왜곡 영역을 대체하여 제1 이미지에 포함되는 경우, 주변 영역들과 연속성을 유지할 수 있도록, 이미지 생성 장치(1000)는 제1 이미지의 노출 값에 따라 제2 이미지의 노출 값을 조정한 후 제1 이미지에서 분석된 왜곡 영역에 대응되는 영역을 제2 이미지에서 추출할 수 있다. 또한, 이미지 생성 장치(1000)는 제1 이미지에서 분석된 왜곡 영역을 제2 이미지에서 추출된 영역으로 대체한 후 대체된 영역의 경계에 블렌딩 처리를 수행할 수 있다. 블렌딩 처리는 대체된 영역의 경계에 있는 픽셀들에 대해 그 주변의 픽셀들의 픽셀 값을 보간(interpolation)하거나 그 주변의 픽셀들의 픽셀 값에 가중치를 두어 평균함으로써 수행될 수 있다.When the region of the second image corresponding to the distortion region of the first image is included in the first image by replacing the distortion region of the first image, the image generating apparatus 1000 may be configured to maintain continuity with surrounding regions. After adjusting the exposure value of the second image according to the exposure value of the first image, a region corresponding to the distortion region analyzed in the first image may be extracted from the second image. Also, the image generating apparatus 1000 may replace the distortion region analyzed in the first image with the region extracted from the second image, and then perform a blending process on the boundary of the replaced region. The blending process may be performed by interpolating pixel values of neighboring pixels with respect to pixels at the boundary of the replaced region or averaging the pixel values of neighboring pixels by weighting them.

도 8은 이미지 생성 방법을 설명하기 위한 흐름도이다. 이상에서 이미지 생성 장치(1000)에 대해 설명한 내용은 이하 그 내용이 생략되더라도, 본 개시의 이미지 생성 방법에도 적용될 수 있다.8 is a flowchart illustrating an image generation method. The description of the image generating apparatus 1000 above may be applied to the image generating method of the present disclosure even if the content is omitted below.

810 단계에서, 이미지 생성 장치(1000)는 방향 전환이 가능한 카메라(1300)를 제1 방향으로 제어하여 제1 이미지를 획득할 수 있다.In operation 810 , the image generating apparatus 1000 may acquire a first image by controlling the camera 1300 capable of changing a direction in a first direction.

820 단계에서, 이미지 생성 장치(1000)는 카메라(1300)를 제1 방향과 다른 제2 방향으로 제어하여, 제1 이미지와 일부가 겹치는 제2 이미지를 획득할 수 있다. 제1 방향에서 획득된 제1 이미지에 광원이 포함되어 있는 경우, 제2 방향은 제1 이미지에 포함된 광원이 제2 이미지에서 제외되도록 하는 임의의 방향일 수 있다. In operation 820 , the image generating apparatus 1000 may obtain a second image partially overlapping the first image by controlling the camera 1300 in a second direction different from the first direction. When the light source is included in the first image acquired in the first direction, the second direction may be any direction in which the light source included in the first image is excluded from the second image.

또한, 이미지 생성 장치(1000)는 카메라(1300)를 제2 방향을 포함한 복수의 방향(즉, 제2 방향들)으로 제어하여 제2 이미지를 포함하는 복수의 이미지들(즉, 제2 이미지들)을 획득할 수도 있다. Also, the image generating apparatus 1000 controls the camera 1300 in a plurality of directions (ie, second directions) including the second direction to display a plurality of images including the second image (ie, second images). ) can also be obtained.

한편, 이미지 생성 장치(1000)는 제2 방향에서, 제2 이미지를 획득할 때의 촬영 파라미터를 조정하여 제4 이미지를 더 획득할 수도 있다. 이와 같은 제4 이미지는 제2 이미지와 촬영 방향은 동일한 반면, 촬영 파라미터는 다르며, 제1 이미지의 이미지 보정에 이용될 수 있도록 예비적으로 촬영된 것일 수 있다. 이미지 생성 장치(1000)가 복수의 제2 이미지들을 획득한 경우, 제2 이미지들에 대응되는 제4 이미지들을 더 획득할 수도 있다.Meanwhile, the image generating apparatus 1000 may further acquire a fourth image by adjusting a shooting parameter when acquiring the second image in the second direction. The fourth image may have the same photographing direction as the second image, but have different photographing parameters, and may be preliminarily photographed to be used for image correction of the first image. When the image generating apparatus 1000 acquires a plurality of second images, fourth images corresponding to the second images may be further acquired.

830 단계에서, 이미지 생성 장치(1000)는 제1 이미지와 제2 이미지에 기초하여, 제1 이미지의 왜곡 영역을 분석할 수 있다. 이미지 생성 장치(1000)는 제1 이미지에 대해 제2 이미지를 와핑하고, 제1 이미지와 와핑된 제2 이미지 간의 매칭 영역을 결정할 수 있다. 이미지 생성 장치(1000)는 매칭 영역 간의 픽셀 차에 기초하여, 제1 이미지에서 왜곡 후보 영역을 분할할 수 있다. 이미지 생성 장치(1000)는 분할된 왜곡 후보 영역이 렌즈 플레어로 판정되는 조건을 만족하는지에 따라 왜곡 영역을 판단할 수 있다. 예를 들어, 이미지 생성 장치(1000)는 분할된 왜곡 후보 영역에서의 밝기의 변화도 또는 분할된 왜곡 후보 영역과 주변 영역의 경계에서의 픽셀 값의 연속도에 기초하여, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다. 다른 예를 들어, 이미지 생성 장치(1000)는 분할된 왜곡 후보 영역과 렌즈 플레어의 템플릿 이미지와의 유사도 또는 분할된 왜곡 후보 영역과 제1 이미지 및 제2 이미지 중에 소정 기준 이상의 광량을 가지는 영역인 매칭 후보 영역과의 유사도에 기초하여, 분할된 왜곡 후보 영역을 왜곡 영역으로 판단할 수 있다.In operation 830 , the image generating apparatus 1000 may analyze a distortion region of the first image based on the first image and the second image. The image generating apparatus 1000 may warp the second image with respect to the first image and determine a matching area between the first image and the warped second image. The image generating apparatus 1000 may divide the distortion candidate area in the first image based on the pixel difference between the matching areas. The image generating apparatus 1000 may determine the distortion region according to whether the divided distortion candidate region satisfies a condition for determining the lens flare. For example, the image generating apparatus 1000 may generate the divided distortion candidate area based on the degree of change in brightness in the divided distortion candidate area or the continuity of pixel values at the boundary between the divided distortion candidate area and the surrounding area. It can be judged as a distortion region. For another example, the image generating apparatus 1000 may match the segmented distortion candidate area and the similarity between the lens flare template image or the segmented distortion candidate area and the area having a light quantity greater than or equal to a predetermined standard among the first image and the second image. Based on the degree of similarity to the candidate region, the divided candidate distortion region may be determined as the distortion region.

또한, 이미지 생성 장치(1000)는 제2 방향들에 대응되는 제2 이미지들을 획득한 경우, 제1 이미지와 제2 이미지들에 기초하여, 제1 이미지의 왜곡 영역을 분석할 수 있다.Also, when the second images corresponding to the second directions are obtained, the image generating apparatus 1000 may analyze a distortion region of the first image based on the first image and the second images.

840 단계에서, 이미지 생성 장치(1000)는 제1 이미지에 대해 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성할 수 있다. 이미지 생성 장치(1000)는 제1 이미지의 분석된 왜곡 영역에 대응되는 영역을 제2 이미지에서 추출하고, 제1 이미지에서 제1 이미지의 분석된 왜곡 영역을 제2 이미지에서 추출된 영역으로 대체하여 이미지 보정을 수행할 수 있다. 이를 위해, 이미지 생성 장치(1000)는 제1 이미지의 노출 값에 따라 제2 이미지의 노출 값을 조정한 후 제1 이미지의 분석된 왜곡 영역에 대응되는 영역을 제2 이미지에서 추출할 수 있다. 이미지 생성 장치(1000)는 제1 이미지에서 제1 이미지의 분석된 왜곡 영역을 제2 이미지에서 추출된 영역으로 대체한 후 대체된 영역의 경계에 블렌딩 처리를 수행하여 이미지 보정을 수행할 수 있다. 이에 따라, 제1 이미지에 대해 제1 이미지의 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지가 생성될 수 있다.In operation 840 , the image generating apparatus 1000 may generate a third image in which image correction corresponding to the analyzed distortion region is performed on the first image. The image generating apparatus 1000 extracts a region corresponding to the analyzed distortion region of the first image from the second image, and replaces the analyzed distortion region of the first image in the first image with the region extracted from the second image. Image correction can be performed. To this end, after adjusting the exposure value of the second image according to the exposure value of the first image, the image generating apparatus 1000 may extract a region corresponding to the analyzed distortion region of the first image from the second image. The image generating apparatus 1000 may perform image correction by replacing the analyzed distortion region of the first image with the region extracted from the second image in the first image, and then performing a blending process on the boundary of the replaced region. Accordingly, a third image in which image correction corresponding to the analyzed distortion region of the first image is performed on the first image may be generated.

또한, 이미지 생성 장치(1000)는 제2 방향들에 대응되는 제2 이미지들을 획득하여, 제1 이미지의 왜곡 영역을 분석한 경우, 제1 이미지에 대해 분석된 왜곡 영역에 대응되는 이미지 보정을 수행하기 위해, 제2 이미지들 중 적어도 하나를 이용할 수 있다. 한편, 이미지 생성 장치(1000)는 제2 방향에서 적어도 하나의 제2 이미지와 함께 적어도 하나의 제4 이미지를 더 획득한 경우, 적어도 하나의 제4 이미지를 이용하여 제1 이미지에 대해 제1 이미지의 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성할 수 있다.Also, when the image generating apparatus 1000 obtains second images corresponding to the second directions and analyzes the distortion region of the first image, the image generating apparatus 1000 performs image correction corresponding to the analyzed distortion region on the first image. To do so, at least one of the second images may be used. On the other hand, when the image generating apparatus 1000 further acquires at least one fourth image together with the at least one second image in the second direction, the first image with respect to the first image by using the at least one fourth image A third image on which image correction is performed corresponding to the analyzed distortion region may be generated.

도 9는 이미지 생성 장치(1000)의 일 예를 설명하기 위한 도면이다.9 is a diagram for explaining an example of the image generating apparatus 1000 .

도 9는 이미지 생성 장치(1000)가 스마트 폰이나 디지털 카메라인 경우이다. 이미지 생성 장치(1000)는 앞서 설명한 메모리(1100), 프로세서(1200), 카메라(1300) 외에 통신 인터페이스 모듈(1400), 디스플레이(1500)를 더 포함할 수 있다. 그 외에도 이미지 생성 장치(1000)의 위치를 감지하는 위치 센서나 이미지 생성 장치(1000)에 전원을 공급하는 전원부와 같은 구성들도 포함할 수 있으나, 이에 대한 설명은 생략한다. 9 is a case in which the image generating apparatus 1000 is a smart phone or a digital camera. The image generating apparatus 1000 may further include a communication interface module 1400 and a display 1500 in addition to the memory 1100 , the processor 1200 , and the camera 1300 described above. In addition, components such as a position sensor for detecting the position of the image generating apparatus 1000 or a power supply unit for supplying power to the image generating apparatus 1000 may be included, but a description thereof will be omitted.

통신 인터페이스 모듈(1400)은 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 모듈(1400)은 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스 모듈(1400)은 스마트 폰인 이미지 생성 장치(1000)의 외부에 위치한 장치와 연결되어, 이미지 생성 장치(1000)에서 획득하거나 생성된 이미지를 외부에 위치한 장치에 전송할 수 있다.The communication interface module 1400 may perform wired/wireless communication with other devices or networks. To this end, the communication interface module 1400 may include a communication module supporting at least one of various wired and wireless communication methods. For example, a communication module for performing short-range communication such as Wi-Fi (Wireless Fidelity) and Bluetooth, various types of mobile communication, or ultra-wideband communication may be included. The communication interface module 1400 may be connected to a device located outside the image generating apparatus 1000 which is a smart phone, and may transmit an image acquired or generated by the image generating apparatus 1000 to an externally located device.

디스플레이(1500)는 정보나 이미지를 제공하는 출력부를 포함하며, 입력을 수신하는 입력부를 더 포함한 형태일 수 있다. 출력부는 표시 패널 및 표시 패널을 제어하는 컨트롤러를 포함할 수 있으며, OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode) 디스플레이, LCD(Liquid Crystal Display) 등과 같은 다양한 방식으로 구현될 수 있다. 입력부는 사용자로부터 다양한 형태의 입력을 받을 수 있으며, 터치 패널, 키패드, 펜 인식 패널 중 적어도 하나를 포함한 형태일 수 있다. 디스플레이(1500)는 표시 패널과 터치 패널이 결합된 터치 스크린 형태로 제공될 수 있으며, 유연하게(flexible) 또는 접을 수 있게(foldable) 구현될 수 있다. The display 1500 may include an output unit that provides information or an image, and may further include an input unit that receives an input. The output unit may include a display panel and a controller for controlling the display panel, and may include a variety of organic light emitting diodes (OLED) displays, active-matrix organic light-emitting diodes (AM-OLED) displays, liquid crystal displays (LCDs), and the like. can be implemented in this way. The input unit may receive various types of input from the user, and may have a type including at least one of a touch panel, a keypad, and a pen recognition panel. The display 1500 may be provided in the form of a touch screen in which a display panel and a touch panel are combined, and may be implemented to be flexible or foldable.

도 10은 이미지 생성 장치(1000)의 다른 예를 설명하기 위한 도면이다.10 is a diagram for explaining another example of the image generating apparatus 1000 .

도 10은 이미지 생성 장치(1000)가 증강 현실 장치인 경우이다. 이미지 생성 장치(1000)는 앞서 설명한 메모리(1100), 프로세서(1200), 카메라(1300) 외에 통신 인터페이스 모듈(1400), 디스플레이(1550), 디스플레이 엔진부(1600), 시선 추적 센서(1700)를 더 포함할 수 있다. 그 외에도 이미지 생성 장치(1000)의 위치를 감지하는 위치 센서나 이미지 생성 장치(1000)에 전원을 공급하는 전원부와 같은 구성들도 포함할 수 있으나, 이에 대한 설명은 생략한다. 10 is a case in which the image generating apparatus 1000 is an augmented reality apparatus. The image generating apparatus 1000 includes a communication interface module 1400, a display 1550, a display engine unit 1600, and an eye tracking sensor 1700 in addition to the memory 1100, the processor 1200, and the camera 1300 described above. may include more. In addition, components such as a position sensor for detecting the position of the image generating apparatus 1000 or a power supply unit for supplying power to the image generating apparatus 1000 may be included, but a description thereof will be omitted.

통신 인터페이스 모듈(1400)은 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 모듈(1400)은 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스 모듈(1400)은 증강 현실 장치인 이미지 생성 장치(1000)의 외부에 위치한 장치와 연결되어, 이미지 생성 장치(1000)에서 획득하거나 생성된 이미지를 외부에 위치한 장치에 전송할 수 있다.The communication interface module 1400 may perform wired/wireless communication with other devices or networks. To this end, the communication interface module 1400 may include a communication module supporting at least one of various wired and wireless communication methods. For example, a communication module for performing short-range communication such as Wi-Fi (Wireless Fidelity) and Bluetooth, various types of mobile communication, or ultra-wideband communication may be included. The communication interface module 1400 may be connected to a device located outside the image generating apparatus 1000 that is an augmented reality device, and may transmit an image acquired or generated by the image generating apparatus 1000 to an external device.

증강 현실 장치인 이미지 생성 장치(1000)는 디스플레이(1550)와 디스플레이 엔진부(1600)를 통해 가상 이미지의 팝업을 제공할 수 있다. 가상 이미지(virtual image)는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면과 함께 관측되며, 현실 세계의 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치인 이미지 생성 장치(1000)의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.The image generating apparatus 1000 which is an augmented reality device may provide a pop-up of a virtual image through the display 1550 and the display engine unit 1600 . A virtual image is an image generated through an optical engine and may include both a static image and a dynamic image. Such a virtual image is observed together with a scene in the real world that the user sees through the augmented reality device, and information on the real object in the scene of the real world or information on the operation of the image generating device 1000 that is the augmented reality device or the control menu It may be an image representing the etc.

디스플레이 엔진부(1600)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(1550)까지 안내하는 가이드부를 포함할 수 있다. 디스플레이(1550)는 증강 현실 장치인 이미지 생성 장치(1000)의 좌안 렌즈부 및/또는 우안 렌즈부에 내재된 시스루 형태의 도광판(웨이브가이드, Waveguide)을 포함할 수 있다. 디스플레이(1550)는 객체에 대한 정보 또는 이미지 생성 장치(1000)의 동작에 대한 정보나 제어 메뉴를 나타내는 가상 이미지를 디스플레이할 수 있다.The display engine unit 1600 may include an optical engine that generates and projects a virtual image, and a guide unit that guides the light of the virtual image projected from the optical engine to the display 1550 . The display 1550 may include a see-through light guide plate (waveguide) embedded in the left eye lens unit and/or the right eye lens unit of the image generating apparatus 1000 which is an augmented reality device. The display 1550 may display information about an object, information about an operation of the image generating apparatus 1000, or a virtual image representing a control menu.

디스플레이(1550)에 가상 이미지의 팝업이 표시되는 경우, 증강 현실 장치인 이미지 생성 장치(1000)를 착용한 사용자는 가상 이미지의 팝업을 조작하기 위해 카메라(1300)에 사용자의 손을 노출시키고, 가상 이미지의 팝업에 있는 이미지 생성 장치(1000)의 기능을 노출된 손이 선택하도록 함으로써, 해당 기능을 실행시킬 수 있다. When a pop-up of a virtual image is displayed on the display 1550 , a user wearing the image generating apparatus 1000 which is an augmented reality device exposes the user's hand to the camera 1300 to manipulate the pop-up of the virtual image, By allowing the exposed hand to select a function of the image generating apparatus 1000 in the pop-up of an image, the corresponding function may be executed.

시선 추적 센서(1700)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 프로세서(1200)는 시선 추적 센서(1700)에서 검출된 사용자의 시선 정보에 에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(1200)는 시선 추적 센서(1700)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시 지점에서 다른 응시 지점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다.The gaze tracking sensor 1700 may detect gaze information such as a gaze direction toward which the user's eye is directed, a pupil position of the user's eye, or coordinates of a center point of the pupil. The processor 1200 may determine an eye movement type based on the user's gaze information detected by the gaze tracking sensor 1700 . For example, based on the gaze information obtained from the gaze tracking sensor 1700 , the processor 1200 may perform a fixation of gazing at a certain place, a pursuit of chasing a moving object, and a gaze from one gaze point to another. Various types of gaze movements including a saccade in which the gaze rapidly moves to a point can be determined.

이미지 생성 장치(1000)의 프로세서(1200)는 시선 추적 센서(1700)를 이용하여 사용자의 응시 지점이나 사용자의 시선 이동을 판단하여, 이미지 생성 장치(1000)의 제어에 이용할 수 있다. 프로세서(1200)는 시선 추적 센서(1700)에 의해 판단되는 응시 지점이나 시선 이동에 따라서 카메라(1300)의 방향을 제어하여, 적어도 하나의 이미지를 획득할 수 있다. 예를 들어, 사용자는 증강 현실 장치인 이미지 생성 장치(1000)를 착용하여 제1 방향에서 제1 이미지를 획득한 후, 사용자의 응시 지점이나 시선 이동에 따라 카메라(1300)의 방향을 제어하여, 제2 방향에서 제2 이미지를 획득할 수 있다.The processor 1200 of the image generating apparatus 1000 may determine the user's gaze point or the user's gaze movement using the eye tracking sensor 1700 and use it to control the image generating apparatus 1000 . The processor 1200 may acquire at least one image by controlling the direction of the camera 1300 according to the gaze point or gaze movement determined by the gaze tracking sensor 1700 . For example, the user wears the image generating apparatus 1000, which is an augmented reality device, to obtain a first image in the first direction, and then controls the direction of the camera 1300 according to the user's gaze point or gaze movement, A second image may be acquired in the second direction.

본 개시에서 설명된 이미지 생성 장치(1000)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 이미지 생성 장치(1000)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. The image generating apparatus 1000 described in the present disclosure may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, the image generating apparatus 1000 described in the disclosed embodiments includes a processor, an arithmetic logic unit (ALU), an application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), It may be implemented using one or more general purpose or special purpose computers, such as Programmable Logic Devices (PLDs), microcomputers, microprocessors, or any other device capable of executing and responding to instructions.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.

소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다. The software may be implemented as a computer program including instructions stored in a computer-readable storage medium. The computer-readable recording medium includes, for example, a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc. The computer-readable recording medium is distributed among computer systems connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed on a processor.

컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 이미지 생성 장치(1000)를 포함할 수 있다.The computer may include the image generating apparatus 1000 according to the disclosed embodiments as an apparatus capable of calling a stored instruction from a storage medium and operating according to the called instruction according to the disclosed embodiment.

컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. The computer-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.

또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.In addition, the method according to the disclosed embodiments may be provided included in a computer program product (computer program product). Computer program products may be traded between sellers and buyers as commodities.

컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 이미지 생성 장치(1000)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.The computer program product may include a software program, a computer-readable storage medium in which the software program is stored. For example, the computer program product is a product (eg, a downloadable application) in the form of a software program distributed electronically through a manufacturer of the image generating device 1000 or an electronic market (eg, Google Play Store, App Store). (downloadable application)). For electronic distribution, at least a portion of the software program may be stored in a storage medium or may be temporarily generated. In this case, the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.

컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 이미지 생성 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.The computer program product, in a system including a server and a terminal (eg, an image generating device), may include a storage medium of the server or a storage medium of the terminal. Alternatively, when there is a third device (eg, a smart phone) that is communicatively connected to the server or the terminal, the computer program product may include a storage medium of the third device. Alternatively, the computer program product may include the software program itself transmitted from the server to the terminal or third device, or transmitted from the third device to the terminal.

이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.In this case, one of the server, the terminal, and the third device may execute the computer program product to perform the method according to the disclosed embodiments. Alternatively, two or more of the server, the terminal, and the third device may execute the computer program product to distribute the method according to the disclosed embodiments.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다. For example, a server (eg, a cloud server or an artificial intelligence server, etc.) may execute a computer program product stored in the server, and may control a terminal communicatively connected with the server to perform the method according to the disclosed embodiments.

또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. As another example, the third device may execute a computer program product to control the terminal communicatively connected to the third device to perform the method according to the disclosed embodiment.

제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.When the third device executes the computer program product, the third device may download the computer program product from the server and execute the downloaded computer program product. Alternatively, the third device may execute the computer program product provided in a preloaded state to perform the method according to the disclosed embodiments.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, the described components of an electronic device, structure, circuit, etc. are combined or combined in a different form from the described method, or other components or equivalents are used. Appropriate results can be achieved even if substituted or substituted by

Claims (20)

방향 전환이 가능한 카메라;
하나 이상의 명령어들을 저장하는 메모리; 및
상기 하나 이상의 명령어들을 실행하는 프로세서를 포함하며,
상기 프로세서는,
상기 카메라를 제1 방향으로 제어하여 제1 이미지를 획득하고, 상기 카메라를 상기 제1 방향과 다른 제2 방향으로 제어하여, 상기 제1 이미지와 일부가 겹치는 제2 이미지를 획득하며, 상기 제1 이미지와 상기 제2 이미지에 기초하여, 상기 제1 이미지의 왜곡 영역을 분석하고, 상기 제1 이미지에 대해 상기 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성하는, 이미지 생성 장치. directional camera;
a memory that stores one or more instructions; and
a processor executing the one or more instructions;
The processor is
A first image is obtained by controlling the camera in a first direction, and a second image partially overlapping with the first image is obtained by controlling the camera in a second direction different from the first direction, Based on the image and the second image, analyzing a distortion region of the first image and generating a third image in which image correction corresponding to the analyzed distortion region is performed on the first image . 제1 항에 있어서,
상기 프로세스는 상기 하나 이상의 명령어들을 실행함으로써,
상기 제1 이미지에 대해 상기 제2 이미지를 와핑(warping)하고, 상기 제1 이미지와 상기 와핑된 제2 이미지 간의 매칭 영역을 결정하며, 상기 매칭 영역 간의 픽셀 값의 차에 기초하여, 상기 제1 이미지에서 왜곡 후보 영역을 분할(segmentation)하고, 상기 분할된 왜곡 후보 영역이 렌즈 플레어로 판정되는 조건을 만족하는지에 따라 상기 왜곡 영역을 판단하는, 이미지 생성 장치.According to claim 1,
The process by executing the one or more instructions,
warping the second image with respect to the first image, determining a matching area between the first image and the warped second image, based on a difference in pixel values between the matching areas, An image generating apparatus for segmenting a distortion candidate region in an image, and determining the distortion region according to whether the segmented distortion candidate region satisfies a condition for determining a lens flare. 제2 항에 있어서,
상기 프로세스는 상기 하나 이상의 명령어들을 실행함으로써,
상기 분할된 왜곡 후보 영역에서의 밝기의 변화도 또는 상기 분할된 왜곡 후보 영역과 주변 영역의 경계에서의 픽셀 값의 연속도에 기초하여, 상기 분할된 왜곡 후보 영역을 상기 왜곡 영역으로 판단하는, 이미지 생성 장치.3. The method of claim 2,
The process by executing the one or more instructions,
An image of determining the divided distortion candidate region as the distortion region based on a degree of change in brightness in the divided distortion candidate region or a continuity of pixel values at a boundary between the divided distortion candidate region and a peripheral region generating device. 제2 항에 있어서,
상기 프로세스는 상기 하나 이상의 명령어들을 실행함으로써,
상기 분할된 왜곡 후보 영역과 상기 렌즈 플레어의 템플릿 이미지와의 유사도 또는 상기 분할된 왜곡 후보 영역과 상기 제1 이미지 및 상기 제2 이미지 중에 소정 기준 이상의 광량을 가지는 영역인 매칭 후보 영역과의 유사도에 기초하여, 상기 분할된 왜곡 후보 영역을 상기 왜곡 영역으로 판단하는, 이미지 생성 장치.3. The method of claim 2,
The process by executing the one or more instructions,
Based on the degree of similarity between the segmented distortion candidate area and the template image of the lens flare or the similarity between the segmented distortion candidate area and a matching candidate area, which is an area having an amount of light equal to or greater than a predetermined standard among the first image and the second image to determine the divided distortion candidate region as the distortion region. 제1 항에 있어서,
상기 프로세스는 상기 하나 이상의 명령어들을 실행함으로써,
상기 분석된 왜곡 영역에 대응되는 영역을 상기 제2 이미지에서 추출하고, 상기 제1 이미지에서 상기 분석된 왜곡 영역을 상기 제2 이미지에서 추출된 영역으로 대체하여 이미지 보정을 수행하는, 이미지 생성 장치.According to claim 1,
The process by executing the one or more instructions,
and extracting a region corresponding to the analyzed distortion region from the second image, and performing image correction by replacing the analyzed distortion region in the first image with the region extracted from the second image. 제5 항에 있어서,
상기 프로세스는 상기 하나 이상의 명령어들을 실행함으로써,
상기 제1 이미지의 노출 값에 따라 상기 제2 이미지의 노출 값을 조정한 후 상기 분석된 왜곡 영역에 대응되는 영역을 상기 제2 이미지에서 추출하고, 상기 제1 이미지에서 상기 분석된 왜곡 영역을 상기 제2 이미지에서 추출된 영역으로 대체한 후 상기 대체된 영역의 경계에 블렌딩 처리를 수행하여 상기 이미지 보정을 수행하는, 이미지 생성 장치. 6. The method of claim 5,
The process by executing the one or more instructions,
After adjusting the exposure value of the second image according to the exposure value of the first image, a region corresponding to the analyzed distortion region is extracted from the second image, and the analyzed distortion region from the first image is extracted from the first image. and performing the image correction by performing a blending process on a boundary of the replaced region after replacing it with the region extracted from the second image. 제1 항에 있어서,
상기 제1 방향에서 획득된 상기 제1 이미지에 광원이 포함되어 있는 경우, 상기 제2 방향은 상기 제1 이미지에 포함된 상기 광원이 상기 제2 이미지에서 제외되도록 하는 임의의 방향인, 이미지 생성 장치.According to claim 1,
When a light source is included in the first image acquired in the first direction, the second direction is an arbitrary direction in which the light source included in the first image is excluded from the second image. . 제1 항에 있어서,
상기 프로세스는 상기 하나 이상의 명령어들을 실행함으로써,
상기 제2 방향에서, 상기 제2 이미지를 획득할 때의 촬영 파라미터를 조정하여 제4 이미지를 더 획득하고, 상기 제4 이미지를 이용하여 상기 이미지 보정을 수행한 제3 이미지를 생성하는, 이미지 생성 장치. According to claim 1,
The process by executing the one or more instructions,
In the second direction, a fourth image is further acquired by adjusting a shooting parameter when the second image is acquired, and a third image obtained by performing the image correction by using the fourth image is generated. Device. 제1 항에 있어서,
상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
상기 카메라를 상기 제2 방향을 포함한 복수의 방향으로 제어하여 상기 제2 이미지를 포함하는 복수의 이미지들을 획득하고, 상기 제1 이미지와 상기 복수의 이미지들에 기초하여, 상기 제1 이미지의 왜곡 영역을 분석하는, 이미지 생성 장치.According to claim 1,
The processor by executing the one or more instructions,
A plurality of images including the second image are obtained by controlling the camera in a plurality of directions including the second direction, and based on the first image and the plurality of images, a distortion region of the first image Analyze, image generating device. 제9 항에 있어서,
상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
상기 제1 방향을 중심으로 하는 소정의 궤적을 따라 상기 카메라의 방향을 변경하면서 상기 복수의 이미지들을 획득하는, 이미지 생성 장치. 10. The method of claim 9,
The processor by executing the one or more instructions,
and acquiring the plurality of images while changing a direction of the camera along a predetermined trajectory based on the first direction. 방향 전환이 가능한 카메라를 제1 방향으로 제어하여 제1 이미지를 획득하는 단계;
상기 카메라를 상기 제1 방향과 다른 제2 방향으로 제어하여, 상기 제1 이미지와 일부가 겹치는 제2 이미지를 획득하는 단계;
상기 제1 이미지와 상기 제2 이미지에 기초하여, 상기 제1 이미지의 왜곡 영역을 분석하는 단계; 및
상기 제1 이미지에 대해 상기 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성하는 단계;
를 포함하는, 이미지 생성 방법. obtaining a first image by controlling a camera capable of changing a direction in a first direction;
controlling the camera in a second direction different from the first direction to obtain a second image partially overlapping the first image;
analyzing a distortion region of the first image based on the first image and the second image; and
generating a third image in which image correction corresponding to the analyzed distortion region is performed on the first image;
A method of generating an image, comprising: 제11 항에 있어서,
상기 왜곡 영역을 분석하는 단계는,
상기 제1 이미지에 대해 상기 제2 이미지를 와핑(warping)하는 단계;
상기 제1 이미지와 상기 와핑된 제2 이미지 간의 매칭 영역을 결정하는 단계;
상기 매칭 영역 간의 픽셀 값의 차에 기초하여, 상기 제1 이미지에서 왜곡 후보 영역을 분할(segmentation)하는 단계; 및
상기 분할된 왜곡 후보 영역이 렌즈 플레어로 판정되는 조건을 만족하는지에 따라 상기 왜곡 영역을 판단하는 단계;
를 포함하는, 이미지 생성 방법. 12. The method of claim 11,
The step of analyzing the distortion region comprises:
warping the second image with respect to the first image;
determining a matching area between the first image and the warped second image;
segmenting a distortion candidate region in the first image based on a difference in pixel values between the matching regions; and
determining the distortion region according to whether the divided distortion candidate region satisfies a condition for determining a lens flare;
A method of generating an image, comprising: 제12 항에 있어서,
상기 왜곡 영역을 판단하는 단계는,
상기 분할된 왜곡 후보 영역에서의 밝기의 변화도 또는 상기 분할된 왜곡 후보 영역과 주변 영역의 경계에서의 픽셀 값의 연속도에 기초하여, 상기 분할된 왜곡 후보 영역을 상기 왜곡 영역으로 판단하는, 이미지 생성 방법. 13. The method of claim 12,
Determining the distortion region comprises:
An image of determining the divided distortion candidate region as the distortion region based on a degree of change in brightness in the divided distortion candidate region or a continuity of pixel values at a boundary between the divided distortion candidate region and a peripheral region creation method. 제12 항에 있어서,
상기 왜곡 영역을 판단하는 단계는,
상기 분할된 왜곡 후보 영역과 상기 렌즈 플레어의 템플릿 이미지와의 유사도 또는 상기 분할된 왜곡 후보 영역과 상기 제1 이미지 및 상기 제2 이미지 중에 소정 기준 이상의 광량을 가지는 영역인 매칭 후보 영역과의 유사도에 기초하여, 상기 분할된 왜곡 후보 영역을 상기 왜곡 영역으로 판단하는, 이미지 생성 방법. 13. The method of claim 12,
Determining the distortion region comprises:
Based on the degree of similarity between the segmented distortion candidate area and the template image of the lens flare or the similarity between the segmented distortion candidate area and a matching candidate area, which is an area having an amount of light equal to or greater than a predetermined standard among the first image and the second image to determine the divided distortion candidate region as the distortion region. 제11 항에 있어서,
상기 제3 이미지를 생성하는 단계는,
상기 분석된 왜곡 영역에 대응되는 영역을 상기 제2 이미지에서 추출하는 단계; 및
상기 제1 이미지에서 상기 분석된 왜곡 영역을 상기 제2 이미지에서 추출된 영역으로 대체하여 상기 이미지 보정을 수행하는 단계;
를 포함하는, 이미지 생성 방법. 12. The method of claim 11,
The step of generating the third image comprises:
extracting a region corresponding to the analyzed distortion region from the second image; and
performing image correction by replacing the analyzed distortion region in the first image with a region extracted from the second image;
A method of generating an image, comprising: 제15 항에 있어서,
상기 추출하는 단계는,
상기 제1 이미지의 노출 값에 따라 상기 제2 이미지의 노출 값을 조정한 후 상기 분석된 왜곡 영역에 대응되는 영역을 상기 제2 이미지에서 추출하고,
상기 이미지 보정을 수행하는 단계는,
상기 제1 이미지에서 상기 분석된 왜곡 영역을 상기 제2 이미지에서 추출된 영역으로 대체한 후 상기 대체된 영역의 경계에 블렌딩 처리를 수행하여 상기 이미지 보정을 수행하는, 이미지 생성 방법.16. The method of claim 15,
The extraction step is
After adjusting the exposure value of the second image according to the exposure value of the first image, a region corresponding to the analyzed distortion region is extracted from the second image,
Performing the image correction step,
and performing the image correction by performing a blending process on a boundary of the replaced region after replacing the analyzed distortion region in the first image with a region extracted from the second image. 제11 항에 있어서,
상기 제1 방향에서 획득된 상기 제1 이미지에 광원이 포함되어 있는 경우, 상기 제2 방향은 상기 제1 이미지에 포함된 상기 광원이 상기 제2 이미지에서 제외되도록 하는 임의의 방향인, 이미지 생성 방법.12. The method of claim 11,
When a light source is included in the first image acquired in the first direction, the second direction is an arbitrary direction in which the light source included in the first image is excluded from the second image. . 제11 항에 있어서,
상기 제2 이미지를 획득하는 단계는,
상기 제2 방향에서, 상기 제2 이미지를 획득할 때의 촬영 파라미터를 조정하여 제4 이미지를 획득하는 단계를 더 포함하고,
상기 제3 이미지를 생성하는 단계는,
상기 제4 이미지를 이용하여 상기 이미지 보정을 수행한 제3 이미지를 생성하는, 이미지 생성 방법.12. The method of claim 11,
Acquiring the second image comprises:
In the second direction, further comprising the step of obtaining a fourth image by adjusting a shooting parameter when obtaining the second image,
The step of generating the third image comprises:
and generating a third image obtained by performing the image correction by using the fourth image. 제11 항에 있어서,
상기 제2 이미지를 획득하는 단계는,
상기 카메라를 상기 제2 방향을 포함한 복수의 방향으로 제어하여 상기 제2 이미지를 포함하는 복수의 이미지들을 획득하고,
상기 왜곡 영역을 분석하는 단계는,
상기 제1 이미지와 상기 복수의 이미지들에 기초하여, 상기 제1 이미지의 왜곡 영역을 분석하는, 이미지 생성 방법.12. The method of claim 11,
Acquiring the second image comprises:
controlling the camera in a plurality of directions including the second direction to obtain a plurality of images including the second image,
The step of analyzing the distortion region comprises:
and analyzing a distortion region of the first image based on the first image and the plurality of images. 방향 전환이 가능한 카메라를 제1 방향으로 제어하여 제1 이미지를 획득하는 명령어들;
상기 카메라를 상기 제1 방향과 다른 제2 방향으로 제어하여, 상기 제1 이미지와 일부가 겹치는 제2 이미지를 획득하는 명령어들;
상기 제1 이미지와 상기 제2 이미지에 기초하여, 상기 제1 이미지의 왜곡 영역을 분석하는 명령어들; 및
상기 제1 이미지에 대해 상기 분석된 왜곡 영역에 대응되는 이미지 보정을 수행한 제3 이미지를 생성하는 명령어들;
을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.Commands for obtaining a first image by controlling a camera capable of changing a direction in a first direction;
instructions for controlling the camera in a second direction different from the first direction to obtain a second image partially overlapping the first image;
instructions for analyzing a distortion region of the first image based on the first image and the second image; and
instructions for generating a third image in which image correction corresponding to the analyzed distortion region is performed on the first image;
A computer-readable recording medium in which a program for execution on a computer is recorded, including a.
KR1020200060616A 2020-05-20 2020-05-20 Apparatus and method for generating image KR20210143607A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200060616A KR20210143607A (en) 2020-05-20 2020-05-20 Apparatus and method for generating image
PCT/KR2021/004374 WO2021235693A1 (en) 2020-05-20 2021-04-07 Image generation device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200060616A KR20210143607A (en) 2020-05-20 2020-05-20 Apparatus and method for generating image

Publications (1)

Publication Number Publication Date
KR20210143607A true KR20210143607A (en) 2021-11-29

Family

ID=78698087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200060616A KR20210143607A (en) 2020-05-20 2020-05-20 Apparatus and method for generating image

Country Status (2)

Country Link
KR (1) KR20210143607A (en)
WO (1) WO2021235693A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2605670C (en) * 2005-04-26 2014-08-05 Imax Corporation Electronic projection systems and methods
US7697839B2 (en) * 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
GB2525170A (en) * 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
KR102281184B1 (en) * 2014-11-20 2021-07-23 삼성전자주식회사 Method and apparatus for calibrating image
IL307594A (en) * 2016-08-22 2023-12-01 Magic Leap Inc Virtual, augmented, and mixed reality systems and methods

Also Published As

Publication number Publication date
WO2021235693A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US11514657B2 (en) Replica graphic causing reduced visibility of an image artifact in a direct-view of a real-world scene
CN106548455B (en) Apparatus and method for adjusting brightness of image
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
CN107181918B (en) A kind of dynamic filming control method and system for catching video camera of optics
EP3748953A1 (en) Adaptive camera control for reducing motion blur during real-time image capture
EP3353632A1 (en) Eye-tracking enabled wearable devices
US20190158802A1 (en) Image processing apparatus, image processing method and storage medium
US20170230621A1 (en) Device for and method of corneal imaging
KR20200023651A (en) Preview photo blurring method and apparatus and storage medium
US10347050B1 (en) Augmented reality device to warp images
CN112672139A (en) Projection display method, device and computer readable storage medium
JP2014188322A (en) Visual line detection device, visual line detection method and program
US11641524B2 (en) Electronic device and method for displaying image in electronic device
CN113452901A (en) Image acquisition method and device, electronic equipment and computer readable storage medium
US10657703B2 (en) Image processing apparatus and image processing method
US20220277512A1 (en) Generation apparatus, generation method, system, and storage medium
CN109427089B (en) Mixed reality object presentation based on ambient lighting conditions
US11556006B2 (en) Method and device for detecting a shadow in a head mounted device
US11080822B2 (en) Method, system and recording medium for building environment map
KR20210133674A (en) Augmented reality device and method for controlling the same
CN111142660A (en) Display device, picture display method and storage medium
KR20210143607A (en) Apparatus and method for generating image
US11487358B1 (en) Display apparatuses and methods for calibration of gaze-tracking
CN110545375B (en) Image processing method, image processing device, storage medium and electronic equipment
CN115734086A (en) Image processing method, device and system based on off-screen shooting and storage medium