KR102158357B1 - Apparatus, method for processing video and computer program for implementing the method - Google Patents

Apparatus, method for processing video and computer program for implementing the method Download PDF

Info

Publication number
KR102158357B1
KR102158357B1 KR1020200017709A KR20200017709A KR102158357B1 KR 102158357 B1 KR102158357 B1 KR 102158357B1 KR 1020200017709 A KR1020200017709 A KR 1020200017709A KR 20200017709 A KR20200017709 A KR 20200017709A KR 102158357 B1 KR102158357 B1 KR 102158357B1
Authority
KR
South Korea
Prior art keywords
image
unit
frame images
imaging device
mode parameter
Prior art date
Application number
KR1020200017709A
Other languages
Korean (ko)
Other versions
KR20200018559A (en
Inventor
송헌주
Original Assignee
주식회사 뷰오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뷰오 filed Critical 주식회사 뷰오
Priority to KR1020200017709A priority Critical patent/KR102158357B1/en
Publication of KR20200018559A publication Critical patent/KR20200018559A/en
Application granted granted Critical
Publication of KR102158357B1 publication Critical patent/KR102158357B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H04N5/23216—
    • H04N5/23245—

Abstract

본 실시예는 동영상 처리 장치로서, 촬상 장치와 상기 촬상 장치에 접속된 처리 장치를 포함하고, 상기 촬상 장치는 복수의 프레임 화상들을 획득하는 화상 취득 유닛; 상기 프레임 화상들을 상기 처리 장치에 전송하는 제1 전송 유닛; 상기 처리 장치로부터 수신된 모드 파라미터를 상기 촬상 장치에 설정하는 모드 설정 유닛; 상기 모드 파라미터를 이용하여 상기 프레임 화상들을 하나의 결합 화상으로 변환하는 결합 유닛; 및 상기 결합 화상을 상기 처리 장치로 전송하는 제2 전송 유닛;을 더 포함하는, 동영상 처리 장치를 개시한다. The present embodiment is a moving picture processing apparatus, comprising an imaging device and a processing device connected to the imaging device, the imaging device comprising: an image acquisition unit for acquiring a plurality of frame images; A first transfer unit that transfers the frame images to the processing device; A mode setting unit for setting a mode parameter received from the processing device in the imaging device; A combining unit that converts the frame images into one combined image using the mode parameter; And a second transmission unit that transmits the combined image to the processing device.

Figure R1020200017709
Figure R1020200017709

Description

동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램{APPARATUS, METHOD FOR PROCESSING VIDEO AND COMPUTER PROGRAM FOR IMPLEMENTING THE METHOD}A motion picture processing apparatus, a method, and a computer program for executing the method TECHNICAL FIELD [APPARATUS, METHOD FOR PROCESSING VIDEO AND COMPUTER PROGRAM FOR IMPLEMENTING THE METHOD]

본 실시예는 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램에 관한 것이다. The present embodiment relates to a moving picture processing apparatus, a method, and a computer program for executing the method.

모바일 기기는 음성 통화 기능과 무선 인터넷 서비스 기능 외에 카메라 기능과 같은 여러 부가 기능을 제공하고 있다. 카메라 기능을 갖는 모바일 기기는 피사체를 촬영하기 위한 카메라 모듈이 구비되어 언제 어디서나 사용자가 원하는 영상을 촬영하고 그 촬영 영상을 저장한다. In addition to the voice call function and wireless Internet service function, the mobile device provides various additional functions such as camera function. A mobile device having a camera function is provided with a camera module for photographing a subject, so that a user wants an image anytime, anywhere and stores the photographed image.

(특허문헌 1) 국내 공개특허공보 제2011-0091378호(Patent Document 1) Korean Patent Publication No. 2011-0091378

본 발명의 실시예들은 복수의 프레임 화상들을 결합한 하나의 결합 화상을 생성하는 영상 처리 장치 및 방법을 제공할 수 있다. Embodiments of the present invention can provide an image processing apparatus and method for generating a single combined image by combining a plurality of frame images.

또한, 본 발명의 실시예들은 프레임 화상들에 대하여 획득된 모드 파라미터를 고려하여 하나의 결합 화상을 생성하는 영상 처리 장치 및 방법을 제공할 수 있다. Further, embodiments of the present invention may provide an image processing apparatus and method for generating a single combined image in consideration of a mode parameter acquired for frame images.

본 발명의 실시예들에 따른 동영상 처리 장치는 촬상 장치와 상기 촬상 장치에 접속된 처리 장치를 포함하고, 상기 촬상 장치는 복수의 프레임 화상들을 획득하는 화상 취득 유닛; 상기 프레임 화상들을 상기 처리 장치에 전송하는 제1 전송 유닛; 상기 처리 장치로부터 수신된 모드 파라미터를 상기 촬상 장치에 설정하는 모드 설정 유닛; 상기 모드 파라미터를 이용하여 상기 프레임 화상들을 하나의 결합 화상으로 변환하는 결합 유닛; 및 상기 결합 화상을 상기 처리 장치로 전송하는 제2 전송 유닛;을 더 포함할 수 있다. A moving picture processing apparatus according to embodiments of the present invention includes an imaging device and a processing device connected to the imaging device, the imaging device comprising: an image acquisition unit for acquiring a plurality of frame images; A first transfer unit that transfers the frame images to the processing device; A mode setting unit for setting a mode parameter received from the processing device in the imaging device; A combining unit that converts the frame images into one combined image using the mode parameter; And a second transmission unit that transmits the combined image to the processing device.

상기 결합 유닛은 상기 모드 파라미터 및 센서 유닛에 의해 획득된 감지 데이터를 고려하여 상기 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 할 수 있다. The combining unit may be characterized in that it generates the frame images as one combined image in consideration of the mode parameter and the detection data acquired by the sensor unit.

상기 결합 유닛은 사용자로부터 수신된 모드 값에 따른 모드 파라미터를 변경하고, 상기 변경된 모드 파라미터에 따라 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 하는, 동영상 처리 장치. Wherein the combining unit changes a mode parameter according to a mode value received from a user, and generates frame images as one combined image according to the changed mode parameter.

본 발명의 실시예들에 따른 동영상 처리 방법은 촬상 장치와 상기 촬상 장치에 접속된 처리 장치를 포함하는 동영상 처리 장치의 동영상 처리 방법으로서, 상기 촬상 장치가 복수의 프레임 화상들을 획득하는 단계; 상기 프레임 화상들을 상기 처리 장치에 전송하는 단계; 상기 처리 장치로부터 수신된 모드 파라미터를 상기 촬상 장치에 설정하는 단계; 상기 모드 파라미터를 이용하여 상기 프레임 화상들을 하나의 결합 화상으로 변환하는 단계; 및 상기 결합 화상을 상기 처리 장치로 전송하는 단계;를 포함할 수 있다. A video processing method according to embodiments of the present invention is a video processing method of a video processing apparatus including an imaging device and a processing device connected to the imaging device, the method comprising: obtaining, by the imaging device, a plurality of frame images; Transmitting the frame images to the processing device; Setting a mode parameter received from the processing device in the imaging device; Converting the frame images into a single combined image using the mode parameter; And transmitting the combined image to the processing device.

상기 하나의 결합 화상으로 변환하는 단계는 상기 모드 파라미터 및 센서 유닛에 의해 획득된 감지 데이터를 고려하여 상기 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 할 수 있다.The converting into one combined image may be characterized in that the frame images are generated as a single combined image in consideration of the mode parameter and the detection data acquired by the sensor unit.

상기 하나의 결합 화상으로 변환하는 단계는 상기 촬상 장치에 의해 포함된 센서로부터의 감지 데이터를 이용하여 프레임 화상들의 배치 위치를 결정하고, 프레임 화상들을 각 배치 위치에 배치시키고, 결합시켜 결합 화상을 생성하는 점을 특징으로 할 수 있다. In the step of converting into one combined image, a combined image is generated by determining an arrangement position of the frame images using detection data from a sensor included by the imaging device, placing the frame images at each arrangement position, and combining them. It can be characterized by a point.

상기 하나의 결합 화상으로 변환하는 단계는 사용자로부터 수신된 모드 값에 따른 모드 파라미터를 변경하고, 상기 변경된 모드 파라미터에 따라 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 할 수 있다. The converting into one combined image may be characterized in that a mode parameter according to a mode value received from a user is changed, and frame images are generated as a single combined image according to the changed mode parameter.

본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 동영상 처리 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다. The computer program according to the embodiment of the present invention may be stored in a medium to execute any one of the video processing methods according to the embodiment of the present invention using a computer.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다. In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium for recording a computer program for executing the method are further provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예들에 따른 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램은 복수의 프레임 화상들을 결합한 하나의 결합 화상을 생성할 수 있다. The moving picture processing apparatus, method, and computer program for executing the method according to the embodiments of the present invention may generate a single combined image by combining a plurality of frame images.

또한, 본 발명의 실시예들에 따른 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램은 프레임 화상들에 대하여 획득된 모드 파라미터를 고려하여 하나의 결합 화상을 생성할 수 있다. In addition, the moving picture processing apparatus, method, and computer program for executing the method according to embodiments of the present invention may generate one combined image in consideration of the mode parameters acquired for frame images.

도 1은 본 발명의 실시예들에 따른 동영상 처리 장치의 블록도이다.
도 2 내지 도 5는 본 발명의 실시예들에 따른 동영상 처리 장치의 동작을 설명하는 흐름도이다.
도 6는 결합 화상 및 프레임 화상 사이의 관계를 설명하는 도면이다. 1 is a block diagram of a video processing apparatus according to embodiments of the present invention.
2 to 5 are flowcharts illustrating an operation of a video processing apparatus according to embodiments of the present invention.
6 is a diagram for explaining a relationship between a combined image and a frame image.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them will be apparent with reference to the embodiments described later in detail together with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

도 1은 본 발명의 실시예들에 따른 동영상 처리 장치의 구성예를 도시한다. 실시예에 따른 동영상 처리 장치는 촬상 장치(100)와 처리 장치(200)를 포함한다. 처리 장치(200)는 예컨대 퍼스널 컴퓨터이다. 촬상 장치(100)와 처리 장치(200)는 유선 혹은 무선으로 접속된다. 1 shows a configuration example of a video processing apparatus according to embodiments of the present invention. A video processing apparatus according to an embodiment includes an imaging device 100 and a processing device 200. The processing device 200 is, for example, a personal computer. The imaging device 100 and the processing device 200 are connected by wire or wirelessly.

촬상 장치(100)는 렌즈, 상기 렌즈로 결상된 광학 화상을 전기 신호의 형태로 프레임 화상으로 변환하는 CCD(charge-coupled device), 또는 CMOS(complementary metal oxide semiconductor) 등의 센서, 프레임 화상에 각종 화상 처리를 행하는 ISP 등의 화상 처리 유닛, 및 프레임 화상, 생성된 결합 화상, 그 밖의 데이터 및 제어 신호를 처리 장치와 교환하는 인터페이스 유닛을 포함한다. The imaging device 100 includes a lens, a charge-coupled device (CCD) that converts an optical image formed by the lens into a frame image in the form of an electric signal, or a sensor such as a complementary metal oxide semiconductor (CMOS), and various kinds of frame images. And an image processing unit such as an ISP that performs image processing, and an interface unit that exchanges a frame image, a generated combined image, and other data and control signals with a processing device.

**처리 장치(200)는, 촬상 장치(100)와 프레임 화상, 변환된 결합 화상, 그 밖의 데이터 및 제어 신호를 교환하는 I/F 유닛, 여러가지 처리를 실행하는 중앙 처리 장치(CPU), CPU에 의하여 실행되는 처리에 필요한 각종 소프트웨어와 데이터, 프레임 화상, 결합 화상 등을 저장하는 메모리, 상기 처리 장치에 접속된 모니터 등에 영상 신호를 접속하는 영상 출력 유닛(210), 영상 신호 등을 네트워크에 의해 접속된 다른 장치에 전송하는 통신 유닛(220), 장치 전체를 제어하는 제어 유닛 및 각 유닛을 접속하는 버스를 포함한다. RAM(random access memory), ROM(read-only memory), HDD(hard disk drive) 등을 메모리로서 총칭한다. 사용자 조작 지시 수신 유닛 등도 포함될 수 있다. ** The processing unit 200 includes an I/F unit that exchanges frame images, converted combined images, and other data and control signals with the imaging device 100, a central processing unit (CPU) that performs various processing, and a CPU. A memory for storing various software and data, frame images, combined images, etc. necessary for processing executed by the processing device, a video output unit 210 connecting a video signal to a monitor connected to the processing device, a video signal, etc., are transmitted via a network. It includes a communication unit 220 that transmits to other connected devices, a control unit that controls the entire device, and a bus that connects each unit. RAM (random access memory), ROM (read-only memory), HDD (hard disk drive), etc. are collectively referred to as memory. A user operation instruction receiving unit may also be included.

본 발명의 실시예에 따르면 영상 처리 장치(10)에서, 촬상 장치(100)에 포함된 화상 처리 유닛은 입체적으로 인식되는 화상 변환 기능을 갖고, 처리 장치에 포함된 CPU는 변환 파라미터 산출 기능을 갖는다. According to an embodiment of the present invention, in the image processing device 10, the image processing unit included in the imaging device 100 has an image conversion function that is recognized three-dimensionally, and the CPU included in the processing device has a conversion parameter calculation function. .

촬상 장치(100)에서 화상 취득 유닛(120, 121, …, 12n)은 프레임 화상을 생성하여, 프레임 화상을 결합 유닛(130) 및 제1 전송 유닛(150)에 전송한다. 제1 전송 유닛(150)은 원본 그대로의 프레임 화상을 처리 장치(200)에 전송한다. 처리 장치(200)에서 수신한 모드 파라미터를 이용하여, 모드 설정 유닛(141)은 모드 파라미터를 촬상 장치(100)에 설정한다. In the imaging device 100, the image acquisition units 120, 121, ..., 12n generate frame images and transmit the frame images to the combining unit 130 and the first transfer unit 150. The first transmission unit 150 transmits the original frame image to the processing device 200. Using the mode parameter received from the processing device 200, the mode setting unit 141 sets the mode parameter to the imaging device 100.

다른 실시예에서, 처리 장치(200)는 수신된 프레임 화상들에 다양한 태그를 추가할 수 있다. 처리 장치(200)는 프레임 화상에 포함된 객체, 객체의 특징들을 추출하여 태그로 설정할 수 있다. 처리 장치(200)는 원본 프레임 화상을 출력하도록 제어할 수 있으며, 촬영 이후에 입력된 모드 파라미터에 의해 처리할 수 있다. 즉, 모드 파라미터를 반영시켜 프레임 화상들과 대응되는 결합 화상이 생성될 수 있다. In another embodiment, the processing device 200 may add various tags to the received frame images. The processing device 200 may extract an object included in the frame image and features of the object and set it as a tag. The processing device 200 may control to output an original frame image, and may process it according to a mode parameter input after shooting. That is, a combined image corresponding to the frame images may be generated by reflecting the mode parameter.

결합 유닛(130)은 설정된 모드 파라미터에 기초하여 프레임 화상들을 하나의 결합 화상으로 생성한다. 모드 파라미터는 촬상 장치(100)에 포함된 센서 유닛(110)에 의해 변경될 수 있다. 센서 유닛(110)은 수집된 감지 데이터를 이용하여 촬상 장치(100)의 배향 및 방향을 결정할 수 있다. 센서 유닛(110)은 동작을 인식하여 촬상 장치(100)의 배향 및/또는 방향을 결정할 수 있다. 센서 유닛(110)은 감지된 사물, 사람 등의 방향을 이용하여 촬상 장치(100)의 배향 및/또는 방향을 결정할 수 있다. 센서 유닛(110)은 사람의 얼굴과 몸통의 위치를 고려하여 촬상 장치의 배향 또는 방향을 결정할 수 있다. 센서 유닛(110)의 예로는 중력 센서, 가속도 센서, 근접 센서, 이미지 센서 등일 수 있다. 결합 유닛(130)은 모드 파라미터를 기초로 프레임 화상을 취득할 유닛들을 결정한다. 결합 유닛(130)은 모드 파라미터를 기초로 선택적으로 프레임 화상들을 취득할 수 있다. 촬상 장치(100)에 포함된 화상 취득 유닛들의 방향이 지면에 대해서 수직을 이루는 경우, 결합 유닛(130)은 서로 마주보는 위치에 위치한 제1 화상 취득 유닛과 제2 화상 취득 유닛으로부터 획득된 프레임 화상들을 결합한 결합 화상을 생성한다. 결합 유닛(130)은 촬상 장치에 의해 포함된 센서로부터의 감지 데이터를 이용하여 프레임 화상들의 배치 위치를 결정하고, 프레임 화상들을 각 배치 위치에 배치시키고, 결합시켜 결합 화상을 생성할 수 있다. The combining unit 130 generates frame images as one combined image based on the set mode parameter. The mode parameter may be changed by the sensor unit 110 included in the imaging device 100. The sensor unit 110 may determine the orientation and direction of the imaging device 100 using the collected sensing data. The sensor unit 110 may determine the orientation and/or direction of the imaging device 100 by recognizing the motion. The sensor unit 110 may determine the orientation and/or direction of the imaging device 100 by using the detected object, person, or the like. The sensor unit 110 may determine the orientation or direction of the imaging device in consideration of the positions of the person's face and body. Examples of the sensor unit 110 may be a gravity sensor, an acceleration sensor, a proximity sensor, an image sensor, and the like. The combining unit 130 determines units to acquire a frame image based on the mode parameter. The combining unit 130 may selectively acquire frame images based on the mode parameter. When the direction of the image acquisition units included in the imaging device 100 is perpendicular to the ground, the combining unit 130 is a frame image acquired from the first image acquisition unit and the second image acquisition unit located at positions facing each other. Combines them to create a combined image. The combining unit 130 may determine an arrangement position of frame images by using sensing data from a sensor included by the imaging device, arrange the frame images at each arrangement position, and combine to generate a combined image.

촬상 장치(100)에 포함된 화상 취득 유닛들의 방향이 지면에 대해서 수평을 이루는 경우, 결합 유닛(130)은 전체 복수의 화상 취득 유닛들로부터 프레임 화상들을 수신하고, 상기 프레임 화상들을 결합한 결합 화상을 생성한다. When the direction of the image acquisition units included in the imaging device 100 is horizontal with respect to the ground, the combining unit 130 receives frame images from all of the plurality of image acquisition units, and generates a combined image combining the frame images. Generate.

결합 유닛(130)은 프레임 화상 중에서, 주변부의 해상도를 조절하기 위해서 프레임 화상을 처리하는 과정을 더 거칠 수 있다. 결합 유닛(130)은 어안 렌즈로 촬영된 프레임 화상에 대해서 프레임 화상의 휘어진 영역을 펴는 과정을 더 수행한 후, 결합 화상을 생성할 수 있다. 결합 화상은 양안으로 볼 수 있는 입체 화상 이거나 360도로 볼 수 있는 입체 화상일 수 있다. 결합 유닛(130)은 2차원으로 촬영된 프레임 화상들을 이용하여 3차원의 효과를 가지는 결합 화상을 생성할 수 있다. 제1 화상 취득 유닛(120)과 제2 화상 취득 유닛(121)은 물리적으로 정해진 거리 만큼 떨어져 있을 수 있다. 프레임 화상들은 물리적으로 떨어져있는 유닛들을 통해 획득될 수 있다. 프레임 화상들을 통해 입체적 효과가 획득될 수 있다. 결합 유닛(130)의 상세 동작은 도 4에 대한 설명에서 하겠다. The combining unit 130 may further process a frame image in order to adjust the resolution of a peripheral part of the frame image. The combining unit 130 may generate a combined image after further performing a process of unfolding the curved area of the frame image with respect to the frame image captured by the fisheye lens. The combined image may be a three-dimensional image that can be viewed with both eyes or a three-dimensional image that can be viewed in 360 degrees. The combining unit 130 may generate a combined image having a three-dimensional effect by using frame images captured in two dimensions. The first image acquisition unit 120 and the second image acquisition unit 121 may be physically separated by a predetermined distance. Frame images can be acquired through physically separated units. A three-dimensional effect can be obtained through frame images. Detailed operations of the coupling unit 130 will be described with reference to FIG. 4.

제2 전송 유닛(151)은 결합 화상을 처리 장치(200)에 전송한다. 처리 장치(200)는 변환된 결합 화상을 처리 장치(100)에 접속된 디스플레이 등의 영상 출력 장치에 표시하거나 변환된 결합 화상을 네트워크로 접속된 다른 장치에 전송한다. The second transmission unit 151 transmits the combined image to the processing device 200. The processing device 200 displays the converted combined image on an image output device such as a display connected to the processing device 100 or transmits the converted combined image to another device connected through a network.

본 실시예에 따르면, 복수의 프레임 화상들을 결합한 결합 화상은 입체적인 효과를 포함할 수 있다. According to the present embodiment, a combined image obtained by combining a plurality of frame images may include a three-dimensional effect.

아래에는 모드 파라미터에 따른 동영상 처리 장치의 동작을 설명하겠다. 처리 장치(200)는 영상 출력 유닛(210), 통신 유닛(220), 파라미터 산출 유닛(230), 파라미터 전송 유닛(240)를 포함할 수 있다. Below, the operation of the video processing device according to the mode parameter will be described. The processing device 200 may include an image output unit 210, a communication unit 220, a parameter calculation unit 230, and a parameter transmission unit 240.

영상 출력 유닛(210)은 모드 파라미터에 의해 획득된 결합 화상을 출력할 수 있다. The image output unit 210 may output a combined image obtained by the mode parameter.

통신 유닛(220)은 촬상 장치로부터 프레임 화상들 및 결합 화상을 수신할 수 있다. The communication unit 220 may receive frame images and combined images from the imaging device.

파라미터 산출 유닛(230)은 모드 파라미터를 산출한다. 파라미터 산출 유닛(230)은 촬상 장치로부터 수신한 감지 데이터 또는 사용자로부터 입력된 사용자 입력을 기초로 모드 파라미터를 산출한다. 파라미터 산출 유닛(230)은 기설정된 규칙에 따라, 모드 파라미터를 결정한다. 파라미터 산출 유닛(230)은 입력된 사용자 입력과 대응되는 모드 파라미터를 결정한다. 파라미터 산출 유닛(230)은 수신된 감지 데이터와 대응되는 모드 파라미터를 결정한다. The parameter calculation unit 230 calculates a mode parameter. The parameter calculation unit 230 calculates the mode parameter based on the sensing data received from the imaging device or the user input input from the user. The parameter calculation unit 230 determines a mode parameter according to a preset rule. The parameter calculation unit 230 determines a mode parameter corresponding to the input user input. The parameter calculation unit 230 determines a mode parameter corresponding to the received sensing data.

여기서, 모드 파라미터는 화상 취득 유닛의 활성 여부와도 관련될 수 있다. 즉, 모드 파라미터에 포함된 활성 유닛 정보에 따라 촬상 장치는 양안 모드 또는 단안 모드 중 하나로 동작될 수 있다. 모드 파라미터는 360도 효과의 포함 여부를 포함할 수 있다. Here, the mode parameter may also be related to whether or not the image acquisition unit is active. That is, the imaging device may be operated in either a binocular mode or a monocular mode according to the active unit information included in the mode parameter. The mode parameter may include whether or not the 360 degree effect is included.

파라미터 전송 유닛(240)은 결정된 모드 파라미터를 촬상 장치로 전송한다. The parameter transmission unit 240 transmits the determined mode parameter to the imaging device.

촬상 장치의 모드 설정 유닛(141)은 모드 파라미터를 수신한다. 모드 설정 유닛(141)은 수신된 모드 파라미터를 제어 정보 생성 유닛(140)로 전달한다. 제어 정보 생성 유닛(140)은 수신된 모드 파라미터와 대응되는 제어 정보를 생성할 수 있다. 모드 파라미터에 포함된 활성 유닛 정보에 따라 제어 정보는 활성화되는 화상 취득 유닛 그룹 및 비활성되는 화상 취득 유닛 그룹을 결정한다. 제어 정보는 구체적으로 양안 모드 또는 단안 모드 중 하나로 동작되도록 생성될 수 있다. 제어 정보에 따라 취득되는 화상의 수나 활성화되는 유닛이 변경될 수 있다. 예를 들어, 양안 모드에서는 2개 또는 4개의 화상 취득 유닛으로부터 화상이 취득될 수 있다. 단안 모드에서는 1개 또는 2개의 화상 취득 유닛으로부터 화상이 취득될 수 있다. The mode setting unit 141 of the imaging device receives a mode parameter. The mode setting unit 141 transmits the received mode parameter to the control information generating unit 140. The control information generating unit 140 may generate control information corresponding to the received mode parameter. According to the active unit information included in the mode parameter, the control information determines an activated image acquisition unit group and an inactive image acquisition unit group. The control information may be specifically generated to operate in either a binocular mode or a monocular mode. Depending on the control information, the number of acquired images or the activated unit may be changed. For example, in the binocular mode, images can be acquired from two or four image acquisition units. In the monocular mode, images can be acquired from one or two image acquisition units.

모드 파라미터에 포함된 360도 효과 포함 여부에 따라 제어 정보는 활성화시켜야 하는 화상 취득 유닛의 방향, 위치에 대한 정보를 포함할 수 있다. 구체적으로는 제어 정보는 각 화상 취득 유닛에 할당된 코드를 포함할 수 있다. 제어 정보는 활성화시켜야 하는 화상 취득 유닛에 대한 코드를 포함할 수 있다. The control information may include information on a direction and a position of an image acquisition unit to be activated according to whether or not a 360-degree effect included in the mode parameter is included. Specifically, the control information may include a code assigned to each image acquisition unit. The control information may include a code for an image acquisition unit to be activated.

또한, 제어 정보는 결합 유닛에 의해 생성되어야 하는 결합 화상에 대한 정보도 포함할 수 있다. 즉, 제어 정보는 결합 유닛(130)의 동작을 제어하는 구문을 포함할 수 있다. In addition, the control information may also include information on a combined image to be generated by the combining unit. That is, the control information may include syntax for controlling the operation of the combining unit 130.

제어 정보는 센서 유닛(110)으로부터 수신된 현재 상태와 대응되는 감지 데이터를 기초로 생성될 수도 있다. The control information may be generated based on sensing data corresponding to the current state received from the sensor unit 110.

결합 유닛(130)은 모드 파라미터 또는 제어 정보에 따라, 결합 화상을 생성할 수 있다. 결합 유닛(130)은 사용자로부터 수신된 모드 값에 따른 모드 파라미터를 변경하고, 상기 변경된 모드 파라미터에 따라 프레임 화상들을 하나의 결합 화상으로 생성할 수 있다. The combining unit 130 may generate a combined image according to the mode parameter or control information. The combining unit 130 may change a mode parameter according to a mode value received from a user, and may generate frame images as one combined image according to the changed mode parameter.

도 2 내지 도 5는 본 발명의 실시예들에 따른 영상 처리 방법의 흐름도들이다. 2 to 5 are flowcharts of an image processing method according to embodiments of the present invention.

S110에서는 촬상 장치(100)는 복수의 프레임 화상들을 생성할 수 있다. S120에서는 촬상 장치(100)는 취득한 프레임 화상들을 처리 장치에 전송한다. S130에서는 프레임 화상을 수신한 처리 장치(200)는 모드 파라미터를 획득 또는 생성한다. 처리 장치(200)는 사용자 입력 수신 유닛을 통해 모드 파라미터를 획득할 수 있다. 처리 장치(200)는 프레임 화상을 기초로 모드 파라미터를 생성할 수 있다. 처리 장치(200)는 프레임 화상에 포함된 사물, 사람의 형태를 이용하여 모드 파라미터를 생성할 수 있다. S140에서는 처리 장치(200)는 모드 파라미터를 촬상 장치에 전송한다. In S110, the imaging device 100 may generate a plurality of frame images. In S120, the imaging device 100 transmits the acquired frame images to the processing device. In S130, the processing device 200 receiving the frame image acquires or generates a mode parameter. The processing device 200 may acquire the mode parameter through the user input receiving unit. The processing device 200 may generate a mode parameter based on the frame image. The processing device 200 may generate a mode parameter using the shape of an object or person included in the frame image. In S140, the processing device 200 transmits the mode parameter to the imaging device.

S150에서는 촬상 장치(100)는 수신한 모드 파라미터를 설정한다. 모드 파라미터를 설정하기 전에 촬상 장치(100)는 모드 파라미터의 타당성을 판단할 수 있다. 촬상 장치(100)는 처리 장치(200)로부터 수신한 모드 파라미터의 타당성을 센서 유닛을 통해 획득된 현재의 감지 데이터와 대응시켜 판단할 수 있다. 현재의 감지 데이터와 대응시켜 모드 파라미터가 타당하지 않는 경우, 모드 파라미터는 변경될 수 있다. In S150, the imaging device 100 sets the received mode parameter. Before setting the mode parameter, the imaging apparatus 100 may determine the validity of the mode parameter. The imaging device 100 may determine the validity of the mode parameter received from the processing device 200 by correlating it with current sensing data acquired through the sensor unit. If the mode parameter is not valid in correspondence with the current sensing data, the mode parameter may be changed.

S160에서는 촬상 장치(100)는 모드 파라미터를 고려하여 결합 화상을 생성한다. 모드 파라미터에 따라 결합 화상을 생성하는데 이용되는 프레임 화상의 수는 전부 또는 일부 일 수 있다. 취득되는 프레임 화상의 수에 따라 프레임 화상을 송수신시키는 채널이 활성화될 수 있다. 예를 들어, 3D 모드인 경우, 촬상 장치(100)는 동일 평면 또는 동일 방향 상에서 취득된 제1 프레임 화상 및 제2 프레임 화상을 결합한 결합 화상을 생성할 수 있다. 360 모드 인 경우, 촬상 장치는 반대 방향을 촬영한 제1 프레임 화상 및 제3 프레임 화상을 결합한 결합 화상을 생성할 수 있다. In S160, the imaging device 100 generates a combined image in consideration of the mode parameter. The number of frame images used to generate a combined image may be all or part according to the mode parameter. A channel for transmitting and receiving frame images may be activated depending on the number of acquired frame images. For example, in the 3D mode, the imaging device 100 may generate a combined image obtained by combining a first frame image and a second frame image acquired on the same plane or in the same direction. In the case of the 360 mode, the imaging device may generate a combined image obtained by combining the first frame image and the third frame image photographed in the opposite direction.

또한, 결합 화상의 해상도는 각 모드 별로 달라질 수 있다. 하나의 프레임 화상이 4000X3000의 해상도를 가지는 경우, 결합 화상은 프레임 화상을 초과하는 해상도를 가질 수 있다. 결합 화상의 해상도는 복수의 프레임 화상들의 결합으로 인해, 프레임 화상의 해상도의 배수로 증가하게 된다. 예를 들어, 결합 화상의 해상도는 8000X3000, 4000X6000, 8000X6000 등과 같은 해상도를 가질 수 있다. 결합 화상의 생성 과정은 각 모드 별로 달라질 수 있다. Also, the resolution of the combined image may vary for each mode. When one frame image has a resolution of 4000X3000, the combined image may have a resolution exceeding the frame image. The resolution of the combined image increases as a multiple of the resolution of the frame image due to the combination of a plurality of frame images. For example, the resolution of the combined image may have a resolution such as 8000X3000, 4000X6000, 8000X6000, and the like. The process of generating the combined image may be different for each mode.

S170에서는 촬상 장치(100)는 결합 화상을 처리 장치로 전송한다. In S170, the imaging device 100 transmits the combined image to the processing device.

S180에서는 처리 장치(200)는 수신한 결합 화상을 표시 또는 다른 출력 장치로 전송할 수 있다. 처리 장치(200)는 입체적인 효과를 가지는 결합 화상을 표시하도록 제어할 수 있다. 모드 별로 생성된 결합 화상은 다르게 출력될 수 있다. In S180, the processing device 200 may display or transmit the received combined image to another output device. The processing device 200 may control to display a combined image having a three-dimensional effect. Combined images generated for each mode may be output differently.

도 3은 감지 데이터를 이용하여 모드 파라미터를 조절하는 동영상 처리 방법의 흐름도이다. 3 is a flowchart of a video processing method of adjusting a mode parameter using sensing data.

S210에서는 촬상 장치(100)는 복수의 프레임 화상들을 생성할 수 있다. S220에서는 촬상 장치(100)는 감지 데이터를 생성할 수 있다. 촬상 장치(100)는 센서 유닛에 의해 획득된 센서값들을 기초로 감지 데이터를 생성할 수 있다. 감지 데이터는 촬상 장치의 방향이 지표면에 대해서 수직인지 또는 수평인지 여부를 포함할 수 있다. 감지 데이터는 밝기 값을 포함할 수 있다. 밝기 값은 화상 취득 유닛 별로 구비된 센서를 통해서 획득될 수 있다. 센서 별로 관리되는 룩업 테이블을 이용하여 센서로부터 획득된 센서 값과 대응되는 밝기 값을 산출할 수 있다. 촬상 장치(100)는 감지 데이터를 통해 획득된 밝기 값을 이용하여 화상 처리 방법을 결정할 수 있다. 밝기 값이 미리 설정된 기준 밝기 이하인 화상 취득 유닛으로부터 획득된 프레임 화상의 밝기는 변화량 만큼 조절될 수 있다. 조절되는 변화량은 산술적으로 변화되는 밝기 값의 구간 단위로 변화할 수 있다. 즉, 제1 범위의 밝기에 대해서는 제1 변화량이 적용될 수 있다. In S210, the imaging device 100 may generate a plurality of frame images. In S220, the imaging device 100 may generate sensing data. The imaging device 100 may generate sensing data based on sensor values acquired by the sensor unit. The sensing data may include whether the direction of the imaging device is vertical or horizontal with respect to the ground surface. The sensing data may include a brightness value. The brightness value may be acquired through a sensor provided for each image acquisition unit. A brightness value corresponding to a sensor value acquired from a sensor may be calculated using a lookup table managed for each sensor. The imaging device 100 may determine an image processing method using a brightness value obtained through sensing data. The brightness of a frame image obtained from an image acquisition unit whose brightness value is less than or equal to a preset reference brightness can be adjusted by the amount of change. The adjusted amount of change may be changed in units of intervals of the brightness value that is changed arithmetically. That is, the first change amount may be applied to the brightness in the first range.

S230에서는 촬상 장치(100)는 감지 데이터 및 프레임 화상들을 처리 장치에 전송할 수 있다. In S230, the imaging device 100 may transmit sensing data and frame images to the processing device.

S240에서는 처리 장치(200)는 감지 데이터를 기초로 모드 파라미터를 결정할 수 있다. 감지 데이터로부터 판단된 촬상 장치(100)의 방향에 따라 모드 파라미터가 결정될 수 있다. 촬상 장치(100)가 지면을 기준으로 수평 방향인 경우, 모드 파라미터는 3D 모드 또는 3D 360 모드 중 하나로 설정될 수 있다. 감지 데이터로부터 선택된 모드가 복수라면, 사용자로부터 하나의 모드를 선택하도록 유도할 수 있다. 미리 정해진 제1 시간 이후에도 사용자로부터 선택된 모드가 없는 경우, 감지 데이터로부터 선택된 모드들 중에서 결합 화상의 해상도가 더 큰 모드가 최종적으로 결정될 수 있다. 본 실시예에 따르면, 해상도가 더 큰 모드를 선택하게 되면, 해상도가 더 작은 모드로의 전환이 가능할 수 있기 때문이다. 모드 파라미터는 화상의 해상도와 관련된 것일 수 있다. 모드 파라미터는 화상의 데이터 포맷과 관련된 것일 수 있다. 모드 파라미터는 HD, SBS 3D(SBS, side-by-side), Anaglyph 3D, 360, Anaglyph 360, 3D 360 중 하나 일 수 있다. In S240, the processing device 200 may determine a mode parameter based on the sensed data. The mode parameter may be determined according to the direction of the imaging device 100 determined from the sensing data. When the imaging device 100 is in a horizontal direction with respect to the ground, the mode parameter may be set to either a 3D mode or a 3D 360 mode. If there are multiple modes selected from the sensing data, it is possible to induce a user to select one mode. When there is no mode selected by the user even after the first predetermined time, a mode having a larger resolution of the combined image among modes selected from the sensing data may be finally determined. This is because, according to the present embodiment, when a mode having a higher resolution is selected, it is possible to switch to a mode having a smaller resolution. The mode parameter may be related to the resolution of the image. The mode parameter may be related to the data format of the image. The mode parameter may be one of HD, SBS 3D (SBS, side-by-side), Anaglyph 3D, 360, Anaglyph 360, and 3D 360.

S250에서는 처리 장치(200)는 모드 파라미터를 촬상 장치에 전송한다. In S250, the processing device 200 transmits the mode parameter to the imaging device.

S260에서는 촬상 장치(100)는 모드 파라미터의 타당성을 결정한다. 처리 장치에 의해 결정된 시점 이후에 촬상 장치의 방향, 또는 배향이 변경되는 경우에는 모드 파라미터가 재 변경될 수 있다. 모드 파라미터는 현재의 상태를 반영하여 변경될 수 있다. 이때, 사용자의 입력에 의해 설정된 모드 파라미터는 변경되지 않을 수 있다.In S260, the imaging device 100 determines the validity of the mode parameter. If the orientation or orientation of the imaging device is changed after the time point determined by the processing device, the mode parameter may be changed again. The mode parameter may be changed by reflecting the current state. In this case, the mode parameter set by the user's input may not be changed.

S270에서는 촬상 장치(100)는 모드 파라미터를 기초로 결합 화상을 생성한다. In S270, the imaging device 100 generates a combined image based on the mode parameter.

S280에서는 촬상 장치(100)는 결합 화상을 처리 장치에 전송한다. In S280, the imaging device 100 transmits the combined image to the processing device.

S290에서는 촬상 장치(100)는 결합 화상을 표시 또는 전송한다. In S290, the imaging device 100 displays or transmits a combined image.

도 4 및 도 5는 결합 유닛의 동작을 설명하기 위한 흐름도이다. 4 and 5 are flowcharts for explaining the operation of the coupling unit.

S310에서는 결합 유닛은 프레임 화상들을 수신할 수 있다. 프레임 화상들은 촬상 장치에 구비된 어안 렌즈로부터 획득될 수 있다. 어안 렌즈로 획득된 프레임 화상은 원형 모양일 수 있으며, 중앙으로부터 멀리 떨어질수록 왜곡될 수 있다. 결합 유닛은 프레임 화상의 왜곡을 제거하는 과정을 더 실행할 수 있다. 프레임 화상들은 프레임 화상의 중앙으로부터 멀리 떨어질수록 왜곡되는 경향이 있다. In S310, the combining unit may receive frame images. Frame images can be obtained from a fisheye lens provided in the imaging device. A frame image obtained with a fisheye lens may have a circular shape, and may be distorted as it moves away from the center. The combining unit may further execute a process of removing distortion of the frame image. Frame images tend to be distorted as they move further from the center of the frame image.

S320에서는 결합 유닛은 프레임 화상들을 1차적으로 처리할 수 있다. 결합 유닛은 프레임 화상들의 왜곡을 제거할 수 있다. 결합 유닛은 프레임 화상들을 디피쉬(De-fish)할 수 있다. In S320, the combining unit may primarily process frame images. The combining unit can remove distortion of frame images. The combining unit can de-fish frame pictures.

S325에서는 결합 유닛은 프레임 화상들에 대해서 2차적 처리가 필요한지 여부를 판단할 수 있다. 결합 유닛은 모드 파라미터를 기초로 프레임 화상들에 대해서 2차적 처리가 필요한지 여부를 판단할 수 있다. 모드 파라미터가 360도 효과를 포함하고 있는 경우, 결합 유닛은 프레임 화상들에 대해서 2차적 처리가 필요하다고 판단할 수 있다. 만약, 2차적 처리가 필요하지 않은 경우에는 결합 유닛은 결합 화상을 생성할 수 있다(S326). In S325, the combining unit may determine whether secondary processing is required for frame images. The combining unit may determine whether secondary processing is required for frame images based on the mode parameter. When the mode parameter includes the 360 degree effect, the combining unit may determine that secondary processing is required for frame images. If secondary processing is not required, the combining unit may generate a combined image (S326).

S330에서는 결합 유닛은 프레임 화상들에 대해서 2차적 처리가 필요하다고 판단된 경우, 프레임 화상들을 스티칭(stitching)할 수 있다. 스티칭 과정은 복수의 프레임 화상들을 결합하는 과정을 말하며, 프레임 화상들 사이의 광학 파라미터 및/또는 기하학적 파라미터에 따른 차이점을 제거하기 위한 과정이며, 자세한 내용은 아래의 도 5에서 설명하겠다. In S330, when it is determined that secondary processing is required for the frame images, the combining unit may stitch the frame images. The stitching process refers to a process of combining a plurality of frame images, and is a process for removing differences according to optical parameters and/or geometric parameters between frame images, and details will be described in FIG. 5 below.

스티칭이 완료된 이후, 결합 유닛은 프레임 화상들에 대해서 3차적 처리가 필요한지 여부를 판단할 수 있다(S335). 결합 유닛은 모드 파라미터를 기초로 프레임 화상들에 대해서 3차적 처리가 필요한지 여부를 판단할 수 있다. 3차적 처리는 입체적 효과를 발생시킬 수 있는 적청 처리를 하는 것을 의미한다. After stitching is completed, the combining unit may determine whether or not tertiary processing is required for frame images (S335). The combining unit may determine whether or not tertiary processing is required for frame images based on the mode parameter. The tertiary treatment means performing a red rust treatment capable of generating a three-dimensional effect.

S340에서는 3차적 처리가 필요하다고 판단된 경우, 결합 유닛은 모드 파라미터를 기초로 프레임 화상들을 변환시켜 결합 화상을 생성할 수 있다. 모드 파라미터가 적청 변환을 포함하는 경우, 결합 유닛은 왼쪽에서 촬영된 프레임 화상 및 오른쪽에서 촬영된 프레임 화상을 각각 적청 처리(애너글리프, Anaglyph)한다. In S340, when it is determined that tertiary processing is necessary, the combining unit may generate a combined image by converting frame images based on the mode parameter. When the mode parameter includes a red-blue transformation, the combining unit performs red-red processing (anaglyph) on the frame image photographed from the left and the frame image photographed from the right, respectively.

모드 파라미터는 복수의 파라미터들로 구성될 수 있으며, 결합된 화상의 해상도, 입체 효과의 포함 여부, 입체 효과의 발생 방법, 360도 효과의 생성 여부 등을 포함할 수 있다. The mode parameter may be composed of a plurality of parameters, and may include a resolution of a combined image, whether a stereoscopic effect is included, a method of generating a stereoscopic effect, and whether or not a 360 degree effect is generated.

HD 비디오의 경우에는 결합 유닛은 왼쪽 또는 오른쪽을 촬영한 2개의 프레임 화상들을 변환 없이 결합시킬 수 있다. 360도 효과 및 VR 효과를 포함하는 경우에는 결합 유닛은 왼쪽에서 제1 방향 및 제2 방향으로 촬영된 프레임 화상들을 스티칭할 수 있다. 결합 유닛은 왼쪽에서 제1 측면을 촬영한 프레임 화상과 왼쪽에서 제2 측면을 촬영한 프레임 화상을 스티칭할 수 있다. 이때, 결합 유닛은 2개의 프레임 화상 중 하나를 2개로 분할하여, 제1 프레임 화상에 결합시킬 수 있다. 입체 효과 및 적청처리를 포함하는 경우에는 결합 유닛은 왼쪽에서 촬영된 프레임 화상 및 오른쪽에서 촬영된 프레임 화상을 변환하고, 변환된 프레임 화상들을 결합시켜 결합 화상을 생성할 수 있다. 적청 효과 및 360도 효과를 포함하는 경우에는, 결합 유닛은 왼쪽에서 제1 측면을 촬영한 프레임 화상과 왼쪽에서 제2 측면을 촬영한 프레임 화상을 스티칭한 제1 스티칭 화상을 생성하고, 오른쪽에서 제1 측면을 촬영한 프레임 화상과 오른쪽에서 제2 측면을 촬영한 프레임 화상을 스티칭한 제2 스티칭 화상을 생성한다. 결합 유닛은 제1 스티칭 화상 및 제2 스티칭 화상을 변환시켜 결합 화상을 생성할 수 있다. In the case of HD video, the combining unit can combine two frame images photographed left or right without conversion. In the case of including the 360 degree effect and the VR effect, the combining unit may stitch frame images taken from the left in the first direction and the second direction. The combining unit may stitch a frame image photographing the first side from the left and the frame image photographing the second side from the left. In this case, the combining unit may divide one of the two frame images into two and combine them with the first frame image. In the case of including a three-dimensional effect and red-blue processing, the combining unit may convert a frame image photographed from the left and a frame image photographed from the right, and combine the converted frame images to generate a combined image. In the case of including the red-blue effect and the 360-degree effect, the combining unit generates a first stitched image by stitching a frame image photographing the first side from the left and a frame image photographing the second side from the left, and A second stitched image is created by stitching a frame image photographed from the first side and a frame image photographed from the second side from the right. The combining unit may generate a combined image by converting the first stitched image and the second stitched image.

다음으로 스티칭 과정에 대해서 설명하겠다. Next, the stitching process will be explained.

S331에서는 결합 유닛은 복수의 프레임 화상들을 입력 받는다. S332에서는 결합 유닛은 equirectangular 포맷을 생성하기 위해서, 프레임 화상들 중 일부를 2개의 이미지로 분할할 수 있다. 특히, 결합 유닛은 입체적인 효과를 생성하거나 프런트 뷰(front view)를 촬영한 프레임 화상과의 결합을 위해서, 백 뷰(back view)를 촬영한 프레임 화상을 2개의 부분들로 분할할 수 있다. 결합 유닛은 2개의 화상취득유닛들로부터 각각 수신된 프레임 화상들 중 하나의 프레임 화상을 2개로 분할시키고, 나머지 하나의 프레임 화상과 결합시킨다. S333에서는 결합 유닛은 프레임 화상들에 포함된 특징 값들을 처리할 수 있다. 결합 유닛은 프레임 화상들에 포함된 특징 값들을 추출하고, 서로 다른 프레임 화상에 존재하는, 대응되는 특징 값들을 서로 매칭시킬 수 있다. 이때, 특징 값들을 추출하는 방법은 SURF(Speeded Up robust features) 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 이용할 수 있다. 결합 유닛은 대응되는 특징 값들을 이용하여 프레임 화상들을 배열시킬 수 있다. In S331, the combining unit receives a plurality of frame images. In S332, the combining unit may divide some of the frame images into two images to generate an equirectangular format. In particular, the combining unit may divide a frame image photographed with a back view into two parts to generate a three-dimensional effect or to combine a frame image photographed with a front view. The combining unit divides one of the frame images each received from the two image acquisition units into two, and combines the other frame image. In S333, the combining unit may process feature values included in frame images. The combining unit may extract feature values included in frame images, and match corresponding feature values existing in different frame images with each other. In this case, a method of extracting feature values may use a Speeded Up robust features (SURF) or Oriented FAST and Rotated BRIEF (ORB) algorithm. The combining unit can arrange frame images using corresponding feature values.

좀더 구체적으로는 결합 유닛은 제1 화상 취득 유닛으로부터 획득된 제1 프레임 화상에 포함된 포인트들과 제2 화상 취득 유닛으로부터 획득된 제2 프레임 화상에서 검색한다. 제1 프레임 화상의 제1 픽셀과 대응되는 제2 프레임 화상의 제2 픽셀은 서로 대응되도록 배열된다. 배열시킨 후, 중복하게 존재하는 픽셀들은 제거될 수 있다. 예를 들어, 결합 유닛은 제1 프레임 화상의 제1 포인트의 특징 값과 유사한 특징 값을 가지는 픽셀을 제2 프레임 화상에서 검색할 수 있다. 이때, 대응되는 픽셀들을 검색하는데 FLANN(Fast approximation nearest neighbor) 알고리즘이 사용될 수 있다. 제1 포인트의 특징 값은 제1 포인트의 밝기 값 및 제1 포인트의 주변에 위치한 밝기 값들을 비교함으로써, 제1 포인트의 특징 값을 산출할 수 있다. 예를 들어, 제1 포인트의 밝기 값과 제1 포인트의 주변의 밝기 값과 비교하여, 밝기 값들 사이의 차이 값이 고려될 수 있다. 밝기 값들의 차이값들이 각각 정해진 임계값 이상인 경우, 결합 유닛은 제1 포인트를 윤곽선 또는 코너로 검출할 수 있다. More specifically, the combining unit searches for points included in the first frame image acquired from the first image acquisition unit and the second frame image acquired from the second image acquisition unit. The first pixel of the first frame image and the second pixel of the second frame image are arranged to correspond to each other. After arranging, redundant pixels can be removed. For example, the combining unit may search for a pixel having a feature value similar to the feature value of the first point of the first frame image in the second frame image. In this case, a fast approximation nearest neighbor (FLANN) algorithm may be used to search for corresponding pixels. The characteristic value of the first point may be calculated by comparing the brightness value of the first point and the brightness values located around the first point. For example, by comparing the brightness value of the first point and the brightness value around the first point, a difference value between brightness values may be considered. When the difference values of the brightness values are each greater than or equal to a predetermined threshold, the combining unit may detect the first point as an outline or a corner.

다른 실시예에서, 결합 유닛은 입력 이미지 안에 있는 독특한 특징들을 찾아낸다. 좀더 구체적으로 결합 유닛은 당업자에게 알려진 알고리즘을 이용하여 처리된 이미지들 사이의 매칭 관계들을 결정한다. 결합 유닛은 결정된 매칭 관계들을 이용하여 복수의 프레임 화상들에 포함된 객체들을 매칭 또는 연관 시킬 수 있다. 객체를 이루는 픽셀들 중에서 일부 픽셀들이 대응되지 않는다고 하더라도, 미리 정해진 임계비율 이상의 픽셀들이 대응되는 경우, 결합 유닛은 객체 간의 매칭 관계를 결정할 수 있다. 결합 유닛은 결정된 매칭 관계를 기초로 제1 프레임 화상에 포함된 제1 객체 및 제2 프레임 화상에 포함된 제2 객체가 대응된다고 판단할 수 있다. In another embodiment, the combining unit finds unique features in the input image. More specifically, the combining unit determines matching relationships between processed images using an algorithm known to those skilled in the art. The combining unit may match or associate objects included in a plurality of frame images using the determined matching relationships. Even if some of the pixels constituting the object do not correspond, when pixels having a predetermined threshold ratio or more correspond to each other, the combining unit may determine a matching relationship between objects. The combining unit may determine that the first object included in the first frame image and the second object included in the second frame image correspond to each other based on the determined matching relationship.

S334에서는 결합 유닛은 프레임 화상들을 보정한다. 결합 유닛은 렌즈들의 광학적 차이들을 조정하는 번들 조정(bundle adjustment), 평면으로 취득된 프레임 화상들을 구형으로 변환하는 표면 랩(surface wrap), 렌즈들의 밝기 차이를 조정하는 노출 보상(exposure compensation), 렌즈들의 기하학적 차이들을 보정하는 블렌딩(blending)을 수행할 수 있다. 번들 조정은 선택적 절차일 수 있다. In S334, the combining unit corrects the frame images. The combination unit is a bundle adjustment that adjusts the optical differences of the lenses, a surface wrap that converts the frame images acquired in a plane into a sphere, exposure compensation that adjusts the difference in brightness of the lenses, and the lens. It is possible to perform blending to correct geometric differences of the two. Bundle adjustment may be an optional procedure.

결합 유닛은 복수의 화상취득유닛들로부터 취득된 프레임 화상들 사이에 존재하는 광학 파라미터, 예를 들어 시차 및/또는 시각 차 등을 보정할 수 있다. 결합 유닛은 각 프레임 화상의 초점과 관련된 포커스(focus) 또는 회전과 관련된 로테이션(rotation) 파라미터를 기초로 번들 조정을 할 수 있다. 모든 렌즈들은 물리적으로 회전하고, 특정 초점 레벨을 가지게 된다. 즉, 복수의 렌즈들로 촬영된 프레임 화상들은 렌즈의 초점 및 회전 파라미터를 기초로 조정하는 과정을 거쳐 동기화될 수 있다. The combining unit is capable of correcting optical parameters, such as parallax and/or visual difference, etc. existing between frame images acquired from a plurality of image acquisition units. The combining unit may perform bundle adjustment based on a focus related to the focus of each frame image or a rotation parameter related to rotation. All lenses are physically rotated and have a specific focus level. That is, frame images captured by a plurality of lenses may be synchronized through a process of adjusting the focus and rotation parameters of the lenses.

표면 랩(Surface wrap)는 360도 효과를 포함하는 경우에만 수행될 수 있다. 번들 조정을 통해 지리적으로 좌표를 조정한 파노라마 이미지를 구형으로 만드는 과정을 말한다. Surface wrap can only be performed if it includes a 360 degree effect. It refers to the process of making a panoramic image that has been geographically coordinated through bundle adjustment into a spherical shape.

화상취득유닛들의 게인 파라미터에 따라 획득된 프레임 화상들 사이의 밝기가 차이가 날 수 있다. 결합 유닛은 밝기의 차이를 최소화하기 위해서, 노출 보상을 하게 된다. 노출(exposure) 사이에 차이가 없다면, 블렌딩을 하는 것이 더 효과가 있을 수 있다. 여기서, 블렌딩은 중복된 픽셀들의 밝기 차이를 최소화하는 과정을 말한다. 블렌딩은 이미지의 중심 근처의 픽셀들에 좀더 가중치를 두게 된다. 예를 들어, 서로 다른 프레임 화상들에 포함된 픽셀들은 이미지의 중심으로부터의 거리에 따른 가중치를 가질 수 있다. The brightness between the acquired frame images may vary according to the gain parameters of the image acquisition units. The coupling unit performs exposure compensation in order to minimize the difference in brightness. If there is no difference between exposures, blending may be more effective. Here, blending refers to a process of minimizing the difference in brightness of overlapping pixels. Blending puts more weight on the pixels near the center of the image. For example, pixels included in different frame images may have weights according to distances from the center of the image.

결합 유닛은 복수의 화상취득유닛들로부터 취득된 프레임 화상들 사이의 밝기 차이, 시각 차이 등이 거의 느껴지지 않도록 상기와 같은 보정 과정을 수행할 수 있다. The combining unit can perform the above-described correction process so that a difference in brightness, a difference in time, etc. between frame images acquired from a plurality of image acquisition units are hardly felt.

S335에서는 결합 유닛은 프레임 화상들에 존재하는 객체들 사이의 대응을 통해 하나의 결합 화상을 만들고, 결합 화상 내에 픽셀들의 광학 파라미터, 기하학적 파라미터의 차이로 인해 발생하는 부자연스러운 표현들을 제거할 수 있다. In S335, the combining unit may create one combined image through correspondence between objects existing in the frame images, and remove unnatural expressions caused by differences in optical parameters and geometric parameters of pixels in the combined image.

도 6에 도시된 바와 같이, 촬상 장치는 4개의 화상 취득 유닛들에 의해 4개의 프레임 화상을 획득할 수 있다. 프레임 화상들(F1,F2,F3,F4)은 미리 설정된 1초당 획득되는 프레임 화상의 수에 따라 취득될 수 있다. 결합 유닛은 획득된 프레임 화상들과 함께, 프레임 화상들에 대한 정보(F1, F2, F3, F4), 모드 파라미터(MODE)를 수신할 수 있다. 결합 유닛은 각 프레임 화상의 가로(x1, x2, x3, x4) 및 세로(y1, y2, y3, y4) 정보 및 모드 파라미터(MODE)를 고려하여 결합 화상의 가로(xt) 및 세로(yt)를 결정할 수 있다. 결합 화상의 가로(xt)는 획득된 프레임 화상들의 가로(x1,x2,x3,x4) 중 가장 작은 값의 배수일 수 있다. 결합 화상의 세로(yt) 역시 획득된 프레임 화상들의 세로(y1, y2, y3, y4) 중 가장 작은 값의 배수일 수 있다. As shown in Fig. 6, the imaging device can acquire four frame images by four image acquisition units. The frame images F1, F2, F3, and F4 can be acquired according to a preset number of frame images acquired per second. The combining unit may receive information (F1, F2, F3, F4) on the frame images, and a mode parameter (MODE), together with the acquired frame images. The combining unit takes into account the horizontal (x1, x2, x3, x4) and vertical (y1, y2, y3, y4) information and the mode parameter (MODE) of each frame image, and the horizontal (xt) and vertical (yt) of the combined image. Can be determined. The width (xt) of the combined image may be a multiple of the smallest value among the widths (x1, x2, x3, x4) of the acquired frame images. The length (yt) of the combined image may also be a multiple of the smallest value among the heights (y1, y2, y3, y4) of the acquired frame images.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.

10: 동영상 처리 장치
100: 촬상 장치
200: 처리 장치10: video processing unit
100: imaging device
200: processing unit

Claims (1)

동영상 처리 장치로서,
촬상 장치와 상기 촬상 장치와 전기적으로 연결된 처리 장치를 포함하고,
촬상 장치는
복수의 프레임 화상들을 획득하는 화상 취득 유닛;
상기 프레임 화상들을 상기 처리 장치에 전송하는 제1 전송 유닛;
상기 처리 장치로부터 수신된 모드 파라미터의 타당성을 상기 촬상 장치의 방향 또는 배향을 기초로 판단하고, 타당하다고 판단된 상기 모드 파라미터를 상기 촬상 장치에 설정하고, 타당하지 않다고 판단된 상기 모드 파라미터를 상기 촬상 장치로 설정하지 않는 모드 설정 유닛;
상기 모드 파라미터를 이용하여 상기 프레임 화상들을 하나의 결합 화상으로 변환하는 결합 유닛; 및
상기 결합 화상을 상기 처리 장치로 전송하는 제2 전송 유닛;을 포함하고,
상기 처리 장치는
상기 결합 화상을 출력하거나, 촬영 이후에 입력된 모드 파라미터에 의해 상기 프레임 화상들을 결합한 결합 화상을 생성하여 출력하는,
동영상 처리 장치. As a video processing device,
Comprising an imaging device and a processing device electrically connected to the imaging device,
The imaging device
An image acquisition unit that acquires a plurality of frame images;
A first transfer unit that transfers the frame images to the processing device;
The validity of the mode parameter received from the processing device is determined based on the direction or orientation of the imaging device, the mode parameter determined to be valid is set in the imaging device, and the mode parameter determined to be invalid is captured in the imaging device. A mode setting unit not set by the device;
A combining unit that converts the frame images into one combined image using the mode parameter; And
A second transmission unit that transmits the combined image to the processing device; and
The processing device is
Outputting the combined image or generating and outputting a combined image combining the frame images according to a mode parameter input after shooting,
Video processing device.
KR1020200017709A 2020-02-13 2020-02-13 Apparatus, method for processing video and computer program for implementing the method KR102158357B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200017709A KR102158357B1 (en) 2020-02-13 2020-02-13 Apparatus, method for processing video and computer program for implementing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200017709A KR102158357B1 (en) 2020-02-13 2020-02-13 Apparatus, method for processing video and computer program for implementing the method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180125414A Division KR102079227B1 (en) 2018-10-19 2018-10-19 Apparatus, method for processing video and computer program for implementing the method

Publications (2)

Publication Number Publication Date
KR20200018559A KR20200018559A (en) 2020-02-19
KR102158357B1 true KR102158357B1 (en) 2020-09-22

Family

ID=69670352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200017709A KR102158357B1 (en) 2020-02-13 2020-02-13 Apparatus, method for processing video and computer program for implementing the method

Country Status (1)

Country Link
KR (1) KR102158357B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136387A (en) * 2009-12-17 2010-06-17 Casio Computer Co Ltd Still image generator, still-image generating program and method for generating still image
JP2014036415A (en) 2012-08-10 2014-02-24 Kddi Corp Panoramic image generation device
KR101674959B1 (en) 2010-11-02 2016-11-10 엘지전자 주식회사 Mobile terminal and Method for controlling photographing image thereof
KR101675567B1 (en) * 2016-03-29 2016-11-22 주식회사 투아이즈테크 Apparatus and system for acquiring panoramic images, method using it, computer program and computer readable recording medium for acquiring panoramic images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091378A (en) * 2010-02-05 2011-08-11 삼성전자주식회사 Method and apparatus for processing and producing camera video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136387A (en) * 2009-12-17 2010-06-17 Casio Computer Co Ltd Still image generator, still-image generating program and method for generating still image
KR101674959B1 (en) 2010-11-02 2016-11-10 엘지전자 주식회사 Mobile terminal and Method for controlling photographing image thereof
JP2014036415A (en) 2012-08-10 2014-02-24 Kddi Corp Panoramic image generation device
KR101675567B1 (en) * 2016-03-29 2016-11-22 주식회사 투아이즈테크 Apparatus and system for acquiring panoramic images, method using it, computer program and computer readable recording medium for acquiring panoramic images

Also Published As

Publication number Publication date
KR20200018559A (en) 2020-02-19

Similar Documents

Publication Publication Date Title
JP5140210B2 (en) Imaging apparatus and image processing method
CN108600576B (en) Image processing apparatus, method and system, and computer-readable recording medium
JP5456020B2 (en) Information processing apparatus and method
US8773509B2 (en) Imaging device, imaging method and recording medium for adjusting imaging conditions of optical systems based on viewpoint images
JP5320524B1 (en) Stereo camera
JP5204350B2 (en) Imaging apparatus, playback apparatus, and image processing method
JP5204349B2 (en) Imaging apparatus, playback apparatus, and image processing method
KR20190000591A (en) Application Processor including function of compensation of disparity, and digital photographing apparatus using the same
WO2013099169A1 (en) Stereo photography device
JP2010278878A (en) Stereoscopic image device and display image switching method thereof
US20120275022A1 (en) Monitoring system for generating 3-dimensional image and method of measuring distance by using the image
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
KR20200124271A (en) Imaging device, image processing device, and image processing method
KR20210080875A (en) Electronic device comprising image sensor and method of operation thereof
CN115086547A (en) Image pickup apparatus, portable device, calibrator, control method thereof, and storage medium
KR20150003576A (en) Apparatus and method for generating or reproducing three-dimensional image
JP6155471B2 (en) Image generating apparatus, imaging apparatus, and image generating method
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
KR102158357B1 (en) Apparatus, method for processing video and computer program for implementing the method
KR102079227B1 (en) Apparatus, method for processing video and computer program for implementing the method
JP6257260B2 (en) Imaging apparatus and control method thereof
KR101919132B1 (en) Apparatus, method for processing video and computer program for implementing the method
KR20190065736A (en) Electronic device and method for generating 3d image
WO2018078222A1 (en) Multiple view colour reconstruction
US11336803B2 (en) Information processing apparatus, information processing method, program, and interchangeable lens

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant