KR102079227B1

KR102079227B1 - 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램

Info

Publication number: KR102079227B1
Application number: KR1020180125414A
Authority: KR
Inventors: 송헌주
Original assignee: 주식회사 뷰오
Priority date: 2018-10-19
Filing date: 2018-10-19
Publication date: 2020-02-19
Also published as: KR20180125410A

Abstract

본 실시예는 동영상 처리 장치로서, 촬상 장치와 상기 촬상 장치에 접속된 처리 장치를 포함하고, 상기 촬상 장치는 복수의 프레임 화상들을 획득하는 화상 취득 유닛; 상기 프레임 화상들을 상기 처리 장치에 전송하는 제1 전송 유닛; 상기 처리 장치로부터 수신된 모드 파라미터를 상기 촬상 장치에 설정하는 모드 설정 유닛; 상기 모드 파라미터를 이용하여 상기 프레임 화상들을 하나의 결합 화상으로 변환하는 결합 유닛; 및 상기 결합 화상을 상기 처리 장치로 전송하는 제2 전송 유닛;을 더 포함하는, 동영상 처리 장치를 개시한다.

Description

동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램{APPARATUS, METHOD FOR PROCESSING VIDEO AND COMPUTER PROGRAM FOR IMPLEMENTING THE METHOD}

본 실시예는 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램에 관한 것이다.

모바일 기기는 음성 통화 기능과 무선 인터넷 서비스 기능 외에 카메라 기능과 같은 여러 부가 기능을 제공하고 있다. 카메라 기능을 갖는 모바일 기기는 피사체를 촬영하기 위한 카메라 모듈이 구비되어 언제 어디서나 사용자가 원하는 영상을 촬영하고 그 촬영 영상을 저장한다.

(특허문헌 1) 국내 공개특허공보 제2011-0091378호

본 발명의 실시예들은 복수의 프레임 화상들을 결합한 하나의 결합 화상을 생성하는 영상 처리 장치 및 방법을 제공할 수 있다.

또한, 본 발명의 실시예들은 프레임 화상들에 대하여 획득된 모드 파라미터를 고려하여 하나의 결합 화상을 생성하는 영상 처리 장치 및 방법을 제공할 수 있다.

본 발명의 실시예들에 따른 동영상 처리 장치는 촬상 장치와 상기 촬상 장치에 접속된 처리 장치를 포함하고, 상기 촬상 장치는 복수의 프레임 화상들을 획득하는 화상 취득 유닛; 상기 프레임 화상들을 상기 처리 장치에 전송하는 제1 전송 유닛; 상기 처리 장치로부터 수신된 모드 파라미터를 상기 촬상 장치에 설정하는 모드 설정 유닛; 상기 모드 파라미터를 이용하여 상기 프레임 화상들을 하나의 결합 화상으로 변환하는 결합 유닛; 및 상기 결합 화상을 상기 처리 장치로 전송하는 제2 전송 유닛;을 더 포함할 수 있다.

상기 결합 유닛은 상기 모드 파라미터 및 센서 유닛에 의해 획득된 감지 데이터를 고려하여 상기 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 할 수 있다.

상기 결합 유닛은 사용자로부터 수신된 모드 값에 따른 모드 파라미터를 변경하고, 상기 변경된 모드 파라미터에 따라 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 하는, 동영상 처리 장치.

본 발명의 실시예들에 따른 동영상 처리 방법은 촬상 장치와 상기 촬상 장치에 접속된 처리 장치를 포함하는 동영상 처리 장치의 동영상 처리 방법으로서, 상기 촬상 장치가 복수의 프레임 화상들을 획득하는 단계; 상기 프레임 화상들을 상기 처리 장치에 전송하는 단계; 상기 처리 장치로부터 수신된 모드 파라미터를 상기 촬상 장치에 설정하는 단계; 상기 모드 파라미터를 이용하여 상기 프레임 화상들을 하나의 결합 화상으로 변환하는 단계; 및 상기 결합 화상을 상기 처리 장치로 전송하는 단계;를 포함할 수 있다.

상기 하나의 결합 화상으로 변환하는 단계는 상기 모드 파라미터 및 센서 유닛에 의해 획득된 감지 데이터를 고려하여 상기 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 할 수 있다.

상기 하나의 결합 화상으로 변환하는 단계는 상기 촬상 장치에 의해 포함된 센서로부터의 감지 데이터를 이용하여 프레임 화상들의 배치 위치를 결정하고, 프레임 화상들을 각 배치 위치에 배치시키고, 결합시켜 결합 화상을 생성하는 점을 특징으로 할 수 있다.

상기 하나의 결합 화상으로 변환하는 단계는 사용자로부터 수신된 모드 값에 따른 모드 파라미터를 변경하고, 상기 변경된 모드 파라미터에 따라 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 할 수 있다.

본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 동영상 처리 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.

본 발명의 실시예들에 따른 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램은 복수의 프레임 화상들을 결합한 하나의 결합 화상을 생성할 수 있다.

또한, 본 발명의 실시예들에 따른 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램은 프레임 화상들에 대하여 획득된 모드 파라미터를 고려하여 하나의 결합 화상을 생성할 수 있다.

도 1은 본 발명의 실시예들에 따른 동영상 처리 장치의 블록도이다.
도 2 내지 도 5는 본 발명의 실시예들에 따른 동영상 처리 장치의 동작을 설명하는 흐름도이다.
도 6는 결합 화상 및 프레임 화상 사이의 관계를 설명하는 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.

도 1은 본 발명의 실시예들에 따른 동영상 처리 장치의 구성예를 도시한다. 실시예에 따른 동영상 처리 장치는 촬상 장치(100)와 처리 장치(200)를 포함한다. 처리 장치(200)는 예컨대 퍼스널 컴퓨터이다. 촬상 장치(100)와 처리 장치(200)는 유선 혹은 무선으로 접속된다.

촬상 장치(100)는 렌즈, 상기 렌즈로 결상된 광학 화상을 전기 신호의 형태로 프레임 화상으로 변환하는 CCD(charge-coupled device), 또는 CMOS(complementary metal oxide semiconductor) 등의 센서, 프레임 화상에 각종 화상 처리를 행하는 ISP 등의 화상 처리 유닛, 및 프레임 화상, 생성된 결합 화상, 그 밖의 데이터 및 제어 신호를 처리 장치와 교환하는 인터페이스 유닛을 포함한다.

*처리 장치(200)는, 촬상 장치(100)와 프레임 화상, 변환된 결합 화상, 그 밖의 데이터 및 제어 신호를 교환하는 I/F 유닛, 여러가지 처리를 실행하는 중앙 처리 장치(CPU), CPU에 의하여 실행되는 처리에 필요한 각종 소프트웨어와 데이터, 프레임 화상, 결합 화상 등을 저장하는 메모리, 상기 처리 장치에 접속된 모니터 등에 영상 신호를 접속하는 영상 출력 유닛(210), 영상 신호 등을 네트워크에 의해 접속된 다른 장치에 전송하는 통신 유닛(220), 장치 전체를 제어하는 제어 유닛 및 각 유닛을 접속하는 버스를 포함한다. RAM(random access memory), ROM(read-only memory), HDD(hard disk drive) 등을 메모리로서 총칭한다. 사용자 조작 지시 수신 유닛 등도 포함될 수 있다.

본 발명의 실시예에 따르면 영상 처리 장치(10)에서, 촬상 장치(100)에 포함된 화상 처리 유닛은 입체적으로 인식되는 화상 변환 기능을 갖고, 처리 장치에 포함된 CPU는 변환 파라미터 산출 기능을 갖는다.

촬상 장치(100)에서 화상 취득 유닛(120, 121, …, 12n)은 프레임 화상을 생성하여, 프레임 화상을 결합 유닛(130) 및 제1 전송 유닛(150)에 전송한다. 제1 전송 유닛(150)은 원본 그대로의 프레임 화상을 처리 장치(200)에 전송한다. 처리 장치(200)에서 수신한 모드 파라미터를 이용하여, 모드 설정 유닛(141)은 모드 파라미터를 촬상 장치(100)에 설정한다.

다른 실시예에서, 처리 장치(200)는 수신된 프레임 화상들에 다양한 태그를 추가할 수 있다. 처리 장치(200)는 프레임 화상에 포함된 객체, 객체의 특징들을 추출하여 태그로 설정할 수 있다. 처리 장치(200)는 원본 프레임 화상을 출력하도록 제어할 수 있으며, 촬영 이후에 입력된 모드 파라미터에 의해 처리할 수 있다. 즉, 모드 파라미터를 반영시켜 프레임 화상들과 대응되는 결합 화상이 생성될 수 있다.

결합 유닛(130)은 설정된 모드 파라미터에 기초하여 프레임 화상들을 하나의 결합 화상으로 생성한다. 모드 파라미터는 촬상 장치(100)에 포함된 센서 유닛(110)에 의해 변경될 수 있다. 센서 유닛(110)은 수집된 감지 데이터를 이용하여 촬상 장치(100)의 배향 및 방향을 결정할 수 있다. 센서 유닛(110)은 동작을 인식하여 촬상 장치(100)의 배향 및/또는 방향을 결정할 수 있다. 센서 유닛(110)은 감지된 사물, 사람 등의 방향을 이용하여 촬상 장치(100)의 배향 및/또는 방향을 결정할 수 있다. 센서 유닛(110)은 사람의 얼굴과 몸통의 위치를 고려하여 촬상 장치의 배향 또는 방향을 결정할 수 있다. 센서 유닛(110)의 예로는 중력 센서, 가속도 센서, 근접 센서, 이미지 센서 등일 수 있다. 결합 유닛(130)은 모드 파라미터를 기초로 프레임 화상을 취득할 유닛들을 결정한다. 결합 유닛(130)은 모드 파라미터를 기초로 선택적으로 프레임 화상들을 취득할 수 있다. 촬상 장치(100)에 포함된 화상 취득 유닛들의 방향이 지면에 대해서 수직을 이루는 경우, 결합 유닛(130)은 서로 마주보는 위치에 위치한 제1 화상 취득 유닛과 제2 화상 취득 유닛으로부터 획득된 프레임 화상들을 결합한 결합 화상을 생성한다. 결합 유닛(130)은 촬상 장치에 의해 포함된 센서로부터의 감지 데이터를 이용하여 프레임 화상들의 배치 위치를 결정하고, 프레임 화상들을 각 배치 위치에 배치시키고, 결합시켜 결합 화상을 생성할 수 있다.

촬상 장치(100)에 포함된 화상 취득 유닛들의 방향이 지면에 대해서 수평을 이루는 경우, 결합 유닛(130)은 전체 복수의 화상 취득 유닛들로부터 프레임 화상들을 수신하고, 상기 프레임 화상들을 결합한 결합 화상을 생성한다.

결합 유닛(130)은 프레임 화상 중에서, 주변부의 해상도를 조절하기 위해서 프레임 화상을 처리하는 과정을 더 거칠 수 있다. 결합 유닛(130)은 어안 렌즈로 촬영된 프레임 화상에 대해서 프레임 화상의 휘어진 영역을 펴는 과정을 더 수행한 후, 결합 화상을 생성할 수 있다. 결합 화상은 양안으로 볼 수 있는 입체 화상 이거나 360도로 볼 수 있는 입체 화상일 수 있다. 결합 유닛(130)은 2차원으로 촬영된 프레임 화상들을 이용하여 3차원의 효과를 가지는 결합 화상을 생성할 수 있다. 제1 화상 취득 유닛(120)과 제2 화상 취득 유닛(121)은 물리적으로 정해진 거리 만큼 떨어져 있을 수 있다. 프레임 화상들은 물리적으로 떨어져있는 유닛들을 통해 획득될 수 있다. 프레임 화상들을 통해 입체적 효과가 획득될 수 있다. 결합 유닛(130)의 상세 동작은 도 4에 대한 설명에서 하겠다.

제2 전송 유닛(151)은 결합 화상을 처리 장치(200)에 전송한다. 처리 장치(200)는 변환된 결합 화상을 처리 장치(100)에 접속된 디스플레이 등의 영상 출력 장치에 표시하거나 변환된 결합 화상을 네트워크로 접속된 다른 장치에 전송한다.

본 실시예에 따르면, 복수의 프레임 화상들을 결합한 결합 화상은 입체적인 효과를 포함할 수 있다.

아래에는 모드 파라미터에 따른 동영상 처리 장치의 동작을 설명하겠다. 처리 장치(200)는 영상 출력 유닛(210), 통신 유닛(220), 파라미터 산출 유닛(230), 파라미터 전송 유닛(240)를 포함할 수 있다.

영상 출력 유닛(210)은 모드 파라미터에 의해 획득된 결합 화상을 출력할 수 있다.

통신 유닛(220)은 촬상 장치로부터 프레임 화상들 및 결합 화상을 수신할 수 있다.

파라미터 산출 유닛(230)은 모드 파라미터를 산출한다. 파라미터 산출 유닛(230)은 촬상 장치로부터 수신한 감지 데이터 또는 사용자로부터 입력된 사용자 입력을 기초로 모드 파라미터를 산출한다. 파라미터 산출 유닛(230)은 기설정된 규칙에 따라, 모드 파라미터를 결정한다. 파라미터 산출 유닛(230)은 입력된 사용자 입력과 대응되는 모드 파라미터를 결정한다. 파라미터 산출 유닛(230)은 수신된 감지 데이터와 대응되는 모드 파라미터를 결정한다.

여기서, 모드 파라미터는 화상 취득 유닛의 활성 여부와도 관련될 수 있다. 즉, 모드 파라미터에 포함된 활성 유닛 정보에 따라 촬상 장치는 양안 모드 또는 단안 모드 중 하나로 동작될 수 있다. 모드 파라미터는 360도 효과의 포함 여부를 포함할 수 있다.

파라미터 전송 유닛(240)은 결정된 모드 파라미터를 촬상 장치로 전송한다.

촬상 장치의 모드 설정 유닛(141)은 모드 파라미터를 수신한다. 모드 설정 유닛(141)은 수신된 모드 파라미터를 제어 정보 생성 유닛(140)로 전달한다. 제어 정보 생성 유닛(140)은 수신된 모드 파라미터와 대응되는 제어 정보를 생성할 수 있다. 모드 파라미터에 포함된 활성 유닛 정보에 따라 제어 정보는 활성화되는 화상 취득 유닛 그룹 및 비활성되는 화상 취득 유닛 그룹을 결정한다. 제어 정보는 구체적으로 양안 모드 또는 단안 모드 중 하나로 동작되도록 생성될 수 있다. 제어 정보에 따라 취득되는 화상의 수나 활성화되는 유닛이 변경될 수 있다. 예를 들어, 양안 모드에서는 2개 또는 4개의 화상 취득 유닛으로부터 화상이 취득될 수 있다. 단안 모드에서는 1개 또는 2개의 화상 취득 유닛으로부터 화상이 취득될 수 있다.

모드 파라미터에 포함된 360도 효과 포함 여부에 따라 제어 정보는 활성화시켜야 하는 화상 취득 유닛의 방향, 위치에 대한 정보를 포함할 수 있다. 구체적으로는 제어 정보는 각 화상 취득 유닛에 할당된 코드를 포함할 수 있다. 제어 정보는 활성화시켜야 하는 화상 취득 유닛에 대한 코드를 포함할 수 있다.

또한, 제어 정보는 결합 유닛에 의해 생성되어야 하는 결합 화상에 대한 정보도 포함할 수 있다. 즉, 제어 정보는 결합 유닛(130)의 동작을 제어하는 구문을 포함할 수 있다.

제어 정보는 센서 유닛(110)으로부터 수신된 현재 상태와 대응되는 감지 데이터를 기초로 생성될 수도 있다.

결합 유닛(130)은 모드 파라미터 또는 제어 정보에 따라, 결합 화상을 생성할 수 있다. 결합 유닛(130)은 사용자로부터 수신된 모드 값에 따른 모드 파라미터를 변경하고, 상기 변경된 모드 파라미터에 따라 프레임 화상들을 하나의 결합 화상으로 생성할 수 있다.

도 2 내지 도 5는 본 발명의 실시예들에 따른 영상 처리 방법의 흐름도들이다.

S110에서는 촬상 장치(100)는 복수의 프레임 화상들을 생성할 수 있다. S120에서는 촬상 장치(100)는 취득한 프레임 화상들을 처리 장치에 전송한다. S130에서는 프레임 화상을 수신한 처리 장치(200)는 모드 파라미터를 획득 또는 생성한다. 처리 장치(200)는 사용자 입력 수신 유닛을 통해 모드 파라미터를 획득할 수 있다. 처리 장치(200)는 프레임 화상을 기초로 모드 파라미터를 생성할 수 있다. 처리 장치(200)는 프레임 화상에 포함된 사물, 사람의 형태를 이용하여 모드 파라미터를 생성할 수 있다. S140에서는 처리 장치(200)는 모드 파라미터를 촬상 장치에 전송한다.

S150에서는 촬상 장치(100)는 수신한 모드 파라미터를 설정한다. 모드 파라미터를 설정하기 전에 촬상 장치(100)는 모드 파라미터의 타당성을 판단할 수 있다. 촬상 장치(100)는 처리 장치(200)로부터 수신한 모드 파라미터의 타당성을 센서 유닛을 통해 획득된 현재의 감지 데이터와 대응시켜 판단할 수 있다. 현재의 감지 데이터와 대응시켜 모드 파라미터가 타당하지 않는 경우, 모드 파라미터는 변경될 수 있다.

S160에서는 촬상 장치(100)는 모드 파라미터를 고려하여 결합 화상을 생성한다. 모드 파라미터에 따라 결합 화상을 생성하는데 이용되는 프레임 화상의 수는 전부 또는 일부 일 수 있다. 취득되는 프레임 화상의 수에 따라 프레임 화상을 송수신시키는 채널이 활성화될 수 있다. 예를 들어, 3D 모드인 경우, 촬상 장치(100)는 동일 평면 또는 동일 방향 상에서 취득된 제1 프레임 화상 및 제2 프레임 화상을 결합한 결합 화상을 생성할 수 있다. 360 모드 인 경우, 촬상 장치는 반대 방향을 촬영한 제1 프레임 화상 및 제3 프레임 화상을 결합한 결합 화상을 생성할 수 있다.

또한, 결합 화상의 해상도는 각 모드 별로 달라질 수 있다. 하나의 프레임 화상이 4000X3000의 해상도를 가지는 경우, 결합 화상은 프레임 화상을 초과하는 해상도를 가질 수 있다. 결합 화상의 해상도는 복수의 프레임 화상들의 결합으로 인해, 프레임 화상의 해상도의 배수로 증가하게 된다. 예를 들어, 결합 화상의 해상도는 8000X3000, 4000X6000, 8000X6000 등과 같은 해상도를 가질 수 있다. 결합 화상의 생성 과정은 각 모드 별로 달라질 수 있다.

S170에서는 촬상 장치(100)는 결합 화상을 처리 장치로 전송한다.

S180에서는 처리 장치(200)는 수신한 결합 화상을 표시 또는 다른 출력 장치로 전송할 수 있다. 처리 장치(200)는 입체적인 효과를 가지는 결합 화상을 표시하도록 제어할 수 있다. 모드 별로 생성된 결합 화상은 다르게 출력될 수 있다.

도 3은 감지 데이터를 이용하여 모드 파라미터를 조절하는 동영상 처리 방법의 흐름도이다.

S210에서는 촬상 장치(100)는 복수의 프레임 화상들을 생성할 수 있다. S220에서는 촬상 장치(100)는 감지 데이터를 생성할 수 있다. 촬상 장치(100)는 센서 유닛에 의해 획득된 센서값들을 기초로 감지 데이터를 생성할 수 있다. 감지 데이터는 촬상 장치의 방향이 지표면에 대해서 수직인지 또는 수평인지 여부를 포함할 수 있다. 감지 데이터는 밝기 값을 포함할 수 있다. 밝기 값은 화상 취득 유닛 별로 구비된 센서를 통해서 획득될 수 있다. 센서 별로 관리되는 룩업 테이블을 이용하여 센서로부터 획득된 센서 값과 대응되는 밝기 값을 산출할 수 있다. 촬상 장치(100)는 감지 데이터를 통해 획득된 밝기 값을 이용하여 화상 처리 방법을 결정할 수 있다. 밝기 값이 미리 설정된 기준 밝기 이하인 화상 취득 유닛으로부터 획득된 프레임 화상의 밝기는 변화량 만큼 조절될 수 있다. 조절되는 변화량은 산술적으로 변화되는 밝기 값의 구간 단위로 변화할 수 있다. 즉, 제1 범위의 밝기에 대해서는 제1 변화량이 적용될 수 있다.

S230에서는 촬상 장치(100)는 감지 데이터 및 프레임 화상들을 처리 장치에 전송할 수 있다.

S240에서는 처리 장치(200)는 감지 데이터를 기초로 모드 파라미터를 결정할 수 있다. 감지 데이터로부터 판단된 촬상 장치(100)의 방향에 따라 모드 파라미터가 결정될 수 있다. 촬상 장치(100)가 지면을 기준으로 수평 방향인 경우, 모드 파라미터는 3D 모드 또는 3D 360 모드 중 하나로 설정될 수 있다. 감지 데이터로부터 선택된 모드가 복수라면, 사용자로부터 하나의 모드를 선택하도록 유도할 수 있다. 미리 정해진 제1 시간 이후에도 사용자로부터 선택된 모드가 없는 경우, 감지 데이터로부터 선택된 모드들 중에서 결합 화상의 해상도가 더 큰 모드가 최종적으로 결정될 수 있다. 본 실시예에 따르면, 해상도가 더 큰 모드를 선택하게 되면, 해상도가 더 작은 모드로의 전환이 가능할 수 있기 때문이다. 모드 파라미터는 화상의 해상도와 관련된 것일 수 있다. 모드 파라미터는 화상의 데이터 포맷과 관련된 것일 수 있다. 모드 파라미터는 HD, SBS 3D(SBS, side-by-side), Anaglyph 3D, 360, Anaglyph 360, 3D 360 중 하나 일 수 있다.

S250에서는 처리 장치(200)는 모드 파라미터를 촬상 장치에 전송한다.

S260에서는 촬상 장치(100)는 모드 파라미터의 타당성을 결정한다. 처리 장치에 의해 결정된 시점 이후에 촬상 장치의 방향, 또는 배향이 변경되는 경우에는 모드 파라미터가 재 변경될 수 있다. 모드 파라미터는 현재의 상태를 반영하여 변경될 수 있다. 이때, 사용자의 입력에 의해 설정된 모드 파라미터는 변경되지 않을 수 있다.

S270에서는 촬상 장치(100)는 모드 파라미터를 기초로 결합 화상을 생성한다.

S280에서는 촬상 장치(100)는 결합 화상을 처리 장치에 전송한다.

S290에서는 촬상 장치(100)는 결합 화상을 표시 또는 전송한다.

도 4 및 도 5는 결합 유닛의 동작을 설명하기 위한 흐름도이다.

S310에서는 결합 유닛은 프레임 화상들을 수신할 수 있다. 프레임 화상들은 촬상 장치에 구비된 어안 렌즈로부터 획득될 수 있다. 어안 렌즈로 획득된 프레임 화상은 원형 모양일 수 있으며, 중앙으로부터 멀리 떨어질수록 왜곡될 수 있다. 결합 유닛은 프레임 화상의 왜곡을 제거하는 과정을 더 실행할 수 있다. 프레임 화상들은 프레임 화상의 중앙으로부터 멀리 떨어질수록 왜곡되는 경향이 있다.

S320에서는 결합 유닛은 프레임 화상들을 1차적으로 처리할 수 있다. 결합 유닛은 프레임 화상들의 왜곡을 제거할 수 있다. 결합 유닛은 프레임 화상들을 디피쉬(De-fish)할 수 있다.

S325에서는 결합 유닛은 프레임 화상들에 대해서 2차적 처리가 필요한지 여부를 판단할 수 있다. 결합 유닛은 모드 파라미터를 기초로 프레임 화상들에 대해서 2차적 처리가 필요한지 여부를 판단할 수 있다. 모드 파라미터가 360도 효과를 포함하고 있는 경우, 결합 유닛은 프레임 화상들에 대해서 2차적 처리가 필요하다고 판단할 수 있다. 만약, 2차적 처리가 필요하지 않은 경우에는 결합 유닛은 결합 화상을 생성할 수 있다(S326).

S330에서는 결합 유닛은 프레임 화상들에 대해서 2차적 처리가 필요하다고 판단된 경우, 프레임 화상들을 스티칭(stitching)할 수 있다. 스티칭 과정은 복수의 프레임 화상들을 결합하는 과정을 말하며, 프레임 화상들 사이의 광학 파라미터 및/또는 기하학적 파라미터에 따른 차이점을 제거하기 위한 과정이며, 자세한 내용은 아래의 도 5에서 설명하겠다.

스티칭이 완료된 이후, 결합 유닛은 프레임 화상들에 대해서 3차적 처리가 필요한지 여부를 판단할 수 있다(S335). 결합 유닛은 모드 파라미터를 기초로 프레임 화상들에 대해서 3차적 처리가 필요한지 여부를 판단할 수 있다. 3차적 처리는 입체적 효과를 발생시킬 수 있는 적청 처리를 하는 것을 의미한다.

S340에서는 3차적 처리가 필요하다고 판단된 경우, 결합 유닛은 모드 파라미터를 기초로 프레임 화상들을 변환시켜 결합 화상을 생성할 수 있다. 모드 파라미터가 적청 변환을 포함하는 경우, 결합 유닛은 왼쪽에서 촬영된 프레임 화상 및 오른쪽에서 촬영된 프레임 화상을 각각 적청 처리(애너글리프, Anaglyph)한다.

모드 파라미터는 복수의 파라미터들로 구성될 수 있으며, 결합된 화상의 해상도, 입체 효과의 포함 여부, 입체 효과의 발생 방법, 360도 효과의 생성 여부 등을 포함할 수 있다.

HD 비디오의 경우에는 결합 유닛은 왼쪽 또는 오른쪽을 촬영한 2개의 프레임 화상들을 변환 없이 결합시킬 수 있다. 360도 효과 및 VR 효과를 포함하는 경우에는 결합 유닛은 왼쪽에서 제1 방향 및 제2 방향으로 촬영된 프레임 화상들을 스티칭할 수 있다. 결합 유닛은 왼쪽에서 제1 측면을 촬영한 프레임 화상과 왼쪽에서 제2 측면을 촬영한 프레임 화상을 스티칭할 수 있다. 이때, 결합 유닛은 2개의 프레임 화상 중 하나를 2개로 분할하여, 제1 프레임 화상에 결합시킬 수 있다. 입체 효과 및 적청처리를 포함하는 경우에는 결합 유닛은 왼쪽에서 촬영된 프레임 화상 및 오른쪽에서 촬영된 프레임 화상을 변환하고, 변환된 프레임 화상들을 결합시켜 결합 화상을 생성할 수 있다. 적청 효과 및 360도 효과를 포함하는 경우에는, 결합 유닛은 왼쪽에서 제1 측면을 촬영한 프레임 화상과 왼쪽에서 제2 측면을 촬영한 프레임 화상을 스티칭한 제1 스티칭 화상을 생성하고, 오른쪽에서 제1 측면을 촬영한 프레임 화상과 오른쪽에서 제2 측면을 촬영한 프레임 화상을 스티칭한 제2 스티칭 화상을 생성한다. 결합 유닛은 제1 스티칭 화상 및 제2 스티칭 화상을 변환시켜 결합 화상을 생성할 수 있다.

다음으로 스티칭 과정에 대해서 설명하겠다.

S331에서는 결합 유닛은 복수의 프레임 화상들을 입력 받는다. S332에서는 결합 유닛은 equirectangular 포맷을 생성하기 위해서, 프레임 화상들 중 일부를 2개의 이미지로 분할할 수 있다. 특히, 결합 유닛은 입체적인 효과를 생성하거나 프런트 뷰(front view)를 촬영한 프레임 화상과의 결합을 위해서, 백 뷰(back view)를 촬영한 프레임 화상을 2개의 부분들로 분할할 수 있다. 결합 유닛은 2개의 화상취득유닛들로부터 각각 수신된 프레임 화상들 중 하나의 프레임 화상을 2개로 분할시키고, 나머지 하나의 프레임 화상과 결합시킨다. S333에서는 결합 유닛은 프레임 화상들에 포함된 특징 값들을 처리할 수 있다. 결합 유닛은 프레임 화상들에 포함된 특징 값들을 추출하고, 서로 다른 프레임 화상에 존재하는, 대응되는 특징 값들을 서로 매칭시킬 수 있다. 이때, 특징 값들을 추출하는 방법은 SURF(Speeded Up robust features) 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 이용할 수 있다. 결합 유닛은 대응되는 특징 값들을 이용하여 프레임 화상들을 배열시킬 수 있다.

좀더 구체적으로는 결합 유닛은 제1 화상 취득 유닛으로부터 획득된 제1 프레임 화상에 포함된 포인트들과 제2 화상 취득 유닛으로부터 획득된 제2 프레임 화상에서 검색한다. 제1 프레임 화상의 제1 픽셀과 대응되는 제2 프레임 화상의 제2 픽셀은 서로 대응되도록 배열된다. 배열시킨 후, 중복하게 존재하는 픽셀들은 제거될 수 있다. 예를 들어, 결합 유닛은 제1 프레임 화상의 제1 포인트의 특징 값과 유사한 특징 값을 가지는 픽셀을 제2 프레임 화상에서 검색할 수 있다. 이때, 대응되는 픽셀들을 검색하는데 FLANN(Fast approximation nearest neighbor) 알고리즘이 사용될 수 있다. 제1 포인트의 특징 값은 제1 포인트의 밝기 값 및 제1 포인트의 주변에 위치한 밝기 값들을 비교함으로써, 제1 포인트의 특징 값을 산출할 수 있다. 예를 들어, 제1 포인트의 밝기 값과 제1 포인트의 주변의 밝기 값과 비교하여, 밝기 값들 사이의 차이 값이 고려될 수 있다. 밝기 값들의 차이값들이 각각 정해진 임계값 이상인 경우, 결합 유닛은 제1 포인트를 윤곽선 또는 코너로 검출할 수 있다.

다른 실시예에서, 결합 유닛은 입력 이미지 안에 있는 독특한 특징들을 찾아낸다. 좀더 구체적으로 결합 유닛은 당업자에게 알려진 알고리즘을 이용하여 처리된 이미지들 사이의 매칭 관계들을 결정한다. 결합 유닛은 결정된 매칭 관계들을 이용하여 복수의 프레임 화상들에 포함된 객체들을 매칭 또는 연관 시킬 수 있다. 객체를 이루는 픽셀들 중에서 일부 픽셀들이 대응되지 않는다고 하더라도, 미리 정해진 임계비율 이상의 픽셀들이 대응되는 경우, 결합 유닛은 객체 간의 매칭 관계를 결정할 수 있다. 결합 유닛은 결정된 매칭 관계를 기초로 제1 프레임 화상에 포함된 제1 객체 및 제2 프레임 화상에 포함된 제2 객체가 대응된다고 판단할 수 있다.

S334에서는 결합 유닛은 프레임 화상들을 보정한다. 결합 유닛은 렌즈들의 광학적 차이들을 조정하는 번들 조정(bundle adjustment), 평면으로 취득된 프레임 화상들을 구형으로 변환하는 표면 랩(surface wrap), 렌즈들의 밝기 차이를 조정하는 노출 보상(exposure compensation), 렌즈들의 기하학적 차이들을 보정하는 블렌딩(blending)을 수행할 수 있다. 번들 조정은 선택적 절차일 수 있다.

결합 유닛은 복수의 화상취득유닛들로부터 취득된 프레임 화상들 사이에 존재하는 광학 파라미터, 예를 들어 시차 및/또는 시각 차 등을 보정할 수 있다. 결합 유닛은 각 프레임 화상의 초점과 관련된 포커스(focus) 또는 회전과 관련된 로테이션(rotation) 파라미터를 기초로 번들 조정을 할 수 있다. 모든 렌즈들은 물리적으로 회전하고, 특정 초점 레벨을 가지게 된다. 즉, 복수의 렌즈들로 촬영된 프레임 화상들은 렌즈의 초점 및 회전 파라미터를 기초로 조정하는 과정을 거쳐 동기화될 수 있다.

표면 랩(Surface wrap)는 360도 효과를 포함하는 경우에만 수행될 수 있다. 번들 조정을 통해 지리적으로 좌표를 조정한 파노라마 이미지를 구형으로 만드는 과정을 말한다.

화상취득유닛들의 게인 파라미터에 따라 획득된 프레임 화상들 사이의 밝기가 차이가 날 수 있다. 결합 유닛은 밝기의 차이를 최소화하기 위해서, 노출 보상을 하게 된다. 노출(exposure) 사이에 차이가 없다면, 블렌딩을 하는 것이 더 효과가 있을 수 있다. 여기서, 블렌딩은 중복된 픽셀들의 밝기 차이를 최소화하는 과정을 말한다. 블렌딩은 이미지의 중심 근처의 픽셀들에 좀더 가중치를 두게 된다. 예를 들어, 서로 다른 프레임 화상들에 포함된 픽셀들은 이미지의 중심으로부터의 거리에 따른 가중치를 가질 수 있다.

결합 유닛은 복수의 화상취득유닛들로부터 취득된 프레임 화상들 사이의 밝기 차이, 시각 차이 등이 거의 느껴지지 않도록 상기와 같은 보정 과정을 수행할 수 있다.

S335에서는 결합 유닛은 프레임 화상들에 존재하는 객체들 사이의 대응을 통해 하나의 결합 화상을 만들고, 결합 화상 내에 픽셀들의 광학 파라미터, 기하학적 파라미터의 차이로 인해 발생하는 부자연스러운 표현들을 제거할 수 있다.

도 6에 도시된 바와 같이, 촬상 장치는 4개의 화상 취득 유닛들에 의해 4개의 프레임 화상을 획득할 수 있다. 프레임 화상들(F1,F2,F3,F4)은 미리 설정된 1초당 획득되는 프레임 화상의 수에 따라 취득될 수 있다. 결합 유닛은 획득된 프레임 화상들과 함께, 프레임 화상들에 대한 정보(F1, F2, F3, F4), 모드 파라미터(MODE)를 수신할 수 있다. 결합 유닛은 각 프레임 화상의 가로(x1, x2, x3, x4) 및 세로(y1, y2, y3, y4) 정보 및 모드 파라미터(MODE)를 고려하여 결합 화상의 가로(xt) 및 세로(yt)를 결정할 수 있다. 결합 화상의 가로(xt)는 획득된 프레임 화상들의 가로(x1,x2,x3,x4) 중 가장 작은 값의 배수일 수 있다. 결합 화상의 세로(yt) 역시 획득된 프레임 화상들의 세로(y1, y2, y3, y4) 중 가장 작은 값의 배수일 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

10: 동영상 처리 장치
100: 촬상 장치
200: 처리 장치

Claims

동영상 처리 장치로서,
촬상 장치와 상기 촬상 장치와 전기적으로 연결된 처리 장치를 포함하고,
촬상 장치는
복수의 프레임 화상들을 획득하는 화상 취득 유닛;
상기 프레임 화상들을 상기 처리 장치에 전송하는 제1 전송 유닛;
상기 처리 장치로부터 수신된 모드 파라미터를 상기 촬상 장치에 설정하는 모드 설정 유닛;
상기 모드 파라미터를 이용하여 상기 프레임 화상들을 하나의 결합 화상으로 변환하는 결합 유닛; 및
상기 결합 화상을 상기 처리 장치로 전송하는 제2 전송 유닛;을 포함하고,
상기 처리 장치는
상기 결합 화상을 출력하거나, 촬영 이후에 입력된 모드 파라미터에 의해 상기 프레임 화상들을 결합한 결합 화상을 생성하여 출력하는,
동영상 처리 장치.
제1항에 있어서,
상기 결합 유닛은
상기 모드 파라미터 및 센서 유닛에 의해 획득된 감지 데이터를 고려하여 상기 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 하는, 동영상 처리 장치.
제1항에 있어서,
상기 결합 유닛은
상기 촬상 장치에 의해 포함된 센서로부터의 감지 데이터를 이용하여 프레임 화상들의 배치 위치를 결정하고, 프레임 화상들을 각 배치 위치에 배치시키고, 결합시켜 결합 화상을 생성하는 점을 특징으로 하는, 동영상 처리 장치.
제1항에 있어서,
상기 결합 유닛은
사용자로부터 수신된 모드 값에 따른 모드 파라미터를 변경하고, 상기 변경된 모드 파라미터에 따라 프레임 화상들을 하나의 결합 화상으로 생성하는 점을 특징으로 하는, 동영상 처리 장치.