KR101926459B1 - 가상현실 이미지 처리방법 및 그 장치 - Google Patents

Abstract

이미지 처리장치 및 그 동작 방법이 제공된다. 본 발명의 일 실시 예에 따르면, 지정된 형태의 스티칭 파이프라인을 호출하는 과정; 상기 스티칭 파이프라인에 포함되는 둘 이상의 스티칭 모듈 각각에 대하여 이미지 원본을 호출하는 과정; 상기 둘 이상의 스티칭 모듈 각각에 대하여 호출된 이미지 원본을 상기 둘 이상의 스티칭 모듈 각각에 기반하여 지정된 형태에 매칭되도록 변환하는 단계; 및 상기 변환된 둘 이상의 이미지 각각을 대응되는 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성하는 단계;를 포함하는, 가상현실 이미지 처리방법을 제공한다.

Description

가상현실 이미지 처리방법 및 그 장치{METHOD FOR PROCESSING VIRTUAL IMAGE AND DEVICE THEREOF}

본 발명은 가상현실 이미지 처리방법 및 그 장치에 관한 것으로, 상세하게는 가상현실 이미지를 생성, 수정 또는 처리하는 방법 및 그 장치에 관한 것이다.

360° 파노라마 이미지는 파노라마 이미지는 파노라믹 가상현실(Panoramic virtual reality)을 구현하는데 사용되는데, 파노라믹 가상현실을 구현하려면 크게 두 단계를 거쳐야 한다. 첫 번째는 360도 파노라마 가상현실 이미지(vr 이미지)를 얻는 단계이고, 두 번째는 파노라믹 vr 뷰어(viewer)를 통해 전시하는 단계이다.

파노라믹 vr 뷰어는 입력으로 파노라마 이미지를 받고, 사용자가 특정한 시선 방향을 지정해주면, 그 시선 방향으로 보았을 때의 모습을 파노라마 이미지로부터 실시간으로 생성하여 보여준다.

vr 이미지는 보통 카메라의 위치는 고정시키고, 카메라의 몸체를 회전시켜가면서 연속적으로 얻은 사진들을 적당히 이어 붙이거나, 다수의 카메라를 통해서 촬영된 이미지를 이어 붙여 생성되며, 이때, 촬영된 다수의 이미지를 이용하여 하나로 연결된 vr 이미지를 생성하기 위한 다양한 이미지 처리 방법이 개발되고 있다.

특허문헌 제10-1077584호는 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치에 있어서, 인접한 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 적어도 2 이상의 복수개의 카메라; 상기 복수개의 카메라로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 수신하는 영상 신호 수신부; 상기 복수개의 카메라로부터 획득되는 복수개의 입력 영상 신호를 구성하는 각각의 영상 화소들이 합성 영상 신호의 영상 화소에 대응되는 관계에 대한 영상 매핑 데이터를 저장하는 룩업 테이블; 및 상기 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 상기 룩업 테이블을 참조하여 각각의 입력 영상 신호를 구성하는 각각의 영상 화소들에 대한 합성 영상 신호의 영상 화소를 구성하는 영상 정합부; 및 상기 영상 정합부에서 구성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 출력하는 영상 신호 출력부를 구비하는 영상 처리 장치.을 개시하고 있다.

이러한, 영상 처리 장치는, 복수개의 영상에 대하여 룩업 테이블을 이용하여 화소들을 매핑함으로써 출력 영상을 생성하는 것으로, 영상의 수가 변경되거나, 영상의 수정과 같이 vr 이미지 생성 환경의 변화가 발생되는 경우, vr 이미지의 생성 과정을 처음부터 다시 수행해야 하는 한계가 존재한다.

10-1077584 (등록특허공보)

상술한 문제점을 해결하기 위하여, 본 발명의 다양한 실시 예에 따르면, 다수의 이미지를 이용하여 vr 이미지를 생성하기 위한, 가상현실 이미지 처리장치 및 그 동작 방법을 제공할 수 있다.

본 발명의 일 실시 예에 따르면, 다수의 이미지를 이용하여 vr 이미지를 생성함에 있어서, vr 이미지 생성 환경의 변화에 대하여 효과적으로 대응할 수 있는, 가상현실 이미지 처리장치 및 그 동작 방법을 제공할 수 있다.

본 발명의 일 실시 예에 따르면, 이미지를 이용하여 vr 이미지를 생성함에 있어서, 생성된 vr 이미지의 일부를 수정하기 위한, 가상현실 이미지 처리장치 및 그 동작 방법을 제공할 수 있다.

본 발명의 일 실시 예에 따르면, 지정된 형태의 스티칭 파이프라인을 호출하는 과정; 상기 스티칭 파이프라인에 포함되는 둘 이상의 스티칭 모듈 각각에 대하여 이미지 원본을 호출하는 과정; 상기 둘 이상의 스티칭 모듈 각각에 대하여 호출된 이미지 원본을 상기 둘 이상의 스티칭 모듈 각각에 기반하여 지정된 형태에 매칭되도록 변환하는 단계; 및 상기 변환된 둘 이상의 이미지 각각을 대응되는 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성하는 단계;를 포함하는, 가상현실 이미지 처리방법을 제공한다.

다양한 실시 예에 따르면, 제1항에 있어서, 상기 둘 이상의 스티칭 모듈 각각에 대하여 호출된 이미지 원본을 상기 둘 이상의 스티칭 모듈 각각에 기반하여 지정된 형태에 매칭되도록 변환하는 단계는, 상기 이미지 원본을 빨강과 초록의 그라데이션에 기반하는 플레이트에서 위치와 형태가 지정된 일부왜곡맵에 적용하여 상기 이미지를 왜곡할 수 있다.

또한, 상기 둘 이상의 스티칭 모듈 각각에 대하여 호출된 이미지를 상기 둘 이상의 스티칭 모듈 각각에 기반하여 지정된 형태에 매칭되도록 변환하는 단계는, 상기 호출된 이미지 원본을 왜곡하는 단계; 및 상기 왜곡된 이미지의 병합을 위하여 지정된 채널의 전처리를 수행하는 단계;를 포함할 수 있다.

또한, 상기 변환된 둘 이상의 이미지 각각을 대응되는 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성하는 단계는, 상기 변환된 이미지의 병합을 위하여 상기 지정된 채널의 곱연산을 처리하는 단계를 포함할 수 있다.

또한, 상기 지정된 채널은, 상기 가상현실 이미지의 전개도에 배치된 상기 둘 이상의 왜곡된 이미지 중 겹쳐지는 영역에 대응하여 결정될 수 있다.

또한, 상기 전처리는, 상기 가상현실 이미지의 전개도에 배치된 상기 둘 이상의 왜곡된 이미지 중 겹쳐지는 영역에 대하여 알파값을 적용할 수 있다.

또한, 가상현실 이미지 처리방법은, 상기 스티칭 파이프라인에 적어도 하나의 스티칭 모듈을 추가하는 과정;을 더 포함할 수 있다.

또한, 상기 스티칭 파이프라인에 적어도 하나의 스티칭 모듈을 추가하는 과정은, 상기 지정된 형태의 스티칭 파이프라인을 호출하는 과정에서 추가로 수행되거나, 또는 상기 변환된 둘 이상의 이미지 각각을 대응되는 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성하는 단계 이후에 수행될 수 있다.

또한, 상기 가상현실 이미지의 전개도에서 특정 위치를 선택하는 단계; 및 상기 특정 위치에 대응되는 왜곡된 이미지 및 이미지 원본 중 적어도 하나를 호출하는 단계;를 더 포함할 수 있다.

한편, 본 발명의 일 실시 예에 따르면, 이미지 원본을 호출하는 이미지 호출 모듈; 상기 이미지 원본을 변환하고, 둘 이상의 왜곡된 이미지를 병합하는 변환 처리모듈; 및 지정된 형태의 스티칭 파이프라인을 호출하고, 상기 이미지 호출 모듈을 통하여 상기 스티칭 파이프라인에 포함되는 둘 이상의 스티칭 모듈 각각에 대하여 상기 이미지 원본을 호출하고, 상기 변환 처리모듈을 통하여 상기 둘 이상의 스티칭 모듈 각각에 대하여 호출된 상기 이미지 원본을 상기 둘 이상의 스티칭 모듈 각각에 기반하여 지정된 형태에 매칭되도록 변환하고, 상기 변환된 둘 이상의 이미지 각각을 대응되는 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성하도록 처리하는 제어모듈;을 포함하는, 가상현실 이미지 처리장치를 제공한다.

다양한 실시 예에 따르면, 상기 변환 처리모듈은, 상기 이미지 원본을 빨강과 초록의 그라데이션에 기반하는 플레이트에서 위치와 형태가 지정된 일부왜곡맵에 적용하여 상기 이미지를 왜곡할 수 있다.

또한, 상기 변환 처리모듈은, 상기 호출된 이미지 원본을 왜곡하고, 상기 왜곡된 이미지의 병합을 위하여 지정된 채널의 전처리를 수행할 수 있다.

또한, 상기 변환 처리모듈은, 상기 변환된 이미지의 병합을 위하여 상기 지정된 채널의 곱연산을 처리할 수 있다.

또한, 상기 제어모듈은, 상기 가상현실 이미지의 전개도에 배치된 상기 둘 이상의 왜곡된 이미지 중 겹쳐지는 영역에 대응하여 상기 지정된 채널을 결정할 수 있다.

또한, 상기 변환 처리모듈은, 상기 가상현실 이미지의 전개도에 배치된 상기 둘 이상의 왜곡된 이미지 중 겹쳐지는 영역에 대하여 알파값을 적용하여 상기 전처리를 수행할 수 있다.

또한, 상기 제어모듈은, 상기 스티칭 파이프라인에 적어도 하나의 스티칭 모듈을 추가할 수 있다.

또한, 상기 제어모듈은, 상기 가상현실 이미지의 전개도에서 특정 위치를 선택하고, 상기 특정 위치에 대응되는 왜곡된 이미지 및 이미지 원본 중 적어도 하나를 호출할 수 있다.

또한, 상기 둘 이상의 스티칭 모듈 각각은, 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 방향에 대하여 촬영된 이미지 원본을 호출하는 이미지 노드; 상기 이미지 노드에 호출된 상기 이미지 원본을 배치하는 위치 및 왜곡 형태 중 적어도 하나를 결정하는 샘플 노드; 상기 샘플 노드에 기반하여 상기 이미지 원본을 왜곡하는 왜곡 노드; 상기 왜곡된 이미지의 병합을 위하여 지정된 채널의 전처리를 수행하는 채널설정 노드; 및 상기 왜곡된 이미지의 병합을 위하여 상기 지정된 채널의 곱연산을 처리하는 보정 노드; 중 적어도 하나의 하위 노드를 포함할 수 있다.

본 발명의 다양한 실시 예에 따르면, 기 생성된 스티칭 파이프라인을 호출하거나, 하나의 방향에 대한 이미지를 처리하는 스티칭 모듈을 둘 이상 포함하는 스티칭 파이프라인을 생성함으로써, 다양한 방향에 대하여 촬영된 이미지를 기반으로 하는 vr 이미지의 생성을 효과적으로 수행할 수 있다.

본 발명의 다양한 실시 예에 따르면, 스티칭 파이프라인을 통하여 다양한 방향에 대하여 촬영된 이미지의 합성을 위한 스티칭 모듈을 추가 및/또는 제거 가능하도록 처리함으로써, 생성되는 vr 이미지의 품질을 효과적으로 제어하고, vr 이미지의 수정을 처리할 수 있다.

본 발명의 다양한 실시 예에 따르면, 스티칭 파이프라인에 기반하여 vr 이미지를 생성하기 위한 다양한 포맷을 제공함으로써, vr 이미지 생성의 다양성을 제공하고, 나아가, vr 이미지의 생성의 자유도를 크게 개선할 수 있다.

본 발명의 다양한 실시 예에 따르면, 스티칭 파일프라인 및 스티칭 파이프라인에 포함되는 스티칭 모듈을 통하여 vr 이미지 생성을 처리함으로써, vr 이미지 생성 및 발생되는 문제점의 해결에 대하여 유연성을 향상시키고, 생성되는 vr 이미지의 완성도를 향상시킬 수 있다.

도 1은 본 발명의 일 실시 예에 따른 이미지 처리장치 및 이미지 처리 장치를 포함하는 시스템의 개략적인 구성을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 이미지 처리장치에서 생성된 vr 이미지의 구조를 도시하는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 처리장치에서 이미지를 처리하기 위한 스티칭 모듈 및 이를 포함하는 스티칭 파이프라인의 구조를 도시하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 처리장치에서 vr 이미지의 생성에 처리되는 이미지들을 구분하여 도시한 도면이다.
도 5는 본 발의 일 실시 예에 따른 이미지 처리장치에서 왜곡된 이미지에 기반하여 생성된 vr 이미지 전개도를 도시하는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 처리 장치에서 스티칭 파이프라인에 생성된 스티칭 모듈을 도시하는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 이미지 처리 장치에서 vr 이미지 전개도의 선택된 영역에 대한 이미지를 처리하는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 이미지 처리장치에서 vr 이미지를 생성하는 동작의 흐름을 도시한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.

본 발명의 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예가 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도면의 기재 및 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 사용하거나 또는 생략할 수 있다.

본 발명의 다양한 실시 예 가운데 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다.

또한, 본 발명의 다양한 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 다양한 실시 예에서 ‘또는’ 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, ‘A 또는 B’는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.

본 발명의 다양한 실시 예에서 ‘제1’, ’제2’, ’첫째’ 또는 ’둘째’등의 표현들이 본 발명의 다양한 구성 요소들을 수식할 수 있지만, 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 또한, 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다.

본 발명의 다양한 실시 예에서 어떤 구성요소가 다른 구성요소에 ‘연결되어’ 있다거나 ‘접속되어’ 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 ‘직접 연결되어’ 있다거나 ‘직접 접속되어’ 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.

본 발명의 다양한 실시 예에서 기재된 ‘...부’, ‘모듈’ 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 발명의 다양한 실시 예에서 ‘실질적으로’, ‘예를 들어’와 같은 표현에 따라는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.

이하 설명에서 사용되는 용어는 본 발명의 다양한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 또한, 용어에 있어서, 단수의 표현은 문맥상 명백하게 특정하여 명시하지 않는 한 복수의 표현을 포함할 수 있다.

또한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일/유사한 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석하거나 또는 축소 해석하지 않아야 한다.

본 발명의 다양한 실시 예에 따르면, 이미지 처리장치는, 본 발명의 다양한 실시 예에 따른 이미지 처리 동작들을 수행하기 위하여 제어부(또는 처리부), 예를 들면, 프로세서(processor) 등으로 제공될 수 있고 또는 오브젝트 처리 동작들과 관련된 데이터를 저장하는 저장부, 예를 들면, 메모리(memory), 서버(sever) 등으로 제공될 수 있다.

이미지 처리장치는 하나 또는 그 이상의 독립적인 모듈의 형태로 구성될 수 있다. 또한, 이미지 처리장치는, 관련된 적어도 하나의 다른 모듈과 연결되거나 결합되어 구성되거나, 모듈의 일부로 포함되어 구성될 수 있다.

일 실시 예에 따르면, 이미지 처리장치는, 패키지 방식으로 제공되는 프로그램(또는 소프트웨어), 장치(또는 하드웨어) 및/또는 시스템(이하, 시스템)의 일부로 제공될 수 있고, 또는 플러그인(plug-in)의 형태로 제공될 수 있다.

일 실시 예에 따르면, 시스템은 3D 영상 처리 시스템(또는, 3D 에니메이션 시스템)으로, 상세하게는, 마야(maya), 3d 맥스(3d max), 포저(poser), 포즈스튜디오(pose-studio), 뉴크(nuke), 후디니(houdini) 중 적어도 하나의 프로그램을 포함하여 제공될 수 있다. 또한, 시스템은 프로그램에 한정하지 않고, 상술한 프로그램들 중 적어도 하나가 설치된 컴퓨터 장치로 제공될 수 있다.

본 발명의 다양한 실시 예에 따르면, 이미지 처리장치는 두부 장착용 디스플레이(head mounted display) 장치를 위한 가상현실 이미지를 구성하는 다양한 이미지를 처리하기 위한 각각의 작업, 또는 기능을 수행하도록 전/후 처리와 중간 처리, 예를 들면, 작업에 사용되는 데이터의 생성, 검색, 수집, 호출, 로드(또는 로딩), 수정, 저장, 연결과 같은 작업을 수행하거나 및/또는 관련된 정보를 생성, 출력, 수정, 저장, 연결과 같은 작업을 수행할 수 있다.

여기서, 이미지는 하나의 스틸 이미지(still image, 또는 이미지 프레임)로 설명할 수 있고, 또한 둘 이상의 연결(또는 나열)되는 이미지로 구성된 무빙 이미지(moving image)의 의미를 포함할 수 있다.

예를 들어, 이미지는 스틸 이미지의 경우 컷(cut 또는, frame), 무빙 이미지의 경우 샷(shot 또는 씬, scene)으로 설명할 수 있고, 이미지에 시간의 흐름을 더하여 영상으로 정의될 수 있다.

가상현실 이미지 처리장치(이하, 이미지 처리장치)는, 기 촬영된 다수의 영상(또는 이미지)를 이용하여 가상현실 이미지(또는 파노라마 가상현실 이미지panoramic virtual reality image, 이하, vr 이미지)를 구현하는 장치로 제공될 수 있다.

또한, 상술한 바에 따르면, vr 이미지는, 두부 장착용 디스플레이 장치를 통하여 사용되는 이미지로 설명하고 있지만, 이에 한정하지 않고, 다양한 방식의 디스플레이 장치에 사용되는 vr 이미지로 제공될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 이미지 처리장치(100) 및 이미지 처리장치(100)를 포함하는 시스템(10)의 개략적인 구성을 도시한다. 도 1을 참조하면, 이미지 처리장치(100)는, 제어모듈(110), 이미지 호출모듈(120), 위치 결정모듈(130), 싱크 처리모듈(140), 변환 처리모듈(150) 및 이상 검출모듈(160) 중 적어도 하나의 구성 요소를 포함한다.

여기서, 이미지 처리장치(100)에 포함되는 각각의 구성은 작업 및 기능으로 구분되는 단위로 설명할 수 있고, 이 때, 모듈은 상술한 바와 같이 소프트웨어 모듈 또는 하드웨어 모듈로 구성될 수 있다.

일 실시 예에 따르면, 이미지 처리장치(100)를 포함하는 시스템(10)은, 이미지 처리장치(100)와 연결되는 입력부(201), 출력부(203) 및 데이터베이스(105) 중 적어도 하나의 구성 요소를 포함할 수 있다.

제어모듈(110)은, 적어도 하나의 카메라를 이용하여 현실 공간의 오브젝트에 대하여 상호간 오프셋을 가지도록 촬영된 다수의 2차원 이미지에 기반하여 vr 이미지를 생성하기 위한 스티칭 파이프라인을 제공할 수 있다.

일 실시 예에 따르면, vr 이미지는 도 2에 도시된 바와 같이 구체 이미지(Spherical image, 301))로 표현 가능한 2차원 평면상의 이미지로 생성될 수 있다. 이때, vr 이미지는, 다양한 방향에 대하여 촬영된 다수의 이미지를 지정된 형태에 따라서 배열하고 왜곡하여 생성할 수 있다.

일 실시 예에 따르면, 다양한 방향에 대하여 촬영된 다수의 이미지는, 하나의 카메라를 이용하여 촬영할 수 있지만, 또는 둘 이상의 카메라를 통해서 촬영할 수 있다.

예를 들면, 다양한 방향에 대하여 촬영된 다수의 이미지는, 도 2의 카메라(311)와 같이, 둘 이상의 카메라가 지정된 방향을 향하여 하나의 장치로 결합된 카메라를 통해서 동시에 촬영된 이미지일 수 있다.

일 실시 예에 따르면, vr 이미지는, 둘 이상의 방향에 대한 이미지를 포함하며, 바람직하게는, 앞(front), 뒤(back), 좌(left), 우(right), 위(zenith), 아래(nidar)의 여섯 방향에 대한 이미지에 기반하여 생성할 수 있다.

본 발명의 다양한 실시 예에 따르면, vr 이미지는 상술한 바와 같이 여섯 방향에 대한 이미지를 이용하여 생성하는 것으로 설명하고 이지만, 이에 한정하지 않고, 상술한 여섯 방향보다 적거나 많은 수의 방향에 대한 이미지를 이용하여 vr 이미지를 생성할 수 있음은 자명하다. 제어모듈(110)을 통하여 제공되는 스티칭 파이프라인(40)은, 도 3에 도시된 바와 같이 노드(node) 및 노드를 연결하는 링크(link)를 포함할 수 있다. 일 실시 예에 따르면, 스티칭 파이프라인(40)은, vr 이미지를 생성하기 위하여 적어도 하나의 방향에 대한 이미지(또는 에셋, asset)을 호출하기 위한 노드(이하, 스티칭 모듈)를 포함할 수 있다.

도 3을 참조하면, 본 발명의 일 실시 예에 따른 제어모듈(110)을 통해서 제공되는 스티칭 파이프라인(40)은, 앞, 뒤, 좌, 우, 위, 아래 각각에 대한 스티칭 모듈(410, 420, 430, 440, 450, 460)을 포함한다.

이때, 각각의 스티칭 모듈은, 다양한 방향에 대한 다수의 이미지를 병합(또는 접합)하여 자연스러운 vr 이미지를 생성하기 위하여 이미지를 호출 및 변환하는 적어도 하나의 하위 노드를 포함할 수 있다.

예를 들어, 앞 방향에 대한 스티칭 모듈(410)을 참조하면, 스티칭 모듈(410)은, 각 방향에 대하여 촬영된 풋티지 이미지(footage, 이하 이미지 원본)을 호출하는 이미지 노드(511), 이미지 노드(511)에 호출된 이미지 원본을 배치하는 위치 및 왜곡 형태를 결정하는 샘플 노드(513), 이미지 원본을 왜곡하는 왜곡 노드(515), 왜곡된 이미지의 병합을 위하여 지정된 채널의 전처리를 수행하는 채널설정 노드(517) 및 왜곡된 이미지의 병합을 위하여 지정된 채널의 연산을 처리하는 보정 노드(519) 중 적어도 하나의 하위 노드를 포함할 수 있다.

스티칭 파이프라인에 포함되는 둘 이상의 스티칭 모듈은 적어도 하나의 병합(merge) 노드를 통하여 연결될 수 있다.

일 실시 예에 따르면, 이미지 노드(511)에는, 이미지 호출 모듈(120)을 통하여 호출된 이미지를 출력할 수 있다. 예를 들면, 스티칭 모듈(410)의 경우 지정된 프로젝트에 대한 다양한 방향의 이미지 중에서 호출된 이미지 원본(예: 도 4의 이미지(411)를 출력할 수 있다.

일 실시 예에 따르면, 각각의 스티칭 모듈은 선택된 프로젝트에 대하여 지정된 방향에 대한 이미지 원본을 자동으로 호출하여 이미지 노드(511)에 출력하도록 설정될 수 있다.

여기서, 스티칭 모듈은, 프로젝트가 선택되는 경우, 선택된 프로젝트에 포함된 다양한 이미지 원본들 중 지정된 문구를 파일명에 포함하는 이미지 원본을 호출하도록 설정될 수 있다.

예를 들면, 스티칭 모듈(410)은, 이미지 원본을 선택함에 있어서, 파일명에 cam1을 포함하는 이미지 원본(예: 도 4의 이미지(411)을 호출하도록 설정될 수 있다.

마찬가지로, 스티칭 모듈(420, 430, 440, 450, 및 450) 각각은 cam2, cam3, cam4, cam5 및 cam6을 파일명에 포함하는 이미지 원본, 예를 들면, 도 4의 이미지(421, 431, 441,451, 461)을 호출하도록 설정될 수 있다.

이미지 노드(511)는, 호출된 이미지 원본의 적어도 일부에 대한 썸네일(thumb nail) 이미지를 표시할 수 있다.

샘플 노드(513)는, vr 이미지를 생성하기 위한 전개도(또는, 생성된 vr 이미지의 전개도, 이하 vr 이미지 전개도)에서 스티칭 모듈(513)에 대하여 호출된 이미지 원본을 변환(예: 왜곡)하기 위한 왜곡 정보를 포함할 수 있다.

일 실시 예에 따르면, 왜곡 정보는, 이미지 원본의 형태 변경, 사이즈 변경, 적어도 하나의 다른 이미지와 합성, 결합 등의 변경들 중 적어도 하나를 처리하도록 설정된 정보(예: 명령어)일 수 있다.

여기서, 샘플 노드(513)는, 이미지 원본이 배치되는 위치 및 왜곡의 정도에 대한 정보 또는 호출된 이미지 원본이 배치되는 위치 및 왜곡의 정도에 대한 정보에 대한 맵(map)을 포함할 수 있다.

일 실시 예에 따르면, 호출된 이미지 원본이 배치되는 위치 및 왜곡의 정도에 대한 정보는 맵(map)을 통하여 결정될 수 있다. 예를 들면, 맵은 뉴크 프로그램에 기반하여 제공되며, stmap 형식으로 제공될 수 있다. 일 실시 예에 따르면, stmap 형식의 맵은 화면에 각 위치에 대하여 vector2를 적용하여 x축 및 y축 좌표의 형태로 나타낸 이미지로 제공될 수 있다.

여기서, stmap 형식의 맵은, 왼쪽 아래의 점(0,0)을 기준으로 하여 각 화면의 끝을 1로 두고 그에 맞추어 1/해상도의 공식으로 좌표를 설정할 수 있다. 일반적으로 화면의 x축, y축은 색으로써 빨강(red, R), 초록(green, G)에 대응하도록 설정할 수 있다. 이때, (0,1)으로 향할수록 초록(0,1,0)의 값을 가지며 (1,0)으로 향할수록 빨강(1,0,0)의 값을 가짐으로써 stmap 형식의 맵은 그라데이션 형태의 플레이트로 표현될 수 이다.

여기서, stmap 형식의 맵은, 이미지 원본을 촬영한 카메라의 기능 및 재원 중 적어도 일부 정보를 이용하여 생성될 수 있다.

샘플 노드(513)는, 맵(예: stmap 형식의 맵)의 전체(이하, 전체왜곡맵)에서 스티칭 모듈(410 등)에 지정된 위치(또는 영역) 정보를 적용하여 표시된, 예를 들면, 전체왜곡맵에서 스티칭 모듈에서 지정된 위치(또는 영역) 외의 나머지 영역이 제거된 상태의 맵(이하, 일부왜곡맵)을 결정할 수 있다. 일 실시 예에 따르면, 전체왜곡맵의 사이즈는, vr 이미지 전개도의 사이즈와 동일 또는 유사하게 제공될 수 있다.

샘플 노드(513)는, 제공된 맵(예: 도 4에 도시된 맵(413))과 같이, 스티칭 모듈(410)을 통하여 호출된 이미지 원본을 배치하기 위한 전체왜곡맵 상의 위치, 왜곡 형태 및/또는 규격이 표시된 맵(이하, 일부왜곡맵)의 썸네일 이미지를 표시할 수 있다.

왜곡 노드(515)는, 이미지 노드(511)에 호출된 이미지 원본을 샘플 노드(513)에 포함된 정보에 따라서 왜곡하도록 처리하는 명령어를 포함하며, 제어모듈(110)을 통하여 이미지 원본을 지정된 형태 및/또는 규격에 맞추어 왜곡할 수 있다.

왜곡의 일 실시 예에 따르면, 일부왜곡맵은, 이미지 원본에 대하여 일부왜곡맵의 픽셀 정보(예: 픽셀 좌표정보)를 이용하여 이미지 원본의 위치 정보를 지정된 위치로 왜곡(또는 변환)하도록 처리하는 정보를 포함할 수 있다. 따라서, 왜곡 노드(515)를 통하여 이미지 원본(도 4의 이미지 원본(411)을 일부왜곡맵(413)에 적용하는 경우 왜곡된 이미지(또는, 왜곡된 풋티지 이미지, 이하 왜곡된 이미지)를 생성할 수 있다.

왜곡 노드(515)는, 샘플 노드(513)를 통해서 왜곡 정보 값을 받아 상술한 바와 같이 이미지 원본을 왜곡 및/또는 변환하여 왜곡된 이미지(예: 도 4의 이미지(415)를 생성하도록 처리하는 명령어를 포함할 수 있다.

일 실시 예에 따르면, 왜곡 노드(515)는, 제어모듈(110)로부터 이미지의 왜곡에 대한 처리를 확인하는 경우, 샘플노드(513) 및/또는 왜곡 노드(515)에 설정된 정보에 기반하여 이미지 원본의 왜곡을 처리할 수 있다.

채널설정 노드(517)는, 스티칭 모듈(410)을 통하여 왜곡된 이미지(415)와 다른 스티칭 모듈을 통하여 왜곡된 이미지의 병합에 사용되는 채널들을 처리할 수 있다.

일 실시 예에 따르면, 이미지 원본(411) 및 일부왜곡맵(413)을 이용하여 생성되는 왜곡된 이미지(415)는, 스티칭 모듈(410)을 통하여 왜곡된 이미지(415)가 다른 스티칭 모듈을 통해서 왜곡된 이미지와 합쳐지는 동작에 대하여 결정되는 채널(예: 왜곡된 이미지의 병합 과정에서 겹쳐지는 영역(또는 중복되는 영역))의 투명도와 관련된 값(예: 알파값)을 포함할 수 있다.

이때, 채널설정 노드(517)는, vr 이미지 전개도를 생성함에 있어서, 왜곡된 이미지(415) 및/또는 일부왜곡맵(413)의 겹쳐지는 영역에 대한 알파값을 왜곡된 이미지에 적용함으로써, 왜곡된 이미지(415)를 제외한 나머지 영역의 연산을 처리하지 않도록 제어할 수 있다.

일 실시 예에 따르면, 채널설정 노드(517)는, 뉴크 프로그램의 셔플카피(shuffle copy)의 적어도 일부 기능으로 제공될 수 있다.

보정 노드(519)는, 스티칭 모듈(410)을 통하여 왜곡된 이미지(415)와 다른 스티칭 모듈을 통하여 왜곡된 이미지의 병합에 사용되는 곱연산을 처리하는 명령어를 포함할 수 있다.

일 실시 예에 따르면, 보정 노드(519)는 스티칭 모듈(410)을 통하여 왜곡된 이미지(415)가 다른 스티칭 모듈을 통해서 왜곡된 이미지와 합쳐지는 과정에서 알파값을 처리하도록 곱연산 동작을 수행할 수 있다.

이때, 보정 노드(519)는, 왜곡된 이미지(415) 및/또는 일부왜곡맵(413)에 포함되는 알파값의 정보를 처리하도록 곱연산 동작을 수행함으로써, 불필요한 것으로 지정된 연산을 처리하지 않도록 제어할 수 있다.

일 실시 예에 따르면, 보정 노드(519)는, 뉴크 프로그램의 선곱셉(premult)의 적어도 일부 기능으로 제공될 수 있다

제어모듈(110)은, 상술한 바와 같이, 스티칭 파이프라인(40)에 포함되는 스티칭 모듈 각각에 대하여 이미지 원본을 왜곡하여 왜곡된 이미지를 생성할 수 있다.

또한, 제어모듈(110)은, 도 5에 도시된 바와 같이, 생성된 각각의 왜곡된 이미지(415, 425, 435, 445, 455, 465)를 복합적으로 처리하여 한장의 vr 이미지 전개도, 예를 들면, 랫롱(lat-long) 이미지(600)를 생성할 수 있다.

다시 도 1로 돌아가서, 이미지 호출모듈(120)은, 스티칭 파이프라인(40)의 각각의 스티칭 모듈(410, 420, 430, 440, 450, 460)에서, 스티칭 모듈 각각에 대하여 지정된 방향에 대응되는 이미지 원본을 호출하여 이미지 노드(511)에 출력할 수 있다.

여기서, 스티칭 모듈 각각에 대하여 지정된 방향에 대응되는 이미지 원본을 호출하는 방법은, 지정된 프로젝트의 위치를 입력하는 경우 스티칭 모듈 및/또는 이미지 노드에 지정된 방향에 대하여 지정된 코드를 포함하는 이미지 원본을 자동으로 선택하여 호출하거나, 또는 입력부(201)를 이용한 드래그 앤 드롭(drag and drop) 또는, 이미지 원본의 경로를 이용하여 호출하는 등 다양한 데이터 호출 방법을 이용할 수 있다.

일 실시 예에 따르면, 이미지 호출모듈(120)은 각각의 스티칭 모듈들에 대하여, 선택된 프로젝트에 포함된 다양한 이미지 원본들 중 파일명에 지정된 문구를 포함하는 이미지 원본을 호출할 수 있다.

이미지 호출모듈(120)은, 호출한 이미지 원본을 해당하는 스티칭 모듈의 이미지 노드를 통하여 출력할 수 있다.

위치 결정모듈(130)은, 스티칭 모듈 각각의 설정 정보에 기반하여 vr 이미지 상의 위치에 대한 정보를 결정할 수 있다. 위치 결정모듈(130)은, 이미지 노드에 호출된 이미지 원본이 vr 이미지의 전개도에 기반하여 지정된 위치에 배치되도록 처리할 수 있다.

일 실시 예에 따르면 위치 결정모듈(130)은, 호출된 이미지 원본을 배치하기 위한 위치를 결정함에 있어서, 맵(예: stmap)을 이용할 수 있다. 예를 들면, 도 4의 맵(413)을 참조하면, 스티칭 모듈(410)은 설정된 위치 정보(예: 샘플 노드(513)에 설정된 위치 정보) 및/또는 일부왜곡맵(413)에 기반하여 호출된 이미지 원본(411)의 위치를 결정할 수 있다.

마찬가지로, 스티칭 파이프라인(40)에 포함된 스티칭 모듈(420, 430, 440, 450 및 460)에 설정된 위치 정보 및/또는 일부왜곡맵(423, 433, 443, 453, 463)에 기반하여 호출된 이미지 원본의 위치를 결정할 수 있다.

제어모듈(110)은, 스티칭 파이프라인(40)을 통하여 호출된 이미지 원본을 이용하여 동기화를 수행할 수 있다. 일 실시 예에 따르면, 호출된 각각의 이미지 원본이, 영상으로 제공되는 경우, 싱크 처리모듈(140)을 통하여, 스티칭 모듈 각각에 호출된 이미지 원본의 재생을 동기화할 수 있다.

싱크 처리모듈(140)은, vr 이미지 전개도를 생성하기 위하여 연결되는 이미지 원본 및/또는 왜곡된 이미지들의 싱크(sink)를 동기화할 수 있다. 일 실시 예에 따르면, 싱크 처리모듈(140)은, 각각의 이미지 원본 및/또는 왜곡된 이미지들에 포함된 오디오, 예를 들면, 오디오에 포함된 파열음과 같이 지정된 소리를 이용하여 이미지 원본 및/또는 왜곡된 이미지들의 재생을 동기화 처리할 수 있다.

제어모듈(110)은, 변환 처리모듈(150)을 통하여, 이미지 원본을 왜곡하고, 병합하여 vr 이미지 전개도를 생성할 수 있다. 이때, 변환 처리모듈(150)은, 각각의 스티칭 모듈에 기반하여 왜곡된 이미지들을 결합하여 vr 이미지 전개도를 생성할 수 있다.

변환 처리모듈(150)은, 각각의 왜곡된 이미지에서 겹쳐지는 영역(또는 화각이 겹쳐지는 영역)에 대하여 레퍼런스를 취득할 수 있다.

예를 들면, 둘 이상의 왜곡된 이미지를 병합하는 경우, 각각의 왜곡된 이미지에서 이미지 원본이 적용된(예: 이미지 원본이 왜곡되어 배치된) 영역 중 적어도 일부가 다른 왜곡된 이미지에서 이미지 원본이 적용된 영역의 적어도 일부와 겹쳐질 수 있다. 변환 처리모듈(150)은, 병합 동작에서 발생되는 겹쳐지는 영역에 대하여 레퍼런스를 확인할 수 있다.

일 실시 예에 따르면, 겹쳐지는 영역의 레퍼런스는 그리드 판을 이용하여 획득할 수 있다.

또한, 변환 처리모듈(150)은, 카메라 화각에 기준하여 화각이 겹져치는 영역을 결정할 수 있고, 예를 들면, 10~20도, 더 바람직하게는 15도의 화각을 가지도록 결정할 수 있다.

변환 처리모듈(150)은, 획득한 레퍼런스에 기반하여 완성된 vr 이미지 전개도에 매칭되도록 왜곡된 이미지들의 겹쳐지는 영역에 대하여 라인을 수정할 수 있다.

일 실시 예에 따르면, 변환 처리모듈(150)은, 이미지 원본 및/또는 왜곡된 이미지에서, 수평선, 지평선과 같은 선과, 오브젝트를 검출할 수 있다. 이때, 변환 처리모듈(150)은, 검출된 지평선, 수평선, 오브젝트를 구성하는 외곽선 및/또는 경계선 중 적어도 하나의 선들에 기반하여 겹쳐지는 영역에 대한 라인을 수정할 수 있다.

또한, 변환 처리모듈(150)은, 이미지 원본의 촬영 시 발생된 카메라 렌즈의 굴절 및/또는 빛의 노출 차이에 의하여 발생된 차이(예: 비네팅 효과)를 보정할 수 있다.

제어모듈(110)은, 스티칭 파이프라인(40)에 포함된 스티칭 모듈을 이용하여 vr 이미지를 생성하는 동작 중에, 이상(예: 에러, 오류)이 발생되는지 여부를 이상 검출모듈(160)을 통하여 확인할 수 있다.

이상 검출모듈(160)은, 제어모듈(110), 이미지 호출모듈(120), 위치 결정모듈(130), 싱크 처리모듈(140) 및 변환 처리모듈(150) 중 적어도 하나를 통하여 처리되는 이미지들의 동일성, 유사성 및/또는 일관성을 판단하여 이상 여부를 확인할 수 있다.

일 실시 예에 따르면, 이상 검출모듈(160)은 vr 이미지 전개도를 구성하는 각각의 이미지(예: 왜곡된 이미지 또는 이미지 원본)의 겹쳐지는 영역의 적어도 일부 영역을 비교할 수 있다. 이상 검출모듈(160)은, 스티칭 모듈 각각을 통하여 호출된 각각의 이미지 중 겹쳐지는 영역을 비교하여, 싱크가 동기화 여부 및/또는 왜곡된 이미지들의 연결 여부를 확인할 수 있다.

또한, 이상 검출모듈(160)은, 스티칭 파이프라인(40)에 포함되는 복수의 스티칭 모듈을 통해서 호출된 이미지 원본을 이용하여 vr 이미지 전개도 또는 vr 이미지의 생성에 문제가 발생된 경우를 확인할 수 있다.

예를 들면, 호출 불가, 재생 불가 및/또는 블랙 스크린 등의 오류화면 출력과 같이 이미지 원본들 중 적어도 하나의 재생에 문제가 발생되거나, 이미지 원본을 왜곡 및/또는 왜곡된 이미지를 병합하는 과정에서 발생되는 비네팅(vignetting), 크로매틱 에버레이션(chromeatic aberration) 등의 문제를 검출할 수 있다.

이상 검출모듈(160)은, 이상이 발생된 스티칭 모듈에 대하여 이미지 왜곡 및/또는 병합 동작을 수행하지 않도록 처리할 수 있다. 일 실시 예에 따르면, 이상 검출모듈(160)은 스티칭 파이프라인(40)에서 좌측 이미지 원본(421)에 이상이 발생된 것으로 확인하는 경우, vr 이미지 전개도에서 일부왜곡맵(413)에 대응되는 영역의 이미지 처리를 수행하지 않고, vr 이미지를 출력하도록 처리할 수 있다.

이때, 이상 검출모듈(160)은, vr 이미지 전개도에서, 일부왜곡맵(413, 433, 443, 453, 463) 중 일부왜곡맵(423)과 겹쳐지는 영역 중 적어도 일부 또한, 일부왜곡맵(413)에 기반하여 생성된 왜곡된 이미지와 병합 동작을 위한 이미지 왜곡을 수행하지 않도록 처리할 수 있다.

다시 도 1로 돌아가서, 제어모듈(110)은, 스티칭 파이프라인(40)에 적어도 하나의 스티칭 모듈을 추가할 수 있다. 일 실시 예에 따르면, 제어모듈(110)은, 도 6에 도시된 바와 같이, 스티칭 파이프라인(40)에 스티칭 모듈(470)을 추가할 수 있다.

예를 들면, 제어모듈(110)은, 스티칭 파이프라인의 생성 또는 호출 동작에서 적어도 하나의 스티칭 모듈을 추가할 수 있다. 또한, 제어모듈(110)은 기 생성된 vr 이미지 전개도 및/또는 vr 이미지 전개도를 생성하기 위하여 사용되는 전체왜곡맵에서 위치를 지정하고, 지정된 위치에 대하여 스티칭 모듈을 추가할 수 있다.

제어모듈(110)은, 생성된 스티칭 모듈에 대하여 이미지 노드, 샘플 노드, 왜곡 노드, 채널설정 노드 및 보정 노드 중 적어도 하나의 하위 노드를 생성할 수 있다.

또한, 제어모듈(110)은, 스티칭 파이프라인(40)에 포함되는 스티칭 모듈 중 생성된 스티칭 모듈(470)과 관련하여 일부왜곡맵 및/또는 왜곡된 이미지의 겹쳐지는 영역에 대하여 스티칭 모듈 중 적어도 하나에 대하여, 샘플 노드(513) 및/또는 왜곡 노드(515)의 이미지 처리 내용을 수정할 수 있다.

다양한 실시 예에 따르면, 제어모듈(110)은, 생성된 vr 이미지 또는 vr 이미지 전개도를 통하여 생성된 vr 이미지의 적어도 일부를 수정할 수 있다. 제어모듈(110)은, 도 7에 도시된 바와 같이, vr 이미지 전개도의 일부 영역(601)을 선택하고, 선택된 영역에 대한 이미지 처리를 수행할 수 있다.

제어모듈(110)은, 선택된 영역에 대하여, 왜곡된 이미지(475), 일부왜곡맵(473) 및 선택된 영역에 대한 이미지 원본(471) 중 적어도 하나의 이미지를 생성할 수 있다.

이때, vr 이미지 전개도에서 선택된 영역에 대하여 왜곡된 이미지(475), 일부왜곡맵(473) 및/또는 이미지 원본(471)을 생성함에 있어서, 이미지 원본을 이용하여 왜곡된 이미지 생성 및/또는 vr 이미지 전개도를 생성하는 동작의 적어도 일부의 기능과 관련하여 역처리를 수행할 수 있다.

또한, 제어모듈(110)은, 선택된 영역에 대응되는 스티칭 모듈을 생성할 수 있다. 예를 들면, 제어모듈(110)은, vr 이미지 전개도에서 특정 영역(예: 도 7의 영역(601)을 선택하는 경우, 선택된 영역에 기반하여 이미지 노드, 샘플 노드, 왜곡 노드, 채널설정 노드 및 보정 노드 중 적어도 하나를 포함하는 스티칭 모듈을 생성할 수 있다.

또한, 제어모듈(110)은, 스티칭 파이프라인을 통해서 호출된 이미지 원본 또는 이미지 원본에 기반하여 생성된 왜곡된 이미지 중 적어도 일부를 수정할 수 있다. 일 실시 예에 따르면, 제어모듈(110)은, 출력부(203)를 통해서 출력된 스티칭 파이프라인(40)의 이미지 노드 중 적어도 하나를 선택하여, 해당 스티칭 모듈을 통해서 호출된 이미지 원본을 호출할 수 있다.

다양한 실시 예에 따르면 제어모듈(110)은, 출력부(203)를 통해서 출력된 vr 이미지 전개도에 표시된 왜곡된 이미지의 영역들 중 적어도 하나를 선택하여 선택된 위치에 대응되는 왜곡된 이미지를 호출할 수 있다.

제어모듈(110)은, 왜곡된 이미지 및/또는 이미지 원본을 수정하도록(예: 필셀 단위로 수정하도록) 제공할 수 있고, 따라서, 싱크의 매칭, 라인의 매칭, 발생되는 고스팅의 제거 등의 수정을 효과적으로 처리할 수 있다.

또한, 제어모듈(110)은, 스티칭 파이프라인(40)의 샘플 노드 중 적어도 하나를 선택하여, 해당 스티칭 모듈의 왜곡 노드 및/또는 채널설정 노드를 호출할 수 있다.

제어모듈(110)은 호출된 이미지 및/또는 왜곡 노드 및/또는 채널설정 노드의 정보가 수정된 경우, 수정된 정보를 해당 이미지 및/또는 해당 노드에 저장할 수 있다.

다양한 실시 예에 따르면, 제어모듈(110)은, 스티칭 파이프라인(40)에서 스티칭 모듈을 추가하는 것에 한정하지 않고, 기 생성된 스티칭 모듈을 제외(삭제 또는 제거)할 수 있음은 자명하다.

또한, 제어모듈(110)은, 일부왜곡맵에서 이미지가 표시되는 위치를 변경할 수 있다. 일 실시 예에 따르면, 제어모듈(110)은, 위치 결정모듈(130)을 통하여, 변경된 위치에 대한 정보를 왜곡 노드 및/또는 채널설정 노드에 저장할 수 있다.

다양한 실시 예에 따르면, 제어모듈(110)은, 왜곡된 이미지에 대하여 추가적인 왜곡을 수행할 수 있다. 일 실시 예 따르면, 제어모듈(110)은, 둘 이상의 왜곡된 이미지를 병합하는 동작에서, 겹쳐지는 영역에 대하여 색을 매칭하는 동작을 수행할 수 있다.

또한, 다양한 실시 예에 따르면, 제어모듈(110)은, 둘 이상의 왜곡된 이미지를 병합하는 동작에서, 왜곡된 이미지의 싱크에 차이가 있어 완전하게 접합되지 않는 영역에 대하여 접합되도록 왜곡 처리하여 생성된 vr 이미지의 품질을 향상시킬 수 있다.

다양한 실시 예에 따르면, 제어모듈(110)은, 이미지 호출모듈(120), 위치 결정모듈(130), 싱크 처리모듈(140), 변환 처리모듈(150) 및 이상 검출모듈(160) 중 적어도 하나의 구성 요소를 호출할 수 있다.

또한, 제어모듈(110)은, 외부(또는 외부 장치)로부터 입력되는 데이터 및/또는 데이터베이스(150)에 저장된 데이터를 호출할 수 있고, 다양한 구성 요소를 통하여 호출된 데이터를 처리할 수 있다.

다양한 실시 예에 따르면, 시스템(10)은, 입력부(201), 출력부(203) 및 저장부(205) 중 적어도 하나의 구성 요소를 포함하며, 시스템(10)에 포함된 구성 요소는 이미지 처리장치(100)와 연결될 수 있다.

일 실시 예에 따르면, 입력부(201)는, 컴퓨터와 연결된 키보드, 마우스, 노트패드, 트랙패드, 마이크 중 적어도 하나의 장치로 제공될 수 있고, 출력부(203)는, 컴퓨터와 연결된, 모니터, 스피커 중 적어도 하나의 장치로 제공될 수 있다.

여기서, 이미지 처리장치(100)을 포함하는 시스템(10)은 통신부를 더 포함하거나 또는 통신부와 연결될 수 있다. 이미지 처리장치(100)는, 통신부를 통하여 적어도 하나의 외부 장치 및 외부 프로그램 모듈 간의 통신을 연결할 수 있다. 예를 들면, 통신부는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 장치들과 통신할 수 있다.

무선 통신의 경우 통신부는, 와이파이(wireless fidelity, Wifi) 통신, 와이맥스(worldwide interoperability formicrowave access, WMax) 통신, 블루투스(Bluetooth, BT) 통신, 지그비(Zigbee) 통신 중 적어도 하나의 무선 통신을 수행하기 위한 통신 모듈을 포함할 수 있다.

또한, 유선 통신의 경우 통신부는, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나의 유선 통신을 수행하기 위한 통신 모듈을 포함할 수도 있다. 이 때, 통신부는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.

저장부(205)는, 적어도 하나의 카메라를 통해서 촬영된 이미지, 예를 들면 이미지 원본이 저장될 수 있다. 또한, 저장부(205)는, 이미지 처리장치(100)을 통해서 처리되는 이미지 및 관련된 정보가 저장될 수 있다.

일 실시 예에 따르면, 저장부(205)는, 스티칭 파이프라인(40)에 포함되는 적어도 하나의 스티칭 모듈에 대한 정보, 예를 들면, 이미지 노드, 샘플 노드, 왜곡 노드, 채널설정 노드 및 보정 노드 중 적어도 하나의 노드에 대한 정보를 포함할 수 있다.

또한 저장부(205)는, 이미지 원본에 기반하여 생성된 왜곡된 이미지, vr 이미지, vr 이미지 전개도, 전체왜곡맵, 일부왜곡맵 중 적어도 하나에 대한 정보를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상술한 이미지 처리장치(100)의 구성 요소들 및 그 기능에 기반하여, vr 이미지를 생성할 수 있다. 일 실시 예에 따르면, 이미지 처리장치(100)는, 상술한 바와 같이 스티칭 파이프라인에 기반하여 vr 이미지 전개도 및 vr 이미지를 생성할 수 있다.

이하 도 8은, 본 발명의 일 실시 예에 따른 이미지 처리장치(100)에서 vr 이미지를 생성하는 동작의 흐름을 도시한다.

이미지 처리장치(100)는, 지정된 스티칭 파이프라인을 호출할 수 있다(S801). 일 실시 예에 따르면, 이미지 처리장치(100)는, 저장부(205)에 저장된 스티칭 파이프라인을 호출하거나 및/또는 새로운 스티칭 파이프라인을 생성할 수 있다.

이때, 저장부(205)에 저장된 스티칭 파이프라인(예: 도 3의 스티칭 파이프라인(40))을 호출하는 경우, 스티칭 파이프라인(40)은, 적어도 둘 이상의 스티칭 모듈을 포함할 수 있다.

이미지 처리장치(100)는, 호출된 스티칭 파이프라인에 기반하여 vr 이미지를 생성하기 위한 이미지 원본을 호출할 수 있다(S803). 일 실시 예에 따르면, 이미지 처리장치(100)는, 스티칭 파이프라인에 포함된 둘 이상의 스티칭 모듈 각각에 대하여 지정된 방향에 대하여 촬영된 이미지 원본을 호출할 수 있다.

이미지 처리장치(100)는, 스티칭 모듈 각각에 대하여 호출된 이미지 원본을 변환할 수 있다(S805) 일 실시 예에 따르면, 이미지 처리장치(100)는, 각각의 스티칭 처리모듈에 설정된 이미지 원본을 왜곡 정보 및/또는 일부왜곡맵에 적용하여 변환을 수행할 수 있다.

이미지 처리장치(100)는, 변환된 둘 이상의 이미지 각각을, 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성할 수 있다(S807). 이미지 처리장치(100)는, 둘 이상의 변환된 이미지를 병합함에 있어서, 겹쳐지는 영역에 대하여 추가적인 이미지 왜곡을 처리할 수 있다.

일 실시 예에 따르면, 이미지 처리장치(100)는, 변환된 이미지를 병합함에 있어서, 겹쳐지는 영역에 대하여 지정된 알파값을 적용할 수 있다.

이미지 처리장치(100)는, 생성된 vr 이미지 전개도에 영상 평탄화(stabilization) 작업, vr 이미지에 포함된 수평선, 지평선, 고정물체 등을 이용한 포인트 트래킹 적용, 시점 처리 등의 후처리 동작을 수행할 수 있다.

다양한 실시 예에 따르면, 이미지 처리장치(100)는, 스티칭 파이프라인에 스티칭 모듈을 추가하거나 제어할 수 있다. 일 실시 예에 따르면, 이미지 처리장치(100)는, 생성되는 vr 이미지의 적어도 일부에 대하여 품질을 향상시키거나 및/또는 추가적인 효과를 적용하기 위하여 적어도 하나의 방향에 대하여 촬영된 이미지를 이미지 원본으로 처리하는 스티칭 모듈을 추가할 수 있다.

다양한 실시 예에 따르면, 이미지 처리장치(100)는, 스티칭 파이프라인을 추가함에 있어서, 적어도 하나의 방향에 대하여 촬영된 이미지 원본을 추가하기 위한 스티칭 모듈을 생성하는 것에 한정하지 않고, 기 생성된 vr 이미지 또는 vr 이미지 전개도를 이용하여 선택된 영역에 대한 이미지를 수정하도록 처리할 수 있다.

본 발명의 다양한 실시 예에 따르면, 이미지 처리장치(100)는, 기 생성된 스티칭 파이프라인을 호출하거나, 하나의 방향에 대한 이미지를 처리하는 스티칭 모듈을 둘 이상 포함하는 스티칭 파이프라인을 생성함으로써, 다양한 방향에 대하여 촬영된 이미지를 기반으로 하는 vr 이미지의 생성을 효과적으로 수행할 수 있다.

더하여, 이미징 처리장치(100)는, 스티칭 파이프라인을 통하여 다양한 방향에 대하여 촬영된 이미지의 합성을 위한 스티칭 모듈을 추가 및/또는 제거 가능하도록 처리함으로써, 생성되는 vr 이미지의 품질을 효과적으로 제어하고, vr 이미지의 수정을 처리할 수 있다.

일 실시 예에 따르면, 이미지의 수정은, 선택된 이미지에 대하여 디지털 처리 예를 들면, 특수 효과(special effect(s)), 시각적 특수효과(visual effects-special effects) 등의 컴퓨터 그래픽스(computer graphics, cg)를 처리하는 것일 수 있다.

상술한 바와 같이, 이미지 처리장치(100)는, 스티칭 파이프라인에 기반하여 vr 이미지를 생성하기 위한 다양한 포맷을 제공함으로써, vr 이미지 생성의 다양성을 제공하고, 나아가, vr 이미지의 생성의 자유도를 크게 개선할 수 있다.

더하여, vr 이미지의 왜곡 및/또는 병합 과정, 그리고 처리되는 이미지에서 발생하는 이상 상태를 확인하는 경우, 해당 이미지를 제외한 나머지를 왜곡하여 vr 이미지를 생성하게 되면, 생성된 vr 이미지의 공간이 일그러지거나 현실성을 잃어버릴 수 있다.

이미지 처리장치(100)는, 이러한 이상 상태를 감지하는 경우, 해당 이미지에 대응되는 영역에 대하여 이미지 처리(예: 이미지 왜곡, 병합 등)를 수행하지 않거나, 또는 지정된 처리를 수행함으로써, 생성되는 vr 이미지가 현실성을 상실하지 않도록 처리할 수 있다.

상술한 바와 같이, 이미지 처리장치(100)는, 스티칭 파일프라인 및 스티칭 파이프라인에 포함되는 스티칭 모듈을 통하여 vr 이미지 생성을 처리함으로써, vr 이미지 생성 및 발생되는 문제점의 해결에 대하여 유연성을 향상시키고, 생성되는 vr 이미지의 완성도를 향상시킬 수 있다.

상술한 본 발명의 다양한 실시 예들은 소프트웨어로 구현될 수 있다. 소프트웨어로 구현되는 경우, 저장부는 하나 이상의 프로그램(또는 프로그래밍 모듈, 어플리케이션)을 저장하는 컴퓨터 판독 가능 저장 매체(또는 컴퓨터로 읽을 수 있는 저장 매체)로 제공될 수 있다. 예를 들어, 저장부는 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)이며, 소프트웨어는, 저장부에 저장된 명령어로 구현될 수 있다.

하나 이상의 프로그램은, 이미지 처리장치(100)으로 하여금, 본 발명의 청구항 및/또는 명세서에 기재된 실시 예에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함할 수 있다. 상기 명령어는, 하나 이상의 제어부에 의해 실행될 경우, 상기 하나 이상의 제어부가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다. 이 때, 데이터베이스(150)는 메모리에 포함되어 구성될 수 있다.

상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 제어부에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.

예를 들어, 본 발명의 일 실시 예에 따르면, 이미지 처리장치(100)은 데이터 오브젝트를 전달하기 위해 개방형표준포맷으로 사용되는 javascript object notation(json) 형태의 포멧, 그리고, json 형태로 저장되는 NoSQL 중 하나인 몽고DB(mongodb)를 이용하여 구현될 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 이미지 처리장치(100)은 연결되는 다양한 사용자 장치를 관리하기 위하여 lightweight directory access protocol(LDAP) 프로토콜을 이용하여 구현될 수 있다.

상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시(flash) 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈, 또는 프로그램)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치, 삭제가능 프로그램가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)가 포함될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.

더하여, 상기 소프트웨어는, 입력 장치에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 이미지 처리장치(100)에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 이미지 처리장치(100)에 접속할 수도 있다.

상술한 하드웨어 장치는 본 발명의 다양한 실시 예에 대한 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

본 발명의 다양한 실시 예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 이미지 처리장치 110: 제어모듈
120: 이미지 호출모듈 130: 위치 결정모듈
140: 싱크 처리모듈 150: 변환 처리모듈
160: 이상 검출모듈 201: 입력부
203: 출력부 205: 저장부

Claims (18)

1. 지정된 형태의 스티칭 파이프라인을 호출하는 단계;
   상기 스티칭 파이프라인에 포함되는 둘 이상의 스티칭 모듈 각각에 대하여 이미지 원본을 호출하는 단계;
   상기 둘 이상의 스티칭 모듈 각각에 대하여 호출된 이미지 원본의 형태를 변경하는 이미지 왜곡을 통해 사용자를 중심으로 이미지를 구형으로 배치하기 적당한 형태로 변환하고, 왜곡된 이미지의 병합을 위하여 지정된 채널을 곱연산 처리하여 상기 둘 이상의 스티칭 모듈 각각에 기반하여 지정된 형태에 매칭되도록 변환하는 단계;
   상기 변환된 둘 이상의 이미지 각각을 대응되는 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성하는 단계;
   상기 가상현실 이미지의 전개도에서 특정 위치를 선택하는 단계; 및
   상기 특정 위치에 대응되는 왜곡된 이미지를 호출하여 가상현실 이미지 전개도를 수정하는 단계;를 포함하는, 가상현실 이미지 처리방법.
2. 제1항에 있어서,
   상기 둘 이상의 스티칭 모듈 각각에 대하여 호출된 이미지 원본을 상기 둘 이상의 스티칭 모듈 각각에 기반하여 지정된 형태에 매칭되도록 변환하는 단계는,
   상기 이미지 원본을 빨강과 초록의 그라데이션에 기반하는 플레이트에서 위치와 형태가 지정된 일부왜곡맵에 적용하여 상기 이미지를 왜곡하는, 가상현실 이미지 처리방법.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 스티칭 파이프라인에 적어도 하나의 스티칭 모듈을 추가하는 과정;을 더 포함하는, 가상현실 이미지 처리방법.
8. 제1항에 있어서,
   상기 스티칭 파이프라인에 적어도 하나의 스티칭 모듈을 추가하는 과정은,
   상기 지정된 형태의 스티칭 파이프라인을 호출하는 과정에서 추가로 수행되거나, 또는 상기 변환된 둘 이상의 이미지 각각을 대응되는 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성하는 단계 이후에 수행되는, 가상현실 이미지 처리방법.
9. 제1항에 있어서,
   상기 가상현실 이미지의 전개도에서 특정 위치를 선택하는 단계; 및
   상기 특정 위치에 대응되는 왜곡된 이미지 및 이미지 원본 중 적어도 하나를 호출하는 단계;를 더 포함하는, 가상현실 이미지 처리방법.
10. 이미지 원본을 호출하는 이미지 호출 모듈;
    상기 이미지 원본을 변환하고, 둘 이상의 왜곡된 이미지를 병합하는 변환 처리모듈; 및
    지정된 형태의 스티칭 파이프라인을 호출하고, 상기 이미지 호출 모듈을 통하여 상기 스티칭 파이프라인에 포함되는 둘 이상의 스티칭 모듈 각각에 대하여 상기 이미지 원본을 호출하고, 상기 변환 처리모듈을 통하여 상기 둘 이상의 스티칭 모듈 각각에 대하여 호출된 상기 이미지 원본을 상기 둘 이상의 스티칭 모듈 각각에 기반하여 지정된 형태에 매칭되도록 변환하고, 상기 변환된 둘 이상의 이미지 각각을 대응되는 상기 둘 이상의 스티칭 모듈 각각에 대하여 지정된 위치에서 병합하여 하나의 가상현실 이미지의 전개도를 생성하도록 처리하고, 상기 가상현실 이미지의 전개도에서 특정 위치를 선택하고, 상기 특정 위치에 대응되는 왜곡된 이미지를 호출하여, 가상현실 이미지를 수정하는 제어모듈;을 포함하며,
    상기 둘 이상의 스티칭 모듈 각각은,
    지정된 방향에 대하여 촬영된 이미지 원본을 호출하는 이미지 노드;
    상기 이미지 노드에 호출된 상기 이미지 원본을 배치하는 위치 및 왜곡 형태 중 적어도 하나를 결정하는 샘플 노드;
    상기 샘플 노드에 기반하여 상기 이미지 원본을 왜곡하는 왜곡 노드;
    상기 왜곡된 이미지의 병합을 위하여 지정된 채널의 전처리를 수행하는 채널설정 노드; 및
    상기 왜곡된 이미지의 병합을 위하여 상기 지정된 채널의 곱연산을 처리하는 보정 노드; 중 적어도 하나의 하위 노드를 포함하는, 가상현실 이미지 처리장치.
11. 제10항에 있어서,
    상기 변환 처리모듈은, 상기 이미지 원본을 빨강과 초록의 그라데이션에 기반하는 플레이트에서 위치와 형태가 지정된 일부왜곡맵에 적용하여 상기 이미지를 왜곡하는, 가상현실 이미지 처리장치.
12. 제10항에 있어서,
    상기 변환 처리모듈은, 상기 호출된 이미지 원본을 왜곡하고, 상기 왜곡된 이미지의 병합을 위하여 지정된 채널의 전처리를 수행하는, 가상현실 이미지 처리장치.
13. 제12항에 있어서,
    상기 변환 처리모듈은, 상기 변환된 이미지의 병합을 위하여 상기 지정된 채널의 곱연산을 처리하는, 가상현실 이미지 처리장치.
14. 제12항에 있어서,
    상기 제어모듈은, 상기 가상현실 이미지의 전개도에 배치된 상기 둘 이상의 왜곡된 이미지 중 겹쳐지는 영역에 대응하여 상기 지정된 채널을 결정하는, 가상현실 이미지 처리장치.
15. 제12항에 있어서,
    상기 변환 처리모듈은, 상기 가상현실 이미지의 전개도에 배치된 상기 둘 이상의 왜곡된 이미지 중 겹쳐지는 영역에 대하여 알파값을 적용하여 상기 전처리를 수행하는, 가상현실 이미지 처리장치.
16. 제10항에 있어서,
    상기 제어모듈은, 상기 스티칭 파이프라인에 적어도 하나의 스티칭 모듈을 추가하는, 가상현실 이미지 처리장치.
17. 삭제
18. 삭제

Images