KR20180134520A - 영상의 다이렉트 매핑 장치 및 방법 - Google Patents

영상의 다이렉트 매핑 장치 및 방법 Download PDF

Info

Publication number
KR20180134520A
KR20180134520A KR1020170072345A KR20170072345A KR20180134520A KR 20180134520 A KR20180134520 A KR 20180134520A KR 1020170072345 A KR1020170072345 A KR 1020170072345A KR 20170072345 A KR20170072345 A KR 20170072345A KR 20180134520 A KR20180134520 A KR 20180134520A
Authority
KR
South Korea
Prior art keywords
coordinates
images
image
test
composite image
Prior art date
Application number
KR1020170072345A
Other languages
English (en)
Other versions
KR101939173B1 (ko
Inventor
강병두
경동욱
선화동
Original Assignee
(주)씨소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨소 filed Critical (주)씨소
Priority to KR1020170072345A priority Critical patent/KR101939173B1/ko
Publication of KR20180134520A publication Critical patent/KR20180134520A/ko
Application granted granted Critical
Publication of KR101939173B1 publication Critical patent/KR101939173B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상의 다이렉트 매핑 장치 및 방법에 관한 것으로서, 복수의 카메라에서 촬영한 복수의 테스트 영상을 구형 곡면에 투영하고 복수의 평면 영상으로 전개하며 시점에 따라 연결하여 테스트 합성 영상을 생성한 후, 테스트 합성 영상의 생성을 위한 과정을 역산하여 복수의 테스트 영상에 포함된 픽셀과 테스트 합성 영상에 포함된 픽셀 사이의 대응관계 정보를 판단하며, 이후 복수의 카메라에서 촬영한 복수의 영상의 픽셀을 대응관계 정보를 이용해 테스트 합성 영상에 포함된 픽셀에 매핑하여 합성 영상을 생성함으로써, 합성 영상의 생성을 위한 연산 부담을 최소화할 수 있고 신속하게 합성 영상을 생성할 수 있다.

Description

영상의 다이렉트 매핑 장치 및 방법 {Direct mapping device and method of image}
본 발명은 영상을 합성하는 기술과 관련한 것으로서, 더욱 상세하게는 카메라를 이용해 촬영한 영상을 구형 곡면에 매핑하여 파노라마 형태로 확인할 수 있도록 변환하는 영상의 다이렉트 매핑 장치 및 방법에 관한 것이다.
복수의 카메라를 이용해 복수의 시점으로 영상을 촬영하고, 해당 영상들을 시점에 따라 순차적으로 연결하여 파노라마 형식의 합성 영상을 생성하는 기술이 개발되고 있다. 사용자는 이러한 합성 영상에서 시점을 변경하면서 각 방향으로 바라본 영상을 시각적으로 확인할 수 있다.
복수의 시점으로 촬영한 영상을 이용한 합성 영상으로 360 VR(Virtual Reality) 기술의 개발이 가속화되고 있다. 360 VR은 360도 전방향을 촬영한 영상을 생성하고, 사용자의 시점 선택에 따라 해당 시점에서 바라보는 영상을 선택적으로 확인할 수 있도록 하는 기술이다.
360 VR 영상 콘텐츠를 시각적으로 확인하는 사용자는, 360 VR 영상을 재생한 상태에서 손가락의 터치 동작이나 마우스 등의 입력 장치를 이용해 영상의 표시 시점을 변경하여 상하좌우 전방향 영상을 확인할 수 있다.
그런데 복수의 영상을 단일 영상으로 합성하는 경우 영상 처리에 많은 자원과 시간이 요구되고, 특히 카메라의 촬영 성능이 점차 개선되어 화소의 개수나 정보량이 증가하고 있어 실시간으로 복수의 시점으로 촬영한 영상을 합성하는 것이 어렵다.
이에 따라 복수의 시점으로 촬영한 복수의 영상을 구형의 파노라마 영상으로 합성하여 360 VR 영상을 제작하기 위해서는, 복수의 카메라를 이용해 각 시점의 영상을 촬영하고, 이후 촬영 결과물을 고도의 연산 능력을 갖춘 컴퓨터 등으로 옮겨 360 영상을 생성하는 과정을 진행해야 한다.
이 경우 복수의 시점으로 영상을 촬영한 카메라를 유무선 통신이 가능한 장소로 옮겨 네트워크를 통해 컴퓨터로 전송하거나, 복수의 촬영 영상을 오프라인 방식의 메모리 장치에 복사하고 다시 컴퓨터에 메모리를 삽입하여 복사하여야 하는 번거로움이 있고, 복수의 시점으로 촬영한 영상을 360 VR 영상으로 신속하게 확인하기 어려운 단점이 있다.
공개특허공보 제10-2008-0007849호(2008년 01월 23일 공개)
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 복수의 카메라에서 촬영한 영상의 픽셀과 구형 곡면에 매핑된 픽셀 사이의 대응관계를 판단하여 대응관계 정보를 미리 저장하고, 이후 해당 카메라에서 촬영하는 영상을 기 저장한 대응관계 정보를 이용해 구형 곡면의 영상에 직접 매핑하여 신속한 영상 처리를 수행하는 영상의 다이렉트 매핑 장치 및 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 영상의 다이렉트 매핑 장치는, 정보 저장을 위한 저장부, 및 복수의 카메라에서 촬영한 복수의 테스트 영상을 구형 곡면에 투영하고, 상기 구형 곡면에 투영된 영상을 복수의 평면 영상으로 전개하며, 상기 복수의 평면 영상을 시점에 따라 연결하여 테스트 합성 영상을 생성한 후, 상기 구형 곡면에 투영하는 과정과 상기 복수의 평면 영상으로 전개하는 과정 및 상기 테스트 합성 영상을 생성하는 과정을 역산하여 상기 복수의 테스트 영상에 포함된 픽셀과 상기 테스트 합성 영상에 포함된 픽셀 사이의 대응관계 정보를 판단해 상기 저장부에 저장하고, 상기 복수의 카메라에서 촬영한 복수의 영상의 픽셀을 상기 대응관계 정보를 이용해 상기 테스트 합성 영상에 포함된 픽셀에 매핑하여 합성 영상을 생성하는 제어부를 포함한다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 다음의 수학식을 이용해 상기 복수의 테스트 영상의 좌표를 상기 구형 곡면의 좌표로 변환하여 투영하는 것을 특징으로 한다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
P는 구형 곡면의 픽셀, X, Y, Z는 P의 좌표, A는 카메라의 라디안 시야각, u, v는 테스트 영상 픽셀의 좌표를 나타낸다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 상기 복수의 테스트 영상에서 중첩되는 부분이 서로 매칭되도록 회전하여 구형 곡면에 투영하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 다음의 수학식을 이용해 상기 구형 곡면의 좌표를 상기 복수의 평면 영상의 좌표로 변환하여 전개하는 것을 특징으로 한다.
Figure pat00005
Figure pat00006
Figure pat00007
p는 평면 영상의 픽셀, θ, φ는 p의 좌표, X, Y, Z는 구형 곡면 픽셀의 좌표를 나타낸다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 상기 복수의 평면 영상을 시점에 따라 연결하고, 일단에 위치한 특정 평면 영상을 복수의 분할 영상으로 구분하며, 상기 복수의 분할 영상 중 끝단에 위치한 특정 분할 영상을 타단에 위치한 다른 평면 영상과 연결하여 상기 테스트 합성 영상을 생성하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 상기 복수의 평면 영상 사이의 연결 부분을 스티칭(stitching)하고 블렌딩(blending)하여 연결해 상기 테스트 합성 영상을 생성하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 서로 연결된 상기 복수의 평면 영상에서 중첩되는 부분이 서로 겹치도록 연결하여 상기 테스트 합성 영상을 생성하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 상기 테스트 합성 영상 생성을 위해 상기 복수의 평면 영상을 연결한 방식을 역산하여 상기 합성 영상을 복수의 평면 영상으로 분리하고, 상기 복수의 평면 영상의 좌표를 상기 구형 곡면의 좌표로 역산하며, 상기 구형 곡면의 좌표를 상기 복수의 테스트 영상의 좌표로 역산하고, 상기 테스트 합성 영상의 픽셀에 매칭되는 상기 복수의 테스트 영상의 픽셀을 확인하여 상기 대응관계 정보를 판단하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 다음의 수학식을 이용해 상기 복수의 평면 영상의 좌표를 상기 구형 곡면의 좌표로 변환하여 역산하는 것을 특징으로 한다.
Figure pat00008
P는 구형 곡면의 픽셀, X, Y, Z는 P의 좌표, θ, φ는 평면 영상 픽셀의 좌표를 나타낸다.
본 발명의 영상의 다이렉트 매핑 장치에 있어서, 상기 제어부는, 다음의 수학식을 이용해 상기 구형 곡면의 좌표를 상기 복수의 테스트 영상의 좌표로 변환하여 역산하는 것을 특징으로 한다.
Figure pat00009
Figure pat00010
Figure pat00011
Figure pat00012
u, v는 테스트 영상 픽셀의 좌표, X, Y, Z는 구형 곡면 픽셀의 좌표, A는 카메라의 라디안 시야각을 나타낸다.
상기와 같은 목적을 달성하기 위한 본 발명의 영상의 다이렉트 매핑 방법은, 복수의 카메라에서 촬영한 복수의 테스트 영상을 구형 곡면에 투영하는 단계, 상기 구형 곡면에 투영된 영상을 복수의 평면 영상으로 전개하는 단계, 상기 복수의 평면 영상을 시점에 따라 연결하여 테스트 합성 영상을 생성하는 단계, 상기 구형 곡면에 투영하는 단계, 상기 복수의 평면 영상으로 전개하는 단계 및 상기 테스트 합성 영상을 생성하는 단계의 과정을 역산하여, 상기 복수의 테스트 영상에 포함된 픽셀과 상기 테스트 합성 영상에 포함된 픽셀 사이의 대응관계 정보를 판단하는 단계, 및 상기 복수의 카메라에서 촬영한 복수의 영상의 픽셀을 상기 대응관계 정보를 이용해 상기 테스트 합성 영상에 포함된 픽셀에 매핑하여 합성 영상을 생성하는 단계를 포함한다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 구형 곡면에 투영하는 단계는, 다음의 수학식을 이용해 상기 복수의 테스트 영상의 좌표를 상기 구형 곡면의 좌표로 변환하여 투영하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
Figure pat00013
Figure pat00014
Figure pat00015
Figure pat00016
P는 구형 곡면의 픽셀, X, Y, Z는 P의 좌표, A는 카메라의 라디안 시야각, u, v는 테스트 영상 픽셀의 좌표를 나타낸다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 구형 곡면에 투영하는 단계는, 상기 복수의 테스트 영상에서 중첩되는 부분이 서로 매칭되도록 회전하여 구형 곡면에 투영하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 복수의 평면 영상으로 전개하는 단계는, 다음의 수학식을 이용해 상기 구형 곡면의 좌표를 상기 복수의 평면 영상의 좌표로 변환하여 전개하는 것을 특징으로 한다.
Figure pat00017
Figure pat00018
Figure pat00019
p는 평면 영상의 픽셀, θ, φ는 p의 좌표, X, Y, Z는 구형 곡면 픽셀의 좌표를 나타낸다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 테스트 합성 영상을 생성하는 단계는, 상기 복수의 평면 영상을 시점에 따라 연결하고, 일단에 위치한 특정 평면 영상을 복수의 분할 영상으로 구분하며, 상기 복수의 분할 영상 중 끝단에 위치한 특정 분할 영상을 타단에 위치한 다른 평면 영상과 연결하여 상기 테스트 합성 영상을 생성하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 테스트 합성 영상을 생성하는 단계는, 상기 복수의 평면 영상 사이의 연결 부분을 스티칭하고 블렌딩하여 연결하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 테스트 합성 영상을 생성하는 단계는, 서로 연결된 상기 복수의 평면 영상에서 중첩되는 부분이 서로 겹치도록 연결하여 상기 테스트 합성 영상을 생성하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 대응관계 정보를 판단하는 단계는, 상기 테스트 합성 영상 생성을 위해 상기 복수의 평면 영상을 연결한 방식을 역산하여 상기 합성 영상을 복수의 평면 영상으로 분리하고, 상기 복수의 평면 영상의 좌표를 상기 구형 곡면의 좌표로 역산하며, 상기 구형 곡면의 좌표를 상기 복수의 테스트 영상의 좌표로 역산하고, 상기 테스트 합성 영상의 픽셀에 매칭되는 상기 복수의 테스트 영상의 픽셀을 확인하여 상기 대응관계 정보를 판단하는 것을 특징으로 한다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 대응관계 정보를 판단하는 단계는, 다음의 수학식을 이용해 상기 복수의 평면 영상의 좌표를 상기 구형 곡면의 좌표로 변환하여 역산하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
Figure pat00020
P는 구형 곡면의 픽셀, X, Y, Z는 P의 좌표, θ, φ는 평면 영상 픽셀의 좌표를 나타낸다.
본 발명의 영상의 다이렉트 매핑 방법에 있어서, 상기 대응관계 정보를 판단하는 단계는, 다음의 수학식을 이용해 상기 구형 곡면의 좌표를 상기 복수의 테스트 영상의 좌표로 변환하여 역산하는 것을 특징으로 한다.
Figure pat00021
Figure pat00022
Figure pat00023
Figure pat00024
u, v는 테스트 영상 픽셀의 좌표, X, Y, Z는 구형 곡면 픽셀의 좌표, A는 카메라의 라디안 시야각을 나타낸다.
상기와 같은 목적을 달성하기 위해 본 발명은 상기한 영상의 다이렉트 매핑 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록매체를 제공한다.
본 발명의 영상의 다이렉트 매핑 장치 및 방법에 따르면, 복수의 카메라를 이용해 촬영한 테스트 영상을 이용해 테스트 합성 영상을 생성하여, 촬영 영상과 합성 영상의 픽셀 간 대응관계 정보를 미리 판단하여 놓고, 이후 해당 복수의 카메라를 이용해 촬영한 영상의 픽셀을 대응관계 정보를 이용해 합성 영상의 픽셀에 직접 매핑하여 합성 영상을 생성한다. 그 결과 합성 영상의 생성을 위한 연산 부담을 최소화할 수 있고 신속하게 합성 영상을 생성할 수 있으며, 나아가 촬영과 동시에 실시간으로 합성 영상을 생성하는 것이 가능하다.
도 1은 본 발명의 일 실시예에 따른 매핑 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 촬영된 영상을 나타낸 도면이다.
도 3은 도 2의 실시예에 따른 영상을 구형 곡면에 투영한 모습을 나타낸 도면이다.
도 4는 도 3의 실시예에 따라 구형 곡면에 투영된 영상을 평면 영상으로 전개한 모습을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 합성 영상을 생성하는 모습을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 매핑 방법의 과정을 나타낸 도면이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 복수의 카메라를 이용해 촬영한 영상을 합성하는 기술과 관련한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 매핑 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따라 촬영된 영상을 나타낸 도면이고, 도 3은 도 2의 실시예에 따른 영상을 구형 곡면에 투영한 모습을 나타낸 도면이고, 도 4는 도 3의 실시예에 따라 구형 곡면에 투영된 영상을 평면 영상으로 전개한 모습을 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따라 합성 영상을 생성하는 모습을 나타낸 도면이다.
도 1 내지 도 5를 참조하면, 복수의 카메라(1)는 서로 다른 시점으로 주변을 촬영하는 복수의 렌즈를 포함하며, 360 VR(virtual reality) 영상을 생성하기 위해 복수의 시점으로 촬영을 진행하는 장치가 될 수 있다.
360 VR이란 카메라 주위를 전방향으로 촬영하고, 복수의 방향으로 촬영한 영상을 합성한 후, 사용자의 선택에 따라 특정 시점의 영상을 선택적으로 볼 수 있도록 하는 기술이자 영상 컨텐츠이다. 360 VR 영상이 화면에 표시되면 사용자는 마우스나 화면의 터치 동작 등을 이용해 360 VR 영상의 표시 시점을 변경할 수 있으며, 360도 전방향에 대해 촬영한 영상을 돌려볼 수 있다.
매핑 장치(10)는 이러한 복수의 카메라(1)에서 촬영한 영상을 합성하여 360 VR과 같은 합성 영상을 생성하는 장치로서, 복수의 카메라(1)에서 촬영한 영상의 픽셀과 합성된 결과로 생성될 영상 픽셀 사이의 대응관계 정보를 미리 판단하여 저장하고, 이후 복수의 카메라(1)에서 촬영한 영상을 미리 저장한 대응관계 정보를 이용해 합성 영상의 픽셀에 직접 매핑(direct mapping)하여 신속하게 합성 영상을 생성하는 역할을 한다.
이러한 매핑 장치(10)는 저장부(11) 및 제어부(12)를 포함하여 구성된다.
저장부(11)는 정보 저장을 위한 저장소로서, 제어부(12)의 제어에 따라 정보를 저장하고 이후 제어부(12)가 이를 참조할 수 있도록 지원한다. 저장부(11)에 저장되는 정보는 복수의 카메라(1)에서 촬영한 영상의 픽셀과 합성 영상의 픽셀 사이의 대응관계 정보를 포함한다.
제어부(12)는 저장부(11)를 포함한 매핑 장치(10)의 전반적인 동작을 제어하는 역할을 하며, 이를 위한 연산 유닛과 메모리, 프로그램 저장소 등을 포함한다.
먼저 제어부(12)는 복수의 카메라(1)에서 촬영한 복수의 테스트 영상을 전달받는다. 이때 복수의 카메라(1)에서 촬영한 복수의 테스트 영상은, 복수의 카메라(1)의 특성에 따라 촬영 영상 픽셀과 합성 영상 픽셀 간의 대응관계 정보를 판단하기 위해 촬영하는 영상으로서, 도 2에 도시된 바와 같이 원형의 어안 이미지(fisheye image) 형태를 갖게 된다.
그리고 제어부(12)는 복수의 카메라(1)에서 촬영한 복수의 테스트 영상을 도 3에 도시된 바와 같이 구형의 곡면에 투영한다.
이때 제어부(12)는 다음의 수학식을 이용해 복수의 카메라(1)에서 촬영한 복수의 테스트 영상의 좌표를 구형 곡면의 좌표로 변환하여 투영할 수 있다.
Figure pat00025
Figure pat00026
Figure pat00027
Figure pat00028
P는 구형 곡면의 픽셀, X, Y, Z는 P의 좌표, A는 카메라의 라디안 시야각, u, v는 테스트 영상 픽셀의 좌표를 나타낸다.
이 경우 제어부(12)는 복수의 테스트 영상에서 중첩되는 부분이 서로 매칭되도록 회전하여 구형 곡면에 투영함으로써, 동일한 지점을 촬영한 복수의 테스트 영상의 픽셀이 구형 영상에서 동일한 픽셀에 매칭되도록 할 수 있다. 이때 제어부(12)는 복수의 테스트 영상에서 ASIFT(Affine Scale Invariant Feature Transform)를 이용해 지역적 특징점을 추출하고, 대응되는 특징점을 매칭하는 방식으로 복수의 테스트 영상에 포함된 픽셀이 구형 영상에서 매칭되도록 할 수 있다.
이후 제어부(12)는 곡면에 투영된 영상을 도 4에 도시된 바와 같이 복수의 평면 영상으로 전개한다.
이때 제어부(12)는 다음의 수학식을 이용해 구형 곡면의 좌표를 복수의 평면 영상의 좌표로 변환하여 전개할 수 있다.
Figure pat00029
Figure pat00030
Figure pat00031
p는 평면 영상의 픽셀, θ, φ는 p의 좌표, X, Y, Z는 구형 곡면 픽셀의 좌표를 나타낸다.
이후 제어부(12)는 복수의 평면 영상을 촬영 시점에 따라 순차적으로 연결하여 테스트 합성 영상을 생성한다. 이때 제어부(12)는 복수의 평면 영상을 시점에 따라 연결하고, 일단에 위치한 특정 평면 영상을 복수의 분할 영상으로 분할하며, 해당 복수의 분할 영상 중 끝단에 위치한 특정 분할 영상을 타단에 위치한 다른 평면 영상과 연결하여 테스트 합성 영상을 생성할 수 있다.
도 5에 도시된 바에 따르면, 도 5의 상부는 제어부(12)가 복수의 평면 영상(I1, I2, ... IN)을 시점에 따라 순차적으로 연결한 모습을 나타낸다. 이때 제어부(12)는 일단에 위치한 특정 평면 영상(IN)을 복수의 분할 영상(IN1, IN2)로 구분하며, 도 5의 하부에 나타낸 바와 같이 끝단에 위치한 특정 분할 영상(IN2)의 위치를 이동해 타단에 위치한 다른 평면 영상(I1)과 연결하여 테스트 합성 영상을 생성할 수 있다. 이 경우 테스트 합성 영상의 끝단에 위치한 복수의 분할 영상(IN1, IN2)은 단일 카메라에서 촬영한 영상을 기반으로 분할된 것이므로, 테스트 합성 영상의 일단에서 타단으로 표시 시점을 변경하여도 자연스럽게 서로 이어지게 된다.
이렇게 제어부(12)가 테스트 합성 영상을 생성할 때에는, 복수의 평면 영상 사이의 연결 부분을 스티칭(stitching)하고 블렌딩(blending)하여 연결해, 연결 부분이 자연스럽게 이어지도록 테스트 합성 영상을 생성할 수 있다.
또한 제어부(12)가 테스트 합성 영상을 생성할 때에는, 서로 연결된 복수의 평면 영상에서 중첩되는 부분이 서로 겹치도록 연결하여, 동일 지점을 촬영한 영상에 대응하는 픽셀이 중복하여 위치하는 것을 방지할 수 있다.
이러한 과정을 통해 테스트 합성 영상을 생성한 제어부(12)는, 복수의 카메라(1)에서 촬영한 복수의 테스트 영상을 구형 곡면에 투영하는 과정과, 구형 곡면에 투영된 영상을 복수의 평면 영상으로 전개하는 과정, 그리고 복수의 평면 영상을 시점에 따라 연결하여 테스트 합성 영상을 생성하는 과정을 역산하여, 복수의 카메라(1)에서 촬영한 복수의 테스트 영상에 포함된 픽셀과 테스트 합성 영상에 포함된 픽셀 사이의 대응관계 정보를 판단하고 저장부(11)에 저장한다.
이 경우 제어부(12)는 테스트 합성 영상 생성을 위해 복수의 테스트 영상을 연결한 방식을 역산하여 해당 테스트 합성 영상을 복수의 평면 영상으로 분리하고, 다음의 수학식 3을 이용해 분리된 복수의 평면 영상의 좌표를 구형 곡면의 좌표로 변환하여 역산한다.
Figure pat00032
P는 구형 곡면의 픽셀, X, Y, Z는 P의 좌표, θ, φ는 평면 영상 픽셀의 좌표를 나타낸다.
그리고 제어부(12)는 다음의 수학식 4를 이용해 구형 곡면의 좌표를 복수의 테스트 영상의 좌표로 변환하여 역산한다.
Figure pat00033
Figure pat00034
Figure pat00035
Figure pat00036
u, v는 테스트 영상 픽셀의 좌표, X, Y, Z는 구형 곡면 픽셀의 좌표, A는 카메라의 라디안 시야각을 나타낸다.
그리고 제어부(12)는 연산한 결과에 따라 테스트 합성 영상의 픽셀에 매칭되는 복수의 테스트 영상의 픽셀을 확인하여 대응관계 정보를 판단할 수 있다.
이러한 과정을 통해 복수의 카메라(1)에서 촬영하는 영상의 픽셀과 합성 영상의 픽셀 사이의 대응관계 정보를 판단하여 저장부(11)에 저장한 제어부(12)는, 이후 복수의 카메라(1)에서 촬영한 영상의 픽셀을 대응관계 정보를 이용해 테스트 합성 영상에 포함된 픽셀에 매핑하여 합성 영상을 생성한다.
제어부(12)는 이러한 방식으로 복수의 카메라(1)의 촬영 영상 픽셀과 합성 영상 픽셀 사이의 대응관계 정보를 미리 판단하여 저장해 놓고, 이후 복수의 카메라(1)에서 촬영하는 영상의 픽셀을 해당 대응관계 정보를 이용해 합성 영상의 픽셀에 직접 매핑(direct mapping)하여 합성 영상을 생성함으로써, 신속하게 영상 처리를 수행할 수 있다.
본 발명에 따라 영상을 다이렉트 매핑하는 과정에 대해서는 도 6을 참조하여 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 매핑 방법의 과정을 나타낸 도면이다.
도 6을 참조하면, 복수의 카메라에서 시점의 서로 다른 복수의 테스트 영상을 촬영하면(S1), 매핑 장치는 해당 복수의 테스트 영상을 구형 곡면에 투영한다(S2).
단계(S2) 매핑 장치는 상기한 수학식 1을 이용해 복수의 테스트 영상의 좌표를 구형 곡면의 좌표로 변환하여 투영할 수 있다.
또한 단계(S2)의 매핑 장치는 복수의 테스트 영상에서 중첩되는 부분이 서로 매칭되도록 회전하여 구형 곡면에 투영함으로써, 복수의 테스트 영상에서 동일한 지점을 중복하여 촬영한 지점에 대응하는 픽셀이 구형 영상에서 동일한 픽셀에 매칭되도록 할 수 있다.
그리고 매핑 장치는 구형 곡면에 투영된 영상 각각을 복수의 평면 영상으로 전개한다(S3).
단계(S3)에서 매핑 장치는 상기한 수학식 2를 이용해 구형 곡면의 좌표를 복수의 평면 영상의 좌표로 변환하여 전개할 수 있다.
이후 매핑 장치는 복수의 평면 영상을 시점에 따라 순차적으로 연결하여 테스트 합성 영상을 생성한다(S4).
단계(S4)에서 매핑 장치는 복수의 평면 영상을 시점에 따라 연결하고, 일단에 위치한 특정 평면 영상을 복수의 분할 영상으로 분할하며, 해당 복수의 분할 영상 중 끝단에 위치한 특정 분할 영상을 타단에 위치한 다른 평면 영상과 연결하여 테스트 합성 영상을 생성할 수 있다. 이를 통해 매핑 장치는 테스트 합성 영상의 일단에서 타단이 서로 자연스럽게 이어지도록 할 수 있다.
단계(S4)에서 매핑 장치가 테스트 합성 영상을 생성할 때에는, 복수의 평면 영상 사이의 연결 부분을 스티칭하고 블렌딩하여 자연스럽게 연결할 수 있고, 서로 연결된 복수의 평면 영상에서 중첩되는 부분이 서로 겹치도록 연결하여 동일 지점을 촬영한 영상에 대응하는 픽셀이 중복하여 위치하는 것을 방지할 수도 있다.
이러한 과정을 통해 테스트 합성 영상을 생성한 매핑 장치는, 단계(S2 내지 S4)의 과정을 역산하여, 복수의 테스트 영상에 포함된 픽셀과 테스트 합성 영상에 포함된 픽셀 사이의 대응관계 정보를 판단한다(S5).
단계(S5)에서 매핑 장치는 테스트 합성 영상 생성을 위해 복수의 테스트 영상을 연결한 방식을 역산하여 해당 테스트 합성 영상을 복수의 평면 영상으로 분리하고, 상기한 수학식 3을 이용해 분리된 복수의 평면 영상의 좌표를 구형 곡면의 좌표로 변환하여 역산할 수 있다.
또한 단계(S5)의 매핑 장치는 상기한 수학식 4를 이용해 구형 곡면의 좌표를 복수의 테스트 영상의 좌표로 변환하여 역산할 수 있다.
이후 복수의 카메라에서 영상을 촬영하면(S6), 매핑 장치는 단계(S5)에서 판단한 대응관계 정보를 이용해 복수의 카메라에서 촬영한 복수의 영상의 픽셀을 테스트 합성 영상에 포함된 픽셀에 매핑하여 합성 영상을 생성한다(S7).
이러한 방식으로 매핑 장치는 복수의 카메라에서 촬영한 영상의 픽셀과 합성 영상의 픽셀 사이의 대응관계 정보를 미리 판단하고, 이후 해당 복수의 카메라에서 촬영한 영상의 픽셀을 대응관계 정보를 이용해 합성 영상의 픽셀에 직접 매핑하여 신속하게 합성 영상을 생성할 수 있다.
본 발명의 실시예에 따른 영상의 다이렉트 매핑 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
1: 복수의 카메라
10: 매핑 장치
11: 저장부
12: 제어부

Claims (21)

  1. 정보 저장을 위한 저장부; 및
    복수의 카메라에서 촬영한 복수의 테스트 영상을 구형 곡면에 투영하고, 상기 구형 곡면에 투영된 영상을 복수의 평면 영상으로 전개하며, 상기 복수의 평면 영상을 시점에 따라 연결하여 테스트 합성 영상을 생성한 후, 상기 구형 곡면에 투영하는 과정과 상기 복수의 평면 영상으로 전개하는 과정 및 상기 테스트 합성 영상을 생성하는 과정을 역산하여 상기 복수의 테스트 영상에 포함된 픽셀과 상기 테스트 합성 영상에 포함된 픽셀 사이의 대응관계 정보를 판단해 상기 저장부에 저장하고, 상기 복수의 카메라에서 촬영한 복수의 영상의 픽셀을 상기 대응관계 정보를 이용해 상기 테스트 합성 영상에 포함된 픽셀에 매핑하여 합성 영상을 생성하는 제어부;
    를 포함하는 영상의 다이렉트 매핑 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    다음의 수학식을 이용해 상기 복수의 테스트 영상의 좌표를 상기 구형 곡면의 좌표로 변환하여 투영하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
    Figure pat00037

    Figure pat00038

    Figure pat00039

    Figure pat00040

    P: 구형 곡면의 픽셀
    X, Y, Z: P의 좌표
    A: 카메라의 라디안 시야각
    u, v: 테스트 영상 픽셀의 좌표
  3. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 테스트 영상에서 중첩되는 부분이 서로 매칭되도록 회전하여 구형 곡면에 투영하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    다음의 수학식을 이용해 상기 구형 곡면의 좌표를 상기 복수의 평면 영상의 좌표로 변환하여 전개하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
    Figure pat00041

    Figure pat00042

    Figure pat00043

    p: 평면 영상의 픽셀
    θ, φ: p의 좌표
    X, Y, Z: 구형 곡면 픽셀의 좌표
  5. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 평면 영상을 시점에 따라 연결하고, 일단에 위치한 특정 평면 영상을 복수의 분할 영상으로 구분하며, 상기 복수의 분할 영상 중 끝단에 위치한 특정 분할 영상을 타단에 위치한 다른 평면 영상과 연결하여 상기 테스트 합성 영상을 생성하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 평면 영상 사이의 연결 부분을 스티칭(stitching)하고 블렌딩(blending)하여 연결해 상기 테스트 합성 영상을 생성하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    서로 연결된 상기 복수의 평면 영상에서 중첩되는 부분이 서로 겹치도록 연결하여 상기 테스트 합성 영상을 생성하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 테스트 합성 영상 생성을 위해 상기 복수의 평면 영상을 연결한 방식을 역산하여 상기 합성 영상을 복수의 평면 영상으로 분리하고, 상기 복수의 평면 영상의 좌표를 상기 구형 곡면의 좌표로 역산하며, 상기 구형 곡면의 좌표를 상기 복수의 테스트 영상의 좌표로 역산하고, 상기 테스트 합성 영상의 픽셀에 매칭되는 상기 복수의 테스트 영상의 픽셀을 확인하여 상기 대응관계 정보를 판단하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    다음의 수학식을 이용해 상기 복수의 평면 영상의 좌표를 상기 구형 곡면의 좌표로 변환하여 역산하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
    Figure pat00044

    P: 구형 곡면의 픽셀
    X, Y, Z: P의 좌표
    θ, φ: 평면 영상 픽셀의 좌표
  10. 제8항에 있어서,
    상기 제어부는,
    다음의 수학식을 이용해 상기 구형 곡면의 좌표를 상기 복수의 테스트 영상의 좌표로 변환하여 역산하는 것을 특징으로 하는 영상의 다이렉트 매핑 장치.
    Figure pat00045

    Figure pat00046

    Figure pat00047

    Figure pat00048

    u, v: 테스트 영상 픽셀의 좌표
    X, Y, Z: 구형 곡면 픽셀의 좌표
    A: 카메라의 라디안 시야각
  11. 복수의 카메라에서 촬영한 복수의 테스트 영상을 구형 곡면에 투영하는 단계;
    상기 구형 곡면에 투영된 영상을 복수의 평면 영상으로 전개하는 단계;
    상기 복수의 평면 영상을 시점에 따라 연결하여 테스트 합성 영상을 생성하는 단계;
    상기 구형 곡면에 투영하는 단계, 상기 복수의 평면 영상으로 전개하는 단계 및 상기 테스트 합성 영상을 생성하는 단계의 과정을 역산하여, 상기 복수의 테스트 영상에 포함된 픽셀과 상기 테스트 합성 영상에 포함된 픽셀 사이의 대응관계 정보를 판단하는 단계; 및
    상기 복수의 카메라에서 촬영한 복수의 영상의 픽셀을 상기 대응관계 정보를 이용해 상기 테스트 합성 영상에 포함된 픽셀에 매핑하여 합성 영상을 생성하는 단계;
    를 포함하는 영상의 다이렉트 매핑 방법.
  12. 제11항에 있어서,
    상기 구형 곡면에 투영하는 단계는,
    다음의 수학식을 이용해 상기 복수의 테스트 영상의 좌표를 상기 구형 곡면의 좌표로 변환하여 투영하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
    Figure pat00049

    Figure pat00050

    Figure pat00051

    Figure pat00052

    P: 구형 곡면의 픽셀
    X, Y, Z: P의 좌표
    A: 카메라의 라디안 시야각
    u, v: 테스트 영상 픽셀의 좌표
  13. 제11항에 있어서,
    상기 구형 곡면에 투영하는 단계는,
    상기 복수의 테스트 영상에서 중첩되는 부분이 서로 매칭되도록 회전하여 구형 곡면에 투영하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
  14. 제11항에 있어서,
    상기 복수의 평면 영상으로 전개하는 단계는,
    다음의 수학식을 이용해 상기 구형 곡면의 좌표를 상기 복수의 평면 영상의 좌표로 변환하여 전개하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
    Figure pat00053

    Figure pat00054

    Figure pat00055

    p: 평면 영상의 픽셀
    θ, φ: p의 좌표
    X, Y, Z: 구형 곡면 픽셀의 좌표
  15. 제11항에 있어서,
    상기 테스트 합성 영상을 생성하는 단계는,
    상기 복수의 평면 영상을 시점에 따라 연결하고, 일단에 위치한 특정 평면 영상을 복수의 분할 영상으로 구분하며, 상기 복수의 분할 영상 중 끝단에 위치한 특정 분할 영상을 타단에 위치한 다른 평면 영상과 연결하여 상기 테스트 합성 영상을 생성하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
  16. 제11항에 있어서,
    상기 테스트 합성 영상을 생성하는 단계는,
    상기 복수의 평면 영상 사이의 연결 부분을 스티칭(stitching)하고 블렌딩(blending)하여 연결하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
  17. 제11항에 있어서,
    상기 테스트 합성 영상을 생성하는 단계는,
    서로 연결된 상기 복수의 평면 영상에서 중첩되는 부분이 서로 겹치도록 연결하여 상기 테스트 합성 영상을 생성하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
  18. 제11항에 있어서,
    상기 대응관계 정보를 판단하는 단계는,
    상기 테스트 합성 영상 생성을 위해 상기 복수의 평면 영상을 연결한 방식을 역산하여 상기 합성 영상을 복수의 평면 영상으로 분리하고, 상기 복수의 평면 영상의 좌표를 상기 구형 곡면의 좌표로 역산하며, 상기 구형 곡면의 좌표를 상기 복수의 테스트 영상의 좌표로 역산하고, 상기 테스트 합성 영상의 픽셀에 매칭되는 상기 복수의 테스트 영상의 픽셀을 확인하여 상기 대응관계 정보를 판단하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
  19. 제18항에 있어서,
    상기 대응관계 정보를 판단하는 단계는,
    다음의 수학식을 이용해 상기 복수의 평면 영상의 좌표를 상기 구형 곡면의 좌표로 변환하여 역산하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
    Figure pat00056

    P: 구형 곡면의 픽셀
    X, Y, Z: P의 좌표
    θ, φ: 평면 영상 픽셀의 좌표
  20. 제18항에 있어서,
    상기 대응관계 정보를 판단하는 단계는,
    다음의 수학식을 이용해 상기 구형 곡면의 좌표를 상기 복수의 테스트 영상의 좌표로 변환하여 역산하는 것을 특징으로 하는 영상의 다이렉트 매핑 방법.
    Figure pat00057

    Figure pat00058

    Figure pat00059

    Figure pat00060

    u, v: 테스트 영상 픽셀의 좌표
    X, Y, Z: 구형 곡면 픽셀의 좌표
    A: 카메라의 라디안 시야각
  21. 제11항 내지 제20항 중 어느 한 항에 따른 영상의 다이렉트 매핑 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록매체.
KR1020170072345A 2017-06-09 2017-06-09 영상의 다이렉트 매핑 장치 및 방법 KR101939173B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170072345A KR101939173B1 (ko) 2017-06-09 2017-06-09 영상의 다이렉트 매핑 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170072345A KR101939173B1 (ko) 2017-06-09 2017-06-09 영상의 다이렉트 매핑 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180134520A true KR20180134520A (ko) 2018-12-19
KR101939173B1 KR101939173B1 (ko) 2019-01-16

Family

ID=65009207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170072345A KR101939173B1 (ko) 2017-06-09 2017-06-09 영상의 다이렉트 매핑 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101939173B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080007849A (ko) 2006-07-18 2008-01-23 엘지전자 주식회사 영상 촬영 장치 및 영상 촬영 장치의 파노라마 이미지 제작방법
KR20140112909A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법
KR101538947B1 (ko) * 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR20170017700A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080007849A (ko) 2006-07-18 2008-01-23 엘지전자 주식회사 영상 촬영 장치 및 영상 촬영 장치의 파노라마 이미지 제작방법
KR20140112909A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법
KR101538947B1 (ko) * 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR20170017700A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Also Published As

Publication number Publication date
KR101939173B1 (ko) 2019-01-16

Similar Documents

Publication Publication Date Title
JP7231306B2 (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
US10452945B2 (en) Image generating device, electronic device, image generating method and recording medium
US7855752B2 (en) Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
KR20140112909A (ko) 파노라마 영상을 생성하는 전자 장치 및 방법
US11627251B2 (en) Image processing apparatus and control method thereof, computer-readable storage medium
US20200021727A1 (en) Camera parameter estimation device, method, and program
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
US20180197320A1 (en) Apparatus and method for processing information of multiple cameras
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
US11496661B2 (en) Image processing apparatus and image processing method
CN107967665B (zh) 图像处理方法和图像处理装置
KR20190062102A (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
JP2021034885A (ja) 画像生成装置、画像表示装置および画像処理方法
JP2004193962A (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
TWI615808B (zh) 全景即時影像處理方法
KR20180137916A (ko) 가상현실 영상컨텐츠 제공시스템 및 제공방법
JP7474137B2 (ja) 情報処理装置およびその制御方法
US20220230275A1 (en) Imaging system, image processing apparatus, imaging device, and recording medium
KR101939173B1 (ko) 영상의 다이렉트 매핑 장치 및 방법
JP2017123589A (ja) 情報処理装置、情報処理方法および映像投影システム
CN107426561B (zh) 一种3d360度的虚拟现实直播方法及装置
JPH10208074A (ja) 画像生成方法
JP2016142991A (ja) 画像処理システム、情報処理装置、画像処理方法、及びプログラム
WO2021171982A1 (ja) 画像処理装置、３ｄモデルの生成方法、学習方法およびプログラム
JP7480941B2 (ja) 映像合成装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant