KR102234477B1 - 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법 - Google Patents
영상 품질에 기초한 파노라마 영상 생성 장치 및 방법 Download PDFInfo
- Publication number
- KR102234477B1 KR102234477B1 KR1020150007341A KR20150007341A KR102234477B1 KR 102234477 B1 KR102234477 B1 KR 102234477B1 KR 1020150007341 A KR1020150007341 A KR 1020150007341A KR 20150007341 A KR20150007341 A KR 20150007341A KR 102234477 B1 KR102234477 B1 KR 102234477B1
- Authority
- KR
- South Korea
- Prior art keywords
- reference image
- image
- matching point
- distance
- image quality
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000001131 transforming effect Effects 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000000691 measurement method Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 230000006866 deterioration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 238000003702 image correction Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H04N5/23238—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H04N5/23203—
-
- H04N5/23212—
-
- H04N5/23216—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
영상 품질에 기초한 파노라마 영상 생성 장치 및 방법이 개시된다.
파노라마 영상 생성 방법은, 제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상을 연결하기 위한 매칭점을 추출하는 단계; 상기 매칭점을 기초로 상기 기준 영상과 상기 참조 영상 간의 호모그래피를 결정하여 참조 영상을 기하학적 변환하는 단계; 상기 기하학적 변환한 참조 영상의 영상 품질 변화를 결정하는 단계; 및 상기 영상 품질 변화를 고려하여 상기 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 단계를 포함할 수 있다.
파노라마 영상 생성 방법은, 제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상을 연결하기 위한 매칭점을 추출하는 단계; 상기 매칭점을 기초로 상기 기준 영상과 상기 참조 영상 간의 호모그래피를 결정하여 참조 영상을 기하학적 변환하는 단계; 상기 기하학적 변환한 참조 영상의 영상 품질 변화를 결정하는 단계; 및 상기 영상 품질 변화를 고려하여 상기 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 단계를 포함할 수 있다.
Description
본 발명은 파노라마 영상 생성에 따른 영상 품질 변화를 측정하고, 측정 결과에 따라 파노라마 영상을 생성하는 장치 및 방법에 관한 것이다.
복수의 카메라를 활용하여 대상공간을 영역별로 분할 촬영한 영상을 공간적으로 이어 붙여서 사람의 시야각 이상의 넓은 화각을 제공하는 파노라마 영상을 생성하는 방법이 개발되었다.
종래의 파노라마 영상 생성 방법 중 스티칭은 복수의 카메라로 촬영한 복수의 영상들 중 서로 이웃한 영상들을 연결하여 파노라마 영상을 생성하는 방법이다.
종래의 파노라마 영상 생성 방법은 이웃한 영상을 촬영하는 카메라가 일정 범위로 피사체를 중복 촬영하여 이웃한 영상을 생성할 수 있다. 그리고, 종래의 파노라마 영상 생성 방법은 중복 촬영된 영역에 포함된 특징점을 매칭하여 매칭점을 추출하고, 매칭점을 기초로 이웃한 영상간의 기하적 관계인 호모그래피를 결정할 수 있다. 그리고, 종래의 파노라마 영상 생성 방법은 호모그래피를 이용하여 기준 영상에 이어 붙일 참조 영상을 기하학적 변환하여 연결할 수 있다.
이때, 호모그래피의 정확도에 따라 기하학적 변환된 참조 영상의 영상 품질 저하의 정도가 결정될 수 있다. 호모그래피의 정확도는 촬영 방법 및 카메라 자세, 중복 정도, 피사체의 촬영거리에 따라 달라질 수 있다. 예를 들어, 중복 영역 안에 근거리, 및 원거리에 각각 피사체가 존재하는 경우, 매칭점의 위치에 따라 호모그래피가 피사체 중 하나에 치우쳐서 영상 품질 저하가 심해질 수 있다.
따라서, 매칭점을 이용하여 파노라마 영상을 생성할 경우, 영상 품질이 어떻게 변화하는지를 미리 예측함으로써, 영상 품질의 저하를 최소화할 수 있는 매칭점을 선택할 수 있는 방법이 요청되고 있다.
본 발명은 파노라마 영상을 생성하기 위한 기준 영상과 참조 영상의 연결 과정에서 발생하는 영상 품질의 변화를 용이하게 추정할 수 있는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 사용자가 해당 매칭점을 이용하여 생성한 파노라마 영상의 영상 품질을 예측하도록 할 수 있는 장치 및 방법을 제공할 수 있다.
그리고, 촬영한 영상을 이용한 파노라마 영상의 영상 품질을 예측하여 표시함으로써, 촬영자가 카메라의 자세의 문제 여부를 용이하게 확인할 수 있는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 생성 방법은 제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상을 연결하기 위한 매칭점을 추출하는 단계; 상기 매칭점을 기초로 상기 기준 영상과 상기 참조 영상 간의 호모그래피를 결정하여 참조 영상을 기하학적 변환하는 단계; 상기 기하학적 변환한 참조 영상의 영상 품질 변화를 결정하는 단계; 및 상기 영상 품질 변화를 고려하여 상기 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 상기 영상 품질을 평가하는 단계는, 상기 기하학적 변환한 참조 영상을 역변환하는 단계; 상기 매칭점을 기초로 상기 기준 영상 및 상기 참조 영상에서 비교 대상 영역을 설정하는 단계; 상기 기준 영상, 또는 상기 참조 영상의 비교 대상 영역의 영상 품질과 상기 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교하는 단계; 및 영상 품질의 비교 결과에 따라 상기 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 비교 대상 영역을 설정하는 단계는, 상기 기준 영상의 중심을 기준으로 상기 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정하는 단계; 상기 참조 영상의 중심을 기준으로 상기 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정하는 단계; 상기 매칭점과 상기 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정하는 단계; 및 상기 매칭점을 기준으로 상기 제1 수평 거리, 상기 제2 수평 거리 및 상기 수직 거리를 적용하여 상기 비교 대상 영역을 설정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 상기 파노라마 영상을 생성하는 단계는, 상기 기준 영상 및 상기 참조 영상에서 복수의 매칭점들을 추출하는 경우, 상기 복수의 매칭점들을 표시하는 단계; 상기 복수의 매칭점들 중 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상의 영상 품질 변화를 표시하는 단계; 상기 영상 품질 변화를 표시한 매칭점이 선택되는 경우, 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 방법은 제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상 간의 호모그래피에 따라 기하학적 변환된 참조 영상을 역변환하는 단계; 상기 기준 영상과 상기 참조 영상을 연결하기 위한 매칭점에 따라 상기 역변환한 참조 영상과 상기 기준 영상, 또는 상기 참조 영상에 비교 대상 영역을 설정하는 단계; 상기 기준 영상, 또는 상기 참조 영상의 비교 대상 영역의 영상 품질과 상기 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교하는 단계; 및 영상 품질의 비교 결과에 따라 상기 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 방법의 비교 대상 영역을 설정하는 단계는, 상기 기준 영상에서 상기 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정하는 단계; 상기 참조 영상에서 상기 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정하는 단계; 상기 매칭점과 상기 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정하는 단계; 및 상기 매칭점을 기준으로 상기 제1 수평 거리, 상기 제2 수평 거리 및 상기 수직 거리를 적용하여 상기 비교 대상 영역을 설정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 방법의 제1 수평 거리를 결정하는 단계는, 상기 기준 영상의 오른쪽 영역이 상기 참조 영상의 왼쪽 영역과 연결되는 경우, 상기 매칭점에서 상기 기준 영상의 오른쪽 끝까지 거리를 측정하고, 측정한 거리를 상기 제1 수평 거리로 결정할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 방법의 제2 수평 거리를 결정하는 단계는, 상기 기준 영상의 오른쪽 영역이 상기 참조 영상의 왼쪽 영역과 연결되는 경우, 상기 매칭점에서 상기 참조 영상의 왼쪽 끝까지 거리를 측정하고, 측정한 거리를 상기 제2 수평 거리로 결정할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 방법의 수직 거리를 결정하는 단계는, 상기 매칭점에서 기준 영상의 상단까지의 거리, 또는 상기 매칭점에서 기준 영상의 하단까지의 거리 중에서 짧은 거리를 제1 수직 거리로 설정하는 단계; 상기 매칭점에서 참조 영상의 상단까지의 거리, 또는 상기 매칭점에서 참조 영상의 하단까지의 거리 중 상기 제1 수직 거리로 선택된 방향과 서로 다른 방향의 거리를 제2 수직 거리로 설정하는 단계; 및 제1 수직 거리와 제2 수직 거리를 상기 수직 거리로 설정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 방법의 역변환한 참조 영상은, 기준 영상과 참조 영상 간의 호모그래피를 인버스(inverse)한 결과 영상일 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 생성 장치는 제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상을 연결하기 위한 매칭점을 추출하는 매칭점 추출부; 상기 매칭점을 기초로 상기 기준 영상과 상기 참조 영상 간의 호모그래피를 결정하여 참조 영상을 기하학적 변환하는 참조 영상 변환부; 상기 기하학적 변환한 참조 영상의 영상 품질 변화를 결정하는 영상 품질 변화 결정부; 및 상기 영상 품질 변화를 고려하여 상기 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 파노라마 영상 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 영상 품질 변화 결정부는, 상기 기하학적 변환한 참조 영상을 역변환하는 역변환부; 상기 매칭점을 기초로 상기 기준 영상 및 상기 참조 영상에서 비교 대상 영역을 설정하는 비교대상 영역 설정부; 및 상기 기준 영상, 또는 상기 참조 영상의 비교 대상 영역의 영상 품질과 상기 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교하고, 영상 품질의 비교 결과에 따라 상기 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정하는 영상 품질 변화 측정부를 포함할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 비교대상 영역 설정부는, 상기 기준 영상의 중심을 기준으로 상기 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정하고, 상기 참조 영상의 중심을 기준으로 상기 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정하며, 상기 매칭점과 상기 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정하고, 상기 매칭점을 기준으로 상기 제1 수평 거리, 상기 제2 수평 거리 및 상기 수직 거리를 적용하여 상기 비교 대상 영역을 설정할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 파노라마 영상 생성부는, 상기 기준 영상 및 상기 참조 영상에서 복수의 매칭점들을 추출하는 경우, 상기 복수의 매칭점들을 표시하는 영상 표시부; 상기 복수의 매칭점들 중 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상의 영상 품질 변화를 표시하는 측정 결과 표시부; 상기 영상 품질 변화를 표시한 매칭점이 선택되는 경우, 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 영상 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 장치는 제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상 간의 호모그래피에 따라 기하학적 변환된 참조 영상을 역변환하는 역변환부; 상기 기준 영상과 상기 참조 영상을 연결하기 위한 매칭점에 따라 상기 역변환한 참조 영상과 상기 기준 영상, 또는 상기 참조 영상에 비교 대상 영역을 설정하는 비교 대상 영역 설정부; 및 상기 기준 영상, 또는 상기 참조 영상의 비교 대상 영역의 영상 품질과 상기 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교하고, 영상 품질의 비교 결과에 따라 상기 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정하는 영상 품질 변화 측정부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 장치의 비교 대상 영역 설정부는, 상기 기준 영상에서 상기 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정하고, 상기 참조 영상에서 상기 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정하며, 상기 매칭점과 상기 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정하고, 상기 매칭점을 기준으로 상기 제1 수평 거리, 상기 제2 수평 거리 및 상기 수직 거리를 적용하여 상기 비교 대상 영역을 설정할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 장치의 비교 대상 영역 설정부는, 상기 기준 영상의 오른쪽 영역이 상기 참조 영상의 왼쪽 영역과 연결되는 경우, 상기 매칭점에서 상기 기준 영상의 오른쪽 끝까지 거리를 측정하고, 측정한 거리를 상기 제1 수평 거리로 결정할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 장치의 비교 대상 영역 설정부는, 상기 기준 영상의 오른쪽 영역이 상기 참조 영상의 왼쪽 영역과 연결되는 경우, 상기 매칭점에서 상기 참조 영상의 왼쪽 끝까지 거리를 측정하고, 측정한 거리를 상기 제2 수평 거리로 결정할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 장치의 비교 대상 영역 설정부는, 상기 매칭점에서 기준 영상의 상단까지의 거리, 또는 상기 매칭점에서 기준 영상의 하단까지의 거리 중에서 짧은 거리를 제1 수직 거리로 설정하고, 상기 매칭점에서 참조 영상의 상단까지의 거리, 또는 상기 매칭점에서 참조 영상의 하단까지의 거리 중 상기 제1 수직 거리로 선택된 방향과 서로 다른 방향의 거리를 제2 수직 거리로 설정하며, 제1 수직 거리와 제2 수직 거리를 상기 수직 거리로 설정할 수 있다.
본 발명의 일실시예에 따른 영상 품질 변화 측정 장치의 상기 역변환한 참조 영상은, 기준 영상과 참조 영상 간의 호모그래피를 인버스한 결과 영상일 수 있다.
본 발명의 일실시예에 의하면, 기준 영상, 참조 영상 및 기하학적 변환된 참조 영상에 비교 대상 영역을 설정하여 영상 품질의 변화를 비교함으로써, 파노라마 영상을 생성하기 위한 기준 영상과 참조 영상의 연결 과정에서 발생하는 영상 품질의 변화를 용이하게 추정할 수 있다.
또한, 본 발명의 일실시예에 의하면, 매칭점 별 영상 품질 변화 측정 결과를 사용자에게 제공함으로써, 사용자가 해당 매칭점을 이용하여 생성한 파노라마 영상의 영상 품질을 예측하도록 할 수 있다.
그리고, 본 발명의 일실시예에 의하면, 촬영한 영상을 이용한 파노라마 영상의 영상 품질을 예측하여 표시함으로써, 촬영자가 카메라의 자세의 문제 여부를 용이하게 확인할 수 있다.
도 1은 본 발명의 일실시예에 따른 파노라마 영상 생성 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 영상 품질 변화 결정부를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 파노라마 영상 생성부를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 파노라마 영상 생성 과정을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따라 설정한 비교 대상 영역의 일례이다.
도 6은 본 발명의 일실시예에 따른 파노라마 영상 생성 과정에서 사용자에게 표시하는 화면의 일례이다.
도 7은 본 발명의 일실시예에 따른 파노라마 영상 생성 방법을 도시한 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 영상 품질 변화 결정 과정을 도시한 플로우차트이다.
도 9는 본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 파노라마 영상 생성 과정을 도시한 플로우차트이다.
도 2는 본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 영상 품질 변화 결정부를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 파노라마 영상 생성부를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 파노라마 영상 생성 과정을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따라 설정한 비교 대상 영역의 일례이다.
도 6은 본 발명의 일실시예에 따른 파노라마 영상 생성 과정에서 사용자에게 표시하는 화면의 일례이다.
도 7은 본 발명의 일실시예에 따른 파노라마 영상 생성 방법을 도시한 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 영상 품질 변화 결정 과정을 도시한 플로우차트이다.
도 9는 본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 파노라마 영상 생성 과정을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 파노라마 영상 생성 방법은 파노라마 영상 생성 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 파노라마 영상 생성 장치를 나타내는 도면이다.
파노라마 영상 생성 장치(100)는 스티칭으로 기준 영상과 참조 영상을 연결하여 참조 영상을 생성할 수 있다. 이때, 기준 영상과 참조 영상은 서로 다른 카메라로 촬영될 수 있다. 예를 들어, 제2 카메라가 촬영한 참조 영상은 제1 카메라가 촬영한 기준 영상의 이웃 영상일 수 있다. 이때, 참조 영상은 기준 영상의 좌측, 또는 우측과 중복되는 영역을 포함할 수 있다.
파노라마 영상 생성 장치(100)는 도 1에 도시된 바와 같이 매칭점 추출부(110), 참조 영상 변환부(120), 영상 품질 변화 결정부(130) 및 파노라마 영상 생성부(140)를 포함할 수 있다.
매칭점 추출부(110)는 기준 영상과 참조 영상에서 기준 영상과 참조 영상을 연결하기 위한 매칭점을 추출할 수 있다. 예를 들어, 오브젝트는 기준 영상 및 참조 영상에 포함된 피사체, 배경 중 적어도 하나일 수 있다.
구체적으로, 매칭점 추출부(110)는 기준 영상과 참조 영상 간의 중복되는 영역에 포함된 오브젝트의 특징점들 중 적어도 하나의 특징점을 선택할 수 있다. 또한, 중복되는 영역에 포함된 오브젝트는 기준 영상과 참조 영상에 모두 포함된 오브젝트이므로, 매칭점 추출부(110)가 선택한 특징점은 기준 영상 및 참조 영상에 각각 위치할 수 있다. 이때, 매칭점 추출부(110)는 기준 영상의 특징점과 참조 영상의 특징점을 매칭하여 매칭점을 추출할 수 있다.
참조 영상 변환부(120)는 매칭점 추출부(110)가 추출한 매칭점을 기초로 기준 영상과 참조 영상 간의 호모그래피를 결정할 수 있다. 그리고, 참조 영상 변환부(120)는 결정한 기준 영상과 참조 영상 간의 호모그래피를 기초로 참조 영상을 기하학적 변환할 수 있다.
영상 품질 변화 결정부(130)는 참조 영상이 기하학적 변환됨에 따른 참조 영상의 영상 품질 변화를 결정할 수 있다. 이때, 영상 품질 변화 결정부(130)는 매칭점을 기초로 기준 영상 및 참조 영상에서 비교 대상 영역을 설정하고, 기준 영상, 또는 참조 영상의 비교 대상 영역의 영상 품질과 기하학적 변환된 참조 영상의 비교 대상 영역의 영상 품질을 비교하여 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정할 수 있다.
영상 품질 변화 결정부(130)가 영상 품질의 변화를 결정하는 구체적인 구성 및 과정은 이하 도 2를 참조하여 상세히 설명한다.
파노라마 영상 생성부(140)는 영상 품질 변화 결정부(130)에서 결정한 영상 품질 변화를 고려하여 참조 영상 변환부(120)에서 기하학적 변환한 참조 영상을 기준 영상과 연결한 파노라마 영상을 생성할 수 있다.
이때, 파노라마 영상 생성부(140)는 매칭점 별로 영상 품질 변화 결정부(130)가 결정한 영상 품질 변화 측정 결과를 사용자에게 제공할 수 있다. 그리고, 파노라마 영상 생성부(140)는 사용자가 선택한 매칭점을 입력 받을 수 있다. 이때, 파노라마 영상 생성부(140)는 사용자로부터 입력 받은 매칭점을 기초로 기하학적 변환한 참조 영상을 기준 영상과 연결하여 파노라마 영상을 생성함으로써, 영상 품질 저하가 적은 파노라마 영상을 생성할 수 있다.
본 발명에 따른 파노라마 영상 생성 장치(100)는 기준 영상, 참조 영상 및 기하학적 변환된 참조 영상에 비교 대상 영역을 설정하여 영상 품질의 변화를 비교함으로써, 파노라마 영상을 생성하기 위한 기준 영상과 참조 영상의 연결 과정에서 발생하는 영상 품질의 변화를 용이하게 추정할 수 있다.
또한, 파노라마 영상 생성 장치(100)는 매칭점 별로 영상 품질 변화 결정부(130)가 결정한 영상 품질 변화 측정 결과를 사용자에게 제공함으로써, 사용자가 해당 매칭점을 이용하여 생성한 파노라마 영상의 영상 품질을 예측하도록 할 수 있다.
도 2는 본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 영상 품질 변화 결정부를 나타내는 도면이다.
영상 품질 변화 결정부(130)는 도 2에 도시된 바와 같이 역변환부(210), 비교 대상 영역 설정부(220) 및 영상 품질 변화 측정부(230)를 포함할 수 있다. 이때, 영상 품질 변화 결정부(130)는 파노라마 영상 생성 장치(100)와 별도의 장치로 형성되어 파노라마 영상 생성 장치(100)에 영상 품질 변화 측정 결과를 제공할 수도 있다.
역변환부(210)는 참조 영상 변환부(120)에서 기하학적 변환된 참조 영상을 역변환할 수 있다. 이때, 역변환한 영상은 기준 영상과 참조 영상 간의 호모그래피를 인버스(inverse)한 결과 영상일 수 있다. 즉, 영상 품질 변화 결정부(130)는 기하학적 변환된 참조 영상을 역변환하여, 기하학적 변환하기 전의 참조 영상과 유사한 형태로 변환함으로써, 기본 영상, 및 참조 영상과 영상 품질을 비교할 수 있다.
비교 대상 영역 설정부(220)는 매칭점 추출부(110)가 추출한 매칭점을 기초로 기준 영상 및 참조 영상에서 비교 대상 영역을 설정할 수 있다.
이때, 비교 대상 영역 설정부(220)는 기준 영상의 중심을 기준으로 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정할 수 있다. 예를 들어, 기준 영상의 오른쪽 영역이 참조 영상의 왼쪽 영역과 연결되는 경우, 비교 대상 영역 설정부(220)는 매칭점에서 기준 영상의 오른쪽 끝까지 거리를 측정하고, 측정한 거리를 제1 수평 거리로 결정할 수 있다. 또한, 기준 영상의 왼쪽 영역이 참조 영상의 오른쪽 영역과 연결되는 경우, 비교 대상 영역 설정부(220)는 매칭점에서 기준 영상의 왼쪽 끝까지 거리를 측정하고, 측정한 거리를 제1 수평 거리로 결정할 수 있다.
또한, 비교 대상 영역 설정부(220)는 참조 영상의 중심을 기준으로 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정할 수 있다. 예를 들어, 기준 영상의 오른쪽 영역이 참조 영상의 왼쪽 영역과 연결되는 경우, 비교 대상 영역 설정부(220)는 매칭점에서 참조 영상의 왼쪽 끝까지 거리를 측정하고, 측정한 거리를 제2 수평 거리로 결정할 수 있다. 또한, 기준 영상의 왼쪽 영역이 참조 영상의 오른쪽 영역과 연결되는 경우, 비교 대상 영역 설정부(220)는 매칭점에서 참조 영상의 오른쪽 끝까지 거리를 측정하고, 측정한 거리를 제2 수평 거리로 결정할 수 있다.
그리고, 비교 대상 영역 설정부(220)는 매칭점과 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정할 수 있다. 이때, 비교 대상 영역 설정부(220)는 매칭점에서 기준 영상의 상단까지의 거리, 또는 매칭점에서 기준 영상의 하단까지의 거리 중에서 짧은 거리를 제1 수직 거리로 설정할 수 있다. 또한, 비교 대상 영역 설정부(220)는 매칭점에서 참조 영상의 상단까지의 거리, 또는 매칭점에서 참조 영상의 하단까지의 거리 중 제1 수직 거리로 선택된 방향과 서로 다른 방향의 거리를 제2 수직 거리로 설정할 수 있다. 그리고, 비교 대상 영역 설정부(220)는 제1 수직 거리와 제2 수직 거리를 비교 대상 영역의 수직 거리로 설정할 수 있다.
마지막으로, 비교 대상 영역 설정부(220)는 매칭점을 기준으로 제1 수평 거리, 제2 수평 거리 및 수직 거리를 적용하여 비교 대상 영역을 설정할 수 있다. 예를 들어, 기준 영상의 오른쪽 영역이 참조 영상의 왼쪽 영역과 연결되는 경우, 비교 대상 영역 설정부(220)는 매칭점에서 오른쪽으로 제1 수평 거리를 적용하고, 왼쪽으로 제2 수평 거리를 적용하며, 및 상하로 수직 거리를 적용하여 비교 대상 영역을 설정할 수 있다. 또한, 기준 영상의 왼쪽 영역이 참조 영상의 오른쪽 영역과 연결되는 경우, 비교 대상 영역 설정부(220)는 매칭점에서 왼쪽으로 제1 수평 거리를 적용하고, 오른쪽으로 제2 수평 거리를 적용하며, 및 상하로 수직 거리를 적용하여 비교 대상 영역을 설정할 수 있다.
영상 품질 변화 측정부(230)는 기준 영상, 또는 참조 영상의 비교 대상 영역의 영상 품질과 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교할 수 있다. 그리고, 영상 품질 변화 측정부(230)는 영상 품질의 비교 결과에 따라 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정할 수 있다.
예를 들어, 영상 품질 변화 측정부(230)는 수학식 1과 같은 최대 신호 대 잡음비(PSNR, Peak Signal Noise Rate)로 역변환한 참조 영상의 비교 대상 영역이 기준 영상, 또는 참조 영상의 비교 대상 영역에 대비한 오차 평균을 계산하여 영상 품질 저하를 추정할 수 있다.
이때, MSE(mean Square Error)는 수학식 2와 같이 계산될 수 있다.
이때, I(i,j)는 기준 영상의 특징점이고, K(i, j)는 참조 영상의 특징점일 수 있다. 즉, 
는 역변환한 참조 영상의 특징점일 수 있다.
이때, 영상 품질 변화 측정부(230)는 역변환한 참조 영상을 변환하지 않은 참조 영상과 비교하여 호모그래피, 또는 블렌딩과 같은 스티칭 절차의 정확도에 대한 오류 정도를 판단할 수 있다. 또한, 영상 품질 변화 측정부(230)는 역변환한 참조 영상을 기준 영상과 비교하여 제1 카메라 및 제2 카메라가 각각 기준 영상 및 참조 영상을 촬영할 때 발생하는 카메라 자세 오류, 또는 카메라 속성 불일치 문제를 알 수 있다.
도 3은 본 발명의 일실시예에 따른 파노라마 영상 생성 장치의 파노라마 영상 생성부를 나타내는 도면이다.
파노라마 영상 생성부(140)는 도 3에 도시된 바와 같이 영상 표시부(310), 측정 결과 표시부(320), 변환 영상 보정부(330) 및 영상 생성부(340)를 포함할 수 있다.
영상 표시부(310)는 기준 영상 및 참조 영상을 화면에 표시하여 사용자에게 제공할 수 있다. 그리고, 영상 표시부(310)는 매칭점 추출부(110)가 추출한 매칭점을 기준 영상 및 참조 영상에 표시할 수 있다. 또한, 매칭점 추출부(110)가 복수의 매칭점들을 추출하는 경우, 영상 표시부(310)는 복수의 매칭점들의 리스트를 화면에 표시할 수도 있다.
측정 결과 표시부(320)는 영상 표시부(310)가 표시한 복수의 매칭점들 중 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상의 영상 품질 변화의 측정 결과를 표시할 수 있다. 즉, 측정 결과 표시부(320)는 영상 표시부(310)가 표시한 리스트에서 사용자가 적어도 하나의 매칭점을 선택하는 경우, 사용자가 선택한 매칭점에 대응하는 참조 영상의 영상 품질 변화의 측정 결과를 표시할 수 있다.
영상 표시부(310), 및 측정 결과 표시부(320)는 사용자가 직접 매칭점을 확인 및 선택할 수 있는 실시예에서 파노라마 영상 생성부(140)에 포함될 수 있다.
또한, 파노라마 영상 생성부(140)는 사용자의 선택 없이 참조 영상의 영상 품질 변화의 측정 결과에 따라 파노라마 영상을 생성할 수도 있다. 이때, 파노라마 영상 생성부(140)는 변환 영상 보정부(330) 및 영상 생성부(340)로 구성될 수 있다.
변환 영상 보정부(330)는 참조 영상 변환부(120)가 기하학적 변환한 참조 영상을 참조 영상의 영상 품질 변화의 측정 결과에 따라 세밀 보정할 수 있다. 그리고, 측정 결과 표시부(320)가 영상 품질 변화의 측정 결과를 표시한 매칭점이 사용자에게 선택되는 경우, 변환 영상 보정부(330)는 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상을 결과 표시부(320)가 표시한 영상 품질 변화의 측정 결과에 따라 세밀 보정할 수 있다.
영상 생성부(340)는 변환 영상 보정부(330)가 세밀 보정한 참조 영상을 기준 영상과 연결하여 파노라마 영상을 생성할 수 있다. 이때, 영상 생성부(340)가 참조 영상과 기준 영상을 연결하는 방법은 이어 붙이는 스티칭일 수 있다.
또한, 측정 결과 표시부(320)가 영상 품질 변화의 측정 결과를 표시한 매칭점이 사용자에게 선택되는 경우, 영상 생성부(340)는 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상을 기준 영상과 연결하여 파노라마 영상을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 파노라마 영상 생성 과정을 나타내는 도면이다.
파노라마 영상 생성 시스템은 제1 카메라(410), 제2 카메라(420)와 같은 복수의 카메라와 파노라마 영상 생성 장치(100)를 포함할 수 있다.
먼저, 파노라마 영상 생성 시스템은 제1 카메라(410), 제2 카메라(420)와 같은 복수의 카메라를 촬영중심점을 기준으로 도 4에 도시된 바와 같이 방사형태로 배치하여 넓은 화각을 촬영할 수 있다. 이때, 파노라마 영상 생성 시스템은 제1 카메라(410)가 촬영한 기준 영상(411)과 제2 카메라(420)가 촬영한 참조 영상(421)을 스티칭하기 위하여 기준 영상(411)과 참조 영상(421)에 피사체(430)와 배경(440)이 중복되는 영역(450)이 포함되도록 기준 영상(411)과 참조 영상(421)을 촬영할 수 있다.
다음으로, 파노라마 영상 생성 시스템의 파노라마 영상 생성 장치(100)는 기준 영상(411)과 참조 영상(421)에 동일하게 포함된 피사체(430)의 특징점 중 적어도 하나를 선택하고, 선택한 특징점을 매칭하여 매칭점을 추출할 수 있다. 그리고, 파노라마 영상 생성 장치(100)는 매칭점을 기초로 기준 영상(411)과 참조 영상(421) 간의 기하적 관계인 호모그래피를 결정할 수 있다.
그 다음으로, 파노라마 영상 생성 장치(100)는 결정한 호모그래피에 따라 참조 영상(421)을 기하학적 변환할 수 있다. 그리고, 파노라마 영상 생성 장치(100)는 기준 영상(411)과 기하학적 변환한 참조 영상(421)을 스티칭하여 중복 영상(450)이 처리된 파노라마 영상(460)을 생성할 수 있다.
이때, 추출한 매칭점에 따라 참조 영상(421)을 기하학적 변환하는 과정에서 발생하는 영상 품질의 변화가 다를 수 있다. 따라서, 파노라마 영상 생성 장치(100)는 기하학적 변환한 참조 영상(421)을 기준 영상(411)과 스티칭 하기 전에 기하학적 변환한 참조 영상(421)의 영상 품질을 확인할 수 있다. 그리고, 파노라마 영상 생성 장치(100)는 확인 결과에 따라 매칭점을 변경, 또는 기하학적 변환한 참조 영상(421)을 세부 보정할 수 있다.
예를 들어, 파노라마 영상 생성 장치(100)는 복수의 매칭점을 추출하고, 추출한 복수의 매칭점 별로 기하학적 변환한 참조 영상(421)의 영상 품질의 변화를 확인할 수 있다. 그리고, 파노라마 영상 생성 장치(100)는 추출한 복수의 매칭점 별로 기하학적 변환한 참조 영상(421)들 중 영상 품질의 변화가 가장 적은 참조 영상(421)을 선택할 수 있다. 마지막으로, 파노라마 영상 생성 장치(100)는 영상 품질의 변화가 가장 적은 참조 영상(421)을 기준 영상(411)과 스티칭하여 파노라마 영상(460)을 생성할 수 있다.
도 5는 본 발명의 일실시예에 따라 설정한 비교 대상 영역의 일례이다.
도 5는 도 4와 같이 2D로 촬영하는 기준 영상(411)과 참조 영상(421)의 중복된 영역(450)의 특징점들 중에서 동일점으로 매칭된 매칭점을 기준으로 설정한 비교 대상 영역의 일례이다.
기준 영상(411)과 참조 영상(421)의 크기는 동일하지만, 기준 영상(411)과 참조 영상(421)에서 중복 영역(450)을 제외한 다른 영역은 내용이 다르므로, 품질을 비교할 수 없다. 그리고, 매칭점은 수평기준 대비 각도를 가지므로, 중복영역의 수직 기준을 비교 영상 영역으로 설정할 수 있다. 따라서, 비교 대상 영역 설정부(220)는 다음과 같은 방법으로 비교 대상 영역을 설정할 수 있다.
먼저, 기준 영상(411)의 매칭점(510)이 
이고, 참조 영상(421)의 매칭점(520)이 
인 경우, 비교 대상 영역 설정부(220)는 
이 시작점이고 
이 끝점이며 가로 
세로 
크기를 가지는 기준 영상(411)의 비교 영상 영역(511)을 설정할 수 있다. 또한, 비교 대상 영역 설정부(220)는 
이 시작점이고, 
이 끝점이며, 가로 
세로 
크기를 갖는 참조 영상(421)의 비교 대상 영역(521)을 설정할 수 있다.
이때, 비교 대상 영역의 제1 수평 거리
(530), 제1 수직 거리 
(540), 제2 수평 거리 
(550), 및 제2 수직 거리 
(560)은 매칭점(510)과 매칭점(520)의 위치에 따라 결정될 수 있다. 구체적으로, 비교 대상 영역 설정부(220)는 매칭점(510)에서 기준 영상(411)을 기준으로 중복되는 영역(450)이 위치한 방향의 기준 영상(411) 끝까지의 수직, 수평 거리, 및 매칭점(520)에서 참조 영상(421)을 기준으로 중복되는 영역(450)이 위치한 방향의 참조 영상(421) 끝까지의 수직, 수평 거리를 비교 대상 영역의 수직, 수평 거리로 결정할 수 있다.
예를 들어, 도 5에서 기준 영상(411)은 오른쪽 영역이 참조 영상(421)의 왼쪽 영역과 연결되므로, 기준 영상(411)에서 중복되는 영역(450)은 기준 영상(411)의 오른쪽에 위치할 수 있다. 따라서, 비교 대상 영역 설정부(220)는 매칭점(510)에서 기준 영상(411)의 오른쪽 끝까지 거리를 측정하고, 측정한 거리인 A (530)를 제1 수평 거리로 결정할 수 있다.
다음으로, 비교 대상 영역 설정부(220)는 매칭점(510)에서 기준 영상(411)의 상단까지의 거리, 또는 매칭점(411)에서 기준 영상(411)의 하단까지의 거리 중에서 짧은 거리인 
(540)를 제1 수직 거리로 설정할 수 있다.
또한, 도 5에서 참조 영상(421)은 왼쪽 영역이 기준 영상(411)의 오른쪽 영역과 연결되므로, 참조 영상(421)에서 중복되는 영역(450)은 참조 영상(421)의 왼쪽에 위치할 수 있다. 따라서, 비교 대상 영역 설정부(220)는 매칭점(520)에서 참조 영상(421)의 왼쪽 끝까지 거리를 측정하고, 측정한 거리인 
(550)를 제2 수평 거리로 결정할 수 있다.
다음으로, 비교 대상 영역 설정부(220)는 제1 수직 거리의 방향을 확인할 수 있다. 이때, 제1 수직 거리의 방향은 도 5에 도시된 바와 같이 하단이므로, 비교 대상 영역 설정부(220)는 매칭점(520)에서 참조 영상(421)의 상단까지의 거리인 
(560)를 제2 수직 거리로 결정할 수 있다.
그리고, 비교 대상 영역 설정부(220)는 기준 영상(411)의 매칭점(510)과 참조 영상(421)의 매칭점(520)을 기준으로 제1 수평 거리
(530), 제1 수직 거리 
(540), 제2 수평 거리 
(550), 및 제2 수직 거리 
(560)를 적용하여 기준 영상(411)의 비교 대상 영역(511)과 참조 영상(421)의 비교 대상 영역(521)을 설정할 수 있다.
도 6은 본 발명의 일실시예에 따른 파노라마 영상 생성 과정에서 사용자에게 표시하는 화면의 일례이다.
파노라마 영상 생성 장치(100)는 도 6에 도시된 바와 같이 기준 영상(610)과 참조 영상(620)을 함께 표시할 수 있다. 이때, 파노라마 영상 생성 장치(100)는 기준 영상(610)에서 중복되는 영역(611)과 참조 영상(620)에서 중복되는 영역(621)을 다른 영역과 구분하여 표시할 수 있다.
또한, 파노라마 영상 생성 장치(100)는 도 6에 도시된 바와 같이 기준 영상(610)의 매칭점(631) 및 참조 영상(620)의 매칭점(632)들의 리스트(630)을 표시할 수 있다. 이때, 리스트(630)는 매칭점(631), 매칭점(632)의 좌표 및 매칭점의 색상값을 표시할 수 있다.
그리고, 사용자가 리스트(630)에 포함된 매칭점들 중 하나를 선택하는 경우, 파노라마 영상 생성 장치(100)는 도 6에 도시된 바와 같이 사용자가 선택한 매칭점의 위치 및 사용자가 선택한 매칭점에 대응하는 참조 영상의 영상 품질 변화 측정 결과(633)를 표시할 수 있다.
파노라마 영상 생성 장치(100)는 도 6에 도시된 바와 같이 매칭점들의 리스트를 표시하고, 매칭점들 중에서 사용자가 선택한 매칭점에 대응하는 영상 품질 변화 측정 결과를 표시함으로써, 사용자가 좋은 매칭점을 판단하여 선택하도록 할 수 있다.
또한, 파노라마 영상 생성 장치(100)는 촬영한 기준 영상(610), 참조 영상(620)을 이용한 파노라마 영상의 영상 품질을 예측하여 표시함으로써, 촬영자가 카메라의 자세의 문제 여부를 용이하게 확인할 수 있다.
도 7은 본 발명의 일실시예에 따른 파노라마 영상 생성 방법을 도시한 플로우차트이다.
단계(710)에서 매칭점 추출부(110)는 기준 영상과 참조 영상에서 기준 영상과 참조 영상을 연결하기 위한 매칭점을 추출할 수 있다. 구체적으로, 매칭점 추출부(110)는 기준 영상과 참조 영상 간의 중복되는 영역에 포함된 오브젝트의 특징점들 중 적어도 하나의 특징점을 선택할 수 있다. 이때, 매칭점 추출부(110)는 기준 영상의 특징점과 참조 영상의 특징점을 매칭하여 매칭점을 추출할 수 있다.
단계(720)에서 참조 영상 변환부(120)는 단계(710)에서 추출한 매칭점을 기초로 기준 영상과 참조 영상 간의 호모그래피를 결정할 수 있다. 그리고, 참조 영상 변환부(120)는 결정한 기준 영상과 참조 영상 간의 호모그래피를 기초로 참조 영상을 기하학적 변환할 수 있다.
단계(730)에서 영상 품질 변화 결정부(130)는 단계(720)에서 참조 영상이 기하학적 변환됨에 따른 참조 영상의 영상 품질 변화를 결정할 수 있다. 이때, 영상 품질 변화 결정부(130)는 매칭점을 기초로 기준 영상 및 참조 영상에서 비교 대상 영역을 설정하고, 기준 영상, 또는 참조 영상의 비교 대상 영역의 영상 품질과 기하학적 변환된 참조 영상의 비교 대상 영역의 영상 품질을 비교하여 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정할 수 있다.
단계(740)에서 파노라마 영상 생성부(140)는 단계(730)에서 결정한 영상 품질 변화를 고려하여 참조 영상 변환부(120)에서 기하학적 변환한 참조 영상을 기준 영상과 연결한 파노라마 영상을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 영상 품질 변화 결정 과정을 도시한 플로우차트이다. 도 8의 단계(810) 내지 단계(830)은 도 7의 단계(730)에 포함될 수 있다. 또한, 도 8의 단계(810) 내지 단계(830)은 도 7과 독립적인 별도의 방법으로 수행될 수도 있다.
단계(810)에서 역변환부(210)는 단계(720)에서 기하학적 변환된 참조 영상을 역변환할 수 있다. 이때, 역변환한 영상은 기준 영상과 참조 영상 간의 호모그래피를 인버스(inverse)한 결과 영상일 수 있다.
단계(820)에서 비교 대상 영역 설정부(220)는 매칭점 추출부(110)가 추출한 매칭점을 기초로 기준 영상 및 참조 영상에서 비교 대상 영역을 설정할 수 있다.
이때, 비교 대상 영역 설정부(220)는 기준 영상의 중심을 기준으로 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정할 수 있다. 또한, 비교 대상 영역 설정부(220)는 참조 영상의 중심을 기준으로 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정할 수 있다. 그리고, 비교 대상 영역 설정부(220)는 매칭점과 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정할 수 있다. 마지막으로, 비교 대상 영역 설정부(220)는 매칭점을 기준으로 제1 수평 거리, 제2 수평 거리 및 수직 거리를 적용하여 비교 대상 영역을 설정할 수 있다.
단계(830)에서 영상 품질 변화 측정부(230)는 기준 영상, 또는 참조 영상의 비교 대상 영역의 영상 품질과 단계(810)에서 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교할 수 있다. 그리고, 영상 품질 변화 측정부(230)는 영상 품질의 비교 결과에 따라 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정할 수 있다.
도 9는 본 발명의 일실시예에 따른 파노라마 영상 생성 방법의 파노라마 영상 생성 과정을 도시한 플로우차트이다.
단계(910)에서 영상 표시부(310)는 기준 영상 및 참조 영상을 화면에 표시하여 사용자에게 제공할 수 있다. 그리고, 영상 표시부(310)는 매칭점 추출부(110)가 추출한 매칭점을 기준 영상 및 참조 영상에 표시할 수 있다. 또한, 매칭점 추출부(110)가 복수의 매칭점들을 추출하는 경우, 영상 표시부(310)는 복수의 매칭점들의 리스트를 화면에 표시할 수도 있다.
단계(920)에서 측정 결과 표시부(320)는 사용자가 단계(910)에서 표시된 매칭점들 중 하나를 선택하였는지 여부를 확인할 수 있다. 사용자가 매칭점을 선택하지 않은 경우, 측정 결과 표시부(320)는 단계(920)을 반복 수행할 수 있다. 또한, 사용자가 매칭점을 선택한 경우, 측정 결과 표시부(320)는 단계(930)을 수행할 수 있다.
단계(930)에서 측정 결과 표시부(320)는 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상의 영상 품질 변화의 측정 결과를 표시할 수 있다. 즉, 측정 결과 표시부(320)는 영상 표시부(310)가 표시한 리스트에서 사용자가 적어도 하나의 매칭점을 선택하는 경우, 사용자가 선택한 매칭점에 대응하는 참조 영상의 영상 품질 변화의 측정 결과를 표시할 수 있다.
단계(940)에서 변환 영상 보정부(330)는 단계(720)에서 기하학적 변환한 참조 영상을 단계(730)에서 결정한 참조 영상의 영상 품질 변화에 따라 세밀 보정할 수 있다.
단계(950)에서 영상 생성부(340)는 단계(940)에서 세밀 보정한 참조 영상을 기준 영상과 연결하여 파노라마 영상을 생성할 수 있다. 이때, 영상 생성부(340)가 참조 영상과 기준 영상을 연결하는 방법은 이어 붙이는 스티칭일 수 있다.
본 발명은 기준 영상, 참조 영상 및 기하학적 변환된 참조 영상에 비교 대상 영역을 설정하여 영상 품질의 변화를 비교함으로써, 파노라마 영상을 생성하기 위한 기준 영상과 참조 영상의 연결 과정에서 발생하는 영상 품질의 변화를 용이하게 추정할 수 있다.
또한, 본 발명은 매칭점 별 영상 품질 변화 측정 결과를 사용자에게 제공함으로써, 사용자가 해당 매칭점을 이용하여 생성한 파노라마 영상의 영상 품질을 예측하도록 할 수 있다.
그리고 본 발명은 촬영한 영상을 이용한 파노라마 영상의 영상 품질을 예측하여 표시함으로써, 촬영자가 카메라의 자세의 문제 여부를 용이하게 확인할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 매칭점 추출부
120: 참조 영상 변환부
130: 영상 품질 변화 결정부
140: 파노라마 영상 생성부
120: 참조 영상 변환부
130: 영상 품질 변화 결정부
140: 파노라마 영상 생성부
Claims (20)
- 제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상을 연결하기 위한 매칭점을 추출하는 단계;
상기 매칭점을 기초로 상기 기준 영상과 상기 참조 영상 간의 호모그래피를 결정하여 참조 영상을 기하학적 변환하는 단계;
상기 기하학적 변환한 참조 영상의 영상 품질 변화를 결정하는 단계; 및
상기 영상 품질 변화를 고려하여 상기 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 단계
를 포함하고,
상기 영상 품질을 평가하는 단계는,
상기 기하학적 변환한 참조 영상을 역변환하는 단계;
상기 매칭점을 기초로 상기 기준 영상 및 상기 참조 영상에서 비교 대상 영역을 설정하는 단계;
상기 기준 영상, 또는 상기 참조 영상의 비교 대상 영역의 영상 품질과 상기 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교하는 단계; 및
영상 품질의 비교 결과에 따라 상기 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정하는 단계
를 포함하는 파노라마 영상 생성 방법. - 삭제
- 제1항에 있어서,
상기 비교 대상 영역을 설정하는 단계는,
상기 기준 영상의 중심을 기준으로 상기 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정하는 단계;
상기 참조 영상의 중심을 기준으로 상기 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정하는 단계;
상기 매칭점과 상기 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정하는 단계; 및
상기 매칭점을 기준으로 상기 제1 수평 거리, 상기 제2 수평 거리 및 상기 수직 거리를 적용하여 상기 비교 대상 영역을 설정하는 단계
를 포함하는 파노라마 영상 생성 방법. - 제1항에 있어서,
상기 파노라마 영상을 생성하는 단계는,
상기 기준 영상 및 상기 참조 영상에서 복수의 매칭점들을 추출하는 경우, 상기 복수의 매칭점들을 표시하는 단계;
상기 복수의 매칭점들 중 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상의 영상 품질 변화를 표시하는 단계;
상기 영상 품질 변화를 표시한 매칭점이 선택되는 경우, 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 단계
를 포함하는 파노라마 영상 생성 방법. - 기준 영상과 참조 영상을 이용한 파노라마 영상 생성에 따른 영상 품질 변화 측정 방법에 있어서,
제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상 간의 호모그래피에 따라 기하학적 변환된 참조 영상을 역변환하는 단계;
상기 기준 영상과 상기 참조 영상을 연결하기 위한 매칭점에 따라 상기 역변환한 참조 영상과 상기 기준 영상, 또는 상기 참조 영상에 비교 대상 영역을 설정하는 단계;
상기 기준 영상, 또는 상기 참조 영상의 비교 대상 영역의 영상 품질과 상기 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교하는 단계; 및
영상 품질의 비교 결과에 따라 상기 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정하는 단계
를 포함하는 영상 품질 변화 측정 방법. - 제5항에 있어서,
상기 비교 대상 영역을 설정하는 단계는,
상기 기준 영상에서 상기 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정하는 단계;
상기 참조 영상에서 상기 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정하는 단계;
상기 매칭점과 상기 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정하는 단계; 및
상기 매칭점을 기준으로 상기 제1 수평 거리, 상기 제2 수평 거리 및 상기 수직 거리를 적용하여 상기 비교 대상 영역을 설정하는 단계
를 포함하는 영상 품질 변화 측정 방법. - 제6항에 있어서,
상기 제1 수평 거리를 결정하는 단계는,
상기 기준 영상의 오른쪽 영역이 상기 참조 영상의 왼쪽 영역과 연결되는 경우, 상기 매칭점에서 상기 기준 영상의 오른쪽 끝까지 거리를 측정하고, 측정한 거리를 상기 제1 수평 거리로 결정하는 영상 품질 변화 측정 방법. - 제6항에 있어서,
상기 제2 수평 거리를 결정하는 단계는,
상기 기준 영상의 오른쪽 영역이 상기 참조 영상의 왼쪽 영역과 연결되는 경우, 상기 매칭점에서 상기 참조 영상의 왼쪽 끝까지 거리를 측정하고, 측정한 거리를 상기 제2 수평 거리로 결정하는 영상 품질 변화 측정 방법. - 제6항에 있어서,
상기 수직 거리를 결정하는 단계는,
상기 매칭점에서 기준 영상의 상단까지의 거리, 또는 상기 매칭점에서 기준 영상의 하단까지의 거리 중에서 짧은 거리를 제1 수직 거리로 설정하는 단계;
상기 매칭점에서 참조 영상의 상단까지의 거리, 또는 상기 매칭점에서 참조 영상의 하단까지의 거리 중 상기 제1 수직 거리로 선택된 방향과 서로 다른 방향의 거리를 제2 수직 거리로 설정하는 단계; 및
제1 수직 거리와 제2 수직 거리를 상기 수직 거리로 설정하는 단계
를 포함하는 영상 품질 변화 측정 방법. - 제5항에 있어서,
상기 역변환한 참조 영상은,
기준 영상과 참조 영상 간의 호모그래피를 인버스(inverse)한 결과 영상인 영상 품질 변화 측정 방법. - 제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상을 연결하기 위한 매칭점을 추출하는 매칭점 추출부;
상기 매칭점을 기초로 상기 기준 영상과 상기 참조 영상 간의 호모그래피를 결정하여 참조 영상을 기하학적 변환하는 참조 영상 변환부;
상기 기하학적 변환한 참조 영상의 영상 품질 변화를 결정하는 영상 품질 변화 결정부; 및
상기 영상 품질 변화를 고려하여 상기 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 파노라마 영상 생성부
를 포함하고,
상기 영상 품질 변화 결정부는,
상기 기하학적 변환한 참조 영상을 역변환하는 역변환부;
상기 매칭점을 기초로 상기 기준 영상 및 상기 참조 영상에서 비교 대상 영역을 설정하는 비교대상 영역 설정부; 및
상기 기준 영상, 또는 상기 참조 영상의 비교 대상 영역의 영상 품질과 상기 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교하고, 영상 품질의 비교 결과에 따라 상기 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정하는 영상 품질 변화 측정부
를 포함하는 파노라마 영상 생성 장치. - 삭제
- 제11항에 있어서,
상기 비교대상 영역 설정부는,
상기 기준 영상의 중심을 기준으로 상기 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정하고, 상기 참조 영상의 중심을 기준으로 상기 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정하며, 상기 매칭점과 상기 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정하고, 상기 매칭점을 기준으로 상기 제1 수평 거리, 상기 제2 수평 거리 및 상기 수직 거리를 적용하여 상기 비교 대상 영역을 설정하는 파노라마 영상 생성 장치. - 제11항에 있어서,
상기 파노라마 영상 생성부는,
상기 기준 영상 및 상기 참조 영상에서 복수의 매칭점들을 추출하는 경우, 상기 복수의 매칭점들을 표시하는 영상 표시부;
상기 복수의 매칭점들 중 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상의 영상 품질 변화를 표시하는 측정 결과 표시부;
상기 영상 품질 변화를 표시한 매칭점이 선택되는 경우, 사용자에게 선택된 매칭점에 기초하여 기하학적 변환한 참조 영상을 상기 기준 영상과 연결한 파노라마 영상을 생성하는 영상 생성부
를 포함하는 파노라마 영상 생성 장치. - 기준 영상과 참조 영상을 이용한 파노라마 영상 생성에 따른 영상 품질 변화를 측정하는 영상 품질 변화 측정 장치에 있어서,
제1 카메라가 촬영한 기준 영상과 제2 카메라가 촬영한 참조 영상 간의 호모그래피에 따라 기하학적 변환된 참조 영상을 역변환하는 역변환부;
상기 기준 영상과 상기 참조 영상을 연결하기 위한 매칭점에 따라 상기 역변환한 참조 영상과 상기 기준 영상, 또는 상기 참조 영상에 비교 대상 영역을 설정하는 비교 대상 영역 설정부; 및
상기 기준 영상, 또는 상기 참조 영상의 비교 대상 영역의 영상 품질과 상기 역변환한 참조 영상의 비교 대상 영역의 영상 품질을 비교하고, 영상 품질의 비교 결과에 따라 상기 참조 영상의 기하학적 변환에 따른 영상 품질 저하를 추정하는 영상 품질 변화 측정부
를 포함하는 영상 품질 변화 측정 장치. - 제15항에 있어서,
상기 비교 대상 영역 설정부는,
상기 기준 영상에서 상기 매칭점이 위치한 방향에 기초하여 제1 수평 거리를 결정하고, 상기 참조 영상에서 상기 매칭점이 위치한 방향에 기초하여 제2 수평 거리를 결정하며, 상기 매칭점과 상기 기준 영상의 상단, 또는 하단까지의 거리에 기초하여 수직 거리를 결정하고, 상기 매칭점을 기준으로 상기 제1 수평 거리, 상기 제2 수평 거리 및 상기 수직 거리를 적용하여 상기 비교 대상 영역을 설정하는 영상 품질 변화 측정 장치. - 제16항에 있어서,
상기 비교 대상 영역 설정부는,
상기 기준 영상의 오른쪽 영역이 상기 참조 영상의 왼쪽 영역과 연결되는 경우, 상기 매칭점에서 상기 기준 영상의 오른쪽 끝까지 거리를 측정하고, 측정한 거리를 상기 제1 수평 거리로 결정하는 영상 품질 변화 측정 장치. - 제16항에 있어서,
상기 비교 대상 영역 설정부는,
상기 기준 영상의 오른쪽 영역이 상기 참조 영상의 왼쪽 영역과 연결되는 경우, 상기 매칭점에서 상기 참조 영상의 왼쪽 끝까지 거리를 측정하고, 측정한 거리를 상기 제2 수평 거리로 결정하는 영상 품질 변화 측정 장치. - 제16항에 있어서,
상기 비교 대상 영역 설정부는,
상기 매칭점에서 기준 영상의 상단까지의 거리, 또는 상기 매칭점에서 기준 영상의 하단까지의 거리 중에서 짧은 거리를 제1 수직 거리로 설정하고, 상기 매칭점에서 참조 영상의 상단까지의 거리, 또는 상기 매칭점에서 참조 영상의 하단까지의 거리 중 상기 제1 수직 거리로 선택된 방향과 서로 다른 방향의 거리를 제2 수직 거리로 설정하며, 제1 수직 거리와 제2 수직 거리를 상기 수직 거리로 설정하는 영상 품질 변화 측정 장치. - 제15항에 있어서,
상기 역변환한 참조 영상은,
기준 영상과 참조 영상 간의 호모그래피를 인버스한 결과 영상인 영상 품질 변화 측정 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150007341A KR102234477B1 (ko) | 2015-01-15 | 2015-01-15 | 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법 |
| US14/994,430 US10075635B2 (en) | 2015-01-15 | 2016-01-13 | Apparatus and method for generating panoramic image based on image quality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150007341A KR102234477B1 (ko) | 2015-01-15 | 2015-01-15 | 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160088090A KR20160088090A (ko) | 2016-07-25 |
| KR102234477B1 true KR102234477B1 (ko) | 2021-04-01 |
Family
ID=56408764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150007341A KR102234477B1 (ko) | 2015-01-15 | 2015-01-15 | 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10075635B2 (ko) |
| KR (1) | KR102234477B1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3113159A1 (en) * | 2015-06-30 | 2017-01-04 | Thomson Licensing | Method and device for processing a part of an immersive video content according to the position of reference parts |
| SE1630035A1 (en) * | 2016-02-26 | 2017-08-27 | Katam Tech Ab | Methods, devices and computer programs for positioning |
| KR102560029B1 (ko) * | 2016-09-12 | 2023-07-26 | 삼성전자주식회사 | 가상 현실 콘텐트를 송수신하는 방법 및 장치 |
| US10339627B2 (en) | 2016-10-10 | 2019-07-02 | Gopro, Inc. | Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image |
| KR102633595B1 (ko) * | 2016-11-21 | 2024-02-05 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| KR102305633B1 (ko) * | 2017-03-17 | 2021-09-28 | 엘지전자 주식회사 | 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치 |
| CN107979726B (zh) * | 2017-11-28 | 2020-05-22 | 信利光电股份有限公司 | 一种全景镜头的配对方法和全景镜头 |
| WO2020024909A1 (zh) * | 2018-08-02 | 2020-02-06 | 广东虚拟现实科技有限公司 | 定位跟踪方法、终端设备及计算机可读取存储介质 |
| US11205257B2 (en) | 2018-11-29 | 2021-12-21 | Electronics And Telecommunications Research Institute | Method and apparatus for measuring video quality based on detection of change in perceptually sensitive region |
| CN110428415B (zh) * | 2019-08-05 | 2022-05-13 | 上海联影医疗科技股份有限公司 | 医学图像的质量评估方法、装置、设备及存储介质 |
| WO2021242809A1 (en) * | 2020-05-26 | 2021-12-02 | Hover Inc. | Systems and methods for image capture |
| US11706507B2 (en) * | 2020-12-30 | 2023-07-18 | Waymo Llc | Systems, apparatus, and methods for generating enhanced images |
| CN113411494A (zh) * | 2021-05-26 | 2021-09-17 | 上海商甲信息科技有限公司 | 一种增加监控视角和清晰度的方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013070212A (ja) | 2011-09-22 | 2013-04-18 | Fuji Xerox Co Ltd | 画像処理装置、画像処理プログラム |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7126630B1 (en) * | 2001-02-09 | 2006-10-24 | Kujin Lee | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method |
| KR101217182B1 (ko) | 2006-07-28 | 2012-12-31 | 삼성디스플레이 주식회사 | 박막 트랜지스터 기판, 이의 제조방법 및 이를 갖는표시패널 |
| US8724007B2 (en) * | 2008-08-29 | 2014-05-13 | Adobe Systems Incorporated | Metadata-driven method and apparatus for multi-image processing |
| US8842190B2 (en) * | 2008-08-29 | 2014-09-23 | Adobe Systems Incorporated | Method and apparatus for determining sensor format factors from image metadata |
| JP5005080B2 (ja) | 2010-09-06 | 2012-08-22 | キヤノン株式会社 | パノラマ画像の生成方法 |
| KR20130056605A (ko) * | 2011-11-22 | 2013-05-30 | 한양대학교 에리카산학협력단 | 파노라마 영상 생성 장치 및 방법 |
| KR101818778B1 (ko) * | 2012-03-23 | 2018-01-16 | 한국전자통신연구원 | 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법 |
| EP2680221B1 (en) * | 2012-06-28 | 2016-05-11 | Alcatel Lucent | Method and system for generating a high-resolution video stream |
| US20140071228A1 (en) * | 2012-09-12 | 2014-03-13 | National University of Sciences & Technology(NUST) | Color correction apparatus for panorama video stitching and method for selecting reference image using the same |
| US20140114534A1 (en) * | 2012-10-19 | 2014-04-24 | GM Global Technology Operations LLC | Dynamic rearview mirror display features |
| KR20140106927A (ko) | 2013-02-27 | 2014-09-04 | 한국전자통신연구원 | 파노라마 생성 장치 및 방법 |
| WO2014145722A2 (en) * | 2013-03-15 | 2014-09-18 | Digimarc Corporation | Cooperative photography |
| US9824486B2 (en) * | 2013-12-16 | 2017-11-21 | Futurewei Technologies, Inc. | High resolution free-view interpolation of planar structure |
| CN105100688B (zh) * | 2014-05-12 | 2019-08-20 | 索尼公司 | 图像处理方法、图像处理装置和监视系统 |
-
2015
- 2015-01-15 KR KR1020150007341A patent/KR102234477B1/ko active IP Right Grant
-
2016
- 2016-01-13 US US14/994,430 patent/US10075635B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013070212A (ja) | 2011-09-22 | 2013-04-18 | Fuji Xerox Co Ltd | 画像処理装置、画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160212338A1 (en) | 2016-07-21 |
| US10075635B2 (en) | 2018-09-11 |
| KR20160088090A (ko) | 2016-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102234477B1 (ko) | 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법 | |
| US8482599B2 (en) | 3D modeling apparatus, 3D modeling method, and computer readable medium | |
| CN107077743B (zh) | 用于阵列相机的动态校准的系统和方法 | |
| JP5756455B2 (ja) | 画像処理装置および画像処理方法 | |
| JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
| EP3588004B1 (en) | Stereoscopic camera and height acquisition method therefor and height acquisition system | |
| JP2011203811A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ | |
| JP2017143390A (ja) | 画像処理装置およびその方法 | |
| JP2001320652A (ja) | プロジェクタ装置 | |
| JP2017188046A (ja) | 画像処理装置及びその制御方法、画像処理システム | |
| CN102724398B (zh) | 图像数据提供方法、组合方法及呈现方法 | |
| JP2016225953A (ja) | カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法 | |
| JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| WO2019184410A1 (zh) | 虚拟现实设备的畸变参数测量方法及装置、测量系统 | |
| US20140072180A1 (en) | Image processing apparatus and image processing method | |
| JPH11337493A (ja) | 画像処理による異常点位置検出システム | |
| JP2005016995A (ja) | 赤外線構造物診断方法 | |
| JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP2016217944A (ja) | 計測装置、および計測方法 | |
| US20210256729A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
| JP5167614B2 (ja) | 距離画像生成装置、距離画像生成方法及びプログラム | |
| JP5239991B2 (ja) | 画像処理装置、及び画像処理システム | |
| US20120154546A1 (en) | Apparatus and method for capturing stereographic images | |
| CN109565544B (zh) | 位置指定装置及位置指定方法 | |
| KR102430726B1 (ko) | 멀티 카메라의 정보 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |