KR20140106927A - 파노라마 생성 장치 및 방법 - Google Patents

파노라마 생성 장치 및 방법 Download PDF

Info

Publication number
KR20140106927A
KR20140106927A KR1020130021237A KR20130021237A KR20140106927A KR 20140106927 A KR20140106927 A KR 20140106927A KR 1020130021237 A KR1020130021237 A KR 1020130021237A KR 20130021237 A KR20130021237 A KR 20130021237A KR 20140106927 A KR20140106927 A KR 20140106927A
Authority
KR
South Korea
Prior art keywords
image
information
panorama
focus
images
Prior art date
Application number
KR1020130021237A
Other languages
English (en)
Inventor
기명석
유지성
김성대
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130021237A priority Critical patent/KR20140106927A/ko
Priority to US14/156,950 priority patent/US9584723B2/en
Publication of KR20140106927A publication Critical patent/KR20140106927A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

둘 이상의 카메라를 통하여 둘 이상의 영상을 획득하는 영상 획득부, 상기 둘 이상의 카메라 간의 중복 영역을 분석하여 영상 중복 정보를 추출하는 중복 영역 분석부, 상기 둘 이상의 영상을 객체 단위로 분할(segmentation)하여 영상 분할 정보를 생성하는 영상 분할부, 상기 둘 이상의 영상 내 객체의 깊이 값을 추출하는 깊이 값 추출부, 상기 분할된 객체 별로 상기 깊이 값에 따라 초점 값을 설정하는 영상 초점 설정부, 및 상기 영상 중복 정보, 상기 영상 분할 정보 및 상기 초점 값을 이용하여 초점 변환이 가능한 파노라마 콘텐츠를 생성하는 파노라마 생성부를 포함하는 파노라마 생성 장치를 제공한다.

Description

파노라마 생성 장치 및 방법{APPARATUS AND METHOD FOR MAKING PANORAMA}
본 발명의 실시예들은 파노라마 영상의 포커스 변환 효과를 이용한 실감 파노라마 콘텐츠를 제작하는 장치 및 방법에 관한 것이다.
특수한 광학 렌즈/미러 또는 복수개의 카메라를 통해 영상을 촬영하고, 이를 합성하는 파노라마 영상은 일반적인 영상 미디어에 비해 훨씬 넓은 시야각을 제공할 수 있다.
일반적인 파노라마 영상은 보통의 영상에 비해 넓은 시야각을 제공하지만 깊이 정보를 갖고 있지 않기 때문에 파노라마 영상 내에서 가능한 사용자의 네비게이션은 단순한 디지털 줌 인/아웃과 시점 이동에 불과하다.
이러한 한계를 극복하기 위해 최근에 파노라마 영상 분야에서는 양안식(stereoscopic) 파노라마나 영상 모델링을 통해 사용자의 시점 변화에 따라 영상을 생성해 주어 실감을 느끼게 해주는 자유 시점(free-view point) 파노라마 기술 등 다양한 파노라마 실감기술이 개발되고 있다.
그러나, 이러한 파노라마 실감 기술은 그 생성 및 재생의 어려움과 복잡성으로 인해 아직까지 실제 서비스에 응용 되기에 무리가 따라 널리 이용되지 못하고 있다.
본 발명의 일실시예는 복수의 카메라를 통해 넓은 화각을 촬영한 영상에서, 영상간의 중복 정보를 이용하여 영역 정보와 깊이 정보를 추출하고, 객체 단위로 깊이 정보에 따른 초점 값을 설정하여, 사용자가 파노라마 영상의 줌 인/아웃과 같은 네비게이션 동작 수행 시 해당 데이터들을 이용하여 객체들의 깊이 별로 포커스를 자동 조정하여 사용자에게 실감 효과를 제공하는데 그 목적이 있다.
본 발명의 일실시예에 따른 파노라마 생성 장치는 둘 이상의 카메라를 통하여 둘 이상의 영상을 획득하는 영상 획득부, 상기 둘 이상의 카메라 간의 중복 영역을 분석하여 영상 중복 정보를 추출하는 중복 영역 분석부, 상기 둘 이상의 영상을 객체 단위로 분할(segmentation)하여 영상 분할 정보를 생성하는 영상 분할부, 상기 둘 이상의 영상 내 객체의 깊이 값을 추출하는 깊이 값 추출부, 상기 분할된 객체 별로 상기 깊이 값에 따라 초점 값을 설정하는 영상 초점 설정부, 및 상기 영상 중복 정보, 상기 영상 분할 정보 및 상기 초점 값을 이용하여 초점 변환이 가능한 파노라마 콘텐츠를 생성하는 파노라마 생성부를 포함한다.
본 발명의 일측에 따르면, 상기 영상 획득부는 화각이 인접한 상기 둘 이상의 카메라를 서로 겹치도록 배치하여, 동기화된 상기 영상을 획득할 수 있다.
본 발명의 일측에 따르면, 상기 중복 영역 분석부는 상기 각각의 영상 내에서 인접 영상과 주시 방향이 동일한 상기 중복 영역을 추정하고, 상기 중복 영역을 이용하여 상기 각각의 영상 간의 호모그래피(homography) 정보를 분석할 수 있다.
본 발명의 일측에 따르면, 상기 깊이 값 추출부는 상기 호모그래피 정보, 상기 둘 이상의 영상 간의 시차 정보 및 상기 중복 영역 내의 객체 정보를 분석하여, 상기 둘 이상의 영상 내 객체의 상대적 깊이 값을 추출할 수 있다.
본 발명의 일측에 따르면, 상기 영상 초점 설정부는 상기 각각의 객체의 깊이 값에 따라 가까운 객체에서 먼 객체일수록 상기 초점 값을 증가시켜 할당할 수 있다.
본 발명의 일측에 따르면, 상기 파노라마 생성부는 사용자의 조작(navigation)에 따라 상기 각각의 객체 별로 초점 변환이 가능한 상기 파노라마 콘텐츠를 생성할 수 있다.
본 발명의 일실시예에 따른 파노라마 재생 장치는 입력된 파노라마 콘텐츠를 분석하여 재생 정보 및 실감 정보를 해석하는 콘텐츠 해석부, 상기 재생 정보 및 상기 실감 정보를 이용하여 상기 파노라마 콘텐츠를 재생하는 콘텐츠 재생부, 및 사용자의 조작(navigation)에 따라 상기 파노라마 콘텐츠의 영상 객체의 초점 값을 변환시키는 영상 객체 초점 변환부를 포함한다.
본 발명의 일측에 따르면, 상기 콘텐츠 재생부는 콘텐츠 조작 이벤트가 입력된 경우, 상기 콘텐츠 조작 이벤트를 해석하여 상기 파노라마 콘텐츠의 시점을 변경시킬 수 있다.
본 발명의 일측에 따르면, 상기 영상 객체 초점 변환부는 상기 사용자의 조작을 참조하여 상기 사용자의 가상 위치 및 상기 영상 객체의 깊이 값을 계산할 수 있다.
본 발명의 일측에 따르면, 상기 영상 객체 초점 변환부는 상기 초점 값에 따른 시각적 차이점을 적용하기 위하여, 영상 처리를 통해 상기 파노라마 콘텐츠를 변형시킬 수 있다.
본 발명의 일실시예에 따른 파노라마 생성 방법은 둘 이상의 카메라를 통하여 둘 이상의 영상을 획득하는 단계, 상기 둘 이상의 카메라 간의 중복 영역을 분석하여 영상 중복 정보를 추출하는 단계, 상기 둘 이상의 영상을 객체 단위로 분할(segmentation)하여 영상 분할 정보를 생성하는 단계, 상기 둘 이상의 영상 내 객체의 깊이 값을 추출하는 단계, 상기 분할된 객체 별로 상기 깊이 값에 따라 초점 값을 설정하는 단계, 및 상기 영상 중복 정보, 상기 영상 분할 정보 및 상기 초점 값을 이용하여 초점 변환이 가능한 파노라마 콘텐츠를 생성하는 단계를 포함한다.
본 발명의 일실시예에 따른 파노라마 재생 방법은 입력된 파노라마 콘텐츠를 분석하여 재생 정보 및 실감 정보를 해석하는 단계, 상기 재생 정보 및 상기 실감 정보를 이용하여 상기 파노라마 콘텐츠를 재생하는 단계, 및 사용자의 조작(navigation)에 따라 상기 파노라마 콘텐츠의 영상 객체의 초점 값을 변환시키는 단계를 포함한다.
본 발명의 일실시예에 따르면 복수의 카메라를 통해 넓은 화각을 촬영한 영상에서, 영상간의 중복 정보를 이용하여 영역 정보와 깊이 정보를 추출하고, 객체 단위로 깊이 정보에 따른 초점 값을 설정하여, 사용자가 파노라마 영상의 줌 인/아웃과 같은 네비게이션 동작 수행 시 해당 데이터들을 이용하여 객체들의 깊이 별로 포커스를 자동 조정하여 사용자에게 실감 효과를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 파노라마 생성 장치의 구성을 도시한 블록도이다.
도 2는 실감 파노라마 영상을 생성하기 위한 카메라 배치의 일 예를 도시한 도면이다.
도 3은 영상 분할 정보의 확장을 통한 깊이 값 측정의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 영상 재생 장치의 구성을 도시한 블록도이다.
도 5는 초점 변환 재생 방법의 일예를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 파노라마 생성 방법을 도시한 흐름도이다.
도 7은 본 발명의 일실시예에 따른 파노라마 재생 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 복수의 카메라를 이용하여, 여러 화각을 촬영한 영상들로 파노라마 영상을 생성함에 있어, 영상을 분석하여 객체(영역)들을 분리하고 중복된 카메라 정보를 이용하여 객체(영역)간 상대적 깊이 정보를 추정한 뒤, 추출된 객체(영역) 분리 정보 및 깊이 정보를 이용하여 사용자의 네비게이션에 따라 깊이 정보에 따른 객체(영역)의 초점 변환이 가능한 실감 파노라마 영상을 생성하기 위한 장치 및 방법에 관한 것이다.
실감 파노라마들은 대부분 실감 표현을 위해 특수한 하드웨어를 사용하여 영상을 획득하거나 다수의 영상들로부터 추출된 세밀한 깊이 정보를 활용하고 있다. 본 발명의 일측에 따르면, 획득한 영상 내 객체(영역) 분할 정보와 인접 카메라들간의 중복 영역 정보로부터 추출된 깊이 정보를 조합하여, 특수한 하드웨어를 사용한 복잡한 영상 획득이나 세밀한 3차원 모델링 없이도 사용자에게 실감 파노라마 효과의 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 파노라마 생성 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 파노라마 생성 장치(100)는 영상 획득부(110), 중복 영역 분석부(120), 영상 분할부(130), 깊이 값 추출부(140), 영상 초점 설정부(150), 및 파노라마 생성부(160)를 포함한다.
영상 획득부(110)는 둘 이상의 카메라를 통하여 둘 이상의 영상을 획득하며, 중복 영역 분석부(120)는 둘 이상의 카메라 간의 중복 영역을 분석하여 영상 중복 정보를 추출한다.
영상 분할부(130)는 둘 이상의 영상을 객체 단위로 분할(segmentation)하여 영상 분할 정보를 생성하고, 깊이 값 추출부(140)는 둘 이상의 영상 내 객체의 깊이 값을 추출한다.
영상 초점 설정부(150)는 분할된 객체 별로 깊이 값에 따라 초점 값을 설정하며, 파노라마 생성부(160)는 영상 중복 정보, 영상 분할 정보 및 초점 값을 이용하여 초점 변환이 가능한 파노라마 콘텐츠를 생성한다.
영상 획득부(110)는 화각이 인접한 상기 둘 이상의 카메라를 서로 겹치도록 배치하여, 동기화된 상기 영상을 획득할 수 있다.
도 2는 실감 파노라마 영상을 생성하기 위한 카메라 배치의 일 예를 도시한 도면이다.
도 1 및 도 2를 참조하면, 영상 획득부(110)는 멀티 카메라를 화각이 인접 카메라와 서로 겹치도록 배치하여 시 동기화된 영상을 획득하는 기능을 수행할 수 있다. 영상 획득부(110)는 도 2에 도시된 바와 같이 카메라(210, 211, 212) 간에 획득된 인접 영상간의 겹치는 영역(220, 221)이 넓을수록 유효한 깊이 정보를 보다 많이 추출할 수 있으며, 촬영 시 영상 내의 모든 객체들에 초점이 맞도록 광역 포커스로 영상을 획득하는 것이 실감 파노라마 생성에 보다 유리할 수 있다.
중복 영역 분석부(120)는 각각의 영상 내에서 인접 영상과 주시 방향이 동일한 중복 영역을 추정하고, 중복 영역을 이용하여 각각의 영상 간의 호모그래피(homography) 정보를 분석할 수 있다.
영상 분할부(130)는 촬영된 영상을 분석하여 객체(영역) 단위로 영상을 분할할 수 있다. 이때, 영상 분할은 영상 처리에 의한 분할 또는 사용자의 선택에 의한 직접적인 영상 분할도 가능하다.
깊이 값 추출부(140)는 호모그래피 정보, 둘 이상의 영상 간의 시차 정보 및 중복 영역 내의 객체 정보를 분석하여, 둘 이상의 영상 내 객체의 상대적 깊이 값을 추출할 수 있다.
깊이 값 추출부(140)는 중복 영역 분석부(120)를 통해 얻어진 호모그래피(homography) 정보 및 시차정보, 중복 영역내의 객체 정보 등을 분석하여 영상 객체들의 상대적 깊이 값을 추출할 수 있다.
예를 들어, 깊이 값 추출 방법은 카메라 간의 스테레오 매칭법 또는 멀티 영상간의 기하학 정보를 이용하는 방법 등이 있으며, 영상 간에 중복 정보가 많을수록 더 정확한 깊이값을 추출할 수 있다.
본 발명의 일측에 따르면, 영상 간의 중복 정보가 없는 영역에 대해서는 앞서 분석한 영상 분할 정보를 이용할 수 있다. 중복 영역의 깊이 값 정보를 확장하여 동일한 그룹에 속한 객체에는 같은 깊이 값을 할당하는 방식으로 깊이 값을 추정할 수 있다.
도 3은 영상 분할 정보의 확장을 통한 깊이 값 측정의 예를 도시한 도면이다.
도 1 및 도 3을 참조하면, 두 대의 카메라(310)를 통해 촬영된 영상 내에 그림과 같은 물체들이 존재한다고 할 때, 영상 분할부(130)는 먼저 영상 분석을 통해 사각형 객체(330)와 원 객체(340)를 각각 분리할 수 있다.
깊이 값 추출부(140)는 두 카메라(310)의 중복 정보를 통해 깊이 값을 추출할 수 있다. 도 3에 도시된 바와 같이 사각형 객체(330)의 일부 또는 원 객체(340)의 일부는 두 카메라(310)의 중복 영역(320) 밖에 존재해 깊이 값을 추출해 낼 수 없는 상황이 존재할 수 있으나, 깊이 값 추출부(140)는 중복 영역 밖의 영역에 대한 깊이 값을 중복 영역에 존재하는 같은 그룹에 속한 분할 정보를 확장하여 할당할 수 있다.
영상 초점 설정부(150)는 각각의 객체의 깊이 값에 따라 가까운 객체에서 먼 객체일수록 초점 값을 증가시켜 할당할 수 있다.
영상 초점 설정부(150)는 획득된 깊이 정보을 이용하여 분할된 객체들에 적절한 초점 값들을 할당할 수 있으며, 할당되는 초점 값들은 각각의 객체들의 깊이 값에 따라 가까운 객체에서 먼 객체일수록 초점 값은 증가시켜 할당될 수 있다.
영상 초점 설정부(150)는 할당된 포커스 값에 따라 가우시안 필터(Gaussian filter)와 같은 영상 흐림 효과(bluer effect)를 이용하여 거리에 따라 객체들이 다른 선명도를 갖도록 영상 처리를 통해 영상을 변형 또는 이를 위한 정보를 저장할 수 있다.
파노라마 생성부(160)는 사용자의 조작(navigation)에 따라 각각의 객체 별로 초점 변환이 가능한 파노라마 콘텐츠를 생성할 수 있다.
파노라마 생성부(160)는 영상 중복정보, 영상 분할 정보, 초점 정보 등을 이용하여 사용자의 줌 인/아웃과 같은 네비게이션에 따라 객체 별로 초점 변환이 가능한 실감 파노라마 콘텐츠를 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 영상 재생 장치의 구성을 도시한 블록도이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 파노라마 재생 장치(400)는 콘텐츠 해석부(410), 콘텐츠 재생부(420), 및 영상 객체 초점 변환부(430)를 포함한다.
콘텐츠 해석부(410)는 입력된 파노라마 콘텐츠를 분석하여 재생 정보 및 실감 정보를 해석하며, 콘텐츠 재생부(420) 재생 정보 및 실감 정보를 이용하여 파노라마 콘텐츠를 재생한다.
영상 격체 초점 변환부(430)는 사용자의 조작(navigation)에 따라 파노라마 콘텐츠의 영상 객체의 초점 값을 변환시킨다.
콘텐츠 재생부(410)는 콘텐츠 조작 이벤트가 입력된 경우, 콘텐츠 조작 이벤트를 해석하여 파노라마 콘텐츠의 시점을 변경시킬 수 있다.
영상 객체 초점 변환부(430)는 사용자의 조작을 참조하여 사용자의 가상 위치 및 영상 객체의 깊이 값을 계산할 수 있다. 영상 객체 초점 변환부(430)는 초점 값에 따른 시각적 차이점을 적용하기 위하여, 영상 처리를 통해 파노라마 콘텐츠를 변형시킬 수 있다.
영상 객체 초점 변환부(430)는 사용자의 줌 인이나 줌 아웃 뷰 시점의 이동 시 사용자의 줌 인/아웃 팩터에 따라 사용자의 가상적인 위치와 영상 객체의 깊이값을 계산하여, 줌 파라미터와 실감 파노라마 콘텐츠 생성시 영상 객체에 할당된 초점 값들을 결합하여 파노라마 영상객체들에게 재 계산된 영상 초점 값을 설정할 수 있다.
또한, 영상 객체 초점 변환부(430)는 초점 값에 따른 시각 효과를 위해 영상 흐림 효과(blur effect) 또는 영상 선명화(sharp effect)와 같은 영상 처리를 통해 영상을 변형하여 사용자가 실감 효과를 줄 수 있다.
도 5는 초점 변환 재생 방법의 일예를 도시한 도면이다.
도 4 및 도 5를 참조하면, 영상 객체 초점 변환부(430)는 도 5의 (a)에 도시된 바와 같이 초기 실감 콘텐츠 생성시 각각의 깊이 값을 갖는 영상 객체에 포커스 3과 4라는 값이 할당되어, 재생 시 사용자의 줌인 동작이 발생한다면 사용자의 가상적인 시점은 도 5의 (b)와 같이 각각의 영상 객체에 근접하게 될 수 있다.
이때, 영상 객체 초점 변환부(430)는 영상 선명화 또는 저장되어 있는 영상 정보에 의해 사용자의 움직임에 따라 초점을 실시간 변화시키고 영상을 확대하여, 사용자가 실제 물체에 다가서는 것과 같은 실감 효과를 줄 수 있다.
또한, 영상 객체 초점 변환부(430)는 도 5의 (c)와 같이 사용자 줌 아웃 시에는 가상 시점이 멀어 지게 되므로, 이에 따라 포커스 값을 재 할당하고 영상 흐림 효과를 이용하여 사용자가 실제 물체에서 멀어지는 것과 같은 효과를 줄 수 있다.
도 6은 본 발명의 일실시예에 따른 파노라마 생성 방법을 도시한 흐름도이다.
도 6을 참조하면, 파노라마 생성 장치는 둘 이상의 카메라를 통하여 둘 이상의 영상을 획득하고(610), 둘 이상의 카메라 간의 중복 영역을 분석하여 영상 중복 정보를 추출한다(620).
파노라마 생성 장치는 둘 이상의 영상을 객체 단위로 분할(segmentation)하여 영상 분할 정보를 생성하고(630), 둘 이상의 영상 내 객체의 깊이 값을 추출한다(640).
파노라마 생성 장치는 분할된 객체 별로 상기 깊이 값에 따라 초점 값을 설정하고(650), 영상 중복 정보, 영상 분할 정보 및 초점 값을 이용하여 초점 변환이 가능한 파노라마 콘텐츠를 생성한다(660).
도 7은 본 발명의 일실시예에 따른 파노라마 재생 방법을 도시한 흐름도이다.
도 7을 참조하면, 파노라마 재생 장치는 입력된 파노라마 콘텐츠를 분석하여 재생 정보 및 실감 정보를 해석한다(710). 파노라마 재생 장치는 재생 정보 및 실감 정보를 이용하여 상기 파노라마 콘텐츠를 재생한다(720).
파노라마 재생 장치는 사용자 조작이 있는지 여부를 판단하고(730), 조작이 있는 경우 사용자의 조작(navigation)에 따라 상기 파노라마 콘텐츠의 영상 객체의 초점 값을 변환시킨다(740). 파노라마 재생 장치는 사용자 조작이 없는 경우 컨텐츠를 종료할지 여부를 판단하고, 종료 명령에 따라 컨텐츠를 종료할 수 있다(750).
본 발명에 따르면 파노라마 영상 촬영시 카메라간의 중복정보, 영역분할 정보, 깊이 정보 등의 생성 및 조합을 통해 사용자에게 3차원 콘텐츠를 시청하는 것과 같은 실감 효과를 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 파노라마 생성 장치
110: 영상 획득부
120: 중복 영역 분석부
130: 영상 분할부
140: 깊이 값 추출부
150: 영상 초점 설정부
160: 파노라마 생성부

Claims (20)

  1. 둘 이상의 카메라를 통하여 둘 이상의 영상을 획득하는 영상 획득부;
    상기 둘 이상의 카메라 간의 중복 영역을 분석하여 영상 중복 정보를 추출하는 중복 영역 분석부;
    상기 둘 이상의 영상을 객체 단위로 분할(segmentation)하여 영상 분할 정보를 생성하는 영상 분할부;
    상기 둘 이상의 영상 내 객체의 깊이 값을 추출하는 깊이 값 추출부;
    상기 분할된 객체 별로 상기 깊이 값에 따라 초점 값을 설정하는 영상 초점 설정부; 및
    상기 영상 중복 정보, 상기 영상 분할 정보 및 상기 초점 값을 이용하여 초점 변환이 가능한 파노라마 콘텐츠를 생성하는 파노라마 생성부
    를 포함하는 파노라마 생성 장치.
  2. 제1항에 있어서,
    상기 영상 획득부는,
    화각이 인접한 상기 둘 이상의 카메라를 서로 겹치도록 배치하여, 동기화된 상기 영상을 획득하는 파노라마 생성 장치.
  3. 제1항에 있어서,
    상기 중복 영역 분석부는,
    상기 각각의 영상 내에서 인접 영상과 주시 방향이 동일한 상기 중복 영역을 추정하고, 상기 중복 영역을 이용하여 상기 각각의 영상 간의 호모그래피(homography) 정보를 분석하는 파노라마 생성 장치.
  4. 제3항에 있어서,
    상기 깊이 값 추출부는,
    상기 호모그래피 정보, 상기 둘 이상의 영상 간의 시차 정보 및 상기 중복 영역 내의 객체 정보를 분석하여, 상기 둘 이상의 영상 내 객체의 상대적 깊이 값을 추출하는 파노라마 생성 장치.
  5. 제1항에 있어서,
    상기 영상 초점 설정부는,
    상기 각각의 객체의 깊이 값에 따라 가까운 객체에서 먼 객체일수록 상기 초점 값을 증가시켜 할당하는 파노라마 생성 장치.
  6. 제1항에 있어서,
    상기 파노라마 생성부는,
    사용자의 조작(navigation)에 따라 상기 각각의 객체 별로 초점 변환이 가능한 상기 파노라마 콘텐츠를 생성하는 파노라마 생성 장치.
  7. 입력된 파노라마 콘텐츠를 분석하여 재생 정보 및 실감 정보를 해석하는 콘텐츠 해석부;
    상기 재생 정보 및 상기 실감 정보를 이용하여 상기 파노라마 콘텐츠를 재생하는 콘텐츠 재생부; 및
    사용자의 조작(navigation)에 따라 상기 파노라마 콘텐츠의 영상 객체의 초점 값을 변환시키는 영상 객체 초점 변환부
    를 포함하는 파노라마 재생 장치.
  8. 제7항에 있어서,
    상기 콘텐츠 재생부는,
    콘텐츠 조작 이벤트가 입력된 경우, 상기 콘텐츠 조작 이벤트를 해석하여 상기 파노라마 콘텐츠의 시점을 변경시키는 파노라마 재생 장치.
  9. 제7항에 있어서,
    상기 영상 객체 초점 변환부는,
    상기 사용자의 조작을 참조하여 상기 사용자의 가상 위치 및 상기 영상 객체의 깊이 값을 계산하는 파노라마 재생 장치.
  10. 제9항에 있어서,
    상기 영상 객체 초점 변환부는,
    상기 초점 값에 따른 시각적 차이점을 적용하기 위하여, 영상 처리를 통해 상기 파노라마 콘텐츠를 변형시키는 파노라마 재생 장치.
  11. 둘 이상의 카메라를 통하여 둘 이상의 영상을 획득하는 단계;
    상기 둘 이상의 카메라 간의 중복 영역을 분석하여 영상 중복 정보를 추출하는 단계;
    상기 둘 이상의 영상을 객체 단위로 분할(segmentation)하여 영상 분할 정보를 생성하는 단계;
    상기 둘 이상의 영상 내 객체의 깊이 값을 추출하는 단계;
    상기 분할된 객체 별로 상기 깊이 값에 따라 초점 값을 설정하는 단계; 및
    상기 영상 중복 정보, 상기 영상 분할 정보 및 상기 초점 값을 이용하여 초점 변환이 가능한 파노라마 콘텐츠를 생성하는 단계
    를 포함하는 파노라마 생성 방법.
  12. 제11항에 있어서,
    상기 둘 이상의 영상을 획득하는 단계는,
    화각이 인접한 상기 둘 이상의 카메라를 서로 겹치도록 배치하여, 동기화된 상기 영상을 획득하는 단계
    를 포함하는 파노라마 생성 방법.
  13. 제11항에 있어서,
    상기 영상 중복 정보를 추출하는 단계는,
    상기 각각의 영상 내에서 인접 영상과 주시 방향이 동일한 상기 중복 영역을 추정하는 단계; 및
    상기 중복 영역을 이용하여 상기 각각의 영상 간의 호모그래피(homography) 정보를 분석하는 단계
    를 포함하는 파노라마 생성 방법.
  14. 제13항에 있어서,
    상기 깊이 값을 추출하는 단계는,
    상기 호모그래피 정보, 상기 둘 이상의 영상 간의 시차 정보 및 상기 중복 영역 내의 객체 정보를 분석하여, 상기 둘 이상의 영상 내 객체의 상대적 깊이 값을 추출하는 단계
    를 포함하는 파노라마 생성 방법.
  15. 제11항에 있어서,
    상기 초점 값을 설정하는 단계는,
    상기 각각의 객체의 깊이 값에 따라 가까운 객체에서 먼 객체일수록 상기 초점 값을 증가시켜 할당하는 단계
    를 포함하는 파노라마 생성 방법.
  16. 제11항에 있어서,
    상기 파노라마 콘텐츠를 생성하는 단계는,
    사용자의 조작(navigation)에 따라 상기 각각의 객체 별로 초점 변환이 가능한 상기 파노라마 콘텐츠를 생성하는 단계
    를 포함하는 파노라마 생성 방법.
  17. 입력된 파노라마 콘텐츠를 분석하여 재생 정보 및 실감 정보를 해석하는 단계;
    상기 재생 정보 및 상기 실감 정보를 이용하여 상기 파노라마 콘텐츠를 재생하는 단계; 및
    사용자의 조작(navigation)에 따라 상기 파노라마 콘텐츠의 영상 객체의 초점 값을 변환시키는 단계
    를 포함하는 파노라마 재생 방법.
  18. 제17항에 있어서,
    상기 파노라마 콘텐츠를 재생하는 단계는,
    콘텐츠 조작 이벤트가 입력된 경우, 상기 콘텐츠 조작 이벤트를 해석하여 상기 파노라마 콘텐츠의 시점을 변경시키는 단계
    를 포함하는 파노라마 재생 방법.
  19. 제17항에 있어서,
    상기 영상 객체의 초점 값을 변환시키는 단계는,
    상기 사용자의 조작을 참조하여 상기 사용자의 가상 위치 및 상기 영상 객체의 깊이 값을 계산하는 단계
    를 포함하는 파노라마 재생 방법.
  20. 제19항에 있어서,
    상기 영상 객체의 초점 값을 변환시키는 단계는,
    상기 초점 값에 따른 시각적 차이점을 적용하기 위하여, 영상 처리를 통해 상기 파노라마 콘텐츠를 변형시키는 단계
    를 더 포함하는 파노라마 재생 방법.
KR1020130021237A 2013-02-27 2013-02-27 파노라마 생성 장치 및 방법 KR20140106927A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130021237A KR20140106927A (ko) 2013-02-27 2013-02-27 파노라마 생성 장치 및 방법
US14/156,950 US9584723B2 (en) 2013-02-27 2014-01-16 Apparatus and method for creating panorama

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021237A KR20140106927A (ko) 2013-02-27 2013-02-27 파노라마 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140106927A true KR20140106927A (ko) 2014-09-04

Family

ID=51387732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021237A KR20140106927A (ko) 2013-02-27 2013-02-27 파노라마 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9584723B2 (ko)
KR (1) KR20140106927A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10075635B2 (en) 2015-01-15 2018-09-11 Electronics And Telecommunications Research Institute Apparatus and method for generating panoramic image based on image quality

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519340B (zh) * 2014-12-30 2016-08-17 余俊池 基于多深度图像变换矩阵的全景视频拼接方法
KR102328020B1 (ko) 2015-04-03 2021-11-17 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
CN106254849B (zh) * 2016-08-08 2018-11-13 深圳迪乐普数码科技有限公司 一种前景物体局部置换的方法与终端
US10558881B2 (en) 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
JP6938123B2 (ja) 2016-09-01 2021-09-22 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
TWI668997B (zh) * 2017-02-23 2019-08-11 鈺立微電子股份有限公司 產生全景深度影像的影像裝置及相關影像裝置
KR20180112708A (ko) 2017-04-03 2018-10-12 한국전자통신연구원 고화질 360도 vr 영상 처리 장치 및 방법
CN108810326B (zh) * 2017-04-27 2022-11-18 中兴通讯股份有限公司 一种拍照方法、装置及移动终端
US11900561B2 (en) 2020-11-25 2024-02-13 Electronics And Telecommunications Research Institute Deep learning-based image stitching method and apparatus
CN112511751B (zh) * 2020-12-04 2021-10-29 维沃移动通信（杭州）有限公司 拍摄方法及装置、电子设备和可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101136022A (zh) * 2006-09-01 2008-03-05 李筑 资源信息的全景制作和展示系统
US20080253685A1 (en) * 2007-02-23 2008-10-16 Intellivision Technologies Corporation Image and video stitching and viewing method and system
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
KR101214536B1 (ko) 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10075635B2 (en) 2015-01-15 2018-09-11 Electronics And Telecommunications Research Institute Apparatus and method for generating panoramic image based on image quality

Also Published As

Publication number Publication date
US9584723B2 (en) 2017-02-28
US20140240452A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
KR20140106927A (ko) 파노라마 생성 장치 및 방법
JP5138031B2 (ja) 深度関連情報を処理する方法、装置及びシステム
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
KR102009292B1 (ko) 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
KR101803712B1 (ko) 화상처리장치, 제어 방법, 프로그램 및 기록 매체
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
KR20130107840A (ko) 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
JP6216169B2 (ja) 情報処理装置、情報処理方法
KR20150021522A (ko) 입체 결상을 구현하는 방법 및 장치
JP6300346B2 (ja) Ｉｐ立体映像推定装置及びそのプログラム
KR101828805B1 (ko) 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치
US20130093839A1 (en) Apparatus and method of generating three-dimensional (3d) panoramic image
WO2014013673A1 (ja) 動画像生成装置および動画像生成方法
KR101549929B1 (ko) 깊이 지도를 생성하는 방법 및 장치
JP2009047497A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP6552256B2 (ja) 画像処理装置及び画像処理装置の制御方法
US20140098246A1 (en) Method, Apparatus and Computer-Readable Recording Medium for Refocusing Photographed Image
JP2015527804A (ja) 多視点映像の視差情報を利用して、映像の動きを推定する方法及びその装置
KR102082277B1 (ko) 파노라마 영상 생성 방법 및 그 장치
JP2009047498A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
KR101734655B1 (ko) 360°실사 vr콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 vfx 후반작업 적용 방법
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid