KR101913837B1 - 파노라마 영상 생성 방법 및 이를 적용한 영상기기 - Google Patents

파노라마 영상 생성 방법 및 이를 적용한 영상기기 Download PDF

Info

Publication number
KR101913837B1
KR101913837B1 KR1020110125738A KR20110125738A KR101913837B1 KR 101913837 B1 KR101913837 B1 KR 101913837B1 KR 1020110125738 A KR1020110125738 A KR 1020110125738A KR 20110125738 A KR20110125738 A KR 20110125738A KR 101913837 B1 KR101913837 B1 KR 101913837B1
Authority
KR
South Korea
Prior art keywords
image
panorama
panoramic
moving
content
Prior art date
Application number
KR1020110125738A
Other languages
English (en)
Other versions
KR20130059658A (ko
Inventor
최종윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110125738A priority Critical patent/KR101913837B1/ko
Priority to US13/618,344 priority patent/US9538085B2/en
Priority to EP12187185.9A priority patent/EP2654286A1/en
Priority to CN201210422341.9A priority patent/CN103139464B/zh
Publication of KR20130059658A publication Critical patent/KR20130059658A/ko
Application granted granted Critical
Publication of KR101913837B1 publication Critical patent/KR101913837B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

파노라마 영상 생성 방법 및 이를 적용한 영상기기를 제공함에 있다. 본 파노라마 영상 생성 방법은, 동영상 데이터에서 파노라마 영상을 생성할 수 있는 적어도 하나의 파노라마 구간을 추출하고, 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 디스플레이 화면에 디스플레이하며, 적어도 하나의 썸네일 이미지 중 하나가 선택되면, 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성한다. 이에 의해, 사용자가 촬영 당시 파노라마 영상을 획득하기 위한 목적으로 촬영하지 않아도, 추후에 동영상 데이터를 이용하여 파노라마 영상을 획득할 수 있게 된다.

Description

파노라마 영상 생성 방법 및 이를 적용한 영상기기{Method for providing Panoramic image and imaging device thereof}
본 발명은 파노라마 영상 생성 방법 및 이를 적용한 영상기기에 관한 것으로, 더욱 상세하게는 동영상 데이터를 이용하여 파노라마 영상을 생성하는 파노라마 영상 생성 방법 및 이를 적용한 영상기기에 관한 것이다.
영상기기의 발전 및 영상 처리 방법의 발전에 따라, 사용자는 영상기기를 이용하여 다양한 영상이 획득할 수 있게 되었다. 특히, 사용자는 광범위한 범위를 촬영할 수 있는 초광각 렌즈를 이용하거나 파노라마 촬영 모드를 이용하여 파노라마 영상을 획득할 수 있게 되었다.
그러나, 초광각 렌즈는 구매 비용이 매우 비싸고, 모든 영상기기에 파노라마 촬영 모드가 지원되지 않으므로, 사용자는 쉽게 파노라마 영상을 획득할 수가 없다.
또한, 파노라마 영상을 획득하기 위해서는 처음 영상을 촬영할 때부터 파노라마를 촬영한 목적을 가지고 일정한 조건(예를 들어, 방향, 노출 등)으로 촬영한 후 촬영된 각각의 영상을 합성하여 파노라마 영상을 생성하여야 했다.
따라서, 사용자가 촬영 당시 파노라마 영상을 촬영하기 위한 목적으로 촬영을 수행하지 않았다면, 추후에 파노라마 영상을 획득하기 어려운 문제점이 존재한다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로 본 발명의 목적은 기 촬영된 동영상 데이터에서 파노라마 영상을 생성할 수 있는 파노라마 구간을 추출하여 파노라마 영상을 생성하는 파노라마 영상 생성 방법 및 이를 적용한 영상기기를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 기기의 파노라마 영상 생성 방법은, 동영상 데이터에서 파노라마 영상을 생성할 수 있는 적어도 하나의 파노라마 구간을 추출하는 단계; 상기 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 디스플레이 화면에 디스플레이하는 단계; 및 상기 적어도 하나의 썸네일 이미지 중 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성하는 단계;를 포함한다.
그리고, 상기 추출하는 단계는, 상기 동영상 데이터를 구성하는 영상 프레임의 모션 벡터 정보를 분석하고, 상기 분석된 모션 벡터 정보를 통해 영상의 움직임 방향을 판단하여 상기 적어도 하나의 파노라마 구간을 추출할 수 있다.
또한, 상기 추출하는 단계는, 상기 동영상 데이터를 구성하는 영상 프레임에서 특징점을 추출하고, 상기 특징점의 이동 방향에 따라 영상의 움직임을 판단하여 상기 적어도 하나의 파노라마 구간을 추출할 수 있다.
그리고, 상기 썸네일 이미지는, 상기 파노라마 구간의 첫 영상 프레임일 수 있다.
또한, 상기 생성하는 단계는, 상기 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 상기 파노라마 영상을 생성할 수 있다.
그리고, 상기 생성하는 단계는, 상기 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건이 변경되면, 상기 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 상기 산출된 평균값을 가지는 픽셀을 이용하여 상기 파노라마 영상을 생성할 수 있다.
또한, 상기 파노라마 영상이 생성되면, 상기 파노라마 영상 데이터 및 상기 파노라마 영상 데이터의 메타 데이터는 상기 동영상 데이터에 함께 저장하는 단계;를 더 포함할 수 있다.
그리고, 상기 파노라마 영상이 생성되면, 상기 파노라마 영상 데이터 및 상기 파노라마 영상 데이터의 메타 데이터를 상기 동영상 데이터와 별도로 저장하는 단계;를 더 포함할 수 있다.
또한, 상기 생성된 파노라마 영상이 포함된 파노라마 영상 리스트를 디스플레이하는 단계;를 더 포함할 수 있다.
그리고, 상기 파노라마 영상 리스트에서 파노라마 영상이 선택되면, 상기 동영상 데이터에서 상기 선택된 파노라마 영상에 대응되는 파노라마 구간부터 재생하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상기기는, 디스플레이부; 및 동영상 데이터에서 파노라마 영상을 생성할 수 있는 적어도 하나의 파노라마 구간을 추출하고, 상기 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 상기 디스플레이부에 디스플레이하며, 상기 적어도 하나의 썸네일 이미지 중 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 동영상 데이터를 구성하는 영상 프레임의 모션 벡터 정보를 분석하고, 상기 분석된 모션 벡터 정보를 통해 영상의 움직임 방향을 판단하여 상기 적어도 하나의 파노라마 구간을 추출할 수 있다.
또한, 상기 제어부는, 상기 동영상 데이터를 구성하는 영상 프레임에서 특징점을 추출하고, 상기 특징점의 이동 방향에 따라 영상의 움직임을 판단하여 상기 적어도 하나의 파노라마 구간을 추출할 수 있다.
그리고, 상기 썸네일 이미지는, 상기 파노라마 구간의 첫 영상 프레임일 수 있다.
또한, 상기 제어부는, 상기 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 상기 파노라마 영상을 생성할 수 있다.
그리고, 상기 제어부는, 상기 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건이 변경되면, 상기 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 상기 산출된 평균값을 가지는 픽셀을 이용하여 상기 파노라마 영상을 생성할 수 있다.
또한, 저장부;를 더 포함하며, 상기 제어부는, 상기 파노라마 영상이 생성되면, 상기 파노라마 영상 데이터 및 상기 파노라마 영상 데이터의 메타 데이터는 상기 동영상 데이터에 함께 상기 저장부에 저장하도록 제어할 수 있다.
그리고, 저장부;를 더 포함하며, 상기 제어부는, 상기 파노라마 영상이 생성되면, 상기 파노라마 영상 데이터 및 상기 파노라마 영상 데이터의 메타 데이터를 상기 동영상 데이터와 별도로 상기 저장부에 저장할 수 있다.
또한, 상기 제어부는, 상기 생성된 파노라마 영상이 포함된 파노라마 영상 리스트를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 파노라마 영상 리스트에서 파노라마 영상이 선택되면, 상기 동영상 데이터에서 상기 선택된 파노라마 영상에 대응되는 파노라마 구간부터 재생할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 따르면, 사용자가 촬영 당시 파노라마 영상을 획득하기 위한 목적으로 촬영하지 않아도, 추후에 동영상 데이터를 이용하여 파노라마 영상을 획득할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 영상기기의 구성을 나타내는 블럭도,
도 2 내지 7은 본 발명의 일 실시예에 따른, 동영상 데이터를 이용하여 파노라마 영상을 생성하는 방법 및 생성된 파노라마 영상을 이용하여 동영상 데이터를 재생하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른, 동영상 데이터를 이용하여 파노라마 영상을 생성하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 영상기기의 구성을 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 영상기기(100)는 촬영부(110), 영상 처리부(120), 디스플레이부(130), UI 생성부(140), 저장부(150), 사용자 입력부(160) 및 제어부(170)를 포함한다. 이때, 본 발명의 일 실시 예에 따른, 영상기기(100)는 디지털 카메라일 수 있으나, 이에 한정되지 않고, 촬영부가 존재하는 휴대폰, PDA, 태블릿 PC, 캠코더, TV 등으로 구현할 수 있다.
촬영부(110)는 도면에 도시되지 않은 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 이미지 센서 및 ADC(Analog/Digital Converter)를 포함한다. 셔터는 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. CCD 이미지 센서는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기 신호에 맞추어 출력한다. 영상기기(100)의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD 이미지 센서에 의해 이루어진다. CCD 이미지 센서를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD 이미지 센서로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다.
한편, 촬영부(110)가 상술한 바와 같이 영상을 촬영하는 것은 일 실시 예에 불과할 뿐, 다른 방법에 의해 영상을 촬영할 수 있다. 예를 들어, CCD 이미지 센서가 아닌가 아닌 CMOS(Complementary Metal Oxide Semiconductor)이미지 센서를 이용하여 영상을 촬영할 수 있다.
영상 처리부(120)는 제어부(170)의 제어에 의해 디지털 변환된 RAW 데이터를 디스플레이 가능하도록 신호처리 한다. 영상 처리부(120)는 온도변화에 민감한 CCD 이미지 센서 및 CFA 필터에서 발생하는 암 전류에 의한 블랙레벨(Black level)을 제거한다. 영상 처리부(120)는 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행한다. 영상 처리부(120)는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행한다. 영상 처리부(12)는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다. 영상 처리부(120)는 노이즈가 제거된 Y, U, V 신호를 압축 및 신호 처리하여 JPEG 파일을 생성하고, 생성된 JPEG 파일은 디스플레이부(130)에 디스플레이되고, 저장부(150)에 저장된다.
한편, 영상 처리부(120)가 상술한 바와 같이 영상을 처리하는 것은 일 실시 예에 불과할 뿐, 다른 방법에 의해 영상을 처리할 수 있다.
디스플레이부(130)는 영상 처리부(120)에서 처리된 영상 데이터 또는 저장부(150)에 저장된 영상 데이터를 디스플레이한다. 또한, 디스플레이부(130)는 UI 생성부(140)에 의해 생성된 UI를 디스플레이한다. 특히, 디스플레이부(130)는 제어부(170)의 제어에 의해, 복수의 영상 데이터에 각각 대응하는 복수의 썸네일 이미지가 포함된 썸네일 이미지 리스트를 디스플레이할 수 있다.
UI 생성부(140)는 제어부(170)의 제어에 의해 OSD(On Screen Display) 형태의 UI를 생성한다.
저장부(150)는 영상기기(100)를 구동하기 위한 프로그램 및 데이터가 저장되어 있으며, 영상 처리부(120)에서 처리된 영상 데이터를 저장한다.
사용자 입력부(160)는 사용자의 명령을 입력받는다. 이때, 사용자 입력부(160)는 영상기기(100)의 외부에 구비된 셔터, 버튼 및 터치 스크린 등으로 구현될 수 있다.
제어부(170)는 사용자 입력부(160)를 통해 입력된 사용자 명령에 따라 영상기기(100)의 전반적인 동작을 제어한다. 특히, 제어부(170)는 동영상 데이터에서 파노라마 영상을 생성할 수 있는 적어도 하나의 파노라마 구간을 추출한다. 그리고, 제어부(170)는 추출된 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 디스플레이부에 디스플레이한다. 그리고, 사용자 입력부(160)를 통해 적어도 하나의 썸네일 이미지 중 하나가 선택되면, 제어부(170)는 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성한다.
구체적으로, 제어부(170)는 사용자 입력부(160)를 통해 입력된 사용자 명령에 따라 동영상 데이터를 재생한다.
그리고, 사용자 입력부(160)를 통해 파노라마 영상을 생성할 수 있는 영상 구간(이하 "파노라마 구간"라고 함)을 추출하기 위한 사용자 명령이 입력되면, 제어부(170)는 동영상 데이터에서 적어도 하나의 파노라마 구간을 추출한다. 여기서, 파노라마 구간은 촬영된 영상이 일정한 방향으로 이동되어 파노라마 영상을 생성할 수 있는 구간을 말한다.
이때, 제어부(170)는 동영상 데이터의 모션 벡터 정보를 이용하여 파노라마 구간을 추출할 수 있다. 예를 들어, 제어부(170)는 동영상 데이터에서 도 2에 도시된 바와 같은 모션 벡터 정보를 분석한다. 그리고, 제어부(170)는 모션 벡터 정보를 이용하여 영상의 움직임을 분석한다. 이때, 영상의 움직임은 도 3에 도시된 바와 같은 특정 방향의 영상의 이동, 영상의 줌인 및 영상의 줌아웃이 있을 수 있다. 그리고, 영상의 움직임에는 영상이 움직이지 않는 정지 영상이 포함될 수 있다.
모션 벡터 정보를 이용하여 영상 움직임을 분석한 결과, 동영상 중 일정 구간에서 영상의 움직임 일정한 방향(예를 들어, 좌우 이동, 상하 이동 등)으로 움직였을 때, 제어부(170)는 해당 구간을 파노라마 구간으로 추출한다.
한편, 상술한 바와 같이 동영상 데이터의 모션 벡터 정보를 이용하여 파노라마 구간을 추출할 수 있으나, 이는 일 실시예에 불과할 뿐, 제어부(170)가 특징점의 이동을 분석하여 파노라마 구간을 추출할 수 있다. 예를 들어, 제어부(170)는 동영상 데이터를 압축 해제하고, 각각의 영상에 대한 특징점을 추출하며, 해당 특징점의 이동 방향을 분석하여 파노라마 구간을 추출할 수 있다. 이 경우, 제어부(170)는 영상을 복수의 블럭으로 구분하고, 구분된 영역에 포함된 특징점을 추출할 수 있으며, 전체 영역에서도 특징점을 추출할 수 있다. 그리고, 제어부(170)는 추출된 특징점을 대상으로 주변 픽셀과의 차이값을 이용하여 영상 프레임의 움직임을 분석할 수 있다.
상술한 바와 같이, 파노라마 구간이 추출되면, 제어부(170)는 추출된 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 디스플레이 부(130)에 디스플레이한다. 이때, 썸네일 이미지는 파노라마 구간의 첫 영상 프레임일 수 있다. 예를 들어, 제어부(170)는 추출된 파노라마 구간에 대응되는 썸네일 이미지를 도 4에 도시된 바와 같이, 동영상 화면의 하단에 썸네일 이미지 리스트(410)에 디스플레이한다. 이때, 썸네일 이미지 리스트(410)는 제1 파노라마 구간에 대응되는 제1 썸네일 이미지(411), 제2 파노라마 구간에 대응되는 제2 썸네일 이미지(412) 및 제3 파노라마 구간에 대응되는 제3 썸네일 이미지(413)를 포함한다.
그리고, 사용자 입력부(160)를 통해 썸네일 이미지 리스트 중에서 썸네일 이미지가 선택되면, 제어부(170)는 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상을 생성한다. 예를 들어, 사용자 입력부(160)를 통해 썸네일 이미지 리스트 중에서 제3 썸네일 이미지(413)가 선택되면, 제어부(170)는 도 5에 도시된 바와 같이, 파노라마 영상을 생성할지 여부를 문의하는 UI(510)를 디스플레이하고, 제3 썸네일 이미지(413)를 하이라이트하여 디스플레이한다. 그리고, UI(510)를 통헤 파노라마 영상을 생성하는 사용자 명령이 입력되면, 제어부(170)는 도 6에 도시된 바와 같이, 제3 썸네일 이미지(413)에 대응되는 파노라마 구간에서 파노라마 영상으로 생성한다.
구체적으로, 제어부(170)는 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 파노라마 영상을 생성할 수 있다. 특히, 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건(예를 들어, AF,AE 등)이 변경되면, 제어부(170)는 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 산출된 평균값을 가지는 픽셀을 이용하여 파노라마 영상을 생성할 수 있다.
그리고, 제어부(170)는 생성된 파노라마 영상을 저장부(150) 또는 외부의 데이터베이스에 저장할 수 있다. 예를 들어, 제어부(170)는 생성된 파노라마 영상 및 파노라마 영상에 대한 정보를 동영상 데이터의 메타 데이터를 저장하는 저장부(150)에 저장할 수 있다. 또한, 제어부(170)는 생성된 파노라마 영상 및 파노라마 영상에 대한 정보를 동영상 데이터 내부에 저장할 수 있다. 또한, 제어부(170)는 파노라마 영상 자체를 별도의 영상으로 저장할 수 있으며, 파노라마 영상의 정보는 동영상 데이터 내부 혹은 저장부(150)에 저장할 수 있다. 이때, 파노라마 영상 정보는 동영상 데이터 중에서 파노라마 구간이 시작되는 시간, 끝나는 시간, 파노라마 영상의 폭, 넓이, 데이터 크기 및 영상 데이터가 포함될 수 있다.
파노라마 영상이 생성된 후, 사용자 입력부(160)를 통해 파노라마 영상 리스트 생성 명령이 입력되면, 제어부(170)는 생성된 복수 개의 파노라마 영상이 포함된 파노라마 영상 리스트를 생성하여 디스플레이한다. 예를 들어, 사용자 입력부(160)를 통해 파노라마 영상 리스트 생성 명령이 입력되면, 제어부(170)는 도 7에 도시된 바와 같이, 제1 파노라마 영상 내지 제4 파노라마 영상(710 내지 740)이 포함된 파노라마 영상 리스트를 디스플레이할 수 있다.
그리고, 파노라마 영상 리스트에서 하나의 파노라마 영상이 선택되면, 제어부(170)는 선택된 파노라마 영상에 대응되는 파노라마 구간부터 동영상을 재생한다. 예를 들어, 도 7에 도시된 바와 같이, 사용자 입력부(160)를 통해 제3 파노라마 영상(730)이 선택되면, 제어부(170)는 제3 파노라마 영상(730)에 대응되는 제3 파노라마 구간부터 동영상을 재생한다.
상술한 바와 같이, 사용자가 촬영 당시 파노라마 영상을 획득하기 위한 목적으로 촬영하지 않아도, 추후에 동영상 데이터를 이용하여 파노라마 영상을 획득할 수 있다. 그리고, 사용자는 생성된 파노라마 영상을 이용하여 동영상 데이터를 재생할 수 있게 된다.
이하에서는 도 8을 참조하여, 동영상 데이터를 이용하여 파노라마 영상을 생성하는 방법에 대해 설명하도록 한다.
우선, 영상기기(100)는 동영상 데이터에서 파노라마 구간을 추출한다(S810). 여기서, 파노라마 구간은 촬영된 영상이 일정한 방향으로 이동되어 파노라마 영상을 생성할 수 있는 구간을 말한다. 이때, 영상기기(100)는 동영상 데이터의 모션 벡터 영상 또는 특징점의 이동 방향을 검출하여 파노라마 구간을 추출한다.
그리고, 영상기기(100)는 추출된 파노라마 구간에 대응되는 썸네일 이미지를 디스플레이한다(S820). 이때, 영상기기(100)는 도 4에 도시된 바와 같이, 추출된 파노라마 구간에 대응되는 썸네일 이미지를 디스플레이되고 있는 동영상 화면의 하단에 디스플레이할 수 있다.
그리고, 영상기기(100)는 썸네일 이미지가 선택되었는지 여부를 판단한단(S830).
썸네일 이미지가 선택되면(S830-Y), 영상기기(100)는 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성한다(S840). 구체적으로, 구체적으로, 영상기기(100)는 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 파노라마 영상을 생성할 수 있다. 특히, 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건(예를 들어, AF,AE 등)이 변경되면, 영상기기(100)는 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 산출된 평균값을 가지는 픽셀을 이용하여 파노라마 영상을 생성할 수 있다. 그리고, 영상기기(100)는 생성된 파노라마 영상을 저장부(150)에 저장한다.
그리고, 영상기기(100)는 파노라마 영상 리스트 생성 명령이 입력되었는지 여부를 판단한다(S850).
파노라마 영상 리스트 생성 명령이 입력되면(S850-Y), 영상기기(100)는 파노라마 영상 리스트를 디스플레이한다(S860). 이때, 파노라마 영상 리스트는 생성된 복수의 파노라마 영상이 포함된다.
그리고, 영상기기(100)는 파노라마 영상 리스트에서 파노라마 영상이 선택되었는지 여부를 판단한다(S870).
파노라마 영상이 선택되면, 영상기기(100)는 선택된 파노라마 영상에 대응되는 파노라마 구간부터 동영상 데이터를 재생한다(S880).
상술한 바와 같은 방법으로 사용자는 촬영 당시 파노라마 영상을 획득하기 위한 목적으로 촬영하지 않아도, 추후에 동영상 데이터를 이용하여 파노라마 영상을 획득할 수 있다. 그리고, 사용자는 생성된 파노라마 영상을 이용하여 동영상 데이터를 재생할 수 있다.
상술한 바와 같은 다양한 실시 예에 따른 파노라마 이미지 생성 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 촬영부 120: 영상 처리부
130: 디스플레이부 140: UI 생성부
150: 저장부 160: 사용자 입력부
170: 제어부

Claims (20)

  1. 영상기기의 파노라마 영상 생성 방법에 있어서,
    동영상 콘텐츠를 상기 영상기기의 디스플레이에 디스플레이하는 단계;
    상기 동영상 콘텐츠에서 서로 다른 파노라마 영상을 각각 생성할 수 있는 복수의 파노라마 구간을 추출하는 단계;
    상기 복수의 파노라마 구간 각각에 대응되는 복수의 썸네일 이미지를 상기 동영상 콘텐츠의 일 영역에 디스플레이하는 단계; 및
    상기 복수의 썸네일 이미지 중 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성하는 단계;를 포함하는 파노라마 영상 생성 방법.
  2. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 동영상 콘텐츠를 구성하는 영상 프레임의 모션 벡터 정보를 분석하고, 상기 분석된 모션 벡터 정보를 통해 영상의 움직임 방향을 판단하여 상기 복수의 파노라마 구간을 추출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  3. 제2항에 있어서,
    상기 추출하는 단계는,
    상기 동영상 콘텐츠를 구성하는 영상 프레임에서 특징점을 추출하고, 상기 특징점의 이동 방향에 따라 영상의 움직임을 판단하여 상기 복수의 파노라마 구간을 추출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  4. 제1항에 있어서,
    상기 썸네일 이미지는,
    상기 파노라마 구간의 첫 영상 프레임인 것을 특징으로 하는 파노라마 영상 생성 방법.
  5. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  6. 제5항에 있어서,
    상기 생성하는 단계는,
    상기 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건이 변경되면, 상기 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 상기 산출된 평균값을 가지는 픽셀을 이용하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  7. 제1항에 있어서,
    상기 파노라마 영상이 생성되면, 상기 파노라마 영상 콘텐츠 및 상기 파노라마 영상 콘텐츠의 메타 데이터는 상기 동영상 콘텐츠에 함께 저장하는 단계;를 더 포함하는 파노라마 영상 생성 방법.
  8. 제7항에 있어서,
    상기 파노라마 영상이 생성되면, 상기 파노라마 영상 콘텐츠 및 상기 파노라마 영상 콘텐츠의 메타 데이터를 상기 동영상 콘텐츠와 별도로 저장하는 단계;를 더 포함하는 파노라마 영상 생성 방법.
  9. 제1항에 있어서,
    상기 생성된 파노라마 영상이 포함된 파노라마 영상 리스트를 디스플레이하는 단계;를 더 포함하는 파노라마 영상 생성 방법.
  10. 제9항에 있어서,
    상기 파노라마 영상 리스트에서 파노라마 영상이 선택되면, 상기 동영상 콘텐츠에서 상기 선택된 파노라마 영상에 대응되는 파노라마 구간부터 재생하는 단계;를 더 포함하는 파노라마 영상 생성 방법.
  11. 영상기기에 있어서,
    디스플레이부; 및
    상기 디스플레이부에 디스플레이된 동영상 콘텐츠에서 서로 다른 파노라마 영상을 각각 생성할 수 있는 복수의 파노라마 구간을 추출하고, 상기 복수의 파노라마 구간 각각에 대응되는 복수의 썸네일 이미지를 상기 동영상 콘텐츠의 일 영역에 디스플레이하며, 상기 복수의 썸네일 이미지 중 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성하는 제어부;를 포함하는 영상기기.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 동영상 콘텐츠를 구성하는 영상 프레임의 모션 벡터 정보를 분석하고, 상기 분석된 모션 벡터 정보를 통해 영상의 움직임 방향을 판단하여 상기 복수의 파노라마 구간을 추출하는 것을 특징으로 하는 영상기기.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 동영상 콘텐츠를 구성하는 영상 프레임에서 특징점을 추출하고, 상기 특징점의 이동 방향에 따라 영상의 움직임을 판단하여 상기 복수의 파노라마 구간을 추출하는 것을 특징으로 하는 영상기기.
  14. 제11항에 있어서,
    상기 썸네일 이미지는,
    상기 파노라마 구간의 첫 영상 프레임인 것을 특징으로 하는 영상기기.
  15. 제11항에 있어서,
    상기 제어부는,
    상기 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 영상기기.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건이 변경되면, 상기 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 상기 산출된 평균값을 가지는 픽셀을 이용하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 영상기기.
  17. 제11항에 있어서,
    저장부;를 더 포함하며,
    상기 제어부는,
    상기 파노라마 영상이 생성되면, 상기 파노라마 영상 콘텐츠 및 상기 파노라마 영상 콘텐츠의 메타 데이터는 상기 동영상 콘텐츠에 함께 상기 저장부에 저장하도록 제어하는 것을 특징으로 하는 영상기기.
  18. 제17항에 있어서,
    저장부;를 더 포함하며,
    상기 제어부는,
    상기 파노라마 영상이 생성되면, 상기 파노라마 영상 콘텐츠 및 상기 파노라마 영상 콘텐츠의 메타 데이터를 상기 동영상 콘텐츠와 별도로 상기 저장부에 저장하는 것을 특징으로 하는 영상기기.
  19. 제11항에 있어서,
    상기 제어부는,
    상기 생성된 파노라마 영상이 포함된 파노라마 영상 리스트를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상기기.
  20. 제19항에 있어서,
    상기 제어부는,
    상기 파노라마 영상 리스트에서 파노라마 영상이 선택되면, 상기 동영상 콘텐츠에서 상기 선택된 파노라마 영상에 대응되는 파노라마 구간부터 재생하는 것을 특징으로 하는 영상기기.
KR1020110125738A 2011-11-29 2011-11-29 파노라마 영상 생성 방법 및 이를 적용한 영상기기 KR101913837B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110125738A KR101913837B1 (ko) 2011-11-29 2011-11-29 파노라마 영상 생성 방법 및 이를 적용한 영상기기
US13/618,344 US9538085B2 (en) 2011-11-29 2012-09-14 Method of providing panoramic image and imaging device thereof
EP12187185.9A EP2654286A1 (en) 2011-11-29 2012-10-04 Method of providing panoramic image and imaging device thereof
CN201210422341.9A CN103139464B (zh) 2011-11-29 2012-10-29 提供全景图像的方法及其成像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110125738A KR101913837B1 (ko) 2011-11-29 2011-11-29 파노라마 영상 생성 방법 및 이를 적용한 영상기기

Publications (2)

Publication Number Publication Date
KR20130059658A KR20130059658A (ko) 2013-06-07
KR101913837B1 true KR101913837B1 (ko) 2018-11-01

Family

ID=48466492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110125738A KR101913837B1 (ko) 2011-11-29 2011-11-29 파노라마 영상 생성 방법 및 이를 적용한 영상기기

Country Status (4)

Country Link
US (1) US9538085B2 (ko)
EP (1) EP2654286A1 (ko)
KR (1) KR101913837B1 (ko)
CN (1) CN103139464B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8634515B2 (en) * 2011-04-25 2014-01-21 Vatech Co., Ltd. Method and apparatus for obtaining panoramic image
EP3085074B1 (en) 2013-12-19 2020-02-26 Intel Corporation Bowl-shaped imaging system
KR102206244B1 (ko) 2014-08-27 2021-01-22 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2016032054A1 (en) * 2014-08-27 2016-03-03 Lg Electronics Inc. Display device and method of controlling therefor
KR102222073B1 (ko) * 2014-08-29 2021-03-04 삼성전자주식회사 촬영 방법 및 전자 장치
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US10027887B1 (en) 2015-01-30 2018-07-17 Google Llc Dynamic 3D panoramas
KR102367828B1 (ko) * 2015-06-05 2022-02-25 삼성전자주식회사 이미지 운용 방법 및 이를 지원하는 전자 장치
JP2017212698A (ja) * 2016-05-27 2017-11-30 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
CN107341710A (zh) * 2017-06-12 2017-11-10 武汉渡人网络技术有限公司 一种三维全景信息互动影息技术
KR102031332B1 (ko) * 2018-01-22 2019-10-14 네이버 주식회사 내비게이션 서비스 제공 방법 및 그 장치
CN110796690B (zh) * 2018-08-01 2023-04-07 株式会社理光 图像匹配方法和图像匹配装置
CN109814733B (zh) * 2019-01-08 2022-11-08 百度在线网络技术（北京）有限公司 基于输入的推荐信息生成方法和装置
JP7350511B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
CN111988520B (zh) * 2020-07-07 2021-08-13 安徽文香科技有限公司 一种画面切换方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030107586A1 (en) * 1995-09-26 2003-06-12 Hideo Takiguchi Image synthesization method
US20040125133A1 (en) * 2002-12-30 2004-07-01 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive network sharing of digital video content
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
US20100097443A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
JPH10336705A (ja) * 1997-06-02 1998-12-18 Canon Inc 複眼カメラ
JP4154012B2 (ja) 1997-10-30 2008-09-24 株式会社日立製作所 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置
GB0227565D0 (en) 2002-11-26 2002-12-31 British Telecomm Method and system for generating panoramic images from video sequences
CN100337473C (zh) * 2004-09-30 2007-09-12 中国科学院计算技术研究所 运动视频的全景图合成方法
JP4325541B2 (ja) * 2004-11-16 2009-09-02 ソニー株式会社 画像処理装置、再生画像処理装置、画像処理方法及び再生画像処理装置
US7594177B2 (en) * 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
US7932919B2 (en) * 2006-04-21 2011-04-26 Dell Products L.P. Virtual ring camera
CN101627623A (zh) * 2007-08-24 2010-01-13 索尼株式会社 图像处理设备、运动图像播放设备及其处理方法和程序
JP2009077363A (ja) 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP2009151896A (ja) * 2007-12-21 2009-07-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US8897603B2 (en) 2009-08-20 2014-11-25 Nikon Corporation Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030107586A1 (en) * 1995-09-26 2003-06-12 Hideo Takiguchi Image synthesization method
US20040125133A1 (en) * 2002-12-30 2004-07-01 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive network sharing of digital video content
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
US20100097443A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image

Also Published As

Publication number Publication date
US20130135428A1 (en) 2013-05-30
EP2654286A1 (en) 2013-10-23
CN103139464A (zh) 2013-06-05
KR20130059658A (ko) 2013-06-07
US9538085B2 (en) 2017-01-03
CN103139464B (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
KR101913837B1 (ko) 파노라마 영상 생성 방법 및 이를 적용한 영상기기
CN106576143B (zh) 图像拍摄装置和图像拍摄方法
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
KR101889932B1 (ko) 촬영 장치 및 이에 적용되는 촬영 방법
WO2016011859A1 (zh) 拍摄光绘视频的方法、移动终端和计算机存储介质
JP2010213213A (ja) 撮像装置及び撮像方法
JP6574878B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP4605217B2 (ja) 撮影装置及びそのプログラム
US20120274780A1 (en) Image apparatus, image display apparatus and image display method
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
JP2010147786A (ja) 撮像装置及び画像処理方法
KR101822462B1 (ko) Ｕｉ 제공 방법 및 이를 적용한 영상 촬영 장치
US8681235B2 (en) Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus
US9277120B2 (en) Image capturing apparatus provided with a peaking function, control method therefor, and storage medium
JP2008005540A (ja) 画像処理装置及び方法
KR20130015422A (ko) 비교 영상 제공 방법 및 이를 적용한 영상 촬영 장치
JP5146015B2 (ja) 撮像装置及び撮像方法
KR101812585B1 (ko) Ｕｉ 제공 방법 및 이를 적용한 영상 촬영 장치
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2008072501A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP2021002803A (ja) 画像処理装置、その制御方法、プログラム
JP6632385B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR101467870B1 (ko) 디지털 영상 촬영 장치, 그 제어방법 및 이를 실행시키기위한 프로그램을 저장한 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant