KR101843336B1 - 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치 - Google Patents

최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR101843336B1
KR101843336B1 KR1020170082454A KR20170082454A KR101843336B1 KR 101843336 B1 KR101843336 B1 KR 101843336B1 KR 1020170082454 A KR1020170082454 A KR 1020170082454A KR 20170082454 A KR20170082454 A KR 20170082454A KR 101843336 B1 KR101843336 B1 KR 101843336B1
Authority
KR
South Korea
Prior art keywords
omnidirectional image
condition
processing apparatus
image processing
omnidirectional
Prior art date
Application number
KR1020170082454A
Other languages
English (en)
Inventor
김용국
조성래
김용진
김준세
Original Assignee
링크플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 링크플로우 주식회사 filed Critical 링크플로우 주식회사
Priority to KR1020170082454A priority Critical patent/KR101843336B1/ko
Priority to CN201780092500.4A priority patent/CN110892705A/zh
Priority to PCT/KR2017/014516 priority patent/WO2019004532A1/ko
Priority to US16/488,657 priority patent/US10917566B2/en
Priority to JP2019571495A priority patent/JP2020526096A/ja
Priority to EP17916201.1A priority patent/EP3648447A1/en
Application granted granted Critical
Publication of KR101843336B1 publication Critical patent/KR101843336B1/ko

Links

Images

Classifications

    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/225—
    • H04N5/247—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 최적 상황 판단 촬상 방법은 전방향 영상 처리 장치가 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하는 단계와 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는 경우, 전방향 영상 처리 장치가 영상 촬상을 수행하여 조건 만족 전방향 영상을 생성하는 단계를 포함할 수 있되, 최적 촬영 상황 조건은 전방향 영상 처리 장치의 기울기 조건을 포함할 수 있다.

Description

최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치{Method for determining the best condition for filming and apparatus for performing the method}
본 발명은 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 영상 처리 장치가 최적 상황에 있을 때 촬상을 하도록 제어함으로써 최적의 영상만을 사용자에게 제공하기 위한 방법 및 장치에 관한 것이다.
전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.
전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.
전방향 영상 장치가 흔들릴 경우, 전방향 영상 촬상 장치에 의해 생성된 영상 중 일부는 흔들리는 영상일 수 있다. 따라서, 사용자에게 최적의 영상을 제공하기 위한 방법이 개시된다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 전방향 영상 처리 장치가 최적 상황에 있을 때 촬상을 하도록 제어함으로써 최적의 영상만을 사용자에게 제공하는 것을 다른 목적으로 한다.
또한, 본 발명은, 전방향 영상 처리 장치에 의해 최적 상황에서 촬상된 최적 영상을 기반으로 자연스러운 전방향 영상을 생성하여 사용자에게 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 최적 상황 판단 촬상 방법은 전방향 영상 처리 장치가 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하는 단계와 상기 현재 촬영 상황이 상기 최적 촬영 상황 조건을 만족하는 경우, 상기 전방향 영상 처리 장치가 영상 촬상을 수행하여 조건 만족 전방향 영상을 생성하는 단계를 포함할 수 있되, 상기 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 기울기 조건을 포함할 수 있다.
본 발명의 다른 태양에 따르면, 최적 상황 판단 촬상을 수행하는 전방향 영상 처리 장치는 외부 장치와 통신을 수행하기 위해 구현된 통신부와 상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함할 수 있되, 상기 프로세서는 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하고, 상기 현재 촬영 상황이 상기 최적 촬영 상황 조건을 만족하는 경우, 영상 촬상을 수행하여 조건 만족 전방향 영상을 생성하도록 구현될 수 있되, 상기 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 기울기 조건을 포함할 수 있다.
본 발명에 의하면, 전방향 영상 처리 장치가 최적 상황에 있을 때 촬상을 하도록 제어함으로써 최적의 영상만을 사용자에게 제공할 수 있다.
또한, 본 발명에 의하면, 전방향 영상 처리 장치에 의해 최적 상황에서 촬상된 최적 영상을 기반으로 자연스러운 전방향 영상을 생성하여 사용자에게 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 최적 상환 판단 촬상 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 최적 촬영 상황을 설정하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 최적 촬영 상황을 설정하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 전방향 영상 생성 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 전방향 영상 생성 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 전방향 영상 처리 장치의 동작을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예의 영상 처리 장치는 전방향 영상 처리 장치를 포함할 수 있다. 전방향 영상 처리 장치는 전방향(또는 360도 영상)을 촬상할 수 있는 전방향 카메라(360도 카메라)를 포함할 수 있다.
또한, 이하, 본 발명의 실시예에서 개시되는 영상 정보, 동영상 정보는 전방향 영상(또는 360도 영상)을 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 1에서는 전방향 영상 처리 장치의 구조가 개시된다.
도 1을 참조하면, 전방향 영상 처리 장치(100)는 웨어러블 구조로 사용자의 목에 걸 수 있는 목걸이와 유사한 형상일 수 있다. 전방향 영상 처리 장치(100)는 도 1에서와 같이 일면의 개방된 목걸이의 형상일 수도 있고, 일면이 개방되지 않은 목걸이의 형상일 수도 있다. 이하, 본 발명의 실시예에서는 전방향 영상 처리 장치(100)가 일면이 개방된 U자 형상을 가지는 것으로 가정한다. 이러한 U자 형상의 전방향 영상 처리 장치(100)는 사용자의 목에 웨어러블 장치(wearable device) 형태로 걸려 전방향 영상을 촬영할 수 있다.
본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치(100)가 목걸이 형태(또는 일면이 개방된 목걸이 형태, U자 형태)로서 사용자의 목에 걸리는 경우가 가정된다. 하지만, 전방향 영상 처리 장치(100)는 단순히 사용자의 목에 거는 형태가 아닐 수도 있다. 예를 들어, 전방향 영상 처리 장치(100)는 걸거나/부착 가능한 다양한 형태로 사용자의 다른 신체 부위 또는 외부 물체(또는 객체)/장치/구조물 등에 설치되어 전방향 영상을 획득할 수도 있다.
사용자는 웨어러블 장치로서 구현된 전방향 영상 처리 장치(100)를 목에 걸고 양손이 자유로운 상태에서 전방향 영상의 생성하기 위한 복수의 영상을 획득할 수 있다.
전방향 영상 처리 장치(100)는 복수개의 영상 촬상부를 포함할 수 있다. 복수개의 영상 촬상부 각각은 전방향 영상 처리 장치에 특정 간격(또는 미리 설정된 간격)으로 위치하여 화각/촬상선에 따른 영상을 개별적으로 촬상할 수 있다. 복수개의 영상 촬상부 각각의 위치는 전방향 영상 처리 장치(100)에서 고정적일 수도 있으나, 복수개의 영상 촬상부 각각은 이동 가능하고, 복수개의 영상 촬상부 각각의 위치는 변할 수도 있다.
예를 들어, 전방향 영상 처리 장치(100)는 3개의 영상 촬상부를 포함할 수 있고, 3개의 영상 촬상부는 일정한 화각(field of view)(예를 들어, 120도~180도)으로 전방향 영상을 촬상할 수 있다. 3개의 영상 촬상부는 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130)일 수 있다.
이하, 설명의 편의상 3개의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함된 구조가 개시된다. 하지만, 3개가 아닌 복수개(예를 들어, 2, 4, 5, 6개 등)의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함되어, 전방향 영상을 촬상할 수도 있고, 이러한 형태도 본 발명의 권리 범위에 포함된다.
영상 촬상부1(110), 영상 촬상부2(120) 및 영상 촬상부3(130)은 화각에 따라 영상을 촬상할 수 있다. 동일한 시간 자원 상에서 영상 촬상부1(110)에 의해 영상1이 생성되고, 영상 촬상부2(120)에 의해 영상2가 생성되고, 영상 촬상부3(130)에 의해 영상3이 생성될 수 있다. 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130) 각각의 화각은 120도 이상일 수 있고, 영상1, 영상2 및 영상3에서는 중첩된 촬상 영역이 존재할 수 있다. 이후, 전방향 영상 처리 장치(100)에 의해 동일한 시간 자원 상에서 촬상된 영상1 및 영상2 및 영상3을 스티칭/보정하여 전방향 영상이 생성될 수 있다. 복수의 영상에 대한 스티칭 및/또는 보정 절차는 전방향 영상 처리 장치 자체에서 수행될 수도 있고, 전방향 영상 처리 장치(100)와 통신 가능한 사용자 장치(스마트 폰)을 기반으로 수행될 수도 있다. 즉, 생성된 복수 영상에 대한 추가적인 영상 처리 절차들은 전방향 영상 처리 장치(100) 및/또는 다른 영상 처리 장치(스마트폰, PC(personal computer) 등)에 의해 수행될 수도 있다.
이하, 전방향 영상 처리 장치의 구체적인 특징 및 전방향 영상 생성 방법이 구체적으로 개시된다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 2에서는 U자형의 전방향 영상 처리 장치에 위치한 복수개의 영상 촬상부의 특징이 개시된다. 도 2에서 개시되는 영상 촬상부의 위치는 예시적인 것이다. 복수의 영상 촬상부 각각은 전방향 영상의 생성을 위한 복수의 영상을 촬상하기 위해 전방향 영상 처리 장치 상의 다양한 위치에 위치할 수 있다.
도 2의 상단에서는 전방향 영상 처리 장치의 후면부가 개시된다.
전방향 영상 처리 장치에 포함된 영상 촬상부1(210) 및 영상 촬상부2(220)는 전방향 영상 처리 장치에서 곡률이 존재하는 휘어진 부분에 위치할 수 있다. 구체적으로 사용자가 웨어러블 장치로서 전방향 영상 처리 장치를 목에 거는 경우, 목의 뒷부분과 접촉되는 휘어진 영역에 영상 촬상부1(210) 및 영상 촬상부2(220)가 위치할 수 있다. 예를 들어, U자형의 전방향 영상 처리 장치의 최대 곡률 지점(예를 들어, U자형의 중간 부분)을 기준으로 영상 촬상부1(210) 및 영상 촬상부2(220)가 일정 거리 상에 위치할 수 있다.
영상 촬상부1(210)은 사용자의 시선(line of sight) 방향을 기준으로 후면 좌측 사각 영역을 포함하는 영역을 촬상할 수 있다. 영상 촬상부2(220)는 사용자의 시선을 기준으로 후면 우측 사각 영역을 포함하는 영역을 촬상할 수 있다. 구체적으로 영상 촬상부1(210)은 제1 화각을 가지고, 제1 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 영상 촬상부2(220)는 제2 화각을 가지고, 제2 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제1 화각 및 제2 화각은 120~180도일 수 있다.
영상 촬상부1(210) 및 영상 촬상부2(220)에 의한 촬상이 수행될 경우, 제1 화각과 제2 화각에 의해 중첩되는 제1 중첩 영역(215)이 발생할 수 있다. 이후 중첩 영역을 고려한 스티칭을 기반으로 전방향 영상이 생성할 수 있다.
도 2의 하단에서는 전방향 영상 처리 장치의 전면부가 개시된다.
전방향 영상 처리 장치의 전면부에는 영상 촬상부3(230)이 위치할 수 있다. 구체적으로 영상 촬상부3(230)은 전방향 영상 처리 장치의 말단부(U자형의 끝(말단) 부분)에 위치할 수 있다. 사용자가 전방향 영상 처리 장치를 웨어러블 장치로서 목에 거는 경우, U자형의 전방향 영상 처리 장치의 말단 부분은 사용자의 전면 방향(사용자의 시선이 바라보는 방향)에 위치할 수 있다. 전방향 영상 처리 장치는 제1 말단부와 제2 말단부를 포함하고, 영상 촬상부3(230)은 제1 말단부와 제2 말단부 중 하나의 말단부에 위치할 수 있다.
영상 촬상부3(230)은 사용자의 시선의 방향과 동일한 방향으로 촬상을 수행하여 사용자의 시선에 해당하는 영역에 대한 촬상을 수행할 수 있다.
구체적으로 영상 촬상부3(230)은 제3 화각을 가지고, 제3 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제3 화각은 120도~180도일 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부1(210)의 제1 화각과 영상 촬상부3(230)의 제3 화각에 의한 제2 중첩 영역(225)이 발생할 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부2(220)의 제2 화각과 영상 촬상부3(230)의 제3 화각에 의한 제3 중첩 영역(235)이 발생할 수 있다.
목에 거는 웨어러블 장치의 구조상 목에 전방향 영상 처리 장치가 걸리는 경우, 영상 촬상부1(210), 영상 촬상부2(220)는 지면을 기준으로 영상 촬상부3(230)보다 상대적으로 높은 곳에 위치할 수 있다. 또한, 영상 촬상부3(230)은 한쪽 말단부에만 위치하게 된다.
기존의 전방향 영상 처리 장치에서는 동일한 높이에 위치한 복수개의 영상 촬상부가 일정한 각도를 가지고 구현되는데 반하여 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 간의 각도도 다르고 위치한 높이도 서로 다를 수 있다. 따라서, 복수의 영상 촬상부 각각에 의해 생성된 복수의 영상에 대한 제1 중첩 영역(215), 제2 중첩 영역(225) 및 제3 중첩 영역(235)의 크기/형태가 서로 다를 수 있다.
이후, 제1 중첩 영역(215)/제2 중첩 영역(225)/제3 중첩 영역(235)을 고려한 영상 촬상부1(210), 영상 촬상부2(220) 및 영상 촬상부3(230) 각각에 의해 생성된 영상1, 영상2 및 영상 3에 대한 영상 처리 절차(스티칭/보정 등)을 기반으로 전방향 영상이 생성될 수 있다.
제1 화각, 제2 화각, 제3 화각의 크기는 동일하게 설정될 수도 있지만, 서로 다르게 설정될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 3에서는 전방향 영상 처리 장치에 설치된 복수의 영상 촬상부 각각의 촬상선이 개시된다. 지면을 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정하는 경우, 촬상선은 X축/Y축/Z축으로 표현되는 공간 상에서 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각의 렌즈의 중앙을 수직으로 관통하는 선으로 정의될 수 있다.
기존의 전방향 영상 처리 장치는 동일한 높이에 복수의 영상 촬상부를 일정한 각도(예를 들어, 120도)로 구현될 수 있다. 이러한 경우, 기존의 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부의 복수의 촬상선은 지면(또는 XZ 평면)에 평행하고 복수의 촬상선 간에 일정한 각도(예를 들어, 120도)를 가지는 복수의 선일 수 있다.
본 발명의 실시예에 따른 전방향 영상 처리 장치는 전술한 바와 같이 복수의 영상 촬상부의 높이(또는 복수의 영상 촬상부의 구현된 위치) 및 복수의 영상 촬상부 간의 각도(또는 촬상선 간에 이루는 각도)가 촬상시에 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 전방향 영상 처리 장치의 촬상선의 특성은 기존의 전방향 영상 처리 장치의 촬상선의 특성과는 차이가 있다.
도 3에서 표현되는 복수의 영상 촬상부 각각의 촬상선은 웨어러블 디바이스의 특성으로 인한 복수의 영상 촬상부 각각의 촬상선 간의 특성(예를 들어, 높이, 각도)의 차이를 보여주기 위한 예시일 수 있다. 또한, 도 3에서 표현되는 촬상선은 전방향 영상 처리 장치를 착용한 사용자에 의한 움직임이 없거나 전방향 영상 처리 장치가 특정 상태에서 고정된 경우의 촬상선일 수 있다.
도 3의 상단은 영상 촬상부1(310) 및 영상 촬상부2(320)의 촬상선을 개시한다.
영상 촬상부1(310) 및 영상 촬상부2(320)는 영상 촬상부3(330)보다 상대적으로 높은 위치에 구현될 수 있다. 전방향 영상 처리 장치를 착용한 사용자의 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치에서 영상 촬상부1(310) 및 영상 촬상부2(320)가 위치한 곡률을 가지는 부분(U자에서 곡선/중앙 부분)이 상대적으로 올라가고 영상 촬상부3(330)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려갈 수 있다.
예를 들어, 영상 촬상부1(310)의 촬상선1(315)은 XZ 평면과 평행하되, Y축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.
영상 촬상부2(320)의 촬상선2(325)는 XZ 평면과 평행하되, Y축의 지점 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.
도 3의 하단을 참조하면, 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고, Y축의 좌표 b에서 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. b는 a보다 작은 값일 수 있다. 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고 사용자의 시선과 동일하게 전면(예를 들어, XY 평면과 수직한 방향)을 바라보도록 구현될 수 있다.
즉, 촬상선1(315) 및 촬상선2(325)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(335)은 Y 축을 기준으로 촬상선1 및 촬상선2보다 상대적으로 낮은 위치에 위치할 수 있다. 도 3에서 개시된 촬상선1(315), 촬상선2(325) 및 촬상선3(335)은 서로 다른 특성을 가지는 촬상선에 대한 하나의 예시이고, 다른 다양한 촬상선이 정의되고 전방향 영상이 촬상될 수 있다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4에서는 도 3과 다른 복수의 영상 촬상부의 촬상선이 개시된다. 마찬가지로 도 4에서도 지면이 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정한다.
도 4의 상단은 영상 촬상부1(410) 및 영상 촬상부2(420)의 촬상선을 개시한다.
영상 촬상부1(410) 및 영상 촬상부2(420)는 영상 촬상부3(430)보다 상대적으로 높은 위치에 구현될 수 있다. 마찬가지로, 사용자가 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치는 영상 촬상부1(410) 및 영상 촬상부2(420)가 위치한 곡률을 가지는 부분(U자에서 곡선 부분)이 상대적으로 올라가고 영상 촬상부3(430)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려간 형태로 영상을 촬상할 수 있다.
예를 들어, 영상 촬상부1(410)의 촬상선1(415)은 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.
영상 촬상부2(420)의 촬상선2(415)는 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.
도 4의 하단은 영상 촬상부3(430)의 촬상선을 개시한다.
영상 촬상부3(430)의 촬상선3(435)는 XZ 평면과 평행하지 않을 수 있고, Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.
영상 촬상부3(430)은 전방향 영상 처리 장치의 말단부에 위치하기 때문에 촬상선은 XZ 평면과 평행하지 않고, XZ 평면과 일정한 각도(예를 들어, 0~30도)를 가질 수 있다.
즉, 촬상선1(415) 및 촬상선2(425)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(435)은 Y 축을 기준으로 촬상선1(415) 및 촬상선2(425) 보다 상대적으로 낮은 위치에 위치할 수 있다. 또한, 촬상선 1(415) 및 촬상선2(425)는 XZ 평면과 평행하나, 촬상선3(435)은 XZ 평면과 평행하지 않을 수 있다.
본 발명의 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.
본 발명의 또 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제3' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수도 있다.
즉, 복수의 영상 촬상부 각각의 촬상선이 기존의 동일한 Y 축 지점에서 지면과 동일한 각도를 가지는 영상 처리 장치와 다르게 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 각각의 촬상선이 서로 다른 Y 축 지점에서 위치하고, 지면(또는 XZ 평면)과 서로 다른 각도를 가질 수 있다.
전방향 영상 처리 장치가 웨어러블 장치(wearable device)인 경우, 전방향 영상 처리 장치가 흔들리는 상황에서 흔들리는 영상을 촬상하거나, 전방향 영상 처리 장치가 기울어져 있을 때 기울어진 영상을 촬상하게 된다.
전방향 영상 처리 장치가 웨어러블 장치로 구현되는 경우, 착용하고 있는 전방향 영상 처리 장치의 촬상 위치, 촬상 결과를 확인할 수 있는 프리뷰(preview)가 없는 이상 촬상되는 영상에 대해 실시간으로 확인하고 보정하기가 어렵다.
사용자가 목에 전방향 영상 처리 장치를 착용하고 전방향 영상을 촬상하는 경우, 사용자의 이동에 따라 전방향 영상 처리 장치가 상하좌우로 움직이게 된다. 이러한 전방향 영상 처리 장치의 움직임으로 인해 전방향 영상의 흔들림, 전방향 영상의 블러(blur) 등이 발생할 수 있다. 전방향 영상의 흔들림, 전방향 영상의 블러는 전방향 영상을 보는 사람의 피로감을 증가시키게 된다.
본 발명에서는 이러한 문제점을 해결하기 위해 사용자의 전방향 영상 촬상 결과에 대한 실시간 확인 없이도 센서 등을 이용하여 전방향 영상 처리 장치의 자세와 위치 정보를 확인하고, 촬상 동작을 수행할 수 있다. 이러한 방법을 통해 전방향 영상 처리 장치가 관심 지점(POI: Point Of Interest) 상에 있거나 전방향 영상 처리 장치의 자세가 최적인 경우, 전방향 영상 처리 장치의 촬상이 수행될 수 있다.
즉, 전방향 영상 처리 장치가 촬영 상황을 인지하여 촬영 상황이 설정된 조건을 만족하는 경우 촬상을 수행함으로써 사용자의 확인 없이도 최적의 전방향 영상이 획득될 수 있다.
도 5는 본 발명의 실시예에 따른 최적 상환 판단 촬상 방법을 나타낸 개념도이다.
도 5에서는 전방향 영상 처리 장치의 현재 촬영 상황이 설정된 최적 촬영 상황을 만족하는 경우 촬상을 수행하기 위한 방법이 개시된다.
도 5를 참조하면, 전방향 영상 처리 장치는 전방향 영상 처리 장치의 현재 촬영 상황 정보를 획득하기 위한 센서를 포함할 수 있다.
예를 들어, 전방향 영상 처리 장치는 전방향 영상 처리 장치의 기울기에 대한 인지를 위한 기울기 센서, 전방향 영상 처리 장치의 흔들림(또는 움직임)에 대한 인지를 위한 흔들림 탐지 센서(또는 움직임 센서), 전방향 영상 처리 장치의 위치에 대한 인지를 위한 위치 센서 등이 전방향 영상 처리 장치에 포함될 수 있다.
전방향 영상 처리 장치의 촬상 동작을 위한 최적 촬영 상황이 미리 정의되어 있고, 전방향 영상 처리 장치의 현재 촬영 상황이 최적 촬영 상황을 만족하였을 경우에만 전방향 영상 처리 장치가 촬상을 수행하고, 조건 만족 전방향 영상(500)을 생성할 수 있다. 전방향 영상 처리 장치가 흔들림이 없이 정지되어 있는 상황과 같이 전방향 영상 처리 장치가 미리 설정된 최적 촬영 상황을 만족하였을 경우, 전방향 영상 처리 장치는 자동 또는 수동으로 촬영에 들어갈 수 있다.
구체적으로 사용자의 목에 거는 전방향 영상 처리 장치는 사용자의 시선이 임계 각도 내에 위치한 경우, 전방향 영상 처리 장치에 포함되는 복수의 영상 촬상부가 최적의 영상을 얻기 위한 촬상 각도를 가질 수 있도록 구현될 수 있다. 전방향 영상 처리 장치는 사용자의 시선이 임계 각도 내에 위치한 경우, 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부가 최적 촬상 각도임을 진동 또는 소리(예를 들어, 비프음)와 같은 신호를 통해 사용자에게 알리고, 사용자의 설정에 따라 자동 또는 수동으로 촬상을 수행하여 조건 만족 전방향 영상(500)를 생성할 수 있다.
예를 들어, 전방향 영상 처리 장치를 목에 착용하고 뛰는 경우, 전방향 영상 처리 장치의 기울기 값이 계속적으로 변할 수 있다. 전방향 영상 처리 장치는 흔들리는 도중에 특정한 최적 촬영 조건으로 설정된 기울기값을 만족하는 타이밍에 촬상되어 조건 만족 전방향 영상(500)을 생성할 수 있다.
또한, 전방향 영상 처리 장치의 흔들림 정도를 센싱하여 촬상 설정값(예를 들어, 셔터 스피드)을 변화시킬 수 있고, 센싱된 흔들림 값이 일정 임계값 이상인 경우, 전방향 영상의 촬상이 중단될 수도 있다.
이러한 전방향 영상 처리 장치의 동작을 통해 사용자의 자유로운 행동에도 불구하고, 최적 촬영 상황에서 전방향 영상이 획득될 수 있다. 이러한 전방향 영상 처리 장치의 최적 촬영 상황에 대한 판단이 수행되는 경우, 전방향 영상 처리 장치에 의해 촬상된 전방향 영상은 흔들림이 적고 일정한 화각 범위를 벋어나지 않을 수 있다.
전방향 영상 처리 장치의 최적 촬영 상황에 대한 설정은 사용자에 의해 수행될 수 있다. 전방향 영상 처리 장치가 끊김 없이 전방향 영상을 생성하기를 원하는 경우, 전방향 영상 처리 장치가 최적 촬영 상황으로 판단될 수 있는 조건의 범위를 상대적으로 넓게 설정할 수 있다. 반대로 흔들림이 적거나 일정한 화각 범위를 촬상한 전방향 영상을 획득하고자 하는 경우, 전방향 영상 처리 장치가 최적 촬영 상황으로 판단할 수 있는 조건의 범위를 상대적으로 좁게 설정할 수 있다.
최적 촬상 상황 조건은 전방향 영상 처리 장치의 기울기, 전방향 영상 처리 장치의 위치 등을 고려하여 설정될 수 있다.
본 발명의 실시예에 따르면, 최적 촬상 상황 조건을 만족하지 못하는 경우에도 전방향 영상이 생성될 수 있다. 최적 촬상 상황 조건을 만족하는 조건 만족 전방향 영상(500)과 최적 촬상 상황 조건을 만족하지 못하는 조건 불만족 전방향 영상(550)이 구분되고 영상 후처리 과정을 통해 최종 전방향 영상이 생성될 수도 있다. 최종 전방향 영상은 조건 만족 전방향 영상(500)만으로 생성되거나, 조건 만족 전방향 영상(500) 및 편집된 조건 불만족 전방향 영상(550)을 기반으로 생성될 수 있다.
최적 상황 판단 촬상을 수행하는 전방향 영상 처리 장치는 외부 장치(예를 들어, 영상 처리 서버 등)와 통신을 수행하기 위해 구현된 통신부와 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함할 수 있다. 프로세서는 후술할 최적 상황 판단 기반의 영상 촬상/영상 처리 동작을 수행할 수 있다. 영상 처리 동작은 전방향 영상 처리 장치가 아닌 다른 외부 장치에 의해 수행될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
전술한 바와 같이 프로세서는 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하고, 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는 경우, 영상 촬상을 수행하여 조건 만족 전방향 영상(500)을 생성하도록 구현될 수 있다. 최적 촬영 상황 조건은 전방향 영상 처리 장치의 기울기 조건을 포함할 수 있다.
프로세서는 기울기 센서에 의해 측정된 기울기 값이 기울기 조건을 기반으로 설정된 임계 기울기 범위에 포함되는 경우, 조건 만족 전방향 영상(500)을 생성하도록 구현될 수 있다. 전방향 영상 처리 장치는 움직임 센서를 더 포함하고, 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 움직임 조건을 더 포함할 수 있다.
또한, 프로세서는 움직임 센서에 의해 측정된 움직임 속도가 움직임 조건을 기반으로 설정된 움직임 속도 내에 포함되는 경우, 조건 만족 전방향 영상(500)을 생성하도록 구현될 수 있다.
프로세서는 조건 만족 전방향 영상(500)을 결합하여 최종 전방향 영상을 생성하도록 구현될 수 있다. 또는 프로세서는 현재 촬영 상황이 최적 촬영 상황 조건을 만족하지 않는 경우, 영상 촬상을 수행하여 조건 불만족 전방향 영상(550)을 생성하고, 조건 만족 전방향 영상(500) 및 조건 불만족 전방향 영상(550)을 기반으로 한 영상 보간을 통해 최종 전방향 영상을 생성할 수 있다.
도 6은 본 발명의 실시예에 따른 최적 촬영 상황을 설정하는 방법을 나타낸 개념도이다.
도 6에서는 전방향 영상 처리 장치의 최적 촬영 상황을 설정하기 위한 방법이 개시된다. 특히, 최적 촬영 상황 중 기울기 값을 설정하기 위한 방법이 개시된다.
도 6을 참조하면, 최적 촬영 상황은 기울기 조건을 포함할 수 있다. 전술한 바와 같이 전방향 영상 처리 장치는 사용자의 목에 거는 형태로 착용될 수 있다. 사용자의 아래를 보거나 위를 보는 동작으로 인해 목의 각도가 변하는 경우, 전방향 영상 처리 장치의 기울기도 함께 변화될 수 있다.
사용자는 전방향 영상 처리 장치를 착용하고, 전방향 영상 처리 장치의 최적 촬영 상황으로서 기울기 조건이 설정될 수 있다. 전방향 영상 처리 장치는 설정된 기울기 조건을 만족하는 경우 조건 만족 전방향 영상을 생성할 수 있다.
기울기 조건은 전방향 영상 처리 장치의 하나의 기울기 값일 수도 있고, 하나의 기울기 값을 기준으로 -임계 각도(640)~+임계 각도(620)의 범위의 기울기 범위일 수도 있다.
사용자는 다양한 방법으로 기울기 조건을 설정할 수 있다.
전방향 영상 처리 장치는 사용자 장치(600)로 전방향 영상 정보를 전송할 수 있고, 사용자 장치의 디스플레이 상에서 전방향 영상 정보가 출력될 수 있다. 사용자가 정면을 응시할 경우, 기울기에 대한 정보가 사용자 장치를 통해 출력될 수 있다.
예를 들어, 사용자는 전방향 영상이 출력되는 사용자 장치(600)의 화면을 확인하면서 위를 보는 동작/아래를 보는 동작을 통해 전방향 영상 처리 장치의 기울기를 변화시킬 수 있다. 사용자는 전방향 영상의 변화를 고려하여 허용 가능한 범위의 전방향 영상 처리 장치의 기울기 값을 사용자의 실제 동작을 기반으로 사용자 장치(600)를 통해 설정할 수 있다. 설정된 기울기 값은 전방향 영상 처리 장치로 전달되고, 전방향 영상 처리 장치는 설정된 기울기 값을 기반으로 전방향 영상을 촬상할 수 있다.
도 7은 본 발명의 실시예에 따른 최적 촬영 상황을 설정하는 방법을 나타낸 개념도이다.
도 7에서는 전방향 영상 처리 장치의 최적 촬영 상황을 설정하기 위한 방법이 개시된다. 특히, 최적 촬영 상황 중 위치 값을 설정하기 위한 방법이 개시된다.
도 7을 참조하면, 최적 촬영 상황은 전방향 영상 처리 장치의 위치에 대한 조건을 포함할 수 있다.
예를 들어, 전방향 영상 처리 장치가 임계 시간 내에 사용자의 임계 거리의 이동이 있을 경우에만 조건 만족 전방향 영상을 생성하도록 최적 촬상 상황 조건이 설정될 수 있다.
전방향 영상 처리 장치를 통해 전방향 영상을 촬영하는 경우가 가정될 수 있다. 사용자가 정지한 경우, 동일한 위치에서 전방향 영상이 계속 촬상될 수 있다. 따라서, 동일한 위치에서의 계속적인 전방향 영상의 촬상을 제한하기 위해 전방향 영상 처리 장치가 임계 시간 내에 사용자의 임계 거리의 이동이 있을 경우에만 조건 만족 전방향 영상을 생성하도록 최적 촬영 상황이 설정될 수 있다. 예를 들어, 2초를 기준으로 전방향 영상 처리 장치의 위치가 1m 이상 변화된 경우에만 전방향 영상 처리 장치가 조건 만족 전방향 영상을 생성할 수 있다.
사용자가 제1 지점(710)에서 제2 지점(720)을 통해 제3 지점(730)으로 이동하는 경우, 사용자가 제2 지점에서 일시 정지를 한 경우가 가정될 수 있다. 제2 지점(720)에서 임계 시간 동안 임계 거리의 이동이 없다면, 임계 시간 이후 일시적으로 전방향 영상의 촬상이 중단될 수 있다.
도 8은 본 발명의 실시예에 따른 전방향 영상 생성 방법을 나타낸 개념도이다.
도 8에서는 최적 촬영 상황을 만족하는 조건 만족 전방향 영상을 편집하여 최종 전방향 영상을 생성하기 위한 방법이 개시된다.
도 8을 참조하면, 최적 촬영 상황을 만족하는 조건 만족 전방향 영상만으로 최종 전방향 영상을 생성하는 경우가 가정된다.
본 발명의 실시예에 따르면, 복수의 조건 만족 전방향 영상이 생성된 전체 시간 구간이 복수의 하위 시간 구간으로 분할되고 복수의 조건 만족 전방향 영상 각각이 복수의 하위 시간 구간 상에 매칭될 수 있다. 이후, 필요에 따라 시간 구간에 대한 정보를 고려한 영상 보간을 통해 최종 전방향 영상이 생성될 수 있다.
예를 들어, 시간 순서대로 생성된 조건 만족 전방향 영상 간의 간격 중 가장 작은 시간 간격이 하위 시간 구간의 간격으로 설정될 수 있다.
조건 만족 전방향 영상이 5개(조건 만족 전방향 영상1(810) 내지 조건 만족 전방향 영상5(850))이 10초 동안 순차적으로 생성될 수 있다. 조건 만족 전방향 영상2(820)와 조건 만족 전방향 영상3(830) 간의 시간 간격이 가장 작은 시간 간격일 수 있고, 조건 만족 전방향 영상2(820)와 조건 만족 전방향 영상3(830) 간의 시간 간격은 1초일 수 있다.
이러한 경우, 10초의 전체 시간 구간이 1초 간격으로 10개의 하위 시간 구간(하위 시간 구간1 내지 하위 시간 구간10)으로 분할될 수 있다.
5개의 조건 만족 전방향 영상의 생성 시간이 고려되어 10개의 하위 시간 구간 각각에 5개의 조건 만족 전방향 영상 각각이 10개의 하위 시간 구간 중 하나의 하위 시간 구간에 대응될 수 있다.
예를 들어, 조건 만족 전방향 영상1(810)이 하위 시간 구간 1에 대응되고, 조건 만족 전방향 영상2(820)가 하위 시간 구간 3에 대응되고, 조건 만족 전방향 영상3(830)이 하위 시간 구간4에 대응되고, 조건 만족 전방향 영상4(840)가 하위 시간 구간6에 대응되고, 조건 만족 전방향 영상5(850)가 하위 시간 구간8에 대응될 수 있다.
대응되는 조건 만족 전방향 영상이 없는 하위 시간 구간의 전방향 영상은 가장 인접한 하위 시간 구간에 대응되는 조건 만족 전방향 영상 또는 인접한 하위 시간 구간에 대응되는 복수의 조건 만족 전방향 영상의 조합을 기반으로 보간될 수 있다.
예를 들어, 하위 시간 구간2에 대응되는 전방향 영상은 조건 만족 전방향 영상1(810) 또는 조건 만족 전방향 영상2(820)를 기반으로 보간되거나, 조건 만족 전방향 영상1(810) 및 조건 만족 전방향 영상2(820)를 기반으로 보간될 수 있다.
하위 시간 구간 5에 대응되는 전방향 영상은 조건 만족 전방향 영상3(830) 또는 조건 만족 전방향 영상4(840)로 보간되거나, 조건 만족 전방향 영상3(830) 및 조건 만족 전방향 영상4(840)를 기반으로 보간될 수 있다.
하위 시간 구간 9 및 하위 시간 구간 10에 대응되는 전방향 영상은 조건 만족 전방향 영상5(850)를 기반으로 보간될 수 있다.
이러한 방식의 인접한 조건 만족 전방향 영상을 기반으로 한 보간을 통해 복수의 하위 시간 구간 각각에 대응되는 복수의 전방향 영상 각각이 결정될 수 있다. 시간의 순서를 고려한 복수의 전방향 영상을 조합으로 최종 전방향 영상이 생성될 수 있다.
시간에 다른 전방향 영상의 생성이 필요하지 않은 경우, 조건 만족 전방향 영상만의 조합을 기반으로 최종 전방향 영상이 생성될 수도 있다.
도 9는 본 발명의 실시예에 따른 전방향 영상 생성 방법을 나타낸 개념도이다.
도 9에서는 최적 촬영 상황을 만족하는 조건 만족 전방향 영상 및/또는 최적 촬영 상황을 만족하지 않는 조건 불만족 전방향 영상을 편집하여 최종 전방향 영상을 생성하기 위한 방법이 개시된다.
도 9를 참조하면, 조건 불만족 전방향 영상에 대한 정보도 고려하여 최종 전방향 영상이 생성될 수 있다.
도 8에서 개시된 바와 마찬가지로 하위 시간 구간이 1초이고, 조건 만족 전방향 영상이 5개(조건 만족 전방향 영상1(910) 내지 조건 만족 전방향 영상 5(950)), 조건 불만족 전방향 영상이 5개(조건 불만족 전방향 영상1(915) 내지 조건 불만족 전방향 영상 5(955))가 10초 동안 생성되는 경우가 가정될 수 있다.
(하위 시간 구간1, 조건 만족 전방향 영상1(910)), (하위 시간 구간2, 조건 불만족 전방향 영상1(915)), (하위 시간 구간3, 조건 만족 전방향 영상2(920)), (하위 시간 구간4, 조건 만족 전방향 영상3(930)), (하위 시간 구간5, 조건 불만족 전방향 영상2(925)), (하위 시간 구간6, 조건 만족 전방향 영상4(940)), (하위 시간 구간7, 조건 불만족 전방향 영상3(935)), (하위 시간 구간8, 조건 만족 전방향 영상5(950)), (하위 시간 구간9, 조건 불만족 전방향 영상4(945)), (하위 시간 구간10, 조건 불만족 전방향 영상5(955))일 수 있다.
이러한 경우, 조건 불만족 전방향 영상에 대응되는 하위 시간 구간에서의 전방향 영상은 인접한 조건 만족 전방향 영상뿐만 아니라, 조건 불만족 전방향 영상도 추가적으로 고려하여 결정될 수 있다.
예를 들어, 조건 불만족 전방향 영상 중 조건 만족 전방향 영상의 화각과 중첩되는 영역의 이미지는 최종 전방향 영상의 생성을 위해 활용될 수 있다. 사용자가 목을 굽히는 동작으로 인해 조건 불만족 전방향 영상이 생성되었다면, 조건 불만족 전방향 영상에서 일부의 영역은 조건 불만족 전방향 영상에 대응되는 하위 시간 구간에서의 전방향 영상을 예측하기 위해 활용될 수 있다.
하위 시간 구간2에 대응되는 전방향 영상은 조건 만족 전방향 영상1(910), 조건 만족 전방향 영상2(920) 및 조건 불만족 전방향 영상1(915)의 일부 영역을 고려하여 보간을 통해 생성될 수 있다. 조건 불만족 전방향 영상1(915)의 일부 영역은 조건 만족 전방향 영상1(910), 조건 만족 전방향 영상2(920)와 중첩되는 화각을 가지는 영역이거나, 조건 불만족 전방향 영상1(915)에서 객체가 보다 명확하게 촬상된 영역일 수 있다.
예를 들어, 움직이는 객체가 존재하는 경우, 보다 정확한 하위 시간 구간2에 대응되는 전방향 영상 상에서 위치를 결정하기 위해 조건 불만족 전방향 영상1(915)의 일부 영역 상에 객체 존재 여부가 판단하고, 하위 시간 구간2 상에서 객체의 위치가 보다 정확하게 결정될 수 있다.
도 10은 본 발명의 실시예에 따른 전방향 영상 처리 장치의 동작을 나타낸 개념도이다.
도 10에서는 전방향 영상 처리 장치의 기울기 값을 기반으로 전방향 영상 처리 장치의 영상 촬상부의 동작을 제어하기 위한 방법이 개시된다.
도 10을 참조하면, 전방향 영상 처리 장치에 의해 센싱된 기울기 값을 기반으로 전방향 영상 처리 장치에 포함되는 영상 촬상부(1000)의 렌즈의 각도가 변화될 수 잇다.
예를 들어, 영상 촬상부(1000)의 촬상선이 임계 각도 범위에 있을 수 있도록 전방향 영상 처리 장치의 기울기 값이 변화된 경우, 영상 촬상부(1000)의 렌즈가 구동되어 렌즈의 촬상선 방향을 변화시킬 수 있다.
예를 들어, 전방향 영상 처리 장치에서 제1 방향으로 10도의 기울기 변화가 발생된 경우, 영상 촬상부(1000)의 렌즈의 촬상선도 제1 방향의 반대 방향인 제2 방향으로 순간적으로 촬상선의 각도를 10도 변화시킬 수 있다.
이러한 방법을 통해 촬상선이 일정 범위의 임계 각도 범위 내에서 유지될 수 있고, 생성된 전방향 영상에서 흔들림이 보정될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 최적 상황 판단 촬상 방법은,
    전방향 영상 처리 장치가 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하는 단계; 및
    상기 현재 촬영 상황이 상기 최적 촬영 상황 조건을 만족하는 경우, 상기 전방향 영상 처리 장치가 영상 촬상을 수행하여 조건 만족 전방향 영상을 생성하는 단계를 포함하되,
    상기 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 기울기 조건을 포함하고,
    상기 조건 만족 전방향 영상은 제1 시간에 촬상된 제1 조건 만족 전방향 영상 및 제2 시간에 촬상된 제2 조건 만족 전방향 영상을 포함하고,
    상기 전방향 영상 처리 장치는 웨어러블 장치이고,
    상기 전방향 영상 처리 장치는 기울기 센서를 포함하고,
    상기 전방향 영상 처리 장치는 상기 기울기 센서에 의해 측정된 기울기 값이 상기 기울기 조건을 기반으로 설정된 임계 기울기 범위에 포함되는 경우, 상기 제1 조건 만족 전방향 영상 및 상기 제2 조건 만족 전방향 영상을 생성하고,
    상기 전방향 영상 처리 장치는 상기 제1 조건 만족 전방향 영상 및 상기 제2 조건 만족 전방향 영상을 결합하여 최종 전방향 영상을 생성하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 전방향 영상 처리 장치는 움직임 센서를 더 포함하고,
    상기 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 움직임 조건을 더 포함하고,
    상기 전방향 영상 처리 장치는 상기 움직임 센서에 의해 측정된 움직임 속도가 상기 움직임 조건을 기반으로 설정된 움직임 속도 내에 포함되는 경우, 상기 조건 만족 전방향 영상을 생성하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 현재 촬영 상황이 상기 최적 촬영 상황 조건을 만족하지 않는 경우, 상기 전방향 영상 처리 장치가 영상 촬상을 수행하여 조건 불만족 전방향 영상을 생성하는 단계를 더 포함하고,
    상기 전방향 영상 처리 장치는 상기 조건 만족 전방향 영상 및 상기 조건 불만족 전방향 영상을 기반으로 한 영상 보간을 통해 최종 전방향 영상을 생성하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 전방향 영상 처리 장치는 복수의 영상 촬상부를 포함하고,
    상기 복수의 영상 촬상부 각각의 촬상선의 방향은 상기 전방향 영상 처리 장치의 기울기에 따라 변화되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 전방향 영상 처리 장치는 제1 촬상 설정 조건 및 제2 촬상 설정 조건을 기반으로 촬상을 수행하고,
    상기 제1 촬상 설정 조건은 상기 최적 촬영 상황으로 판단되는 기울기 값이 상대적으로 넓게 설정되고,
    상기 제2 촬상 설정 조건은 상기 최적 촬영 상황으로 판단되는 상기 기울기 값이 상대적으로 좁게 설정되고,
    상기 제1 촬상 설정 조건 및 상기 제2 촬상 설정 조건 각각은 상기 전방향 영상 처리 장치를 착용한 사용자의 움직임을 기반으로 설정되는 것을 특징으로 하는 방법.
  6. 최적 상황 판단 촬상을 수행하는 전방향 영상 처리 장치는,
    외부 장치와 통신을 수행하기 위해 구현된 통신부; 및
    상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되,
    상기 프로세서는 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하고,
    상기 현재 촬영 상황이 상기 최적 촬영 상황 조건을 만족하는 경우, 영상 촬상을 수행하여 조건 만족 전방향 영상을 생성하도록 구현되되,
    상기 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 기울기 조건을 포함하고,
    상기 전방향 영상 처리 장치는 웨어러블 장치이고,
    상기 전방향 영상 처리 장치는 기울기 센서를 포함하고,
    상기 전방향 영상 처리 장치는 상기 기울기 센서에 의해 측정된 기울기 값이 상기 기울기 조건을 기반으로 설정된 임계 기울기 범위에 포함되는 경우, 상기 조건 만족 전방향 영상을 생성하고,
    상기 프로세서는 상기 조건 만족 전방향 영상을 결합하여 최종 전방향 영상을 생성하도록 구현되는 것을 특징으로 하는 전방향 영상 처리 장치.
  7. 제6항에 있어서,
    상기 전방향 영상 처리 장치는 움직임 센서를 더 포함하고,
    상기 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 움직임 조건을 더 포함하고,
    상기 프로세서는 상기 움직임 센서에 의해 측정된 움직임 속도가 상기 움직임 조건을 기반으로 설정된 움직임 속도 내에 포함되는 경우, 상기 조건 만족 전방향 영상을 생성하도록 구현되는 것을 특징으로 하는 전방향 영상 처리 장치.
  8. 제7항에 있어서,
    상기 프로세서는 상기 현재 촬영 상황이 상기 최적 촬영 상황 조건을 만족하지 않는 경우, 영상 촬상을 수행하여 조건 불만족 전방향 영상을 생성하도록 구현되고,
    상기 프로세서는 상기 조건 만족 전방향 영상 및 상기 조건 불만족 전방향 영상을 기반으로 한 영상 보간을 통해 최종 전방향 영상을 생성하도록 구현되는 것을 특징으로 하는 전방향 영상 처리 장치.
  9. 제6항에 있어서,
    상기 전방향 영상 처리 장치는 복수의 영상 촬상부를 포함하고,
    상기 복수의 영상 촬상부 각각의 촬상선의 방향은 상기 전방향 영상 처리 장치의 기울기에 따라 변화되는 것을 특징으로 하는 전방향 영상 처리 장치.
  10. 제6항에 있어서,
    상기 전방향 영상 처리 장치는 제1 촬상 설정 조건 및 제2 촬상 설정 조건을 기반으로 촬상을 수행하고,
    상기 제1 촬상 설정 조건은 상기 최적 촬영 상황으로 판단되는 기울기 값이 상대적으로 넓게 설정되고,
    상기 제2 촬상 설정 조건은 상기 최적 촬영 상황으로 판단되는 상기 기울기 값이 상대적으로 좁게 설정되고,
    상기 제1 촬상 설정 조건 및 상기 제2 촬상 설정 조건 각각은 상기 전방향 영상 처리 장치를 착용한 사용자의 움직임을 기반으로 설정되는 것을 특징으로 하는 전방향 영상 처리 장치.
  11. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020170082454A 2017-06-29 2017-06-29 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치 KR101843336B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170082454A KR101843336B1 (ko) 2017-06-29 2017-06-29 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
CN201780092500.4A CN110892705A (zh) 2017-06-29 2017-12-12 通过判断最佳状况来进行拍摄的方法及执行该方法的装置
PCT/KR2017/014516 WO2019004532A1 (ko) 2017-06-29 2017-12-12 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
US16/488,657 US10917566B2 (en) 2017-06-29 2017-12-12 Optimum situation determination imaging method and device for performing the method
JP2019571495A JP2020526096A (ja) 2017-06-29 2017-12-12 最適状況判断撮像方法およびこのような方法を遂行する装置
EP17916201.1A EP3648447A1 (en) 2017-06-29 2017-12-12 Optimum situation determination imaging method and device for performing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170082454A KR101843336B1 (ko) 2017-06-29 2017-06-29 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180031287A Division KR20190002279A (ko) 2018-03-19 2018-03-19 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치

Publications (1)

Publication Number Publication Date
KR101843336B1 true KR101843336B1 (ko) 2018-05-14

Family

ID=62188143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170082454A KR101843336B1 (ko) 2017-06-29 2017-06-29 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치

Country Status (6)

Country Link
US (1) US10917566B2 (ko)
EP (1) EP3648447A1 (ko)
JP (1) JP2020526096A (ko)
KR (1) KR101843336B1 (ko)
CN (1) CN110892705A (ko)
WO (1) WO2019004532A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7471827B2 (ja) 2020-01-09 2024-04-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7484277B2 (ja) 2020-03-19 2024-05-16 株式会社リコー 撮影システム、撮影装置、及び、撮影方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045587A (ja) * 2008-08-12 2010-02-25 Sony Ericsson Mobile Communications Ab カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
JP2011130282A (ja) * 2009-12-18 2011-06-30 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2015159383A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4554954B2 (ja) * 2004-02-19 2010-09-29 康史 八木 全方位撮像システム
KR101270700B1 (ko) 2006-11-15 2013-06-03 삼성전자주식회사 광시야각 구현 방법 및 장치
CN102035987A (zh) * 2009-10-08 2011-04-27 鸿富锦精密工业（深圳）有限公司 照片合成方法和系统
JP2011182151A (ja) * 2010-03-01 2011-09-15 Sanyo Electric Co Ltd 画像合成装置
US9282242B2 (en) * 2011-08-24 2016-03-08 Htc Corporation Method and electric device for taking panoramic photograph
CN102393970B (zh) * 2011-12-13 2013-06-19 北京航空航天大学 一种物体三维建模与渲染系统及三维模型生成、渲染方法
JP2013192088A (ja) * 2012-03-14 2013-09-26 Ricoh Co Ltd 撮像装置、制御方法および制御プログラム
US20150124047A1 (en) * 2012-07-20 2015-05-07 Google Inc. Panoramic video acquisition guidance
KR101263207B1 (ko) 2013-01-15 2013-05-10 (주)지란지교소프트 Cctv기능 자동 실행 방법 및 그 방법이 기록된 기록매체
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2016017956A1 (en) * 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
JP2017060078A (ja) * 2015-09-18 2017-03-23 カシオ計算機株式会社 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム
CN105657370A (zh) * 2016-01-08 2016-06-08 李昂 一种封闭性的可穿戴全景摄像与处理系统及其操作方法
KR101856546B1 (ko) * 2017-06-29 2018-05-11 링크플로우 주식회사 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045587A (ja) * 2008-08-12 2010-02-25 Sony Ericsson Mobile Communications Ab カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
JP2011130282A (ja) * 2009-12-18 2011-06-30 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2015159383A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置

Also Published As

Publication number Publication date
CN110892705A (zh) 2020-03-17
JP2020526096A (ja) 2020-08-27
EP3648447A1 (en) 2020-05-06
WO2019004532A1 (ko) 2019-01-03
US20200045229A1 (en) 2020-02-06
US10917566B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
US9729788B2 (en) Image generation apparatus and image generation method
EP2779620B1 (en) Image generation device, and image generation method
US10284776B2 (en) Image generation apparatus and image generation method
US9894272B2 (en) Image generation apparatus and image generation method
KR101856546B1 (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
WO2013015147A1 (ja) 画像処理システム、情報処理装置、プログラム及び画像処理方法
US10419670B2 (en) Omnidirectional image capturing method and apparatus performing the method
KR101843336B1 (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
KR101810671B1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
KR101856547B1 (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
KR102178990B1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
KR20190002279A (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
KR101856548B1 (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치
KR102213308B1 (ko) 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
KR20190002281A (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
KR20190002282A (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
JP2022140422A (ja) 撮像装置、制御方法、並びにプログラム
KR20190022283A (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant