KR101810668B1 - 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치 - Google Patents

전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR101810668B1
KR101810668B1 KR1020170028745A KR20170028745A KR101810668B1 KR 101810668 B1 KR101810668 B1 KR 101810668B1 KR 1020170028745 A KR1020170028745 A KR 1020170028745A KR 20170028745 A KR20170028745 A KR 20170028745A KR 101810668 B1 KR101810668 B1 KR 101810668B1
Authority
KR
South Korea
Prior art keywords
image
image pickup
unit
pickup unit
imaging
Prior art date
Application number
KR1020170028745A
Other languages
English (en)
Inventor
김용국
조성래
김용진
김준세
Original Assignee
링크플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 링크플로우 주식회사 filed Critical 링크플로우 주식회사
Priority to KR1020170028745A priority Critical patent/KR101810668B1/ko
Priority to JP2018538863A priority patent/JP6808740B2/ja
Priority to PCT/KR2017/006419 priority patent/WO2018164316A1/ko
Priority to EP17890844.8A priority patent/EP3399738B1/en
Priority to CN201780007602.1A priority patent/CN108811520B/zh
Application granted granted Critical
Publication of KR101810668B1 publication Critical patent/KR101810668B1/ko
Priority to US16/040,732 priority patent/US10419670B2/en
Priority to HK19100072.0A priority patent/HK1257704A1/zh

Links

Images

Classifications

    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Accessories Of Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 전방향 영상 처리 장치는 전방향 영상의 생성을 위한 복수의 영상을 생성하도록 구현된 복수의 영상 촬상부와 복수의 영상을 처리하기 위해 구현된 프로세서를 포함하되, 복수의 영상은 복수의 영상 촬상부 각각의 복수의 촬상선을 기반으로 생성되고, 복수의 촬상선 각각은 복수의 영상 촬상부 각각에 포함된 복수의 렌즈 각각의 중심을 수직으로 통과하는 가상의 선일 수 있다.

Description

전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치{Method for shooting omnidirectional image and device for performing the method}
본 발명은 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 웨어러블 디바이스에 위치한 복수개의 영상 촬상부를 기반으로 전방향 영상(또는 360도 영상)을 촬상하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.
전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.
전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 여러대의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상을 얻기 위한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라)를 사용하여 전방향 영상을 생성할 수 있다.
하지만, 현재 전방향 영상 처리 장치는 휴대가 불편하기에 사용자가 일상 생활 중에서 자연스럽게 전방향 영상을 획득하지 못한다는 문제점을 가진다. 예를 들어, 현재 전방향 영상 처리 장치는 보다 안정적으로 전방향 영상을 얻기 위해 일정한 장소에 설치(또는 마운트(mount))되거나 사용자가 양손으로 전방향 영상 처리 장치를 들고 전방향 영상을 촬상하게 된다. 또는 핸드 헬드(hand held) 방식으로 촬영이 수행되는 경우, 360도 카메라 특성상 촬영자도 함께 촬영되어 촬영자의 이미지가 전방향 영상에 포함될 수도 있다.
따라서, 사용자가 전방향 영상 처리 장치를 사용하여 전방향 영상을 쉽고 자연스럽게 획득하기가 어렵다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자의 전방향 영상 처리 장치의 간편한 휴대 및 양 손이 자유로운 상태에서 전방향 영상의 촬상을 다른 목적으로 한다.
또한, 본 발명은, 서로 다른 위치에 위치한 복수개의 카메라 각각에 의해 촬상된 복수개의 영상을 스티칭하여 자연스러운 전방향 영상을 생성하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 전방향 영상 처리 장치는 전방향 영상의 생성을 위한 복수의 영상을 생성하도록 구현된 복수의 영상 촬상부와 상기 복수의 영상을 처리하기 위해 구현된 프로세서를 포함하되, 상기 복수의 영상은 상기 복수의 영상 촬상부 각각의 복수의 촬상선을 기반으로 생성되고, 상기 복수의 촬상선 각각은 상기 복수의 영상 촬상부 각각에 포함된 복수의 렌즈 각각의 중심을 수직으로 통과하는 가상의 선일 수 있다.
본 발명의 다른 태양에 따르면, 전방향 영상 처리 방법은 복수의 영상 촬상부가 전방향 영상의 생성을 위한 복수의 영상을 생성하는 단계, 상기 복수의 영상을 처리하여 전방향 영상을 생성하는 단계를 포함할 수 있되, 상기 복수의 영상은 상기 복수의 영상 촬상부 각각의 복수의 촬상선을 기반으로 생성되고, 상기 복수의 촬상선 각각은 상기 복수의 영상 촬상부 각각에 포함된 복수의 렌즈 각각의 중심을 수직으로 통과하는 가상의 선일 수 있다.
본 발명에 의하면, 사용자가 전방향 영상 처리 장치를 간편하게 휴대하고, 양 손이 자유로운 상태에서 전방향 영상을 촬상할 수 있다.
또한, 본 발명에 의하면, 전방향 영상 처리 장치 상에서 서로 다른 위치에 위치한 복수개의 카메라 각각에 의해 촬상된 복수개의 영상을 스티칭(stitching)/보정하여 자연스러운 전방향 영상이 생성될 수 있다.
도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 전방향 영상 처리 장치의 고정 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 전방향 영상 처리 장치의 영상 처리 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 전방향 영상 처리 장치의 영상 촬상부를 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 블록도이다.
도 9는 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 블록도이다.
도 10은 본 발명의 실시예에 따른 전방향 영상 처리 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예에서는 전방향 영상 처리 장치는 전방향(또는 360도 영상)을 촬상할 수 있는 카메라를 포함하는 의미로 사용될 수 있다.
도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 1에서는 전방향 영상 처리 장치의 구조가 개시된다.
도 1을 참조하면, 전방향 영상 처리 장치(100)는 웨어러블 구조로 사용자의 목에 걸 수 있는 목걸이와 유사한 형상일 수 있다. 전방향 영상 처리 장치(100)는 도 1에서와 같이 일면의 개방된 목걸이의 형상일 수도 있고, 일면이 개방되지 않은 목걸이의 형상일 수도 있다. 이하, 본 발명의 실시예에서는 전방향 영상 처리 장치(100)가 일면이 개방된 U자 형상을 가지는 것으로 가정한다. 이러한 U자 형상의 전방향 영상 처리 장치(100)는 사용자의 목에 웨어러블 장치(wearable device) 형태로 걸려 전방향 영상을 촬영할 수 있다.
본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치(100)가 목걸이 형태(또는 일면이 개방된 목걸이 형태, U자 형태)로서 사용자의 목에 걸리는 경우가 가정된다. 하지만, 전방향 영상 처리 장치(100)는 단순히 사용자의 목에 거는 형태가 아닐 수도 있다. 예를 들어, 전방향 영상 처리 장치(100)는 걸거나/부착 가능한 다양한 형태로 사용자의 다른 신체 부위 또는 외부 물체(또는 객체)/장치/구조물 등에 설치되어 전방향 영상을 획득할 수도 있다.
사용자는 웨어러블 장치로서 구현된 전방향 영상 처리 장치(100)를 목에 걸고 양손이 자유로운 상태에서 전방향 영상의 생성하기 위한 복수의 영상을 획득할 수 있다.
전방향 영상 처리 장치(100)는 복수개의 영상 촬상부를 포함할 수 있다. 복수개의 영상 촬상부 각각은 전방향 영상 처리 장치에 특정 간격(또는 미리 설정된 간격)으로 위치하여 화각/촬상선에 따른 영상을 개별적으로 촬상할 수 있다. 복수개의 영상 촬상부 각각의 위치는 전방향 영상 처리 장치(100)에서 고정적일 수도 있으나, 복수개의 영상 촬상부 각각은 이동 가능하고, 복수개의 영상 촬상부 각각의 위치는 변할 수도 있다.
예를 들어, 전방향 영상 처리 장치(100)는 3개의 영상 촬상부를 포함할 수 있고, 3개의 영상 촬상부는 일정한 화각(field of view)(예를 들어, 120도~180도)으로 전방향 영상을 촬상할 수 있다. 3개의 영상 촬상부는 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130)일 수 있다.
이하, 설명의 편의상 3개의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함된 구조가 개시된다. 하지만, 3개가 아닌 복수개(예를 들어, 2, 4, 5, 6개 등)의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함되어, 전방향 영상을 촬상할 수도 있고, 이러한 형태도 본 발명의 권리 범위에 포함된다.
영상 촬상부1(110), 영상 촬상부2(120) 및 영상 촬상부3(130)은 화각에 따라 영상을 촬상할 수 있다. 동일한 시간 자원 상에서 영상 촬상부1(110)에 의해 영상1이 생성되고, 영상 촬상부2(120)에 의해 영상2가 생성되고, 영상 촬상부3(130)에 의해 영상3이 생성될 수 있다. 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130) 각각의 화각은 120도 이상일 수 있고, 영상1, 영상2 및 영상3에서는 중첩된 촬상 영역이 존재할 수 있다. 이후, 전방향 영상 처리 장치(100)에 의해 동일한 시간 자원 상에서 촬상된 영상1 및 영상2 및 영상3을 스티칭/보정하여 전방향 영상이 생성될 수 있다. 복수의 영상에 대한 스티칭 및/또는 보정 절차는 전방향 영상 처리 장치 자체에서 수행될 수도 있고, 전방향 영상 처리 장치(100)와 통신 가능한 사용자 장치(스마트 폰)을 기반으로 수행될 수도 있다. 즉, 생성된 복수 영상에 대한 추가적인 영상 처리 절차들은 전방향 영상 처리 장치(100) 및/또는 다른 영상 처리 장치(스마트폰, PC(personal computer) 등)에 의해 수행될 수도 있다.
이하, 전방향 영상 처리 장치의 구체적인 특징 및 전방향 영상 생성 방법이 구체적으로 개시된다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 2에서는 U자형의 전방향 영상 처리 장치에 위치한 복수개의 영상 촬상부의 특징이 개시된다. 도 2에서 개시되는 영상 촬상부의 위치는 예시적인 것이다. 복수의 영상 촬상부 각각은 전방향 영상의 생성을 위한 복수의 영상을 촬상하기 위해 전방향 영상 처리 장치 상의 다양한 위치에 위치할 수 있다.
도 2의 상단에서는 전방향 영상 처리 장치의 후면부가 개시된다.
전방향 영상 처리 장치에 포함된 영상 촬상부1(210) 및 영상 촬상부2(220)는 전방향 영상 처리 장치에서 곡률이 존재하는 휘어진 부분에 위치할 수 있다. 구체적으로 사용자가 웨어러블 장치로서 전방향 영상 처리 장치를 목에 거는 경우, 목의 뒷부분과 접촉되는 휘어진 영역에 영상 촬상부1(210) 및 영상 촬상부2(220)가 위치할 수 있다. 예를 들어, U자형의 전방향 영상 처리 장치의 최대 곡률 지점(예를 들어, U자형의 중간 부분)을 기준으로 영상 촬상부1(210) 및 영상 촬상부2(220)가 일정 거리 상에 위치할 수 있다.
영상 촬상부1(210)은 사용자의 시선(line of sight) 방향을 기준으로 후면 좌측 사각 영역을 포함하는 영역을 촬상할 수 있다. 영상 촬상부2(220)는 사용자의 시선을 기준으로 후면 우측 사각 영역을 포함하는 영역을 촬상할 수 있다. 구체적으로 영상 촬상부1(210)은 제1 화각을 가지고, 제1 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 영상 촬상부2(220)는 제2 화각을 가지고, 제2 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제1 화각 및 제2 화각은 120~180도일 수 있다.
영상 촬상부1(210) 및 영상 촬상부2(220)에 의한 촬상이 수행될 경우, 제1 화각과 제2 화각에 의해 중첩되는 제1 중첩 영역(215)이 발생할 수 있다. 이후 중첩 영역을 고려한 스티칭을 기반으로 전방향 영상이 생성할 수 있다.
도 2의 하단에서는 전방향 영상 처리 장치의 전면부가 개시된다.
전방향 영상 처리 장치의 전면부에는 영상 촬상부3(230)이 위치할 수 있다. 구체적으로 영상 촬상부3(230)은 전방향 영상 처리 장치의 말단부(U자형의 끝(말단) 부분)에 위치할 수 있다. 사용자가 전방향 영상 처리 장치를 웨어러블 장치로서 목에 거는 경우, U자형의 전방향 영상 처리 장치의 말단 부분은 사용자의 전면 방향(사용자의 시선이 바라보는 방향)에 위치할 수 있다. 전방향 영상 처리 장치는 제1 말단부와 제2 말단부를 포함하고, 영상 촬상부3(230)은 제1 말단부와 제2 말단부 중 하나의 말단부에 위치할 수 있다.
영상 촬상부3(230)은 사용자의 시선의 방향과 동일한 방향으로 촬상을 수행하여 사용자의 시선에 해당하는 영역에 대한 촬상을 수행할 수 있다.
구체적으로 영상 촬상부3(230)은 제3 화각을 가지고, 제3 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제3 화각은 120도~180도일 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부1(210)의 제1 화각과 영상 촬상부3(230)의 제3 화각에 의한 제2 중첩 영역(225)이 발생할 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부2(220)의 제2 화각과 영상 촬상부3(230)의 제3 화각에 의한 제3 중첩 영역(235)이 발생할 수 있다.
목에 거는 웨어러블 장치의 구조상 목에 전방향 영상 처리 장치가 걸리는 경우, 영상 촬상부1(210), 영상 촬상부2(220)는 지면을 기준으로 영상 촬상부3(230)보다 상대적으로 높은 곳에 위치할 수 있다. 또한, 영상 촬상부3(230)은 한쪽 말단부에만 위치하게 된다.
기존의 전방향 영상 처리 장치에서는 동일한 높이에 위치한 복수개의 영상 촬상부가 일정한 각도를 가지고 구현되는데 반하여 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 간의 각도도 다르고 위치한 높이도 서로 다를 수 있다. 따라서, 복수의 영상 촬상부 각각에 의해 생성된 복수의 영상에 대한 제1 중첩 영역(215), 제2 중첩 영역(225) 및 제3 중첩 영역(235)의 크기/형태가 서로 다를 수 있다.
이후, 제1 중첩 영역(215)/제2 중첩 영역(225)/제3 중첩 영역(235)을 고려한 영상 촬상부1(210), 영상 촬상부2(220) 및 영상 촬상부3(230) 각각에 의해 생성된 영상1, 영상2 및 영상 3에 대한 영상 처리 절차(스티칭/보정 등)을 기반으로 전방향 영상이 생성될 수 있다.
제1 화각, 제2 화각, 제3 화각의 크기는 동일하게 설정될 수도 있지만, 서로 다르게 설정될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 3에서는 전방향 영상 처리 장치에 설치된 복수의 영상 촬상부 각각의 촬상선이 개시된다. 지면을 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정하는 경우, 촬상선은 X축/Y축/Z축으로 표현되는 공간 상에서 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각의 렌즈의 중앙을 수직으로 관통하는 선으로 정의될 수 있다.
기존의 전방향 영상 처리 장치는 동일한 높이에 복수의 영상 촬상부를 일정한 각도(예를 들어, 120도)로 구현될 수 있다. 이러한 경우, 기존의 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부의 복수의 촬상선은 지면(또는 XZ 평면)에 평행하고 복수의 촬상선 간에 일정한 각도(예를 들어, 120도)를 가지는 복수의 선일 수 있다.
본 발명의 실시예에 따른 전방향 영상 처리 장치는 전술한 바와 같이 복수의 영상 촬상부의 높이(또는 복수의 영상 촬상부의 구현된 위치) 및 복수의 영상 촬상부 간의 각도(또는 촬상선 간에 이루는 각도)가 촬상시에 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 전방향 영상 처리 장치의 촬상선의 특성은 기존의 전방향 영상 처리 장치의 촬상선의 특성과는 차이가 있다.
도 3에서 표현되는 복수의 영상 촬상부 각각의 촬상선은 웨어러블 디바이스의 특성으로 인한 복수의 영상 촬상부 각각의 촬상선 간의 특성(예를 들어, 높이, 각도)의 차이를 보여주기 위한 예시일 수 있다. 또한, 도 3에서 표현되는 촬상선은 전방향 영상 처리 장치를 착용한 사용자에 의한 움직임이 없거나 전방향 영상 처리 장치가 특정 상태에서 고정된 경우의 촬상선일 수 있다.
도 3의 상단은 영상 촬상부1(310) 및 영상 촬상부2(320)의 촬상선을 개시한다.
영상 촬상부1(310) 및 영상 촬상부2(320)는 영상 촬상부3(330)보다 상대적으로 높은 위치에 구현될 수 있다. 전방향 영상 처리 장치를 착용한 사용자의 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치에서 영상 촬상부1(310) 및 영상 촬상부2(320)가 위치한 곡률을 가지는 부분(U자에서 곡선/중앙 부분)이 상대적으로 올라가고 영상 촬상부3(330)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려갈 수 있다.
예를 들어, 영상 촬상부1(310)의 촬상선1(315)은 XZ 평면과 평행하되, Y축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.
영상 촬상부2(320)의 촬상선2(325)는 XZ 평면과 평행하되, Y축의 지점 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.
도 3의 하단을 참조하면, 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고, Y축의 좌표 b에서 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. b는 a보다 작은 값일 수 있다. 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고 사용자의 시선과 동일하게 전면(예를 들어, XY 평면과 수직한 방향)을 바라보도록 구현될 수 있다.
즉, 촬상선1(315) 및 촬상선2(325)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(335)은 Y 축을 기준으로 촬상선1 및 촬상선2보다 상대적으로 낮은 위치에 위치할 수 있다. 도 3에서 개시된 촬상선1(315), 촬상선2(325) 및 촬상선3(335)은 서로 다른 특성을 가지는 촬상선에 대한 하나의 예시이고, 다른 다양한 촬상선이 정의되고 전방향 영상이 촬상될 수 있다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4에서는 도 3과 다른 복수의 영상 촬상부의 촬상선이 개시된다. 마찬가지로 도 4에서도 지면이 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정한다.
도 4의 상단은 영상 촬상부1(410) 및 영상 촬상부2(420)의 촬상선을 개시한다.
영상 촬상부1(410) 및 영상 촬상부2(420)는 영상 촬상부3(430)보다 상대적으로 높은 위치에 구현될 수 있다. 마찬가지로, 사용자가 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치는 영상 촬상부1(410) 및 영상 촬상부2(420)가 위치한 곡률을 가지는 부분(U자에서 곡선 부분)이 상대적으로 올라가고 영상 촬상부3(430)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려간 형태로 영상을 촬상할 수 있다.
예를 들어, 영상 촬상부1(410)의 촬상선1(415)은 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.
영상 촬상부2(420)의 촬상선2(415)는 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.
도 4의 하단은 영상 촬상부3(430)의 촬상선을 개시한다.
영상 촬상부3(430)의 촬상선3(435)는 XZ 평면과 평행하지 않을 수 있고, Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.
영상 촬상부3(430)은 전방향 영상 처리 장치의 말단부에 위치하기 때문에 촬상선은 XZ 평면과 평행하지 않고, XZ 평면과 일정한 각도(예를 들어, 0~30도)를 가질 수 있다.
즉, 촬상선1(415) 및 촬상선2(425)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(435)은 Y 축을 기준으로 촬상선1(415) 및 촬상선2(425) 보다 상대적으로 낮은 위치에 위치할 수 있다. 또한, 촬상선 1(415) 및 촬상선2(425)는 XZ 평면과 평행하나, 촬상선3(435)은 XZ 평면과 평행하지 않을 수 있다.
본 발명의 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.
본 발명의 또 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제3' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수도 있다.
즉, 복수의 영상 촬상부 각각의 촬상선이 기존의 동일한 Y 축 지점에서 지면과 동일한 각도를 가지는 영상 처리 장치와 다르게 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 각각의 촬상선이 서로 다른 Y 축 지점에서 위치하고, 지면(또는 XZ 평면)과 서로 다른 각도를 가질 수 있다.
도 5는 본 발명의 실시예에 따른 전방향 영상 처리 장치의 고정 방법을 나타낸 개념도이다.
도 5에서는 전방향 영상 처리 장치를 착용한 사용자가 이동하는 경우, 전방향 영상 처리 장치의 흔들림(전방향 영상 처리 장치에 의해 촬상된 영상의 흔들림을)을 감소시키기 위한 고정 구조가 개시된다.
도 5의 상단을 참조하면, 전방향 영상 처리 장치에는 추가적으로 사용자와 전방향 영상 처리 장치를 고정하기 위한 고정 구조(510)가 추가적으로 구현될 수 있다.
예를 들어, 전방향 영상 처리 장치에 집게(510)와 같은 특정 객체를 잡아서 고정할 수 있는 구조가 구현될 수 있다. 사용자는 집게(510)를 기반으로 전방향 영상 처리 장치와 옷을 연결하여 전방향 영상 처리 장치의 과도한 움직임을 방지할 수 있다.
또는 도 5의 하단을 참조하면, 사용자의 목과 밀착되어 착용되는 내부 고정 구조(520)가 구현될 수 있고, 내부 고정 구조(520)는 연결부를 기반으로 전방향 영상 처리 장치와 연결될 수 있다. 내부 고정 구조(520)는 사용자가 목에 내부 고정 구조를 착용시 편리하도록 일면이 개방 가능한 형태로 구현될 수 있다.
도 6은 본 발명의 실시예에 따른 전방향 영상 처리 장치의 영상 처리 방법을 나타낸 개념도이다.
도 6에서는 복수의 영상 촬상부 각각에 의해 촬상된 영상을 스티칭하여 전방향 영상을 생성하기 위한 방법이 개시된다.
도 6을 참조하면, 전술한 바와 같이 복수의 영상 촬상부의 촬상선의 특성(높이, 지면과 이루는 각도)은 동일하지 않을 수 있다. 복수의 영상 촬상부의 촬상선의 특성 차이로 인해 촬상되는 영상의 특성도 차이를 가질 수 있다.
영상 촬상부1(610), 영상 촬상부2(620), 영상 촬상부3(630) 각각의 촬상선이 XZ 평면(또는 지면)과 이루는 각도는 사용자의 행위(예를 들어, 몸을 뒤로 젖히는 행위, 몸을 앞으로 구부리는 행위 등)에 따라 달라질 수 있다. 예를 들어, 영상 촬상부1(610) 및 영상 촬상부2(620)의 촬상선이 XZ 평면(또는 지면)과 양의 각도를 가지고 위를 바라보는 형태일 수 있고 영상 촬상부3(630)의 촬상선이 XZ 평면(지면)과 음의 각도를 가지고 아래를 바라보는 형태일 수 있다.
이러한 경우, 영상 촬상부1(610)에 의해 촬상된 영상1(615) 및 영상 촬상부2(620)에 의해 촬상된 영상2(625)는 Y축의 양의 방향으로 갈수록 넓은 역사다리꼴의 촬상 영역을 가질 수 있다. 반대로 영상 촬상부3(630)에 의해 촬상된 영상3(635)은 Y 축의 음의 방향으로 갈수록 넓은 사다리꼴의 촬상 영역을 가질 수 있다.
전방향 영상 처리 장치에 의해 촬상된 역사다리꼴의 영상1(615) 및 영상2(625) 및 사다리꼴의 영상3(635)이 스티칭되고, 전방향 영상이 생성될 수 있다. 전술한 바와 같이 영상1(615)과 영상2(625)의 제1 중첩 영역(650), 영상1(615)과 영상3(635)의 제2 중첩 영역(660), 영상2(625)와 영상3(635)의 제3 중첩 영역(630)은 서로 다른 형태를 가질 수 있다. 즉, 기존의 전방향 영상 처리 장치와 다르게 복수의 영상 촬상부에 의해 촬상되는 영상의 형태가 다를 수 있고, 촬상되는 영상의 형태가 다른 경우, 중첩 영역의 특성도 상이할 수 있다. 본 발명의 실시예 따르면, 이러한 서로 다른 형태의 제1 중첩 영역(660), 제2 중첩 영역(670) 및 제3 중첩 영역(680)이 스티칭되어 전방향 영상이 생성될 수 있다.
예를 들어, 전방향 영상 처리 장치로 촬상된 복수의 영상을 스티칭하기 위해서 중첩 영역 내의 특징점이 사용될 수 있다. 예를 들어, 영상1과 영상2를 스티칭하기 위해서 영상1(615)에 포함되는 제1 중첩 영역(660) 내의 객체에서 제1 특징점이 추출될 수 있다. 영상2에 포함되는 제1 중첩 영역(660) 내의 동일한 객체에서 제2 특징점이 추출될 수 있다. 이후, 영상1(615)과 영상2(625)의 스티칭을 위해 제1 특징점과 제2 특징점 간의 매칭이 수행될 수 있다.
예를 들어, 본 발명의 실시예에 따른 전방향 영상 처리 장치에서는 SIFT(scale invariant feature transform) 기반의 특징점 추출 및 영상 스티칭이 수행될 수 있다. SIFT의 경우 DoG(Difference Of Gaussian)을 통해 주변보다 밝기 값이 어둡거나 밝은 영역의 중앙의 위치를 찾아 특징점을 검출하고, 각각의 특징점에 대해 주변의 화소들을 이용하여 주방향 성분과 128차원 또는 64차원 벡터를 통해 디스크립터(Descriptor)를 형성할 수 있다. 이후, 특징점의 디스크립터를 기반으로 특징점에 대한 매칭이 수행되고, 영상 스티칭이 수행될 수 있다. SIFT기반의 특징점 추출은 특징점 추출 및 영상 스티칭을 위한 하나의 예시이고, 다른 다양한 방법이 특징점 추출 및 영상 스티칭을 위해 사용될 수 있다.
또한, 본 발명의 실시예에 따르면, 보다 빠른 영상 처리를 위해서 일부의 객체에 대한 특징점을 추출할 수도 있다. 예를 들어, 전방향 영상 처리 장치는 중첩 영역 상에서 특징점의 추출이 어려운 배경(산, 하늘 등)보다는 우선적으로 특징점 추출이 용이한 객체에 대해 특징점을 추출하고, 특징점에 대한 매칭을 수행할 수 있다.
또한, 본 발명의 실시예에 따르면 전방향 영상 처리 장치는 일정 시간 동안 특정 중첩 영역에서 특징점을 찾기가 어려운 경우(예를 들어, 유효한 특징점이 임계 개수 이하인 경우), 영상 촬상부 간의 중첩되는 화각을 변경하여 보다 특징점의 추출이 용이한 객체가 중첩 영역에 포함되도록 할 수도 있다.
도 7은 본 발명의 실시예에 따른 전방향 영상 처리 장치의 영상 촬상부를 나타낸 개념도이다.
도 7에서는 전방향 영상 처리 장치에 구현된 영상 촬상부의 동작이 구체적으로 개시된다. 영상 촬상부가 전방향 영상 처리 장치 상의 특정 위치에서 구현되고, 영상 촬상부의 렌즈도 고정되어 촬상선이 고정될 수도 있다 하지만, 영상 촬상부가 전방향 영상 처리 장치 상에서 이동될 수도 있고, 영상 촬상부 내의 렌즈가 바라보는 방향(촬상선의 방향)도 변화될 수 있다.
도 7을 참조하면, 전방향 영상 처리 장치 상에서 복수의 영상 촬상부의 위치가 변할 수 있다. 예를 들어, 전방향 영상 처리 장치에 영상 촬상부(700)의 이동을 위한 구조(750)가 구현될 수 있다. 예를 들어, 레일/홈과 같은 영상 촬상부(700)의 이동을 위한 구조(750)가 구현되고, 영상 촬상부(700)는 영상 촬상부의 이동을 위한 구조(750) 상에서 이동될 수 있다.
예를 들어, 전방향 영상 처리 장치는 중첩 영역의 조정을 위해 영상 촬상부(700)의 위치를 변화시킬 수 있다. 예를 들어, 영상의 스티칭의 편의를 위해 영상 촬상부(700)의 위치가 변화되고 중첩 영역이 조정될 수 있다.
또는 사용자의 움직임을 고려하여 전방향 영상 처리 장치의 영상 촬상부(700)의 위치가 변화될 수도 있다. 웨어러블 장치의 특성상 사용자가 움직이는 상태에서 전방향 영상 처리 장치가 전방향 영상의 생성을 위해 영상 촬상을 수행할 수 있다. 사용자의 계속적인 움직임으로 인한 이미지 간의 이질감/흔들림을 보정하기 위해 사용자의 움직임 특성을 고려하여 영상 촬상부(700)의 위치가 변화될 수도 있다.
마찬가지로, 중첩 영역의 조정을 위해 영상 촬상부(700)에 포함되는 렌즈의 촬상선(720)의 방향이 변화될 수도 있다. 예를 들어, 영상의 스티칭의 편의를 위해 영상 촬상부(700)에 포함되는 렌즈의 촬상선(720)의 방향이 변화되고 중첩 영역이 조정될 수 있다.
마찬가지로 사용자의 움직임을 고려하여 영상 촬상부(700)에 포함되는 렌즈의 촬상선(720)의 방향이 변화될 수도 있다. 웨어러블 장치의 특성상 사용자가 움직이는 상태에서 전방향 영상 처리 장치가 전방향 영상을 생성할 수 있다. 사용자의 계속적인 움직임으로 인한 이미지 간의 이질감/흔들림을 보정하기 위해 사용자의 움직임 특성을 고려하여 영상 촬상부(700)에 포함되는 렌즈의 촬상선(720)이 변화될 수도 있다.
도 8은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 블록도이다.
도 8에서는 전방향 영상 처리 장치에서 직접적인 영상 처리 절차(스티칭 및 보정 등)가 수행되지 않고 별도의 사용자 장치(예를 들어, 스마트폰)에서 영상 처리 절차가 수행되는 경우, 전방향 영상 처리 장치의 기능별 구성부가 개시된다.
도 8을 참조하면, 영상 처리 시스템은 전방향 영상 촬상부(800), 센서부(810), 영상 처리부(820), 저장부(830), 통신부(840), 프로세서(850)를 포함할 수 있다.
전방향 영상 촬상부(800)는 전방향 영상을 촬상하기 위해 구현될 수 있다. 전방향 영상 촬상부(800)는 전방향 영상의 촬상을 위한 복수의 영상 촬상부를 포함할 수 있다. 전술한 바와 같이 복수의 영상 촬상부는 영상 촬상부1, 영상 촬상부2, 영상 촬상부3을 포함할 수 있다.
센서부(810)는 사용자의 움직임 정보를 센싱하기 위해 구현될 수 있다. 전방향 영상 처리 장치는 웨어러블 장치로서 사용자의 움직임에 따라 영상의 흔들림이 발생할 수 있다. 센서부(810)에 의해 센싱되어 생성된 사용자의 움직임 정보는 별도의 영상 처리를 위한 사용자 장치(예를 들어, 스마트폰)로 전송되어 영상의 흔들림을 보정하기 위해 활용될 수 있다.
또한, 센서부(810)는 현재 촬영 환경을 센싱하기 위해 구현될 수도 있다. 예를 들어, 센서부(810)는 복수의 영상 촬상부 각각의 촬상을 수행시 복수의 영상 촬상부 각각에 의해 촬상된 영상의 촬상 환경(예를 들어, 촬상 밝기(또는 휘도) 등)에 대한 정보를 센싱할 수도 있다. 센싱된 결과는 별도의 영상 처리를 위한 사용자 장치(예를 들어, 스마트폰)로 전송되어 복수의 영상 간의 휘도를 보정하기 위해 활용될 수 있다.
현재의 촬영 환경은 별도의 센싱부(810)에 의해 센싱되지 않을 수도 있고, 영상 처리를 위한 사용자 장치 상에서 영상에 대한 특성 정보를 추출하여 복수의 영상 간의 영상 특성(예를 들어, 휘도)의 차이를 보정할 수도 있다.
영상 처리부(820)는 복수의 영상 촬상부에 의해 촬상된 복수의 영상을 처리하기 위해 구현될 수 있다. 영상 처리부(820)는 복수의 영상 촬상부에 의해 촬상된 영상을 수집하고, 통신부(840)로 전달할 수 있다.
저장부(830)는 복수의 영상 촬상부에 의해 촬상된 영상을 저장하기 위해 구현될 수 있다.
통신부(840)는 전방향 영상 처리 장치와 외부 장치와의 통신을 위해 구현될 수 있다. 예를 들어, 통신부(840)는 전방향 영상 처리 장치와 사용자 장치(예를 들어, 스마트폰 또는 VR(virtual reality) 장치)로 복수의 영상 촬상부에 의해 촬상된 영상에 대한 정보, 센싱부(810)에 의해 생성된 센싱 정보를 전송하기 위해 구현될 수 있다.
프로세서(850)는 전방향 영상 촬상부(800), 센서부(810), 영상 처리부(820), 저장부(830), 통신부(840)의 동작을 제어하기 위해 구현될 수 있다.
구동부(미도시)는 복수의 영상 촬상부 및/또는 영상 촬상부의 렌즈의 구동을 위해 구현될 수 있다.
도 8에서는 전방향 영상 처리 장치가 복수의 영상 촬상부에 의해 촬상된 복수의 영상을 사용자 장치(예를 들어, 스마트폰)로 전송하고 사용자 장치에서 복수의 영상에 대한 영상 처리(예를 들어, 영상에 대한 스티칭/보정)를 기반으로 전방향 영상 처리 장치를 생성하는 경우가 가정된다. 하지만, 전방향 영상 처리 장치 자체에서 영상 처리를 통해 전방향 영상이 생성될 수도 있다.
도 9는 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 블록도이다.
도 9에서는 전방향 영상 처리 장치의 기능별 구성부가 개시된다.
도 9를 참조하면, 영상 처리 시스템은 전방향 영상 촬상부(900), 영상 처리부(920), 보정부(925), 저장부(930), 통신부(940), 프로세서(950)를 포함할 수 있다.
전방향 영상 촬상부(900)는 전방향 영상을 촬상하기 위해 구현될 수 있다. 전방향 영상 촬상부(900)는 전방향 영상의 촬상을 위한 복수의 영상 촬상부를 포함할 수 있다. 전술한 바와 같이 복수의 영상 촬상부는 영상 촬상부1, 영상 촬상부2, 영상 촬상부3을 포함할 수 있다.
센서부(910)는 사용자의 움직임을 센싱하여 움직임 정보를 생성하기 위해 구현될 수 있다. 전방향 영상 처리 장치는 웨어러블 장치로서 사용자의 움직임에 따라 영상의 흔들림이 발생할 수 있다. 영상 처리부(920)는 센서부(910)에 의해 센싱되어 생성된 사용자의 움직임 정보를 기반으로 영상의 흔들림을 보정할 수 있다.
또한, 센서부(910)는 촬영 환경을 센싱하여 촬영 환경 정보를 생성하기 위해 구현될 수 있다. 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 촬영 환경은 빛(예를 들어, 태양)의 위치에 따라 다를 수 있다. 센서부(910)는 복수의 촬상부 각각에 대한 촬상을 수행시 복수의 촬상부 각각에 의해 촬상된 영상의 촬상 환경(예를 들어, 촬상 밝기(또는 휘도) 등)에 대한 정보를 센싱할 수도 있다. 센싱된 결과는 전방향 영상 처리 장치에서 복수의 영상 간의 휘도를 보정하기 위해 활용될 수 있다.
영상 처리부(920)는 복수의 영상 촬상부에 의해 촬상된 복수의 영상을 처리하여 전방향 영상을 생성하기 위해 구현될 수 있다. 전술한 바와 같이 영상 처리부(920)는 중첩 영역에서 특징점을 추출하고 특징점을 매칭하여 영상을 스티칭하는 방법을 기반으로 전방향 영상을 생성할 수 있다.
영상 처리부(920)는 보정부(925)를 더 포함할 수 있다. 영상 처리부(920)에 의해 생성되는 전방향 영상은 보정부(925)에 의해 보정된 영상일 수 있다. 보정부(925)는 전방향 영상에 대한 보정을 수행할 수 있다. 예를 들어, 보정부(925)는 센싱된 사용자의 움직임 정보를 기반으로 영상에 대한 보정을 수행할 수 있다. 또한 보정부(925)는 복수의 영상 촬상부 각각에 의해 생성된 영상의 휘도에 대한 보정을 수행할 수 있다. 휘도가 다른 영상 간의 스티칭은 영상의 이질감을 유발할 수 있다. 따라서, 보정부(925)는 복수의 영상 각각의 휘도 정보를 기반으로 영상 간의 휘도를 보정하여 이질감 없는 전방향 영상을 생성할 수 있다. 또한, 보정부(925)는 사용자의 움직임 정보를 고려하여 복수의 영상에 발생한 움직임/떨림에 대한 보상을 수행할 수 있다.
저장부(930)는 전방향 영상 촬상부에 의해 촬상된 영상을 저장하거나 영상 처리부에 의해 생성된 전방향 영상을 저장하기 위해 구현될 수 있다.
통신부(940)는 전방향 영상 처리 장치와 외부 장치와의 통신을 위해 구현될 수 있다. 예를 들어, 통신부(940)는 전방향 영상 처리 장치와 사용자 장치(예를 들어, 스마트폰 또는 VR(virtual reality) 머신)으로 전방향 영상을 전송할 수 있다.
프로세서(950)는 전방향 영상 촬상부(900), 영상 처리부(920), 보정부(925), 저장부(930), 통신부(940)의 동작을 제어하기 위해 구현될 수 있다.
구동부(미도시)는 복수의 영상 촬상부 및/또는 영상 촬상부의 렌즈의 구동을 위해 구현될 수 있다.
도 9에서는 본 발명의 실시예에서는 전방향 영상 처리 장치 자체에서 영상 처리를 통해 전방향 영상을 생성하는 방법에 대해 개시하나, 전방향 영상 처리 장치에서는 일부의 영상 처리만이 수행되고, 나머지 영상 처리는 전방향 영상 처리 장치와 연결된 사용자 장치(예를 들어, 스마트폰)에서 수행될 수도 있다.
도 10은 본 발명의 실시예에 따른 전방향 영상 처리 방법을 나타낸 개념도이다.
도 10에서는 사용자 장치에서 전방향 영상을 생성하기 위한 영상 처리(스티칭, 보정)가 수행되는 경우가 가정되나, 전술한 바와 같이 영상 처리는 전방향 영상 처리 장치 및/또는 전방향 영상 처리 장치와 연결된 사용자 장치에서 수행될 수도 있고, 이러한 실시예 또한, 본 발명의 권리 범위에 포함된다.
도 10을 참조하면, 전방향 영상 처리 장치에 의해 전방향 영상을 생성하기 위한 영상 관련 정보(또는 영상 관련 데이터)가 생성된다(단계 S1000).
예를 들어, 전방향 영상 처리 장치의 복수의 영상 촬상부에 의해 복수의 영상 정보가 생성될 수 있다. 또한, 센서부에 의해 사용자의 움직임 정보/촬영 환경 정보가 생성될 수 있다. 복수의 영상 촬상부 중 적어도 하나의 영상 촬상부의 위치는 복수의 영상 촬상부 중 적어도 하나의 영상 촬상부를 제외한 나머지 영상 촬상부의 위치보다 지면을 기준으로 상대적으로 낮은 위치에 위치할 수 있다.
복수의 영상은 복수의 영상 촬상부 각각의 복수의 촬상선을 기반으로 생성될 수 있다. 복수의 촬상선 각각은 복수의 영상 촬상부 각각에 포함된 복수의 렌즈 각각의 중심을 수직으로 통과하는 가상의 선일 수 있다. 전술한 바와 같이 복수의 촬상선 중 적어도 하나의 촬상선과 지면의 각도는 복수의 촬상선 중 상기 적어도 하나의 촬상선을 제외한 나머지 촬상선과 지면의 각도와 다를 수 있다.
복수의 영상 중 적어도 하나의 영상은 제1 형상이고, 복수의 영상 중 적어도 하나의 영상을 제외한 나머지 영상은 제2 형상일 수 있다. 전방향 영상은 제1 형상 및 제2 형상이 이루는 중첩 영역 상에서 특징점을 추출 후 제1 형상 및 제2 형상을 스티칭(stitching)하여 생성될 수 있다.
전방향 영상 처리 장치가 영상 관련 정보를 사용자 장치로 전송한다(단계 S1010).
전방향 영상 처리 장치는 생성된 영상 관련 정보를 통신부를 통해 사용자 장치로 전송할 수 있다.
사용자 장치가 영상 관련 정보를 기반으로 영상 처리를 통해 전방향 영상을 생성한다(단계 S1020).
사용자 장치는 영상 관련 정보를 기반으로 전방향 영상을 생성하기 위한 영상 처리를 수행할 수 있다. 구체적으로 복수의 영상에 대한 스티칭/보정이 수행될 수 있다.
구체적으로 센서부는 3축 가속 센서(3D(dimension) accelerometer)와 3축 각축센서(3D gyroscope)를 포함할 수 있다. 즉, 센서부는 6축 가속 각축 센서를 포함할 수 있다. 고정된 위치에 있는 복수의 영상 촬상부에 대하여 6축 가속 각축 센서로부터의 거리와 틀어진 정도에 대한 값이 결정될 수 있다. 예를 들어, 가상 원점(Virtual Origin)의 좌표를 (0,0)으로 설정하면, 6축 가속 각축 센서와 개별 이미지 센서는 특정 좌표값으로 설정될 수 있다. 전방향 영상 처리 장치의 흔들림 발생에 대해 연산부는 가상 원점 좌표를 기준으로 복수의 영상 촬상부의 움직임 평균(moving average)을 산출할 수 있다. 움직임 평균은 가상 원점을 기준으로 6축 가속 각축 센서로부터 추출한 정보를 바탕으로 산출될 수 있다. 이러한 사용자 장치는 움직임 평균값을 기반으로 복수의 영상에 대한 이미지 안정화(image stabilization)를 수행할 수 있다.
영상 처리 절차에서 복수의 영상 촬상부에 의해 촬상된 복수의 영상의 노출/색상 값의 평균이 획득되고, 영상의 노출/색상 값에 대한 정보를 복수의 영상 촬상부로 피드백하여 복수의 영상이 유사 범위의 노출/색상을 가지도록 영상 보정이 수행될 수 있다. 또한, VR 영상을 보는 사용자의 응시 방향을 계산하고, 이를 토대로 응시하고 있는 부분에 가중치를 두고 색상 및 노출 차이값을 계산할 수도 있다. 복수의 영상 촬상부에 의해 촬상된 복수의 영상을 기반으로 가변적으로 입력 영상 간의 색상 및 노출 오차가 보정될 수 있다. 즉, 사용자가 응시하는 부분을 알 수 없는 일반 영상과 달리 VR 환경에서는 사용자가 응시하는 방향을 알 수 있다. 따라서, 사용자의 응시점을 기준으로 구형 공간에서의 중요도를 계산하고 영상에 대한 색상/노출 보정시 중요도 값에 가중치를 두고 전체 영상을 보정하여 전방향 영상이 생성될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 전방향 영상 처리 장치는,
    전방향 영상의 생성을 위한 복수의 영상을 생성하도록 구현된 복수의 영상 촬상부; 및
    상기 복수의 영상을 처리하기 위해 구현된 프로세서를 포함하되,
    상기 복수의 영상은 상기 복수의 영상 촬상부 각각의 복수의 촬상선을 기반으로 생성되고,
    상기 복수의 촬상선 각각은 상기 복수의 영상 촬상부 각각에 포함된 복수의 렌즈 각각의 중심을 수직으로 통과하는 가상의 선이고,
    상기 복수의 촬상선 중 적어도 하나의 촬상선과 xyz 좌표축 공간 상의 xz 평면과의 각도와 상기 복수의 촬상선 중 상기 적어도 하나의 촬상선을 제외한 나머지 촬상선과 상기 xz 평면과의 각도가 다르고,
    상기 복수의 영상 촬상부 중 적어도 하나의 영상 촬상부의 위치는 상기 복수의 영상 촬상부 중 상기 적어도 하나의 영상 촬상부를 제외한 나머지 영상 촬상부의 위치보다 상기 xyz 좌표축 공간 상의 y축을 기준으로 상대적으로 낮은 위치에 위치하는 것을 특징으로 하는 전방향 영상 처리 장치.
  2. 제1항에 있어서,
    상기 전방향 영상 처리 장치는 사용자의 목에 착용하는 일면이 개방된 U자 형태의 웨어러블 장치이고,
    상기 복수의 영상 촬상부는 영상 촬상부1, 영상 촬상부2 및 영상 촬상부3을 포함하고,
    상기 영상 촬상부1 및 상기 영상 촬상부2는 상기 U자 형태의 중간 부분을 기준으로 일정 거리 상에 위치하고,
    상기 영상 촬상부3은 상기 U자 형태의 말단 부분에 위치하고,
    상기 영상 촬상부1은 상기 사용자의 시선 방향을 기준으로 후면 좌측 영역을 포함하는 영역을 촬상하고,
    상기 영상 촬상부2는 상기 시선 방향을 기준으로 후면 우측 영역을 포함하는 영역을 촬상하고,
    상기 영상 촬상부3은 상기 시선 방향을 포함하는 영역을 촬상하는 것을 특징으로 하는 전방향 영상 처리 장치.
  3. 제1항에 있어서,
    상기 전방향 영상 처리 장치는 사용자의 목에 착용하는 일면이 개방된 U자 형태의 웨어러블 장치이고,
    상기 복수의 영상 촬상부는 영상 촬상부1, 영상 촬상부2, 영상 촬상부3을 포함하고,
    상기 복수의 촬상선은 촬상선1, 촬상선2 및 촬상선3을 포함하고,
    상기 영상 촬상부1은 상기 촬상선1을 기반으로 촬상을 수행하고,
    상기 영상 촬상부2는 상기 촬상선2를 기반으로 촬상을 수행하고,
    상기 영상 촬상부3은 상기 촬상선3을 기반으로 촬상을 수행하고,
    상기 복수의 촬상선 중 상기 촬상선1 및 상기 촬상선2와 상기 xz 평면과의 각도와 상기 촬상선3과 상기 xz 평면과의 각도가 다르고,
    상기 영상 촬상부3의 위치는 상기 영상 촬상부1 및 상기 영상 촬상부3의 위치보다 상기 y축을 기준으로 상대적으로 낮은 위치에 위치하는 것을 특징으로 하는 전방향 영상 처리 장치.
  4. 제1항에 있어서,
    상기 복수의 영상 중 적어도 하나의 영상은 제1 형상이고, 상기 복수의 영상 중 상기 적어도 하나의 영상을 제외한 나머지 영상은 제2 형상이고,
    상기 전방향 영상은 상기 제1 형상 및 상기 제2 형상이 이루는 중첩 영역 상에서 특징점을 추출 후 상기 제1 형상 및 상기 제2 형상을 스티칭(stitching)하여 생성되는 것을 특징으로 하는 전방향 영상 처리 장치.
  5. 제4항에 있어서,
    상기 복수의 영상 촬상부는 영상 촬상부1, 영상 촬상부2, 영상 촬상부3을 포함하고,
    상기 제1 형상은 역사다리꼴 형태이고,
    상기 제2 형상은 사다리꼴 형태이고,
    상기 영상 촬상부1은 상기 제1 형상의 영상1을 생성하고,
    상기 영상 촬상부2는 상기 제1 형상의 영상2를 생성하고,
    상기 영상 촬상부3은 상기 제2 형상의 영상3을 생성하고,
    상기 영상 1과 상기 영상2의 제1 중첩 영역, 상기 영상2와 상기 영상3의 제2 중첩 영역, 상기 영상 3과 상기 영상1의 제3 중첩 영역 각각은 서로 다른 형태를 가지고,
    상기 전방향 영상은 상기 제1 중첩 영역, 상기 제2 중첩 영역, 상기 제3 중첩 영역의 스티칭을 기반으로 생성되는 것을 특징으로 하는 전방향 영상 처리 장치.
  6. 전방향 영상 처리 방법은,
    복수의 영상 촬상부가 전방향 영상의 생성을 위한 복수의 영상을 생성하는 단계;
    상기 복수의 영상을 처리하여 전방향 영상을 생성하는 단계를 포함하되,
    상기 복수의 영상은 상기 복수의 영상 촬상부 각각의 복수의 촬상선을 기반으로 생성되고,
    상기 복수의 촬상선 각각은 상기 복수의 영상 촬상부 각각에 포함된 복수의 렌즈 각각의 중심을 수직으로 통과하는 가상의 선이고,
    상기 복수의 촬상선 중 적어도 하나의 촬상선과 xyz 좌표축 공간 상의 xz 평면과의 각도와 상기 복수의 촬상선 중 상기 적어도 하나의 촬상선을 제외한 나머지 촬상선과 상기 xz 평면과의 각도가 다르고,
    상기 복수의 영상 촬상부 중 적어도 하나의 영상 촬상부의 위치는 상기 복수의 영상 촬상부 중 상기 적어도 하나의 영상 촬상부를 제외한 나머지 영상 촬상부의 위치보다 상기 xyz 좌표축 공간 상의 y축을 기준으로 상대적으로 낮은 위치에 위치하는 것을 특징으로 하는 전방향 영상 처리 방법.
  7. 제6항에 있어서,
    상기 전방향 영상 처리 장치는 사용자의 목에 착용하는 일면이 개방된 U자 형태의 웨어러블 장치이고,
    상기 복수의 영상 촬상부는 영상 촬상부1, 영상 촬상부2 및 영상 촬상부3을 포함하고,
    상기 영상 촬상부1 및 상기 영상 촬상부2는 상기 U자 형태의 중간 부분을 기준으로 일정 거리 상에 위치하고,
    상기 영상 촬상부3은 상기 U자 형태의 말단 부분에 위치하고,
    상기 영상 촬상부1은 상기 사용자의 시선 방향을 기준으로 후면 좌측 영역을 포함하는 영역을 촬상하고,
    상기 영상 촬상부2는 상기 시선 방향을 기준으로 후면 우측 영역을 포함하는 영역을 촬상하고,
    상기 영상 촬상부3은 상기 시선 방향을 포함하는 영역을 촬상하는 것을 특징으로 하는 전방향 영상 처리 방법.
  8. 제6항에 있어서,
    상기 전방향 영상 처리 장치는 사용자의 목에 착용하는 일면이 개방된 U자 형태의 웨어러블 장치이고,
    상기 복수의 영상 촬상부는 영상 촬상부1, 영상 촬상부2, 영상 촬상부3을 포함하고,
    상기 복수의 촬상선은 촬상선1, 촬상선2 및 촬상선3을 포함하고,
    상기 영상 촬상부1은 상기 촬상선1을 기반으로 촬상을 수행하고,
    상기 영상 촬상부2는 상기 촬상선2를 기반으로 촬상을 수행하고,
    상기 영상 촬상부3은 상기 촬상선3을 기반으로 촬상을 수행하고,
    상기 복수의 촬상선 중 상기 촬상선1 및 상기 촬상선2와 상기 xz 평면과의 각도와 상기 촬상선3과 상기 xz 평면과의 각도가 다르고,
    상기 영상 촬상부3의 위치는 상기 영상 촬상부1 및 상기 영상 촬상부3의 위치보다 상기 y축을 기준으로 상대적으로 낮은 위치에 위치하는 것을 특징으로 하는 전방향 영상 처리 방법.
  9. 제6항에 있어서,
    상기 복수의 영상 중 적어도 하나의 영상은 제1 형상이고, 상기 복수의 영상 중 상기 적어도 하나의 영상을 제외한 나머지 영상은 제2 형상이고,
    상기 전방향 영상은 상기 제1 형상 및 상기 제2 형상이 이루는 중첩 영역 상에서 특징점을 추출 후 상기 제1 형상 및 상기 제2 형상을 스티칭(stitching)하여 생성되는 것을 특징으로 하는 전방향 영상 처리 방법.
  10. 제9항에 있어서,
    상기 복수의 영상 촬상부는 영상 촬상부1, 영상 촬상부2, 영상 촬상부3을 포함하고,
    상기 제1 형상은 역사다리꼴 형태이고,
    상기 제2 형상은 사다리꼴 형태이고,
    상기 영상 촬상부1은 상기 제1 형상의 영상1을 생성하고,
    상기 영상 촬상부2는 상기 제1 형상의 영상2를 생성하고,
    상기 영상 촬상부3은 상기 제2 형상의 영상3을 생성하고,
    상기 영상 1과 상기 영상2의 제1 중첩 영역, 상기 영상2와 상기 영상3의 제2 중첩 영역, 상기 영상 3과 상기 영상1의 제3 중첩 영역 각각은 서로 다른 형태를 가지고,
    상기 전방향 영상은 상기 제1 중첩 영역, 상기 제2 중첩 영역, 상기 제3 중첩 영역의 스티칭을 기반으로 생성되는 것을 특징으로 하는 전방향 영상 처리 방법.
  11. 제6항 내지 제10항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020170028745A 2017-03-07 2017-03-07 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치 KR101810668B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020170028745A KR101810668B1 (ko) 2017-03-07 2017-03-07 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
JP2018538863A JP6808740B2 (ja) 2017-03-07 2017-06-19 全方位画像撮像方法及びその方法を行う装置
PCT/KR2017/006419 WO2018164316A1 (ko) 2017-03-07 2017-06-19 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
EP17890844.8A EP3399738B1 (en) 2017-03-07 2017-06-19 Omnidirectional image capturing method and device for performing method
CN201780007602.1A CN108811520B (zh) 2017-03-07 2017-06-19 全方位影像处理设备和处理方法及计算机可读存储介质
US16/040,732 US10419670B2 (en) 2017-03-07 2018-07-20 Omnidirectional image capturing method and apparatus performing the method
HK19100072.0A HK1257704A1 (zh) 2017-03-07 2019-01-03 全方位影像成像方法及執行該方法的設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170028745A KR101810668B1 (ko) 2017-03-07 2017-03-07 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170164246A Division KR102213308B1 (ko) 2017-12-01 2017-12-01 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치

Publications (1)

Publication Number Publication Date
KR101810668B1 true KR101810668B1 (ko) 2017-12-20

Family

ID=60931169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170028745A KR101810668B1 (ko) 2017-03-07 2017-03-07 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치

Country Status (7)

Country Link
US (1) US10419670B2 (ko)
EP (1) EP3399738B1 (ko)
JP (1) JP6808740B2 (ko)
KR (1) KR101810668B1 (ko)
CN (1) CN108811520B (ko)
HK (1) HK1257704A1 (ko)
WO (1) WO2018164316A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213902A1 (ko) * 2019-04-15 2020-10-22 링크플로우 주식회사 웨어러블 카메라
KR102265840B1 (ko) 2020-10-07 2021-06-17 (주)일신이디아이 Lte 통합 무선통신시스템에서의 넥밴드형 전방위 카메라를 이용한 방송 및 통화시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD882662S1 (en) * 2017-03-31 2020-04-28 Linkflow Co., Ltd Cameras
KR101856548B1 (ko) * 2017-08-23 2018-05-11 링크플로우 주식회사 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US20030133008A1 (en) * 1999-02-02 2003-07-17 Stanley W. Stephenson Wearable panoramic imager
JP2007043225A (ja) * 2005-07-29 2007-02-15 Univ Of Electro-Communications 撮像画像処理装置及び撮像画像処理方法
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
GB201103200D0 (en) * 2011-02-24 2011-04-13 Isis Innovation An optical device for the visually impaired
KR20150049168A (ko) * 2013-10-29 2015-05-08 엘지전자 주식회사 이동 단말기 및 그 동작 방법
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN103955888A (zh) * 2014-05-12 2014-07-30 中国人民解放军空军预警学院监控系统工程研究所 一种基于sift的高清视频图像拼接方法及装置
JP6344723B2 (ja) * 2015-07-14 2018-06-20 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
KR20170021453A (ko) * 2015-08-18 2017-02-28 엘지전자 주식회사 전자 디바이스
CN106780344B (zh) * 2017-01-06 2020-07-07 苏州大学 基于偏差转移和拆分的汽车360°环视图像拼接方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213902A1 (ko) * 2019-04-15 2020-10-22 링크플로우 주식회사 웨어러블 카메라
KR102265840B1 (ko) 2020-10-07 2021-06-17 (주)일신이디아이 Lte 통합 무선통신시스템에서의 넥밴드형 전방위 카메라를 이용한 방송 및 통화시스템

Also Published As

Publication number Publication date
WO2018164316A1 (ko) 2018-09-13
EP3399738A1 (en) 2018-11-07
CN108811520B (zh) 2020-09-01
EP3399738A4 (en) 2018-12-26
CN108811520A (zh) 2018-11-13
JP6808740B2 (ja) 2021-01-06
HK1257704A1 (zh) 2019-10-25
JP2019519125A (ja) 2019-07-04
US20180332220A1 (en) 2018-11-15
US10419670B2 (en) 2019-09-17
EP3399738B1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
KR101810668B1 (ko) 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
US11765339B2 (en) Estimating pose in 3D space
KR101856546B1 (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
JP7248490B2 (ja) 情報処理装置、デバイスの位置および姿勢の推定方法
CN111353355A (zh) 动作追踪系统及方法
KR101856547B1 (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
KR101810671B1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
KR101843336B1 (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
US11232588B2 (en) Information processing apparatus and device information derivation method
KR102213308B1 (ko) 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
JP6810442B2 (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
KR20180102482A (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
JP7288792B2 (ja) 情報処理装置およびデバイス情報導出方法
CN115604583A (zh) 图像处理方法、图像处理器、电子设备及存储介质
KR20190002281A (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
KR20190002279A (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
WO2023153094A1 (ja) 情報処理装置および代表座標導出方法
WO2023157499A1 (ja) 情報処理装置およびデバイス位置推定方法
WO2023153093A1 (ja) 情報処理装置および代表座標導出方法
JP2018164146A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20190002282A (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant