KR20210058259A - 증강현실 영상 생성장치 및 방법 - Google Patents

증강현실 영상 생성장치 및 방법 Download PDF

Info

Publication number
KR20210058259A
KR20210058259A KR1020190145496A KR20190145496A KR20210058259A KR 20210058259 A KR20210058259 A KR 20210058259A KR 1020190145496 A KR1020190145496 A KR 1020190145496A KR 20190145496 A KR20190145496 A KR 20190145496A KR 20210058259 A KR20210058259 A KR 20210058259A
Authority
KR
South Korea
Prior art keywords
camera
target area
image
augmented reality
filter
Prior art date
Application number
KR1020190145496A
Other languages
English (en)
Other versions
KR102288528B1 (ko
Inventor
김회민
전성국
이동길
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020190145496A priority Critical patent/KR102288528B1/ko
Publication of KR20210058259A publication Critical patent/KR20210058259A/ko
Application granted granted Critical
Publication of KR102288528B1 publication Critical patent/KR102288528B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/2254—
    • H04N5/2351—
    • H04N5/2353—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

증강현실 영상 생성장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정과 제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정과 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정 및 상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법을 제공한다.

Description

증강현실 영상 생성장치 및 방법{Apparatus and Method for Creating Augmented Reality Image}
본 발명은 복수의 카메라로 촬영한 영상을 이용하여 증강현실 이미지를 생성하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
증강현실(Augmented Reality)이란, 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 현실 세계 영상과 가상의 영상을 혼합한 것을 의미한다.
현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고, 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수 있다. 즉, 증강현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자에게 현실 세계와 필요한 정보의 상호 작용이 이루어지도록 하는 것이다.
증강현실 장치는 대상물 또는 대상영역에 관련된 정보를 출력하는 증강현실 영상을 생성하여 출력하거나, 사용자가 인식하기 곤란한 대상물 또는 대상영역에 대한 영상을 생성하여 출력할 수 있다. 주로, 후자에 사용되는 예가 복잡한 구조물 내에서의 각 구성들을 출력하거나, 용접 등 사용자가 육안으로 인식하기 힘든 대상물이나 영역을 출력한다.
증강현실 장치가 후자의 경우로 사용되는 경우에 있어, 대상물이나 대상영역에서 명암 대비가 높은 경우, 영상 센서의 제한적인 감광 범위로 인해 영상의 정보가 일부 유실되어 증강현실 장치가 환경을 트래킹하는데 오류를 발생시키는 경우가 존재한다. 종래의 증강현실 장치가 단일 카메라로 노출 시간을 달리한 영상을 합성하여 생성한 HDR(High Dynamic Range)영상을 트래킹 연산에 활용하는 경우, 트래킹 연산 간격에 의해 트래킹 연산 오류가 발생할 가능성이 존재하거나 증강현실 장치 사용자에게 어지러움을 유발하는 문제가 발생한다. 또한, HDR영상을 생성함에 있어 반드시 후처리를 요하기에 실시간으로 증강현실 영상이 생성되어 사용자에게 출력되어야 하는 환경에서는 사용이 부적절한 측면이 있다. 한편, 종래의 증강현실 장치가 넓은 감광 범위를 갖는 HDR 카메라를 포함하여 증강현실 영상을 생성하는 경우, HDR 전용 카메라는 매우 고가이며 부피가 커 현실적으로 증강현실 장치에 부착하기 어려운 문제가 존재한다.
본 발명의 일 실시예는, 명암 대비가 높은 대상물 또는 대상영역에 대해 온전한 증강현실 영상을 생성하는 증강현실 영상 생성장치 및 방법을 제공하는 데 일 목적이 있다.
본 발명의 일 측면에 의하면, 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정과 제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정과 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정 및 상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법을 제공한다.
본 발명의 일 측면에 의하면, 상기 제1 차광률은 상기 제2 차광률보다 차광 정도가 높은 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 제1 카메라 및 상기 제2 카메라는 동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 합성과정은 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 후처리 없이 바로 합성하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 제1 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라와 제2 차광률을 갖는 필터를 포함하며, 상기 대상물 또는 대상 영역을 촬영하는 제2 카메라와 기 설정된 시간 동안 대상물 또는 대상 영역에 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부 및 상기 제어부가 합성한 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치를 제공한다.
본 발명의 일 측면에 의하면, 대상물 또는 대상 영역의 밝기를 센싱하는 센싱과정과 상기 센싱과정에서 센싱한 센싱값을 토대로, 각 카메라에 포함된 필터의 차광률을 조정하는 조정과정과 조정된 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정과 조정된 제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정과 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정 및 상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법을 제공한다.
본 발명의 일 측면에 의하면, 상기 제1 차광률은 상기 제2 차광률보다 차광 정도가 높은 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 제1 카메라 및 상기 제2 카메라는 동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 합성과정은 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 후처리 없이 바로 합성하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 증강현실 영상 생성방법은 상기 합성과정에서 합성된 영상의 차광 정도가 기 설정된 범위 내인지 여부를 판단하는 판단과정을 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 조정과정은 상기 합성과정에서 합성된 영상의 차광 정도가 기 설정된 범위 내가 아닌 것으로 판단된 경우, 각 카메라에 포함된 필터의 차광률을 재조정하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 대상물 또는 대상 영역의 밝기를 센싱하는 센서와 차광률의 조정이 가능한 제1 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라와 차광률의 조정이 가능한 제2 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제2 카메라와 상기 센서의 센싱값을 토대로 상기 제1 필터 및 상기 제2 필터의 차광률을 각각 조정하고, 기 설정된 시간 동안 대상물 또는 대상 영역에 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부 및 상기 제어부가 합성한 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치를 제공한다.
본 발명의 일 측면에 의하면, 상기 제어부는 합성된 영상의 차광 정도가 기 설정된 범위 내인지 여부를 판단하여, 합성된 영상의 차광 정도가 기 설정된 범위 내가 아닌 것으로 판단된 경우, 각 카메라에 포함된 필터의 차광률을 재조정하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 센서는 조도 센서로 구현되어 대상물 또는 대상 영역의 밝기를 센싱하거나, 레이저 광원과 수광부로 구현되어 대상물 또는 대상 영역으로 레이저 광을 조사하고 반사된 레이저 광을 수광함으로써 대상물 또는 대상 영역의 밝기를 센싱하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 대상물 또는 대상 영역의 밝기를 센싱하는 센싱과정과 상기 센싱과정에서 센싱한 센싱값을 토대로, 각 카메라의 상기 대상물 또는 대상 영역에 대한 노출시간을 조정하는 조정과정과 제1 차광률을 갖는 필터를 포함한 제1 카메라를 조정된 제1 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정과 제2 차광률을 갖는 필터를 포함한 제2 카메라를 조정된 제2 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정과 상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정 및 상기 합성과정에서 합성된 영상을 출력하는 출력과정을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법을 제공한다.
본 발명의 일 측면에 의하면, 상기 제1 카메라 및 상기 제2 카메라는 상이한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 대상물 또는 대상 영역의 밝기를 센싱하는 센서와 제1 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라와 제2 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제2 카메라와 상기 센서의 센싱값을 토대로 상기 제1 카메라 및 상기 제2 카메라의 상기 대상물 또는 대상 영역으로의 노출시간을 각각 조정하고, 조정된 시간 동안 대상물 또는 대상 영역에 각각 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부 및 상기 제어부가 합성한 영상을 출력하는 출력부를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치를 제공한다.
본 발명의 일 측면에 의하면, 상기 센서는 조도 센서로 구현되어 대상물 또는 대상 영역의 밝기를 센싱하거나, 레이저 광원과 수광부로 구현되어 대상물 또는 대상 영역으로 레이저 광을 조사하고 반사된 레이저 광을 수광함으로써 대상물 또는 대상 영역의 밝기를 센싱하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 명암 대비가 높은 대상물 또는 대상영역에 대해 사용자가 시청할 수 있는 온전한 증강현실 영상을 생성하는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 영상 생성장치의 사시도이다.
도 2는 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 3은 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 4는 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 5는 필터의 차광률에 따라 명암 대비가 높은 대상영역을 촬영한 영상을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 영상 생성장치가 생성한 증강현실 영상을 도시한 도면이다.
도 7은 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.
도 8은 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.
도 9는 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 영상 생성장치의 사시도이다.
증강현실 영상 생성장치(100)는 사용자가 보고자 하는 대상물 또는 대상영역의 증강현실 영상을 생성하여 출력한다. 이때, 대상물 또는 대상영역은 각 대상물이나 대상영역 내 존재하는 각각의 물체 간에 명암대비가 너무 높아 사용자의 육안으로는 확인이 곤란한 것으로, 예를 들어, 대상물 또는 대상영역은 용접부위일 수 있다. 이와 같은 대상물 또는 대상영역을 확인하고자 할 때, 종래에는 사용자가 별도의 차광 또는 감광성분이 도포된 구성을 구비하여 확인하곤 했다. 예를 들어, 종래에는 용접사가 용접부위를 확인하고자 할 때, 용접마스크를 장착하거나 구비하여야 했다. 그러나 사용자가 해당 구성을 구비(특히, 손으로)하는 경우 불편이 발생하기에, 증강현실 영상 생성장치와 같은 장착 가능한 장비가 등장하였다. 증강현실 영상 생성장치(100)는 이와 같은 대상물 또는 대상영역을 촬영하여 사용자가 인지하기 좋은, 대상물 또는 대상영역의 HDR(High Dynamic Range)영상을 생성하여 출력한다.
도 2는 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치(100)는 제1 카메라(210), 제2 카메라(220), 제어부(230) 및 출력부(250)를 포함한다.
제1 카메라(210)는 제1 차광률을 갖는 필터를 포함하여, 제1 차광률로 차광하며 대상물 또는 대상영역을 촬영한다. 또한, 제2 카메라(220)는 제2 차광률을 갖는 필터를 포함하여, 제2 차광률로 차광하며 대상물 또는 대상영역을 촬영한다. 이처럼, 증강현실 영상 생성장치(100)가 서로 상이한 차광률을 갖는 필터를 구비한 카메라를 복수 개 포함하고 있는 이유는 도 5에 도시되어 있다.
도 5는 필터의 차광률에 따라 명암 대비가 높은 대상영역을 촬영한 영상을 도시한 도면이다.
물체마다 서로 빛을 반사시키는 정도가 상이하여, 촬영된 영상 내에서 상대적으로 밝게 드러나는 물체와 상대적으로 어둡게 드러나는 물체가 존재한다. 다만, 복수의 대상물 간에 또는 대상영역 내 복수의 물체 간에 과도한 명암 대비가 존재할 경우, 촬영된 영상에서는 필터의 차광률에 따라 촬영된 영상 내에서 각 물체들의 시인성이 달라지는 것을 확인할 수 있다.
도 5(a)에 도시된 영상에서는 주변의 물체(510)는 적절한 밝기를 가지며 영상 내에서 표시되고 있으나, 중심의 물체(520)는 과도하게 밝아 온전히 식별이 곤란한 상태로 표시되고 있다.
반면, 도 5(b)에 도시된 영상에서는 주변의 물체(510)는 상대적으로 어두운 밝기를 가지며 영상 내에서 표시되고 있으나, 중심의 물체(520)는 적절한 밝기를 가지며 영상 내에서 표시되고 있다.
이처럼, 물체 간에 과도한 명암 대비가 존재하는 대상물 또는 대상영역에 대해 HDR 영상을 생성하기 위해, 종래에는 대상물 또는 대상영역으로의 노출시간을 서로 달리하여 촬영한 복수의 영상을 합성하였다. 특정 시간 동안 대상물 또는 대상영역으로 노출되어 대상물 또는 대상영역의 영상을 획득하고, 이후, 상이한 시간 동안 대상물 또는 대상영역으로 노출되어 대상물 또는 대상영역의 영상을 획득한 후, 양 영상을 합성해왔다. 그러나 종래의 방법은 실시간 처리가 요구되지 않는 분야에서는 적절히 사용될 수 있으나, 실시간 처리가 요구되는 분야에서는 노출 시간이 상이한 영상을 획득하는 점과 획득한 영상에 후처리를 수행하여야 하는 점으로 인해 부적절하였다.
다시 도 1을 참조하면, 이와 같은 문제를 해소하고자, 증강현실 영상 생성장치(100)는 복수의 카메라를 포함하며, 각 카메라는 차광률을 달리하는 필터를 포함한다. 예를 들어, 제1 카메라(210) 내 필터는 제2 카메라(220)의 필터보다 차광정도가 높을 수 있다. 즉, 제1 카메라(210)로부터 획득되는 영상은 제2 카메라(220)로부터 획득되는 영상보다 명암에 있어 어두울 수 있다.
제어부(230)는 각 카메라(210, 220)가 동작하도록 제어하고, 각 카메라(210, 220)가 획득한 영상을 합성한다.
제어부(230)는 기 설정된 시간 동안 각 카메라(210, 220)가 동작하도록 제어한다. 대상물 또는 대상영역의 HDR 영상을 획득하기 위해서는 대상물 또는 대상영역 내 과도하게 밝은 물체의 인식을 위한 고차광 영상과, 대상물 또는 대상영역 내 상대적으로 어두운 물체의 인식을 위해 감광을 최소화한 저차광 영상을 획득하여야 한다. 이를 위해, 제어부(230)는 각 카메라(210, 220)가 대상물 또는 대상영역으로 노출되어 대상물 또는 대상영역을 촬영하도록 제어한다. 이때, 각 카메라(210, 220)는 서로 차광률을 달리하는 필터를 구비하기 때문에, 서로 대상물 또는 대상영역으로의 노출시간이 상이할 필요가 없다. 따라서, 제어부(230)는 각 카메라(210, 220)를 제어함에 있어 양자 모두 동일한 시간 동안 대상물 또는 대상영역으로 노출되도록 제어한다.
제어부(230)는 각 카메라(210, 220)가 획득한 영상을 합성한다. 각 카메라(210, 220)는 대상물 또는 대상영역으로 동일한 시간동안 노출되기 때문에, 각 카메라(210, 220)가 촬영한 영상은 동일한 FPS(Frame Per Second)를 갖는다. 이에 따라, 제어부(230)는 각 카메라(210, 220)가 촬영한 영상에 대해 별도의 후처리 없이도 간단하게 합성하여 대상물 또는 대상영역에 대한 증강현실 영상을 생성할 수 있다. 생성된 증강현실 영상은 도 6에 도시되어 있다.
도 6은 본 발명의 일 실시예에 따른 증강현실 영상 생성장치가 생성한 증강현실 영상을 도시한 도면이다.
증강현실 영상은 주변의 물체(510)가 적절한 밝기로 촬영된 영상과 중심의 물체(520)가 적절한 밝기로 촬영된 영상을 합성하여 생성되기 때문에, 주변의 물체(510)와 중심의 물체(520) 모두가 적절한 밝기로 출력되어 사용자가 영상 내 모든 물체를 온전히 인식할 수 있다.
다시 도 1을 참조하면, 출력부(240)는 제어부(230)가 합성한 증강현실 영상을 출력한다. 출력부(240)는 대상물 또는 대상영역에 대한 증강현실 영상을 출력하여, 사용자가 육안으로 인식하기 곤란한 대상물 또는 대상영역을 온전히 인식할 수 있도록 한다.
도 3은 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 3을 참조하면, 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치(100)는 제1 카메라(310), 제2 카메라(320), 센서(330), 제어부(340) 및 출력부(240)를 포함한다.
제1 카메라(310) 및 제2 카메라(320) 역시 제1 카메라(210) 및 제2 카메라(220)와 동일하게 서로 상이한 차광률을 갖는 필터를 포함한다. 다만, 여기서 그치는 것이 아니라, 각 카메라(310, 320)에 포함된 필터는 제어부(340)의 제어에 따라 차광률을 조정할 수 있다.
센서(330)는 복수의 대상물 간에 또는 대상영역 내 복수의 물체 간의 밝기 범위를 센싱한다. 센서(330)는 대상물 또는 대상영역 내 물체들의 명암의 범위를 센싱하여, 센싱값을 제어부(340)로 전달한다. 여기서, 센서(330)는 대상물 또는 대상영역의 밝기를 측정하기 위한 조도센서나 기타 광 센서일 수 있다. 다만, 센서(330)는 광 센서 뿐만 아니라, 레이저 광을 조사하는 레이저 광원과 반사된 레이저 광을 수광하기 위한 수광부로 구현될 수도 있다. 대상물 또는 대상영역의 명암 대비가 과도할 경우, 광센서는 이를 적정값이 아닌 과도하게 밝거나 과도하게 어두운 것으로 센싱할 가능성도 있다. 이에, 센서(330)는 레이저 광원과 수광부로 구현되어 대상물 또는 대상영역로 레이저 광을 조사하고 반사되는 레이저 광의 밝기를 센싱하여 제어부(340)로 전달할 수도 있다.
제어부(340)는 각 카메라(310, 320)가 동작하도록 제어하되 센서(330)가 센싱한 센싱값에 따라 각 카메라(310, 320)의 차광률을 조정하고, 각 카메라(310, 320)가 획득한 영상을 합성한다.
제어부(340)는 센서(330)가 센싱한 센싱값에 따라 각 카메라(310, 320)의 차광률을 조정한다. 제어부(340)는 센서(330)로부터 수신한 대상물 또는 대상영역의 밝기 범위에 따라 적정 차광률을 갖도록 각 카메라(310, 320)의 차광률을 조정한다. 대상물 또는 대상영역의 밝기가 과도하게 밝을 경우, 제어부(340)는 각 필터의 제1 차광률과 제2 차광률을 전반적으로 높여 사용자가 인식하기에 좋은 영상이 합성될 수 있도록 한다. 반대로, 대상물 또는 대상영역의 밝기가 지나치게 어두울 경우, 제어부(340)는 각 필터의 제1 차광률과 제2 차광률을 전반적으로 낮추도록 제어한다.
제어부(340)는 기 설정된 시간 동안 각 카메라(310, 320)가 동작하도록 제어한다. 각 카메라(310, 320)는 동일한 시간 동안 동작하더라도, 차광률이 상이하기에 각 카메라(310, 320)가 촬영한 영상을 합성하여 HDR 영상을 생성할 수 있다.
제어부(340)는 각 카메라(210, 220)가 획득한 영상을 합성한다. 영상을 합성한 후, 제어부(340)는 합성한 영상의 차광정도가 기 설정된 범위 내인지 여부를 판단한다. 센서(330)가 센싱한 센싱값을 토대로 각 카메라(310, 320)의 차광률을 조정한다 하더라도, 합성된 영상의 차광정도가 사용자가 인지하는데 적절하지 못할 경우도 존재할 수 있다. 따라서, 제어부(340)는 합성한 영상의 차광정도가 기 설정된 범위(사용자가 인지하기에 적합한 범위인) 내인지 여부를 판단한다. 합성한 영상의 차광정도가 기 설정된 범위 내인 경우, 제어부(340)는 출력부(240)가 해당 영상을 출력하도록 제어한다. 반면, 합성한 영상의 차광정도가 기 설정된 범위를 벗어나는 경우, 제어부(340)는 제1 카메라(310) 및/또는 제2 카메라(320) 내 필터의 차광률을 조정하고, 다시 대상물 또는 대상영역을 촬영하도록 제어한다. 예를 들어, 합성된 영상이 전체적으로 밝기가 과도하게 밝을 경우, 제어부(340)는 제1 카메라(310) 및 제2 카메라(320) 내 필터의 차광률을 증가시킬 수 있다. 다른 예로, 합성된 영상 중 주변의 물체의 밝기가 과도하게 밝거나 어두울 경우, 제어부(340)는 제1 카메라(310) 또는 제2 카메라(320) 내 필터의 차광률을 조정할 수 있다. 센서의 센싱값과 각 카메라의 차광률을 조정할 수 있어, 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치는 사용자에게 보다 인식률이 우수한 증강현실 영상을 생성할 수 있다.
출력부(240)는 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치(100) 내 출력부(240)와 동일하게 동작한다.
도 4는 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치의 구성을 도시한 도면이다.
도 4를 참조하면, 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치(100)는 제1 카메라(410), 제2 카메라(420), 센서(330), 제어부(430) 및 출력부(240)를 포함한다.
제1 카메라(410) 및 제2 카메라(420)는 각각 제1 차광률 및 제2 차광률을 갖는 필터를 구비하여, 각 차광률로 차광하며 대상물 또는 대상영역을 촬영한다. 이때, 제1 카메라(410) 및 제2 카메라(420)는 제어부(430)의 제어에 따라 서로 대상물 또는 대상영역을 촬영하는 시간이 상이해질 수 있다. 상대적으로 차광률이 높은 제1 필터를 구비한 제1 카메라(410)는 상대적으로 적은 시간동안 대상물 또는 대상영역을 촬영하고, 상대적으로 차광률이 낮은 제2 필터를 구비한 제2 카메라(420)는 상대적으로 장 시간동안 대상물 또는 대상영역을 촬영한다. 이에 따라, 생성되는 증강현실 영상은 각 카메라(410)에서 필터의 차광률과 함께 노출시간도 함께 보정되어 생성되기에, 보다 현실감 있는 HDR 증강현실 영상으로 생성될 수 있다.
센서(330)는 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치(100)의 그것과 동일하게 동작한다.
제어부(430)는 각 카메라(210, 220)가 동작하도록 제어하되 센서(330)가 센싱한 센싱값에 따라 각 카메라(210, 220)의 동작시간(노출시간)을 조정하고, 각 카메라(210, 220)가 획득한 영상을 합성한다.
제어부(430)는 센서(330)가 센싱한 센싱값에 따라 각 카메라(210, 220)의 동작시간을 조정한다. 제어부(430)는 대상물 또는 대상영역의 밝기 범위에 따라 적정 시간동안 동작하도록, 각 카메라(210, 220) 또는 일 카메라(210 또는 220)의 동작시간(대상물 또는 대상영역으로의 노출시간)을 조정한다. 대상물 또는 대상영역의 밝기가 상대적으로 어두운 경우, 제어부(430)는 각 카메라(210, 220)의 동작시간(대상물 또는 대상영역으로의 노출시간)을 증가시켜 상대적으로 밝은 영상을 획득할 수 있도록 한다. 반대의 경우도 성립함은 당연하다.
제어부(430)는 조정한 시간동안 대상물 또는 대상영역을 촬영하도록 각 카메라(210, 220)를 제어하고, 각 카메라(210, 220)가 획득한 영상을 합성한다. 각 카메라(210, 220)가 촬영하는 시간이 상이해져, 제어부(430)는 각 카메라(210, 220)가 획득한 영상을 합성함에 있어 후처리를 수행하여야 한다. 제어부(430)는 적은 FPS를 갖는 카메라가 촬영한 영상을 기준으로 많은 FPS를 갖는 카메라가 촬영한 영상을 동기화한 후, 각 영상을 합성한다. 후처리로 인해, 영상 합성의 실시간성은 다소 떨어지지만, 보다 시인성이 우수해지는 장점을 갖는다.
영상을 합성한 후, 제어부(340)는 합성한 영상의 차광정도가 기 설정된 범위 내인지 여부를 판단한다. 합성한 영상의 차광정도가 기 설정된 범위를 벗어난 경우, 제어부(340)는 각 카메라(210, 220)의 동작시간(노출시간)을 재 조정하여 다시 동작하도록 각 카메라(210, 220)를 제어한다.
출력부(240)는 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치(100) 내 출력부(240)와 동일하게 동작한다.
도 7은 본 발명의 제1 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.
제1 차광률을 갖는 필터를 포함한 제1 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출된다(S710). 제1 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출되며, 대상물 또는 대상영역의 영상을 촬영한다.
제2 차광률을 갖는 필터를 포함한 제2 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출된다(S720). 제2 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출되며, 대상물 또는 대상영역의 영상을 촬영한다.
제어부(230)는 각 카메라가 촬영한 영상을 합성한다(S730).
출력부(240)는 합성된 영상을 출력한다(S740).
도 8은 본 발명의 제2 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.
센서(330)는 대상물 또는 대상영역의 밝기를 센싱한다(S810).
제어부(340)는 센싱값을 토대로 각 카메라(310, 320)에 포함된 필터의 차광률을 조정한다(S820).
조정된 차광률을 갖는 필터를 포함한 각 카메라가 일정 시간 동안 대상물 또는 대상영역에 노출된다(S830).
제어부(340)는 각 카메라가 촬영한 영상을 합성한다(S840).
제어부(340)는 합성된 영상의 차광 정도가 적정한지 여부를 판단한다(S850). 합성된 영상의 차광 정도가 적정하지 않은 경우, 제어부(340)는 각 카메라(310, 320)에 포함된 필터의 차광률을 재조정한다.
합성된 영상의 차광 정도가 적정한 경우, 출력부(240)는 합성된 영상을 출력한다(S860).
도 9는 본 발명의 제3 실시예에 따른 증강현실 영상 생성장치가 증강현실 영상을 생성하는 방법을 도시한 순서도이다.
센서(330)는 대상물 또는 대상영역의 밝기를 센싱한다(S910).
제어부(340)는 센싱값을 토대로, 대상물 또는 대상영역에 대한 각 카메라(210, 220)의 노출시간을 조정한다(S920).
조정된 노출시간만큼 각 카메라가 동안 대상물 또는 대상영역에 노출된다(S930).
제어부(340)는 각 카메라가 촬영한 영상을 합성한다(S940).
제어부(340)는 합성된 영상의 차광 정도가 적정한지 여부를 판단한다(S950). 합성된 영상의 차광 정도가 적정하지 않은 경우, 제어부(340)는 각 카메라(210, 220)에 포함된 필터의 차광률을 재조정한다.
합성된 영상의 차광 정도가 적정한 경우, 출력부(240)는 합성된 영상을 출력한다(S960).
도 7 내지 9에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 각각의 도면에 기재된 과정의 순서를 변경하여 실행하거나 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 7 내지 9는 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 7 내지 9에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 증강현실 영상 생성장치
210, 310, 410: 제1 카메라
220, 320, 420: 제2 카메라
230, 340, 430: 제어부
240: 출력부
330: 센서
510: 주변의 물체
520: 중심의 물체

Claims (17)

  1. 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정;
    제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정;
    상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정; 및
    상기 합성과정에서 합성된 영상을 출력하는 출력과정
    을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법.
  2. 제1항에 있어서,
    상기 제1 차광률은,
    상기 제2 차광률보다 차광 정도가 높은 것을 특징으로 하는 증강현실 영상 생성방법.
  3. 제1항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라는,
    동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 하는 증강현실 영상 생성방법.
  4. 제3항에 있어서,
    상기 합성과정은,
    상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 후처리 없이 바로 합성하는 것을 특징으로 하는 증강현실 영상 생성방법.
  5. 제1 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라;
    제2 차광률을 갖는 필터를 포함하며, 상기 대상물 또는 대상 영역을 촬영하는 제2 카메라;
    기 설정된 시간 동안 대상물 또는 대상 영역에 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부; 및
    상기 제어부가 합성한 영상을 출력하는 출력부
    를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치.
  6. 대상물 또는 대상 영역의 밝기를 센싱하는 센싱과정;
    상기 센싱과정에서 센싱한 센싱값을 토대로, 각 카메라에 포함된 필터의 차광률을 조정하는 조정과정;
    조정된 제1 차광률을 갖는 필터를 포함한 제1 카메라를 기 설정된 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정;
    조정된 제2 차광률을 갖는 필터를 포함한 제2 카메라를 상기 기 설정된 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정;
    상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정; 및
    상기 합성과정에서 합성된 영상을 출력하는 출력과정
    을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법.
  7. 제6항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라는,
    동일한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 하는 증강현실 영상 생성방법.
  8. 제7항에 있어서,
    상기 합성과정은,
    상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 후처리 없이 바로 합성하는 것을 특징으로 하는 증강현실 영상 생성방법.
  9. 제6항에 있어서,
    상기 합성과정에서 합성된 영상의 차광 정도가 기 설정된 범위 내인지 여부를 판단하는 판단과정을 더 포함하는 것을 특징으로 하는 증강현실 영상 생성방법.
  10. 제9항에 있어서,
    상기 조정과정은,
    상기 합성과정에서 합성된 영상의 차광 정도가 기 설정된 범위 내가 아닌 것으로 판단된 경우, 각 카메라에 포함된 필터의 차광률을 재조정하는 것을 특징으로 하는 증강현실 영상 생성방법.
  11. 대상물 또는 대상 영역의 밝기를 센싱하는 센서;
    차광률의 조정이 가능한 제1 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라;
    차광률의 조정이 가능한 제2 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제2 카메라;
    상기 센서의 센싱값을 토대로 상기 제1 필터 및 상기 제2 필터의 차광률을 각각 조정하고, 기 설정된 시간 동안 대상물 또는 대상 영역에 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부; 및
    상기 제어부가 합성한 영상을 출력하는 출력부
    를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치.
  12. 제11항에 있어서,
    상기 제어부는,
    합성된 영상의 차광 정도가 기 설정된 범위 내인지 여부를 판단하여, 합성된 영상의 차광 정도가 기 설정된 범위 내가 아닌 것으로 판단된 경우, 각 카메라에 포함된 필터의 차광률을 재조정하는 것을 특징으로 하는 증강현실 영상 생성장치.
  13. 제11항에 있어서,
    상기 센서는,
    조도 센서로 구현되어 대상물 또는 대상 영역의 밝기를 센싱하거나, 레이저 광원과 수광부로 구현되어 대상물 또는 대상 영역으로 레이저 광을 조사하고 반사된 레이저 광을 수광함으로써 대상물 또는 대상 영역의 밝기를 센싱하는 것을 특징으로 하는 증강현실 영상 생성장치.
  14. 대상물 또는 대상 영역의 밝기를 센싱하는 센싱과정;
    상기 센싱과정에서 센싱한 센싱값을 토대로, 각 카메라의 상기 대상물 또는 대상 영역에 대한 노출시간을 조정하는 조정과정;
    제1 차광률을 갖는 필터를 포함한 제1 카메라를 조정된 제1 시간 동안 대상물 또는 대상 영역에 노출하는 제1 노출과정;
    제2 차광률을 갖는 필터를 포함한 제2 카메라를 조정된 제2 시간 동안 상기 대상물 또는 대상 영역에 노출하는 제2 노출과정;
    상기 제1 카메라 및 상기 제2 카메라가 노출과정 및 상기 제2 노출과정을 거치며 촬영한 영상을 합성하는 합성과정; 및
    상기 합성과정에서 합성된 영상을 출력하는 출력과정
    을 포함하는 것을 특징으로 하는 증강현실 영상 생성방법.
  15. 제14항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라는,
    상이한 FPS(Frame per second)를 갖는 영상을 촬영하는 것을 특징으로 하는 증강현실 영상 생성방법.
  16. 대상물 또는 대상 영역의 밝기를 센싱하는 센서;
    제1 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제1 카메라;
    제2 차광률을 갖는 필터를 포함하며, 대상물 또는 대상 영역을 촬영하는 제2 카메라;
    상기 센서의 센싱값을 토대로 상기 제1 카메라 및 상기 제2 카메라의 상기 대상물 또는 대상 영역으로의 노출시간을 각각 조정하고, 조정된 시간 동안 대상물 또는 대상 영역에 각각 노출되도록 상기 제1 카메라 및 상기 제2 카메라를 제어하고, 상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상을 합성하는 제어부; 및
    상기 제어부가 합성한 영상을 출력하는 출력부
    를 포함하는 것을 특징으로 하는 증강현실 영상 생성장치.
  17. 제16항에 있어서,
    상기 센서는,
    조도 센서로 구현되어 대상물 또는 대상 영역의 밝기를 센싱하거나, 레이저 광원과 수광부로 구현되어 대상물 또는 대상 영역으로 레이저 광을 조사하고 반사된 레이저 광을 수광함으로써 대상물 또는 대상 영역의 밝기를 센싱하는 것을 특징으로 하는 증강현실 영상 생성장치.
KR1020190145496A 2019-11-14 2019-11-14 증강현실 영상 생성장치 및 방법 KR102288528B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145496A KR102288528B1 (ko) 2019-11-14 2019-11-14 증강현실 영상 생성장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145496A KR102288528B1 (ko) 2019-11-14 2019-11-14 증강현실 영상 생성장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210058259A true KR20210058259A (ko) 2021-05-24
KR102288528B1 KR102288528B1 (ko) 2021-08-10

Family

ID=76152831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145496A KR102288528B1 (ko) 2019-11-14 2019-11-14 증강현실 영상 생성장치 및 방법

Country Status (1)

Country Link
KR (1) KR102288528B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002261A (ko) * 2010-06-30 2012-01-05 주식회사 팬택 3차원 증강 현실 제공 장치 및 방법
JP2016224385A (ja) * 2015-06-04 2016-12-28 オリンパス株式会社 撮像装置
KR101700668B1 (ko) * 2016-10-25 2017-01-31 (주)제트로정보통신 방범용 cctv 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002261A (ko) * 2010-06-30 2012-01-05 주식회사 팬택 3차원 증강 현실 제공 장치 및 방법
JP2016224385A (ja) * 2015-06-04 2016-12-28 オリンパス株式会社 撮像装置
KR101700668B1 (ko) * 2016-10-25 2017-01-31 (주)제트로정보통신 방범용 cctv 장치

Also Published As

Publication number Publication date
KR102288528B1 (ko) 2021-08-10

Similar Documents

Publication Publication Date Title
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
KR102266649B1 (ko) 이미지 처리 방법 및 장치
US7706675B2 (en) Camera
JP5535476B2 (ja) カラーデジタル画像を使用する、機能すなわち鮮鋭度の変更を活動化する方法
KR20210024053A (ko) 야경 촬영 방법, 장치, 전자설비, 및 저장 매체
KR101795601B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
US8754977B2 (en) Second camera for finding focal target in poorly exposed region of frame taken by first camera
CN109218628A (zh) 图像处理方法、装置、电子设备及存储介质
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
CN102959943A (zh) 立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序
JP2011135563A (ja) 撮像装置および画像処理方法
KR20210019826A (ko) Ar 글래스 장치 및 그 동작 방법
JP6397281B2 (ja) 撮像装置、その制御方法およびプログラム
JP2014153890A5 (ko)
CN109714533A (zh) 电子设备
US20140184586A1 (en) Depth of field visualization
JPWO2018062537A1 (ja) 撮像装置、プログラムおよび電子機器
US20220253993A1 (en) Image processing apparatus and image processing method
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
KR101795600B1 (ko) 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체
CN108521862A (zh) 用于跟踪拍摄的方法和设备
KR102288528B1 (ko) 증강현실 영상 생성장치 및 방법
JP2019110430A (ja) 制御装置、撮像装置、制御方法およびプログラム
US10616468B2 (en) Focus detection device and focus detection method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191114

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191114

Comment text: Request for Examination of Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201015

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210729

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210804

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210804

End annual number: 3

Start annual number: 1

PG1601 Publication of registration