KR101741149B1 - 가상 카메라의 시점 제어 방법 및 장치 - Google Patents

가상 카메라의 시점 제어 방법 및 장치 Download PDF

Info

Publication number
KR101741149B1
KR101741149B1 KR1020150167501A KR20150167501A KR101741149B1 KR 101741149 B1 KR101741149 B1 KR 101741149B1 KR 1020150167501 A KR1020150167501 A KR 1020150167501A KR 20150167501 A KR20150167501 A KR 20150167501A KR 101741149 B1 KR101741149 B1 KR 101741149B1
Authority
KR
South Korea
Prior art keywords
virtual camera
dimensional
dimensional coordinate
coordinate value
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020150167501A
Other languages
English (en)
Inventor
이윤구
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020150167501A priority Critical patent/KR101741149B1/ko
Application granted granted Critical
Publication of KR101741149B1 publication Critical patent/KR101741149B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H04N13/0007—
    • H04N13/0203—
    • H04N13/0239—
    • H04N13/0456—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 가상 카메라의 시점 제어 방법은 3차원 공간 내에서 가상 카메라의 위치를 3차원 좌표값으로 설정하는 단계; 상기 가상 카메라가 촬영하는 3차원 공간 내의 임의의 객체를 선정하고, 선정된 객체가 렌더링될 2차원 영상 위에서 존재할 위치를 2차원 좌표값으로 설정하는 단계; 상기 가상 카메라의 3차원 좌표값과 상기 선정된 객체의 2차원 좌표값을 이용하여 상기 가상 카메라의 시점(orientation)을 결정하는 단계;를 포함하는 것을 특징으로 한다.

Description

가상 카메라의 시점 제어 방법 및 장치{Method and device for controlling a virtual camera's orientation}
본 발명은 3차원 영상 렌더링 과정에서 가상 카메라의 시점(orientation)을 제어하는 방법에 관한 것이다.
3차원 분석에 기반하는 비디오 에디팅 및 렌더링 기법은, 일반적으로 움직임 구조 분석 기술을 이용하여, 2차원 또는 3차원 영상으로부터 2차원 또는 3차원 정보와 카메라 위치 정보를 재구성한다. 재구성된 정보를 이용하여 새로운 카메라 위치가 정의되고, 새로운 위치에서의 영상 정보가 합성된다.
3차원 그래픽 렌더링 기술을 이용하여 영상을 합성하는 과정은 실제 세상에서 카메라를 통해 영상을 촬영하는 과정을 비슷하다. 3차원 그래픽 렌더링에서는 가상의 물체들과 카메라의 정보들을 모두 알고 있으며, 수학적으로 정의되어 있다. 가상의 3차원 공간상에 존재하는 물체는 가상의 카메라에 의해 촬영되는 과정을 거쳐 2차원 화면으로 합성해 낼 수 있다.
3차원 그래픽 렌더링에서는 가상 카메라의 위치 한계가 적기 때문에 영상을 손쉽게 렌더링 할 수 있다는 장점이 있지만, 여전히 문제점이 존재한다. 1인칭 시점의 게임의 경우, 주인공 시점에서의 영상을 합성하게 된다. 이를 통해서 현장감 있는 영상을 제공하지만, 많은 사람들이 합성된 영상에서 어지러움을 호소한다. 그 이유는 실제 인간의 시선으로 바라보는 눈의 위치(position)와 시선(orientation)이 가상 카메라의 위치와 시선과는 서로 차이가 나기 때문에 발생하는 문제이다.
KR 2011-0088995 A
본 발명은 휴대폰, 스마트폰, 태블릿(tablet), 패블릿(phablet), 쌍방향 TV , 핸드헬드 장치, 컴퓨터, 노트북, 카메라 등에서 3차원 영상 렌더링 중3 차원의 가상 공간 내에서 가상 카메라를 제어하는 방법 및 장치를 제공한다. 특히, 가상 카메라의 시점(orientation)을 제어하는 방법을 제공한다.
본 발명의 바람직한 일 실시예로서, 가상 카메라의 시점 제어 방법은 3차원 공간 내에서 가상 카메라의 위치를 3차원 좌표값으로 설정하는 단계; 상기 가상 카메라가 촬영하는 3차원 공간 내의 임의의 객체를 선정하고, 선정된 객체가 렌더링될 2차원 영상 위에서 존재할 위치를 2차원 좌표값으로 설정하는 단계; 상기 가상 카메라의 3차원 좌표값과 상기 선정된 객체의 2차원 좌표값을 이용하여 상기 가상 카메라의 시점(orientation)을 결정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 가상 카메라 시점 제어장치는 3차원 영상 렌더링을 수행하는 프로세서; 3차원 영상 내에서 가상 카메라의 위치를 시간에 따라 3차원 좌표값으로 설정하는 3D_위치설정부; 3차원 영상 내에서 선정된 임의의 객체의 위치를 시간에 따라 2차원 좌표값으로 설정하는 2D_위치설정부; 상기 가상 카메라의 3차원 좌표값과 상기 선정된 객체의 2차원 좌표값을 이용하여 상기 가상 카메라의 시점(orientation)을 결정하는 시점결정부;및 상기 결정된 가상 카메라의 시점에 따라 상기 가상 카메라를 회전시키는 구동부;를 포함하는 것을 특징으로 한다. 본 발명의 바람직한 일 실시예에서, 가상 카메라 시점 제어장치는 가상 카메라의 위치에 대한 정보를 미리 보유하고 있는 것을 특징으로 한다.
본 발명의 가상 카메라의 시점 제어 방법은 3차원 영상 렌더링을 수행할 때 인간의 시각이 인지하는 실제 움직임과 유사한 화면을 제공하는 효과가 있다.
본 발명의 가상 카메라의 시점 제어 방법은 3차원 그래픽 게임에서 사용자에게 1인칭 시점의 영상을 보여줄 때, 목표물 중심으로 영상을 합성하여 현장감있는 그래픽 영상을 제공할 수 있는 효과가 있다. 또한 3차원 그래픽 합성시 목표물을 중심으로 그래픽을 합성하고자 할 때 이용할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따라 3차원의 가상 공간 내에서 가상 카메라를 제어하기 위한 전체 시스템의 개략적인 구성을 나타낸다.
도 2 는 본 발명의 바람직한 일 실시예로서, 3차원 영상 내에서 가상 카메라의 위치를 검출한 일 실시예를 도시한다.
도 3 내지 4는 본 발명의 바람직한 일 실시예로서, 3차원 영상 내에서 가상 카메라의 위치 검출하고, 임의의 객체의 2차원 좌표값을 검출하여 가상 카메라의 시점을 도출하는 일 실시예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 3차원 영상 내에서 임의의 객체의 2차원 좌표값의 변화에 따라 가상 카메라의 시점이 변경되는 일 실시예를 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서, 3차원 영상에서 추출한 임의의 객체를 2차원으로 표시하는 일 실시예를 도시한다.
도 7은 본 발명의 바람직한 일 실시예로서, 가상 카메라의 시점을 제어하는 방법의 흐름도를 도시한다.
이하, 첨부된 도면들을 참조하여 다양한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명은 휴대폰, 스마트폰, 태블릿(tablet), 패블릿(phablet), 쌍방향 TV , 핸드헬드 장치, 컴퓨터, 노트북, 카메라 등에서 3차원 영상 렌더링 중 가상 카메라 기능을 제어하는 방법 및 장치를 제공한다. 특히, 가상 카메라의 시점(orientation)을 제어하는 방법을 제공한다.
도 1은 본 발명의 일 실시예에 따라 3차원의 가상 공간 내에서 가상 카메라를 제어하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도시된 바와 같이, 본 발명의 일 실시예에 따라 3차원의 가상 공간 내에서 가상 카메라를 제어하기 위한 시스템은 사용자 인터페이스 모듈(100)과 가상 카메라 시점 제어장치(200)를 포함하여 구성될 수 있다. 이러한 가상 카메라 제어 시스템은 하나의 연산 장치에서 집합적으로 구현되거나 둘 이상의 연산 장치에서 분산되어 구현될 수 있다. 예를 들어, 가상 카메라 제어 시스템의 모든 모듈이 통상적으로 가상 카메라의 활용 및 제어가 필요하게 되는 사용자 단말 장치에 포함될 수도 있지만, 일부 모듈이, 사용자 단말 장치 외의, 사용자 단말 장치와 통신할 수 있는 다른 디지털 기기(예를 들면, 3차원 컨텐트 제공 서버)(미도시됨)에 포함될 수도 있다. 또한, 가상 카메라 시점 제어장치(200)에 사용자 인터페이스 모듈(100)이 집합적으로 구현되거나 유무선으로 연결되어 구현될 수 있다.
가상 카메라 시점 제어장치(200)는 사용자 인터페이스 모듈(100)을 통해 입력을 받거나, 사용자 인터페이스 모듈(100)을 통해 출력을 수행할 수 있다. 또한 사용자 인터페이스 모듈(100)을 통해 추가로 요구되는 외부 디바이스와 통신을 수행할 수 있다.
가상 카메라 시점 제어장치(200)는 프로세서(210), 3D_위치설정부(220), 2D_위치설정부(230), 시점결정부(240), 구동부(250) 및 디스플레이부(260)를 포함한다.
프로세서(210)는 3D_위치설정부(220), 2D_위치설정부(230), 시점결정부(240), 구동부(250) 및 디스플레이부(260)를 제어하고, 가상 카메라 시점 제어장치에서 3차원 영상 렌더링을 수행한다.
3D_위치설정부(220)는 3차원 영상 내에서 가상 카메라의 위치를 시간에 따라 3차원 좌표값으로 설정한다.
도 2 를 참고하면, 3D_위치설정부(220)에서 3차원 영상 내에서 기설정되어 있는 가상 카메라의 위치를 검출한 일 실시예를 도시한다. t1 시간에 기설정된 가상 카메라의 위치는 (x1, y1, z1)(221)이고, t2 시간에 기설정된 가상 카메라의 위치는 (x2, y2, z2)(222)이다. 가상 카메라에서 촬영하는 영상의 영역도 가상 카메라의 위치에 따라 상이해진다. 예를 들어, 가상카메라는 t1 시간, (x1, y1, z1)(221) 지점에서 제 1 영역(223)을 촬영하고, t2 시간, (x2, y2, z2)(221) 지점에서 제 2 영역(224)을 촬영한다. 주의할 것은 3D_위치설정부(220)는 3차원 영상 내에서 기설정된 가상 카메라의 위치에 대한 정보를 알고 있을 뿐만 아니라, 사용자로부터 가상 카메라의 위치를 입력받아 임의로 가상 카메라의 위치를 설정할 수 있다.
도 3 을 참고하면, 3차원 영상(S300) 내에서 가상카메라(300)는 시간에 따라 고정 위치 또는 가변 위치에 위치가 가능하며, 또한 오일러 각을 이용한 회전 변환과 쿼터니언 회전 변환 등을 수행할 수 있다(301, 302).
오일러 각(Euler angles)을 이용한 회전 변환은 고정된 x, y, z축을 기준으로 하여 pitch, yaw, roll을 나타내는 3개의 각도를 통하여 물체를 회전시킨다. 쿼터니(Quaternion)언 회전 변환 방법은 카메라라는 물체를 기준점, 각각 오른쪽, 위쪽, 그리고 바라보는 방향의 반대 방향을 가리키는 u, v, n 축으로 구성된 프레임으로 정의하고, OpenGL 시스템의 눈 좌표계(Eye Coordinates, EC)와 같은 카메라를 기준으로 하는 좌표계와 자연스럽게 대응된다. 쿼터니언 회전 변환 방법은 u,v,n 축을 기준으로 하여 카메라 프레임을 회전시키면 자연스럽게 pitch, yaw, roll 조작을 구현할 수 있게 된다. 가상카메라(300)는 다양한 회전 변환 방법을 택할 수 있으며, 명세서에 기재된 방법에 제한되지 않음을 주의하여야 한다.
2D_위치설정부(230)는 3차원 가상공간 내에서 선정된 임의의 객체(310)가 렌더링된 2차원 영상에서 존재해야할 위치를 시간에 따라 2차원 좌표값으로 설정한다.
도 3 을 참고하면, 3차원 영상(S300) 내에서 선정된 임의의 객체(310)가 시간을 따라 이동하는 경우(320), 선정된 임의의 객체의 3차원 공간상에서 위치는 시간에 따라 변화한다. 그러나, 렌더링된 2차원 영상에서의 객체의 위치는 3차원 공간상의 위치와는 무관하게 임의로 설정하는 것이 가능하며, 시간에 따른 함수로 표현할 수 있다. 만약, 렌더링된 2차원 영상에서 임의의 객체의 위치를 특정 좌표로 고정시킨다면, 이 경우, 가상카메라의 시선은 도 3과 같이 회전을 해야 한다.
임의의 객체를 선정하는 방법을 다양하다. 3차원 영상 렌더링의 일 예인 3차원 그래픽 게임에서는, 사용자가 사용자인터페이스 모듈(도 1 ,100)을 통해 목표물(예, 도 3, 310)을 선정할 수 있다. 또는, 최근 활발히 연구중인 인간의 동공 추적 기술을 이용하여, 3차원 영상에 사용자를 가상으로 투영하고, 이 후 사용자가 투영된 3차원 영상을 2차원으로 변환한 후, 2차원 화면상에서 바라보고 있는 물체를 파악하고, 파악된 물체를 임의의 객체로 선정할 수 있다.
3차원 영상(S300) 내에서 임의의 객체가 선정되면, 선정된 3차원 객체를 투시투영이나 직교투영을 적용하여 2차원 영상으로 합성할 수 있다. 도 6을 참고하면, 3차원 영상 내의 임의의 객체(610)를 2차원 평면에 투영하여(620) 2차원 영상으로 합성할 수 있다. 시간 t에서 선정된 임의의 객체의 위치를 PT(t)=(xT(t), yT(t))로 표현할 수 있다.
본 발명의 바람직한 일 실시예로서, 2D_위치설정부(230)는 선정된 임의의 객체가 시간에 관계없이 고정된 2차원 좌표값을 지니도록 설정할 수 있다. 또한, 2D_위치설정부(230)는 사용자 인터페이스 모듈(100) 또는 가상의 인터페이스인 입력부 등을 통해 사용자로부터 고정 2차원 좌표값 또는 가변 2차원 좌표값을 수신하여 위치를 설정할 수 있다.
본 발명의 바람직한 일 실시예로서, 고정된 2차원 좌표값의 일 예로는, 3차원 영상의 중심좌표 (W/2, H/2)가 있다. 여기서, W와 H는 투영된 영상의 가로와 세로 길이이다. 그러나, 인간의 시각시스템과는 달리, 영상의 중심이 아닌 위치로 고정하는 것도 가능하다. 3차원 게임 등에서 임의의 선정된 객체를 영상의 중심좌표로 고정하도록 설정이 가능하다.
본 발명의 또 다른 바람직한 일 실시예로서, 선정된 객체의 궤적을 나타내는 PT(t)의 궤적이 특정한 함수를 따라 움직이도록 설계하는 것이 가능하다. 인간도 빠른 속도로 뛸 경우에는 눈의 근육의 움직임에 한계가 있기 때문에, 목표물체가 완벽하게 중심에 있을 수는 없으며, 약간의 흔들림이 존재할 수 있다. 또한 예상치 못한 갑작스런 충돌이 발생할 경우에는 목표물체가 예상치 못한 방향으로 이동할 수도 있다. 이런 효과를 합성해 내기 위해서는, 선정된 객체의 시간에 따른 2차원 좌표를 PT(t)의 궤적값으로 설정할 수 있다. 복잡한 물리식을 이용하여 물체의 충돌이나 흔들림, 혹은 움직임을 모델링하고, 그 궤적을 수식으로 표현 한 뒤에 PT(t)을 설정할 수 있다.
본 발명의 또 다른 바람직한 일 실시예로서, 눈이 목표물을 아예 따라가지 못하는 상황을 재현하기 위해서는 임의로 설정된 궤도를 따라 목표물이 이동하도록 궤도를 정의하는 것도 가능하다. 이 경우 목표물이 투영된 2차원 화면내에서 다양한 형태로 움직이는 것이 가능하다.
본 발명의 또 다른 바람직한 일 실시예로서, 사용자가 수동으로 2차원 화면상에서 목표물체의 궤적을 그리고, 이를 함수화하거나, 시간에 따른 변화를 리스트(list)로 만들어 궤적의 데이터를 입력하는 것도 가능하다.
본 발명의 바람직한 일 실시예로서, 2D_위치설정부(230)는 3D data를 가상카메라의 시선(orientation)과 위치에서 렌더링하기전에, 렌더링될 2D 영상에서 임의의 객체의 2차원 좌표값(310) 또는 임의의 객체의 2차원 궤적(320)을 먼저 결정하는 특징이 있다.
시점결정부(240)는 도 3 을 참고하면, 가상 카메라의 3차원 좌표값(도 3, 300)과 선정된 객체(도 3, 310)의 2차원 좌표값을 이용하여 가상 카메라의 시점(orientation)(310)을 결정한다. 또한, 도 4 를 참고하면, 가상 카메라의 3차원 좌표값(도 4, 400)이 파악되고, 시간의 흐름에 따라 선정된 객체의 2차원 좌표값이 변경된 경우(도 4, 430), 구동부(도 1, 250)는 가상 카메라를 회전시켜 가상 카메라의 시점(430)을 변경시킨다.
본 발명에서는 카메라 시선 값을 계산하는 다양한 방법을 모두 적용할 수 있다. 3차원 공간상에 존재하는 point P를 (P3x, P3y, P3z)라고 하자. 가상 카메라의 카메라 파라미터가 (예: 초점 거리, Field of View (FoV), 등 ) 정의가 되며, 가상 카메라의 3차원 공간상의 위치와 시선(orientation)이 결정되면, Perspective projection 방법이나 orthographic projection 방법에 따라, 해당 Point P(P3x, P3y, P3z)가 2차원 평면에 projection이 되어, 2차원 평면상에 정확한 좌표(P2x, P2y)를 계산할 수 있게 된다. 3차원 공간상에 모든 좌표를 투영함으로 2차원 영상을 합성하게 되는 것이다. 즉, 해당 모델에 따라, (P3x, P3y, P3z)와 (P2x, P2y) 사이의 관계는 아래의 수학식을 통하여 표현하는 것이 가능하다.
(P2x, P2y) = f(P3x, P3y, P3z, 카메라 파라미터, 카메라 위치, 카메라 시선)
위에서, 함수 f는 Perspective projection이나 orthographic projection의 수학적 모델을 의미한다. 일반적으로, 3차원 영상 렌더링 방법에서는 함수 f의 내부의 값들이 먼저 결정이 되므로, 최종적으로 (P2x, P2y) 이 계산을 계산할 수 있다. 함수 f의 내부의 값들의 예로는 카메라 파라미터, 카메라 위치, 카메라 시선 등이 있다. 따라서, 사용자는 렌더링된 2차원 영상에서 임의의 객체의 좌표 (P2x, P2y)를 의도적으로 제어할 수 없다. 본 발명의 바람직한 일 실시예에서는 가상 카메라의 파라미터와 위치만 결정하고 목표물의 3차원 좌표 P를 설정한다. 그리고 해당 목포물이 2차원 영상에 투영될 위치 좌표(P2x, P2y)를 먼저 결정한다. 즉, 위의 수학식에서 카메라 시선(orientation)을 제외한 나머지 값들은 이미 결정이 되어 상수값이 되며, 카메라 시선에 해당하는 값이 변수로 설정되므로, 방정식을 통해 가상 카메라의 시선값을 계산할 수 있다.
기존의 방법에서는 카메라 시선, 위치로부터 목표물 설정없이 2차원 영상이 렌더링 되기 때문에, 임의의 객체를 렌더링된 2차원 영상에서 안정적으로 보여줄 수 없었다. 그러나, 본 발명에서는 렌더링될 2차원 영상에서 목표물의 위치를 먼저 결정하고 이를 위한 시선값을 계산함으로 목표물이 2차원 영상에서 안정화될 수 있도록 해 준다.
도 5 는 본 발명의 바람직한 일 실시예로서, 임의의 객체의 위치에 따라 가상 카메라의 시점이 변경된 일 예를 도시한다.
t1 시간에 임의의 객체의 2차원 좌표 Pa(t1)(512)가 3차원 영상(510)의 하단 좌측에 위치하다가, t2 시간에 임의의 객체의 2차원 좌표 Pa(t2)(522)로 이동된 경우 가상 카메라의 시점의 변화를 나타낸다. 가상 카메라는 t1 시간에 제 1 시점(530)을 나타내다, t2 시간에 제 2 시점(531)으로 변화된다.
도 7은 본 발명의 바람직한 일 실시예로서, 가상 카메라의 시점을 제어하는 방법의 흐름도를 도시한다.
가상카메라 시점 제어 장치는 가상 카메라가 설치된 위치가 표시된 3차원 공간 내에서 가상 카메라의 위치를 3차원 좌표값으로 설정한다(S710). 이 후, 가상카메라가 촬영하는 3차원 영상 내에서 임의의 객체를 선정하고, 선정된 객체의 위치를 2차원 좌표값으로 설정한다(S720). 가상 카메라의 3차원 좌표값 및 가상 카메라가 촬영하는 3차원 영상 내의 임의의 객체의 2차원 좌표값이 파악되면, 두 개의 좌표값을 이용하여 상기 임의의 객체가 검출된 3차원 영상을 촬영한 가상 카메라의 시점을 결정한다(S730). 결정된 가상 카메라의 시점에 따라 가상 카메라를 회전시킨다(S740).
본 발명의 바람직한 일 실시예로서, 가상 카메라의 시점 제어 방법은 또한 2차원 영상분석 기법 및 3차원 영상분석 기법을 모두 채용할 수 있다. 2차원 분석 기법 기반에서 영상들 간의 시선 벡터 방향의 차이를 예측하고, 객체의 이동 경로에 따라 프레임마다 가상 카메라의 시점 방향을 조절하여 3차원 기법을 구현하기 때문에 인간 시각에 대해 왜곡이 거의 없는 비디오를 출력할 수 있다.
상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 가상 카메라의 시점 제어 방법으로서,
    3차원 공간 내에서 가상 카메라의 위치를 3차원 좌표값으로 설정하는 단계;
    상기 가상 카메라가 촬영하는 3차원 공간 내의 임의의 객체를 선정하고, 선정된 객체가 렌더링될 2차원 영상 위에서 존재할 위치를 2차원 좌표값으로 설정하는 단계;
    상기 가상 카메라의 3차원 좌표값과 상기 선정된 객체의 2차원 좌표값을 이용하여 상기 가상 카메라의 시점(orientation)을 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 결정된 가상 카메라의 시점에 따라
    상기 가상 카메라를 회전시키는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서, 상기 가상 카메라의 위치는
    시간에 따라 변경될 수 있고, 이 경우 (xC(t), yC(t), zC(t))로 표시되며, xC(t)는 3차원 좌표값에서 시간에 따른 가로값을, yC(t) 는 3차원 좌표값에서 시간에 따른 세로값을, zC(t)는 3차원 좌표값에서 시간에 따른 높이값을 나타내는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서, 상기 선정된 객체의 위치는 시간에 따라 변경될 수 있으며, 투시투영이나 직교투영을 통하여 2차원 좌표값으로 표시되는 것을 특징으로 하는 방법.
  5. 삭제
  6. 3차원 영상 렌더링을 수행하는 프로세서;
    3차원 영상 내에서 가상 카메라의 위치를 시간에 따라 3차원 좌표값으로 설정하는 3D_위치설정부;
    3차원 영상 내에서 선정된 임의의 객체의 위치를 시간에 따라 2차원 좌표값으로 설정하는 2D_위치설정부;
    상기 가상 카메라의 3차원 좌표값과 상기 선정된 객체의 2차원 좌표값을 이용하여 상기 가상 카메라의 시점(orientation)을 결정하는 시점결정부;및
    상기 결정된 가상 카메라의 시점에 따라 상기 가상 카메라를 회전시키는 구동부;를 포함하는 것을 특징으로 하는 가상 카메라 시점 제어장치.
  7. 제 6 항에 있어서, 상기 2D_위치설정부는
    상기 3차원 영상 내에서 선정된 임의의 객체에 투시투영 또는 직교투영을 적용하여 2차원 영상을 합성하고, 합성된 2차원 영상으로부터 상기 선정된 객체의 2차원 좌표값을 설정하는 것을 특징으로 하는 가상 카메라 시점 제어장치.
  8. 제 6 항에 있어서, 상기 2D_위치설정부는
    상기 선정된 임의의 객체의 위치를 시간에 따라 일정한 궤적(trajectory)을 그리도록 설정하는 것을 특징으로 하는 가상 카메라 시점 제어장치.
  9. 제 6 항에 있어서, 상기 2D_위치설정부는
    상기 선정된 임의의 객체의 위치를 시간에 따라 변동하지 않는 고정 위치로 설정하는 것을 특징으로 하는 가상 카메라 시점 제어장치.
  10. 제 9 항에 있어서, 상기 2D_위치설정부는
    상기 3차원 영상의 중앙을 표시하는 2차원 좌표값으로 검출하고, 이 경우 상기 시점결정부는 상기 3차원 영상의 중앙을 표시하는 2차원 좌표값을 이용하여 상기 가상 카메라의 시점을 결정하는 것을 특징으로 하는 가상 카메라 시점 제어장치.
  11. 제 6 항에 있어서, 상기 2D_위치설정부는
    사용자로부터 상기 선정된 임의의 객체의 위치를 표시하는 2차원 좌표값을 입력받아 2차원 좌표값을 설정하는 입력부;를 더 포함하는 것을 특징으로 하는 가상 카메라 시점 제어장치.
KR1020150167501A 2015-11-27 2015-11-27 가상 카메라의 시점 제어 방법 및 장치 Expired - Fee Related KR101741149B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150167501A KR101741149B1 (ko) 2015-11-27 2015-11-27 가상 카메라의 시점 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150167501A KR101741149B1 (ko) 2015-11-27 2015-11-27 가상 카메라의 시점 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101741149B1 true KR101741149B1 (ko) 2017-05-30

Family

ID=59053024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150167501A Expired - Fee Related KR101741149B1 (ko) 2015-11-27 2015-11-27 가상 카메라의 시점 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101741149B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220140391A (ko) * 2021-04-09 2022-10-18 주식회사 오썸피아 가상 카메라 머신을 이용한 콘텐츠 제공 시스템 및 방법
CN115985209A (zh) * 2022-12-13 2023-04-18 维沃移动通信有限公司 可穿戴显示设备、控制方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172507B1 (ko) 2010-04-07 2012-08-14 한국외국어대학교 연구산학협력단 시점 조정 3차원 영상 제공 장치 및 방법
JP2012223357A (ja) 2011-04-19 2012-11-15 Onkyo Corp ビデオゲーム装置およびビデオゲーム制御方法
KR101208767B1 (ko) 2011-04-22 2012-12-05 한국과학기술원 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172507B1 (ko) 2010-04-07 2012-08-14 한국외국어대학교 연구산학협력단 시점 조정 3차원 영상 제공 장치 및 방법
JP2012223357A (ja) 2011-04-19 2012-11-15 Onkyo Corp ビデオゲーム装置およびビデオゲーム制御方法
KR101208767B1 (ko) 2011-04-22 2012-12-05 한국과학기술원 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220140391A (ko) * 2021-04-09 2022-10-18 주식회사 오썸피아 가상 카메라 머신을 이용한 콘텐츠 제공 시스템 및 방법
KR102523493B1 (ko) * 2021-04-09 2023-04-19 주식회사 오썸피아 가상 카메라 머신을 이용한 콘텐츠 제공 시스템 및 방법
CN115985209A (zh) * 2022-12-13 2023-04-18 维沃移动通信有限公司 可穿戴显示设备、控制方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US10645371B2 (en) Inertial measurement unit progress estimation
US11024093B2 (en) Live augmented reality guides
US10713851B2 (en) Live augmented reality using tracking
US11776142B2 (en) Structuring visual data
JP7090410B2 (ja) 拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム
CN107646126B (zh) 用于移动设备的相机姿态估计
US9041743B2 (en) System and method for presenting virtual and augmented reality scenes to a user
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
JP2022545851A (ja) 仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体
KR20180073327A (ko) 영상 표시 방법, 저장 매체 및 전자 장치
JP2018523326A (ja) 全球状取込方法
CN111696213A (zh) 图像生成装置、图像生成方法以及计算机可读介质
US10665024B2 (en) Providing recording guidance in generating a multi-view interactive digital media representation
KR102374404B1 (ko) 콘텐트를 제공하기 위한 디바이스 및 방법
JP5791434B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
JP2013050883A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
KR20210131414A (ko) 인터랙티브 오브젝트 구동 방법, 장치, 디바이스 및 기록 매체
CN112891940A (zh) 图像数据处理方法及装置、存储介质、计算机设备
CN106843790B (zh) 一种信息展示系统和方法
JP2017016166A (ja) 画像処理装置及び画像処理方法
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
US11831853B2 (en) Information processing apparatus, information processing method, and storage medium
US10796477B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PC1903 Unpaid annual fee

Not in force date: 20220524

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20220524

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000