KR101139287B1 - 사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법 - Google Patents

사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법 Download PDF

Info

Publication number
KR101139287B1
KR101139287B1 KR1020100022874A KR20100022874A KR101139287B1 KR 101139287 B1 KR101139287 B1 KR 101139287B1 KR 1020100022874 A KR1020100022874 A KR 1020100022874A KR 20100022874 A KR20100022874 A KR 20100022874A KR 101139287 B1 KR101139287 B1 KR 101139287B1
Authority
KR
South Korea
Prior art keywords
change
rotation angle
image
unit
panoramic image
Prior art date
Application number
KR1020100022874A
Other languages
English (en)
Other versions
KR20110103692A (ko
Inventor
황재인
김익재
홍유진
안상철
김형곤
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020100022874A priority Critical patent/KR101139287B1/ko
Publication of KR20110103692A publication Critical patent/KR20110103692A/ko
Application granted granted Critical
Publication of KR101139287B1 publication Critical patent/KR101139287B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

파노라마 영상 장치는, 파노라마 영상을 재생하는 재생부, 오브젝트의 위치 또는 회전각도 변화를 감지하는 카메라부, 상기 카메라부에서 감지된 오브젝트의 위치 또는 회전각도 변화에 대한 정보를 이용하여, 상기 오브젝트의 움직임을 연산하는 연산부 및 상기 재생부가 재생하는 파노라마 영상에 상기 연산 결과를 반영하여 재생하도록 제어하는 제어부를 포함한다.

Description

사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법{PANORAMA VIDEO DISPLAY DEVICE AND DISPLAY CONTROL METHOD USING USER MOTION}
본 발명은 사용자 상태를 반영하여 영상 화면을 제어하는 파노라마 영상 재생 장치 및 이를 이용한 파노라마 영상 재생 방법에 관한 것이다.
최근 미디어와 인간이 서로 친화적으로 쉽게 상호작용(HCI:Human Computer Interface)하도록 하는 기술이 급속도로 발전하였다. 특히, 영상을 캡쳐 또는 재생하는 장치의 성능 진화 및 저렴해진 가격으로 인하여, 영상을 편집 또는 가공할 수 있는 이미지 처리 시스템(image processing)이 데스크탑(desktop)에서도 가능해지기 시작했다. 그 결과, 사용자의 고유성(identity), 상태, 의도, 표정 등이 드러나는 얼굴이 포함된 이미지를 컴퓨터로 인식 또는 처리하는 기술이 비전(vision) 기반의 HCI 분야에서 주요한 과제가 되었다. 구체적으로, 상기 비전 기반의 HCI 분야에는 얼굴 인식(face recognition), 얼굴 추적(face tracking) 또는 자세 추정(pose estimation) 등의 알고리즘 등이 포함되며, 그 중 얼굴 인식 및 추적 기술은 이미 디지털 카메라에서 얼굴 포커스 등의 부가 기능에 상용화 되고 있다.
파노라마 영상은 최근 부각되는 구글 지도(google street view) 또는 다음 지도(daum street view)에서 사용되는 파노라마 촬영 기법을 이용한 전방위 영상을 의미한다. 파노라마 촬영 기법은, 카메라의 뷰(view)를 여러 차례 돌려가며 주변 경관을 찍는 촬영 기법을 말하며, 상기와 같은 방식으로 촬영된 파노라마 영상은 넓은 지역에 걸친 경관을 하나의 이미지로 볼 수 있게 해주므로, 사진 기반의 지도 서비스 등에 유용하게 쓰인다. 일반 카메라는 렌즈의 시야 범위(FOV:Field Of View)에 따라 제한된 뷰에서 촬영하기 때문에, 전방위를 구현하기 위해서는 각기 다른 각도에서 충분한 촬영을 한 뒤 정합하는 과정을 거쳐야 하며, 포토샵 등의 소프트웨어를 통해 파노라마 이미지를 얻을 수 있다.
상기한 과제를 실현하기 위해서 본 발명의 일 태양에 따라 사용자 상태를 반영하여 영상 화면을 제어하는 파노라마 영상 재생 장치 및 이를 이용한 파노라마 영상 재생 방법을 제공하고자 한다.
상기한 과제를 실현하기 위한 본 발명의 일 태양에 따른 파노라마 영상 재생 장치는, 파노라마 영상을 재생하는 재생부, 오브젝트의 위치 또는 회전각도 변화를 감지하는 카메라부, 상기 카메라부에서 감지된 오브젝트의 위치 또는 회전각도 변화에 대한 정보를 이용하여, 상기 오브젝트의 움직임을 연산하는 연산부 및 상기 연산부의 연산 결과에 따라, 상기 재생부가 재생되는 파노라마 영상에 상기 연산 결과를 반영하여 재생하도록 제어하는 제어부를 포함할 수 있다.
또한, 상기 연산부는, 미리 설정된 임계값에 대한 상기 오브젝트의 위치 또는 회전각도 변화의 관계를 판단하여, 오브젝트의 움직임을 연산할 수 있다.
또한, 상기 연산부는, 3차원 공간을 형성하는 기준축 중에서 하나 이상의 축에 대한 오브젝트의 움직임을 연산할 수 있다.
또한, 상기 카메라부는, 오브젝트 좌표상에서 오브젝트의 위치 또는 회전각도 변화를 감지하여, 상기 오브젝트 조표상의 정보를 카메라 좌표상에서의 정보로 변환하고, 상기 연산부는, 상기 카메라부에서 변환된 정보를 이용하여, 영상 좌표에서의 오브젝트 움직임을 연산할 수 있다.
또한, 상기한 과제를 실현하기 위한 본 발명의 일태양에 따른 파노라마 영상 재생 방법은, 파노라마 영상 재생 장치에서, 파노라마 영상을 재생하는 단계, 오브젝트의 위치 또는 회전각도 변화를 감지하는 단계, 상기 오브젝트의 위치 또는 회전각도 변화에 대한 정보를 이용하여, 오브젝트의 움직임을 연산하는 단계 및 연산 결과에 따라 상기 오브젝트의 위치 또는 회전각도 변화가 반영된 영상을 재생하는 단계를 포함할 수 있다.
또한, 상기 오브젝트의 움직임을 연산하는 단계는, 미리 설정된 임계값에 대한 상기 오브젝트의 위치 또는 회전각도 변화의 관계를 판단하여, 상기 오브젝트의 움직임을 연산하는 단계를 포함할 수 있다.
또한, 상기 오브젝트의 위치 또는 회전각도 변화를 감지하는 단계는, 오브젝트 좌표상에서 오브젝트의 위치 또는 회전각도의 변화를 감지하는 단계 및 감지된 오브젝트 좌표상에서의 오브젝트 위치 또는 회전각도 변화에 대한 정보를 카메라 좌표상에서 가상의 오브젝트 위치 또는 회전각도의 변화에 대한 정보로 변환하는 단계를 더 포함할 수 있다.
상기와 같이 구성되는 본 발명의 적어도 하나의 태양에 따른 파노라마 영상 재생 장치 및 이를 이용한 영상 재생 방법은, 별도의 입력 장치 없이 사용자의 상태를 영상에 반영시켜 사용자에게 몰입감을 제공하고, 카메라 및 재생 장치가 구비되면 구현될 수 있는 기술로서, 상용화의 가치가 높은 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 파노라마 영상 재생 장치의 구성도.
도 2는 본 발명의 일 실시예에 따른 파노라마 영상 재생 장치의 외형도.
도 3은 본 발명의 일 실시예에 따라 좌표 변환을 통해 파노라마 영상을 제어하는 파노라마 영상 재생 장치를 도시하는 도면.
도 4a, 도 4b 및 도 4c는 본 발명의 일 실시예에 따라 오브젝트의 움직임에 의해 편집된 파노라마 영상을 도시하는 도면들.
도 5는 본 발명의 일 실시예에 따른 파노라마 영상 재생 과정을 도시하는 순서도.
도 6a, 도 6b 및 도 6c는 본 발명의 일 실시예에 따라 기준축에 대한 오브젝트의 움직임을 반영한 영상 재생 과정을 도시하는 순서도들.
이하, 본 발명과 관련된 파노라마 영상 재생 장치 및 이를 이용한 파노라마 영상 재생 방법에 대해서 도면을 참조하여 보다 상세하게 설명한다. 본 발명이 속한 기술 분양에서 통상의 지식을 가진 자라면, 도면을 참조 또는 변형하여 상기 발명의 구성에 대한 다양한 실시예를 유추할 수 있을 것이나, 본 발명은 상기 유추되는 다양한 실시예를 포함하며 이루어지며, 아래 도면에 도시된 실시예로 그 기술적 특징이 한정되지 아니한다.
도 1은 본 발명의 일 실시예에 따른 파노라마 영상 재생 장치의 구성도이다.
도 1을 참조하면, 상기 파노라마 영상 재생 장치(100)는 재생부(110), 카메라부(120), 연산부(130) 및 제어부(140)를 포함한다.
상기 재생부(110)는 파노라마 영상을 재생한다. 상기 재생부(110)는 전방위로 녹화되는 파노라마 카메라로부터 파노라마 영상을 제공받아 디스플레이 모듈을 이용하여, 상기 파노라마 영상을 재생한다. 상기 재생부(110)는 상용화된 TV, 모니터 등의 영상 재생부를 포함할 수 있다. 상기 파노라마 영상이란, 촬영 기법을 통해 넓은 각도 범위에 걸쳐친 영상 이미지를 의미한다. 전방향의 파노라마 이미지 영상 또는 파노라마 비디오 영상은 1차원으로 제공되는 영상과 비교했을 때, 많은 정보를 포함할 수 있다. 상기 파노라마 영상의 예에는, 스포츠 중계 등이 포함될 수 있다.
상기 카메라부(120)는 오브젝트의 위치 또는 회전각도의 변화를 감지하여, 감지 정보를 생성한다. 상기 오브젝트의 예로는, 재생되는 파노라마 영상을 시청하는 사용자가 될 수 있고, 구체적으로는 사용자 머리 영역이 해당할 수 있다. 상기 오브젝트의 위치 변화란, 오브젝트가 위치하는 지점의 변화로서 상기 오브젝트의 변위 또는 상기 파노라마 영상 재생 장치(100)와 오브젝트 사이의 거리 변화 등의 형태로 감지될 수 있다. 상기 오브젝트 회전각도 변화란, 오브젝트가 일지점을 기준으로 놓여있는 위치를 0도로 설정하여, 상기 0도로 설정된 기준 각도에서 다양한 회전축을 중심으로 회전하게 되는 각도 변화를 의미한다. 일반적으로, 사람의 시선은 관심 있는 대상이나 보고자 하는 대상이 있는 방향으로 쏠리게 되며, 시선이 가는 것과 동시에 고개를 돌려 관심있는 대상이 있는 곳을 바라보게 되는 것이 자연스러운 현상이므로, 이를 파노라마 영상에 반영할 수 있도록, 상기 카메라부(120)는 사용자 머리 영역의 움직임을 오브젝트의 움직임으로 감지하여 감지 신호를 생성할 수 있다. 상기 카메라부(120)는 상기 오브젝트의 위치 또는 회전각도 변화를 임의의 주기로 감지하여 감지 신호를 생성할 수 있다. 상기 오브젝트의 위치 변화 또는 회전각도 변화는 상기 카메라부(120)로부터 얻어지는 영상에서 머리 추적(head tracking) 알고리즘을 통해 조명이나 안경과 같은 장애물을 극복하여 감지될 수 있다. 구체적으로, 상기 카메라부(120)는, 오브젝트 좌표상에서 오브젝트의 위치 또는 회전각도의 변화를 감지하여, 상기 카메라부(120)의 카메라 좌표상에서의 오브젝트의 위치 또는 회전각도 변화로 변환함으로써 상기 오브젝트의 위치 또는 회전각도 변화를 감지할 수 있다. 상기 카메라부(120)는 가정용으로 상용화된 usb형태의 웹캠(webcam)을 이용하여 구현될 수 있다. 사용자는 상기 카메라부(120)를 통해, 마우스 등의 별도의 입력 장치를 이용하지 않고, 상기 파노라마 영상 재생 장치(100)에 사용자 신호를 입력할 수 있게 된다.
상기 연산부(130)는 상기 카메라부(120)로부터 제공되는 오브젝트의 위치 또는 회전각도 변화에 대한 감지 정보를 이용하여, 오브젝트의 움직임을 연산한다. 구체적으로, 상기 연산부(130)는 3차원 공간을 형성하는 기준축인 X축, Y축 또는 Z축 방향 중 어느 하나 이상의 방향을 기준축으로 하여, 상기 오브젝트의 움직임을 연산할 수 있다. 상기 기준축은 상기 오브젝트의 움직임의 회전축 또는 상기 오브젝트 움직임의 좌표에 대한 기준축을 포함할 수 있다. 상기 X축 또는 Y축을 회전축으로하는 오브젝트의 움직임은 오브젝트의 상하 방향 또는 좌우 방향의 회전을 의미할 수 있고, Z축에 대한 오브젝트의 움직임은 상기 파노라마 영상 재생 장치(100) 및 오브젝트 사이의 거리 변화를 의미할 수 있다. 상기 연산부(130)는 상기 카메라부(120)의 감지 정보를 이용하여 수치적으로 오브젝트의 위치 변화 또는 회전 각도의 변화를 연산하거나, 미리 설정된 제 1 임계값에 대한 상기 오브젝트의 위치 변화 또는 회전각도의 변화의 관계를 판단하여 상기 오브젝트의 위치 변화 또는 회전 각도의 변화를 연산할 수 있다. 상기 임계값은, 일반적으로 사용자의 회전 의도에 따라 오브젝트가 회전하였다고 판단되는 회전 각도로서, 사용자의 설정에 따라 다양한 수치가 포함될 수 있다. 예를 들어, 상기 연산부(130)는 오브젝트가 제 1 임계값을 초과하여 회전각도를 변화시키거나 위치가 변화되었다고 판단하면, 상기 오브젝트의 움직임에 대한 기준축 및 움직임 범위에 대한 움직임 신호를 연산할 수 있다. 또한, 상기 연산부(130)는 미리 설정된 제 2 임계값에 대한 상기 오브젝트의 위치 변화 또는 회전각도의 변화의 관계를 판단하면, 상기 오브젝트 움직임의 정지 신호를 연산할 수 있다. 예를 들어, 상기 연산부(130)는 오브젝트가 상기 제 1 임계값을 초과하여 회전 각도를 변화시키거나 위치가 변화되었다고 판단되면 상기 오브젝트의 움직임에 대한 연산을 수행하여 기준축 및 움직임 범위에 대한 움직임 신호를 생성하고, 계속해서 상기 오브젝트의 회전 각도 또는 위치의 변화가 제 2 임계값 범위 내에 포함된다고 판단되면 상기 오브젝트의 움직임이 정지되었다는 정지 신호를 생성할 수 있다. 상기 연산부(130)는 상기 카메라부(120)로부터 임의의 주기로 오브젝트의 위치 또는 회전각도 변화에 대한 감지 신호를 전달받아, 상기 임의의 주기로 상기 오브젝트의 위치 또는 회전각도 변화에 대한 연산을 수행하여 오브젝트의 움직임을 실시간으로 반영할 수 있도록 한다. 상기 연산부(130)는 상기 카메라부(120)로부터 변환된 카메라 좌표상의 오브젝트 위치 또는 회전 각도 변화에 대한 정보가 전달되면, 상기 카메라 좌표상의 오브젝트 위치 또는 회전 각도 변화를 이용하여, 영상 좌표에서의 오브젝트 움직임을 연산할 수 있다.
상기 제어부(140)는 상기 연산부(130)의 연산 결과에 따라, 상기 재생부(110)에서 재생하는 파노라마 영상을 편집하여 재생하도록 제어한다. 상기 제어부(140)는 상기 연산부(130)에서 연산된 움직임 신호에 따라서, 재생되는 파노라마 영상의 시점을 미리 설정된 변화값으로 좌우 방향 또는 상하 방향으로 회전시켜 재생하도록 제어할 수 있다. 상기 미리 설정된 변화값이란, 오브젝트의 움직임이 반영되었다고 판단될 수 있는 영상의 편집 범위 값을 의미한다. 또한, 상기 제어부(140)는 상기 연산부(130)에서 연산된 정지 신호에 따라서, 상기 좌우 방향 또는 상하 방향의 회전을 정지하여 영상을 재생하도록 제어할 수 있다. 상기와 같은 방법으로, 상기 제어부(140)는 상기 연산부(130)의 움직임 신호에 따라서, 재생되는 파노라마 영상을 줌인(zoom in) 또는 줌아웃(zoom out)시켜서 재생하도록 제어할 수 있다. 상기 제어부(140)는 상기 연산부(130)로부터 임의의 주기로 연산 결과를 전달받아, 상기 임의의 주기로 전달되는 연산 결과를 영상에 반영하여 재생한다. 구체적으로, 상기 제어부(140)는 상기 연산부(130)로부터 회전에 대한 움직임 신호에 연속해서 회전에 대한 움직임 신호를 전달받으면 재생되는 영상을 계속해서 회전시켜 재생하고, 회전에 대한 움직임 신호에 연속해서 정지 신호를 전달받으면 재생되는 영상을 임의의 변화값으로 회전 후 회전을 정지하여 임의의 변화값으로 회전된 각도를 유지된 영상을 재생하도록 제어할 수 있다. 또한, 상기 제어부(140)는 상기 연산부(130)의 연산 결과를 입력 신호로 판단하여, 파노라마 영상 외 일반 영상 또는 가상 공간 뷰 등이 재생되도록 제어할 수 있다. 즉, 상기 제어부(140)는 별도의 입력 장치를 통하지 않고, 오브젝트의 움직임에 대한 연산 결과에 따라 파노라마 영상을 편집하여, 재생되는 파노라마 영상에 사용자의 의도, 상태 또는 관심도 등을 반영시켜 직관적으로 제어할 수 있도록 한다. 예를 들어, 상기 재생부(110)에서 스포츠 중계가 재생되고 있는 경우 홈런이라는 이벤트가 발생하면, 사용자는 담장을 넘기는 공을 보고 싶어하거나 환호하는 관중석의 사람들을 보고 싶어하거나 또는 아쉬워하는 투수의 모습을 보고 싶어할 수 있다. 이 경우, 사용자가 보고자하는 방향으로 머리를 회전시키면, 상기 파노라마 영상 재생 장치(100)는 상기 사용자의 머리 회전을 오브젝트의 움직임으로 인식하여, 사용자가 회전한 방향으로 영상을 회전시켜 재생하는 등 다양하게 화면을 편집하여 재생하도록 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 파노라마 영상 재생 장치의 외형도이다.
도 2를 참조하면, 상기 파노라마 영상 재생 장치(100)는 재생부(110) 및 카메라부(120)를 포함한다. 상기 재생부(110)는 파노라마 영상(200)을 재생하고, 상기 카메라부(120)로부터 입력되는 사용자 신호에 따라 사용자 의도가 반영되도록 편집된 파노라마 영상을 재생하게 된다.
도 3은 본 발명의 일 실시예에 따라 좌표 변환을 통해 파노라마 영상을 제어하는 파노라마 영상 재생 장치를 도시하는 도면이다.
도 3을 참조하면, 상기 파노라마 영상 제어 과정에는 오브젝트 좌표(310), 카메라의 카메라 좌표(320) 및 영상 좌표(330)가 포함된다. 상기 오브젝트 좌표(310) 상에서의 오브젝트 움직임은, 카메라를 통해 카메라 좌표(320) 상에서의 가상의 오브젝트 움직임으로 변환되고, 상기 카메라 좌표(320) 상에서의 가상의 오브젝트 움직임에 대한 정보는 상기 영상의 영상 좌표(330)에 반영되어, 상기 오브젝트의 움직임에 따라 편집된 영상이 재생되게 된다.
도 4a, 도 4b 및 도 4c는 본 발명의 일 실시예에 따라 오브젝트의 움직임에 의해 편집된 파노라마 영상을 도시하는 도면들이다.
도 4a는 X축을 회전축으로 하여 사용자 머리 움직임을 감지하여 편집한 파노라마 영상을 도시하는 도면이고, 도 4b는 Y축을 회전축으로하여 사용자 머리 움직임을 감지하여 편집한 파노라마 영상을 도시하는 도면이며, 도 4c는 Z축을 기준축으로하여 사용자 머리 움직임을 감지하여 편집한 파노라마 영상을 도시하는 도면이다.
도 4a를 참조하면, 사용자는 X축을 회전축으로하여 상하 방향으로 머리를 움직일 수 있다. 이 때, 연산의 편의를 위해 X축을 기준으로 오브젝트의 상방향을 향한 회전을 양의 회전값으로, X축을 기준으로 오브젝트의 하방향을 향한 회전을 음의 회전값으로 설정할 수 있다. 또한, 상기 파노라마 영상 재생 장치는 상기 X축을 좌표축의 기준축으로 하여, X축을 기준으로 오브젝트의 우방향을 향한 회전을 양의 회전값으로, X축을 기준으로 오브젝트의 좌방향을 향한 회전을 음의 회전값으로 설정할 수 있다. 상기 파노라마 영상 재생 장치는, 사용자의 머리 움직임을 감지하여, 사용자가 움직이는 방향에 해당하는 영상이 재생되도록 한다. 즉, 사용자의 머리가 X축을 회전축으로하여 상방향으로 회전하면(411), 상기 파노라마 영상 재생 장치는 사용자 의도를 반영하여, 영상 시점을 상방향으로 미리 설정된 변화값으로 회전한 영상 화면(410)을 재생한다. 또한, 사용자의 머리가 X축을 회전축으로하여 하방향으로 회전하면(421), 상기 파노라마 영상 재생 장치는 사용자 의도를 반영하여, 영상 시점을 하방향으로 미리 설정된 변화값으로 회전한 영상 화면(420)을 재생한다. 이 때, 상기 파노라마 영상 재생 장치는, 임의의 회전 각도를 임계값으로 설정하여, 상기 사용자 머리의 회전 각도가 상기 임계값을 초과하여 회전하는 경우, 미리 설정된 변화값으로 회전된 영상이 재생되도록 제어할 수 있다. 또한, 상기 파노라마 영상 재생 장치는, 임의의 주기로 오브젝트의 움직임을 감지하여 임의의 주기로 편집된 영상을 재생하도록 제어할 수 있다.
도 4b를 참조하면, 사용자는 Y축을 회전축으로하여 좌우 방향으로 머리를 움직일 수 있다. 이 때, 연산의 편의를 위해 Y축을 기준으로 오브젝트의 우방향을 향한 회전을 양의 회전값으로, Y축을 기준으로 오브젝트의 좌방향을 향한 회전을 음의 회전값으로 설정할 수 있다. 상기 파노라마 영상 재생 장치는, 사용자의 머리가 Y축을 회전축으로하여 좌방향으로 회전하면(431), 상기 파노라마 영상 재생 장치는 사용자 의도를 반영하여, 영상 시점을 좌방향으로 임의의 변화값만큼 회전한 영상 화면(430)을 재생한다. 또한, 사용자의 머리가 Y축을 회전축으로하여 우방향으로 회전하면(441), 상기 파노라마 영상 재생 장치는 사용자 의도를 반영하여, 영상 시점을 우방향으로 임의의 변화값만큼 회전한 영상 화면(440)을 재생한다.
도 4c를 참조하면, 사용자는 Z축을 기준으로 전후방향으로 머리를 움직일 수 있다. 이 때, 연산의 편의를 위해서 Z축을 기준으로 오브젝트의 전방향을 향한 움직임을 음의 움직임으로, Z축을 기준으로 오브젝트의 후방향을 향한 움직임을 양의 움직임으로 설정할 수 있다. 즉, 사용자의 머리가 Z축을 기준으로 전방향으로 이동하면(451), 상기 파노라마 영상 재생 장치는 화면을 확대하고 싶은 사용자 의도를 반영하여, 영상을 줌인(zoom in)한 영상 화면(450)을 재생한다. 또한, 사용자의 머리가 Z축을 기준으로 후방향으로 이동하면(461), 상기 파노라마 영상 재생 장치는 화면을 축소시키고 싶은 사용자 의도를 반영하여, 영상을 줌아웃(zoom out)한 영상 화면(460)을 재생한다.
도 5는 본 발명의 일 실시예에 따른 파노라마 영상 재생 과정을 도시하는 순서도이다.
도 5를 참조하면, 상기 파노라마 영상 재생 장치에서 파노라마 영상이 재생되는 중에(S510), 오브젝트의 위치 또는 회전각도가 변화되면(S520), 상기 파노라마 영상 재생 장치는 오브젝트의 위치 또는 회전각도 변화를 감지하여 감지 정보를 생성하고(S530), 상기 오브젝트의 움직임을 연산하여(S540), 상기 오브젝트의 움직임을 반영하여 편집된 파노라마 영상을 재생한다(S550). 상기 오브젝트의 움직임을 연산하는 단계는, 오브젝트의 위치 또는 회전각도 변화가 미리 설정된 임계값을 초과하는지 여부를 판단하고, 상기 오브젝트의 위치 또는 회전각도 변화가 상기 임계값을 초과하는 경우, 오브젝트의 움직임이 있는 것으로 판단하는 단계를 더 포함할 수 있다. 또한, 상기 오브젝트의 위치 또는 회전각도 변화를 감지하여 감지 정보를 생성하는 단계는, 오브젝트 좌표상에서 오브젝트의 위치 또는 회전각도의 변화를 감지하는 단계 및 감지된 오브젝트 좌표상에서의 오브젝트 위치 또는 회전각도의 변화를 카메라 좌표상에서 가상의 오브젝트의 위치 또는 회전각도의 변화에 대한 정보로 변환하는 단계를 더 포함할 수 있다. 또한, 상기 편집된 파노라마 영상을 재생하는 단계는, 상기 재생되는 파노라마 영상의 시점을 좌우 방향 또는 상하 방향으로 회전시켜 재생하는 단계를 포함할 수 있다. 또한, 상기 편집된 파노라마 영상을 재생하는 단계는, 상기 재생되는 파노라마 영상을 줌인 또는 줌아웃시켜 재생하는 단계를 포함할 수 있다.
도 6a, 도 6b 및 도 6c는 본 발명의 일 실시예에 따라 기준축에 대한 오브젝트의 움직임을 반영한 영상 재생 과정을 도시하는 순서도들이다.
도 6a는 X축을 회전축으로 예시적인 임계값에 따라 오브젝트의 움직임을 반영한 영상 재생 과정을 도시하는 도면이고, 도 6b는 Y축을 회전축으로 예시적인 임계값에 따라 오브젝트의 움직임을 반영한 영상 재생 과정을 도시하는 도면이며, 도 6c는 Z축을 예시적인 임계값에 따라 기준축으로 오브젝트의 움직임을 반영한 영상 재생 과정을 도시하는 도면이다.
도 6a를 참조하면, 상기 파노라마 영상 재생 장치는 오브젝트의 X축 회전 각도 변화를 계산하여(S610), 상기 오브젝트의 X축 회전 각도가 0도를 기준으로 하여 제 1 임계값인 약 10도를 초과하였다고 판단되면(S611), 영상을 상방향으로 약 3도 회전시키고(S612), 상기 오브젝트의 X축 회전 각도가 제 1 임계값인 약 -10도를 초과하였다고 판단되면(S613), 영상을 하방향으로 약 3도 회전시킨다(S614). 상기 오브젝트의 회전 판단이 완료되면, 계속해서 상기 오브젝트의 X축 회전 각도가 제 2 임계값인 약 -18도 내지 약 18도 내의 범위에 있는지 여부를 판단하고(S615), 상기 제 2 임계값 범위 내라고 판단되면 상기 영상의 회전을 정지한 후(S616), 영상을 재생하고(S617), 상기 제 2 임계값 범위를 초과한다고 판단되면 회전 판단을 계속해서 수행하여 영상을 연속해서 회전시킨다. 만약, 오브젝트의 회전 각도가 X축을 회전각도로 하여, 0도를 기준으로 약 -10도 내지 약 10도 사이로 회전하는 경우는 오차 범위를 고려하여, 오브젝트의 회전 의도가 없는 것으로 판단할 수 있고, 따라서 영상을 회전시키지 않고 재생한다. 상기 임계값 및 영상의 회전 각도는 사용자 설정에 따라 다양한 값을 포함할 수 있다.
도 6b를 참조하면, 상기 파노라마 영상 재생 장치는 오브젝트의 Y축 회전 각도 변화를 계산하여(S620), 상기 오브젝트의 Y축 회전 각도가 0도를 기준으로 하여 제 1 임계값인 약 18도를 초과하였다고 판단되면(S621), 영상을 우방향으로 약 6도 회전시키고(S622), 상기 오브젝트의 Y축 회전 각도가 제 1 임계값인 약 -18도를 초과하였다고 판단되면(S623), 영상을 좌방향으로 약 6도 회전시킨다(S624). 상기 오브젝트의 회전 판단이 완료되면, 계속해서 상기 오브젝트의 Y축 회전 각도가 제 2 임계값인 약 -25도 내지 약 5도 내의 범위에 있는지 여부를 판단하고(S625), 상기 제 2 임계값 범위 내라고 판단되면 상기 영상의 회전을 정지한 후(S626), 영상을 재생하고(S627), 상기 제 2 임계값 범위를 초과한다고 판단되면 회전 판단을 계속해서 수행하여 영상을 연속해서 회전시킨다. 상기 임계값 및 영상의 회전 각도는 사용자 설정에 따라 다양한 값을 포함할 수 있다.
도 6c를 참조하면, 상기 파노라마 영상 재생 장치는 오브젝트의 Z축 위치 변화인 오브젝트와 파노라마 영상 재생 장치 사이의 거리를 계산하여(S630), 상기 오브젝트의 Z축 위치 변화가 0을 기준으로 하여 임계값인 약 0.9m를 초과하였다고 판단되면(S631), 영상을 줌 아웃시키고(S632), 상기 오브젝트의 위치 변화가 임계값인 약 -0.9m를 초과하였다고 판단되면(S633), 영상을 줌 인 시킨 후(S634), 영상을 재생한다(S635). 상기 임계값 및 영상의 줌인 또는 줌아웃 거리는 사용자 설정에 따라 다양한 값을 포함할 수 있다.
상기와 같이 설명된 파노라마 영상 재생 장치 및 이를 이용한 파노라마 영상 재생 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.

100: 파노라마 영상 재생 장치
110: 재생부
120: 카메라부
130: 연산부
140: 제어부

Claims (12)

  1. 파노라마 영상을 재생하는 재생부;
    오브젝트의 위치 또는 회전각도 변화를 감지하는 카메라부;
    상기 카메라부에서 감지된 오브젝트의 위치 또는 회전각도 변화에 대한 정보를 이용하여, 상기 오브젝트의 움직임을 연산하는 연산부; 및
    상기 재생부가 재생하는 파노라마 영상에 상기 연산 결과를 반영하여 재생하도록 제어하는 제어부를 포함하되,
    상기 카메라부는, 3차원 오브젝트 좌표상에서 오브젝트의 위치 또는 회전각도 변화를 감지하여, 상기 3차원 오브젝트 좌표상의 정보를 3차원 카메라 좌표 상에서의 정보로 변환하고, 상기 오브젝트의 위치의 변화는 상기 카메라부와 상기 오브젝트의 거리 변화를 포함하며,
    상기 연산부는 상기 카메라부에서 변환된 정보를 이용하여, 3차원 공간을 형성하는 기준축에 따라 영상 좌표에서의 오브젝트 움직임을 연산하며,
    상기 제어부는 상기 재생부가 재생하는 파노라마 영상의 시점을 좌우 방향, 상하 방향으로 회전시켜 재생하거나 줌인 또는 줌아웃시켜 재생할 수 있는 것을 특징으로 하는 파노라마 영상 재생 장치.
  2. 제 1 항에 있어서,
    상기 연산부는, 미리 설정된 임계값에 대한 상기 오브젝트의 위치 또는 회전각도 변화의 관계를 판단하여, 상기 오브젝트의 움직임을 연산하는 것을 특징으로 하는 파노라마 영상 재생 장치.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 오브젝트를 사람의 머리로 규정하며,
    상기 카메라부는 머리 추적 알고리즘을 이용하여, 오브젝트 좌표상에서의 오브젝트의 위치 또는 회전각도의 변화를 감지하는 것을 특징으로 하는 파노라마 영상 재생 장치.
  6. 삭제
  7. 삭제
  8. 파노라마 영상 재생 장치에서,
    (a) 파노라마 영상을 재생하는 단계;
    (b) 오브젝트의 위치 또는 회전각도 변화를 감지하는 단계;
    (c) 감지된 오브젝트의 위치 또는 회전각도 변화에 대한 정보를 이용하여, 오브젝트의 움직임을 연산하는 단계; 및
    (d) 연산 결과에 따라 상기 오브젝트의 위치 또는 회전각도 변화가 반영된 파노라마 영상을 재생하는 단계를 포함하되,
    상기 (b) 단계는,
    3차원 오브젝트 좌표상에서 오브젝트의 위치 또는 회전각도의 변화를 감지하는 단계; 및 감지된 3차원 오브젝트 좌표상에서의 오브젝트 위치 또는 회전각도의 변화에 대한 정보를 3차원 카메라 좌표상에서 가상의 오브젝트 위치 또는 회전각도의 변화에 대한 정보로 변환하는 단계를 포함하되, 상기 오브젝트의 위치의 변화는 상기 파노라마 영상 재생 장치의 카메라부와 상기 오브젝트의 거리 변화를 포함하며,
    상기 (c) 단계는,
    상기 변환된 정보를 이용하여, 3차원 공간을 형성하는 기준축에 따라 영상 좌표에서의 오브젝트 움직임을 연산하는 단계를 포함하고,
    상기 (d) 단계는,
    상기 (a) 단계에서 재생되는 파노라마 영상의 시점을 좌우 방향, 상하 방향으로 회전시켜 재생하거나 줌인 또는 줌아웃시켜 재생할 수 있는 단계를 포함하는 것을 특징으로 하는 파노라마 영상 재생 방법.
  9. 제 8 항에 있어서,
    상기 (c) 단계는, 미리 설정된 임계값에 대한 상기 오브젝트의 위치 또는 회전각도 변화의 관계를 판단하여 상기 오브젝트의 움직임을 연산하는 단계를 포함하는 것을 특징으로 하는 파노라마 영상 재생 방법.
  10. 삭제
  11. 삭제
  12. 삭제
KR1020100022874A 2010-03-15 2010-03-15 사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법 KR101139287B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100022874A KR101139287B1 (ko) 2010-03-15 2010-03-15 사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100022874A KR101139287B1 (ko) 2010-03-15 2010-03-15 사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법

Publications (2)

Publication Number Publication Date
KR20110103692A KR20110103692A (ko) 2011-09-21
KR101139287B1 true KR101139287B1 (ko) 2012-04-26

Family

ID=44954820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100022874A KR101139287B1 (ko) 2010-03-15 2010-03-15 사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법

Country Status (1)

Country Link
KR (1) KR101139287B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453246B2 (en) 2016-08-30 2019-10-22 Samsung Electronics Co., Ltd. Image display apparatus and method of operating the same

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014035204A1 (ko) * 2012-08-30 2014-03-06 (주)지에스엠솔루션 뷰 포인트에 따른 입체화 방법
KR101530826B1 (ko) 2014-08-18 2015-06-24 정관호 360도 공간영상 재생방법 및 그 시스템
CN104394451B (zh) * 2014-12-05 2018-09-07 宁波菊风系统软件有限公司 一种智能移动终端的视频呈现方法
KR20160021706A (ko) 2015-02-03 2016-02-26 정관호 360도 공간영상 재생방법 및 그 시스템
CN106982335A (zh) * 2017-03-29 2017-07-25 深圳Tcl新技术有限公司 拆解并显示全景视频的方法及装置
CN117278733B (zh) * 2023-11-22 2024-03-19 潍坊威龙电子商务科技有限公司 全景摄像在vr头显中的显示方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940010682A (ko) * 1992-10-09 1994-05-26 오오가 노리오 파노라마 영상 발생 방법 및 장치
KR19980023727A (ko) * 1996-09-30 1998-07-06 배순훈 파노라믹 이미지를 디스플레이하기 위한 가상 현실시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940010682A (ko) * 1992-10-09 1994-05-26 오오가 노리오 파노라마 영상 발생 방법 및 장치
KR19980023727A (ko) * 1996-09-30 1998-07-06 배순훈 파노라믹 이미지를 디스플레이하기 위한 가상 현실시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453246B2 (en) 2016-08-30 2019-10-22 Samsung Electronics Co., Ltd. Image display apparatus and method of operating the same

Also Published As

Publication number Publication date
KR20110103692A (ko) 2011-09-21

Similar Documents

Publication Publication Date Title
KR101139287B1 (ko) 사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법
US9064144B2 (en) Method and apparatus for recognizing location of user
US8976255B2 (en) Imaging apparatus
JP5413250B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10182720B2 (en) System and method for interacting with and analyzing media on a display using eye gaze tracking
WO2019128109A1 (zh) 一种基于人脸追踪的动向投影方法、装置及电子设备
US9894272B2 (en) Image generation apparatus and image generation method
JP2011090400A (ja) 画像表示装置および方法、並びにプログラム
US20110157394A1 (en) Image processing apparatus, image processing method and program
JP7492012B2 (ja) パノラマビデオ編集方法、装置、機器及び記憶媒体
WO2019104569A1 (zh) 一种对焦方法、设备及可读存储介质
WO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
JP5477777B2 (ja) 画像取得装置
US11252398B2 (en) Creating cinematic video from multi-view capture data
JP7372708B2 (ja) 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法
WO2019044084A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20190172271A1 (en) Information processing device, information processing method, and program
JPWO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2018168823A1 (ja) 画像処理装置および電子機器
KR102178990B1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
JP6975476B2 (ja) 全方位画像の方向情報を生成する方法およびこのような方法を遂行する装置
KR20170081493A (ko) 헤드 마운트 디스플레이 장치
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
WO2018168825A1 (ja) 画像処理装置および電子機器
WO2022244314A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160401

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190415

Year of fee payment: 8