KR20140092211A - 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치 - Google Patents

미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR20140092211A
KR20140092211A KR20130132249A KR20130132249A KR20140092211A KR 20140092211 A KR20140092211 A KR 20140092211A KR 20130132249 A KR20130132249 A KR 20130132249A KR 20130132249 A KR20130132249 A KR 20130132249A KR 20140092211 A KR20140092211 A KR 20140092211A
Authority
KR
South Korea
Prior art keywords
interest
region
virtual camera
viewport
media content
Prior art date
Application number
KR20130132249A
Other languages
English (en)
Inventor
쿤투르 라빈다
파틸 라비키란
크리시난데 프라브 마헤시
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20140092211A publication Critical patent/KR20140092211A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras

Abstract

본 발명은 미디어 컨텐츠 재생 중에 관심 영역을 선택하는 과정, 상기 선택된 관심 영역을 다른 추정의 앙상블(ensemble)로 표시하는 과정, 상기 추정에 따라 샘플링된 연속적인 프레임에서 관심 영역을 식별하는 과정, 상기 식별된 관심 영역으로 가상 카메라 작업을 수행하는 과정 및 상기 가상 카메라로 관심 영역을 재생하는 과정으로 이루어지는 것을 특징으로 한다.

Description

미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치{Method and Apparatus of Performing Virtual Camera Functions During Playback of Media Content}
본 발명은 멀티미디어 시스템 분야에 관한 것으로, 더욱 상세하게는 컴퓨팅 장치에서 미디어 컨텐츠 재생 중에 가상 카메라 기능들을 수행하는 방법 및 장치에 관한 것이다.
좀 더 고화질이고 대형인 비디오들을 촬영하는 카메라의 기능은 필수가 되고 있다. 한편, 표시 장치들은 소형이고, 네트워크 속도 및 연산 능력에 의해 제약을 받는다. 소형 화면을 가진 장치들에서 고화질 또는 파노라마 비디오를 보는 것은 표시 영역이 축소되는 결과를 초래한다. 이는 결국 지각적 세부사항들의 손실을 가져온다.
비디오 재생에서의 주요 이슈들 중 하나는 화면 크기와 비디오 프레임 크기의 불일치 문제이다. 오늘날, 고화질(HD; High Definition) 비디오, 파노라마(panoramic) 비디오, 초고화질(UHD; Ultra High Definition) 비디오를 녹화하는 것은 매우 쉽다. 많은 경우에, 이러한 비디오들은 소형 화면을 가진 장치에서 시청된다. 결과적으로, 녹화된 비디오 내의 세부사항들은 놓치게 된다. 예를 들어, 소형화면 장치에서 고해상도 강의 비디오를 볼 경우 슬라이드 및 화이트보드의 글씨가 작게 보일 것이다. 전통적으로, 이러한 문제는 핀치-투-줌(pinch-to-zoom)과 같은 특성들을 제공함으로써 다루어져 왔다. 그러나 이러한 특성들은 관심 객체(object of interest)가 빠르게 이동하는 경우에는 적절하지 않다. 이 경우 포커스 안에 관심 객체를 유지하기 위해서는 수많은 사용자 상호작용들이 필요하며, 이는 즐거운 시청을 방해하게 된다.
본 발명의 실시 예에 따른 컴퓨팅 장치는 비디오 재생 중에 선택된 관심 영역을 줌-인, 줌-아웃, 패닝을 자동으로 수행함으로써 뷰포트를 재조정하는 방법 및 장치를 제안한다.
상기와 같은 목적을 달성하기 위해 본 발명은 미디어 컨텐츠 재생 중에 관심 영역을 선택하는 과정, 상기 선택된 관심 영역을 다른 추정의 앙상블(ensemble)로 표시하는 과정, 상기 추정에 따라 샘플링된 연속적인 프레임에서 관심 영역을 식별하는 과정, 상기 식별된 관심 영역으로 가상 카메라 작업을 수행하는 과정 및 상기 가상 카메라로 관심 영역을 재생하는 과정을 포함한다.
상기와 같은 목적을 달성하기 위해 본 발명은 미디어 컨텐츠를 렌더링하는 가상 카메라 제어 모듈, 미디어 컨텐츠 재생 중에 관심 영역 선택하고 상기 선택된 관심 영역을 다른 추정의 앙상블로 표시하도록 제어하고, 상기 추정에 따라 샘플링된 연속적인 프레임에서 관심 영역을 식별하고, 상기 식별된 관심 영역으로 가상 카메라 작업을 수행하고, 상기 가상 카메라로 관심 영역을 재생하도록 제어하는 프로세서로 구성된다.
본 발명의 다양한 실시 예에 따른 컴퓨팅 장치는 소형화면에서 비디오 재생 시 줌-인, 줌-아웃, 패닝을 자동 수행함으로써 관심 영역 및 관심 객체를 확대하여 세부사항들을 시청할 수 있어 사용자경험을 제공하는 이점이 있다.
도 1은 두 가지 추정을 사용하여 관심 영역(Region of Interest; RoI)을 표현하는 방법의 실시 예를 나타내는 흐름도이다.
도 2는 연산 형식에서 비디오의 각 프레임을 변환하는 방법의 실시 예를 나타내는 흐름도이다.
도 3은 원본 관심 영역에 최적으로 매칭되는 뷰포트(viewport)의 신규 위치를 결정하는 방법을 나타내는 흐름도이다.
도 4는 선택된 관심 영역에서 가상의 카메라 패닝(panning)을 수행하는 방법을 나타내는 흐름도이다.
도 5는 선택된 관심 영역에서 가상의 카메라 줌-인 및 줌-아웃을 수행하는 방법을 나타내는 흐름도이다.
도 6은 관심 영역을 선택하는 방법을 설명하기 위한 도면이다.
도 7은 관심 영역을 표현하는 방법을 설명하기 위한 도면이다.
도 8은 프레임 샘플링이 수행되는 방식과 관심 영역 궤적 추정이 각 샘플에서 조절되는 방식을 설명하기 위한 도면이다.
도 9a 및 도 9b는 선택된 관심 영역의 궤적 추정을 설명하기 위한 도면이다.
도 10은 컴퓨팅 장치의 구성을 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 다양한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명은 컴퓨팅 장치(예컨대, 휴대폰, 스마트폰, 태블릿(tablet), 패블릿(phablet), 쌍방향 TV 등)에서 미디어 콘텐츠 재생 중에 가상 카메라 기능들을 수행하는 방법 및 장치를 제공한다.
비디오 플레이어들은 다양한 디스플레이 해상도, 디스플레이 크기, 터치 및 제스처 기반의 상호작용을 제공하기 위하여 복잡하게 진화하고 있다. 아울러, 고해상도 비디오를 소형화면 장치들을 통해 시청하는 경우가 늘고 있다. 촬영 장치들은 점점 소형화됨에도 불구하고 고해상도 비디오들을 촬영할 수 있다. 또한, 촬영된 비디오들을 공유하는 일은 흔하다. 그럼에도 불구하고, 휴대용 장치들에서 고해상도/대형 비디오들을 신속하게 검색하고 공유하고 북마크하기 위해 중요한 문제들이 남아있다. 사용자에게는, 특히 관심 영역들, 관심 객체들 및 관심 시청 영역들을 공유하고 저장하기 원하는 사용자에게 고해상도 비디오는 중요하지 않다.
사용자들이 소형화면 장치들에서 대형(예컨대, 고화질) 비디오들과 상호작용을 하면서 더 잘 경험할 수 있도록 하기 위해, 녹화된 비디오에서 가상의 카메라 기능들을 수행하는 비디오 플레이어가 개시된다. 가상 카메라는 고해상도 비디오에서 관심 영역의 줌-인/줌-아웃/패닝을 자동으로 수행함으로써 뷰포트(viewport)를 화면 크기에 다시 맞춘다. 관심 객체들은 확대되어 포커스 안에 나타난다. 결과적으로, 소형화면 크기로 인해 세부사항들을 놓치는 문제를 회피할 수 있다. 가상 카메라는 언제 얼마나 줌-인/아웃을 할지 자동으로 결정한다. 또한, 본 발명은 관심 객체(object of interest)에 대한 사용자 의도를 획득할 수 있고, 30 fps에서 관심 객체를 다시 맞출 수 있으며(retargeting), 시간 지연 처리를 시작하기 위하여 프레임들을 프리-페치(pre-fetch)할 수 있다.
예를 들어, 비디오가 재생되는 동안에 사용자는 관심 영역(region of interest)에 원을 그리는 터치 제스처를 취함으로써 관심 영역을 선택한다. 예를 들어, 녹화된 비디오 내의 관심 영역은 비디오 재생 도중에 스폿-줌(spot-zoom), 핀치 줌(pinch zoom), 또는 스타일러스 펜에 의해 선택된다. 컴퓨팅 장치는 비디오 재생되는 도중에 관심 영역을 선택하는 제스처를 검출할 수 있다. 컴퓨팅 장치 관심 영역을 선택하는 제스처 검출 시, 관심 객체가 움직이는 경우 관심 영역의 선택을 돕기 위해 비디오 재생이 느려지고 일시적으로 정지될 수 있다.
사용자에 의해 선택된 관심 영역의 예들이 도 6에 도시되어 있다.
도 6은 관심 영역을 선택하는 방법을 설명하기 위한 도면이다.
구체적으로, 도 6을 살펴보면, 비디오가 재생되는 동안에 사용자가 601과 같이 원을 그리는 터치 제스처 취하면, 상기 터치 제스처를 통해 도 6의 603, 605와 같이 비디오 재생화면의 관심 영역을 선택할 수 있다.
다른 실시 예로, 첫 번째 포그라운드(foreground) 동작이 검출될 때 관심 영역이 자동으로 선택된다. 다른 실시 예들에서, 관심 영역은 외부 소스로부터 얻어질 수 있다. 관심 영역은 도 6의 607과 같이 불규칙한 크기와 형태일 수 있으며, 특정 관심 객체(object of interest)를 포함할 수 있다. 관심 객체는 고정되거나 변화하는 배경을 가진 장면 내에서 움직일 수 있거나 장면 내에서 고정될 수 있다. 경우에 따라, 다수의 관심 객체들이 있을 수 있다. 관심 객체는 사람이거나 사람이 아닌 존재물일 수 있다.
관심 영역 선택 시, 그 영역은 도 1에 도시된 바와 같이 연산이 수행될 수 있는 형태로 표현된다.
도 1은 두 가지 추정을 사용하여 관심 영역(Region of Interest; RoI)을 표현하는 방법의 실시 예를 나타내는 흐름도이다.
도 1을 참조하면, 컴퓨팅 장치는 101단계에서 관심 영역 입력을 검출할 수 있다. 관심 영역 입력이 발생하면 컴퓨팅 장치는 103단계에서 관심 영역을 사각형으로 표시할 수 있다. 본 발명에서 상기 관심 영역을 사각형으로 표시하는 것으로 가정하여 설명하지만 이에 한정하는 것은 아니다. 그리고 컴퓨팅 장치는 105단계에서 관심 영역을 색상, 채도, 명도 이미지로 표시할 수 있다.
컴퓨팅 장치는 107단계에서 상기 색상, 채도, 명도로 표현된 이미지 중 명도 이미지에서 경계를 검출할 수 있다. 그리고 컴퓨팅 장치는 109단계에서 상기 관심 영역의 중심과 검출된 경계 지점들을 연결하는 모든 선상에 있는 색상 및 채도 픽셀들을 이용하여 111단계에서 픽셀 값들의 2차원 히스토그램을 형성할 수 있다. 이어서 컴퓨팅 장치는 113단계에서 상기 111단계에서 형성된 픽셀 값들의 2차원 히스토그램을 제 1 관심 영역으로 지칭할 수 있다.
상기 105단계에서 표현된 이미지 중 컴퓨팅 장치는 115단계에서 여러 방향들의 픽셀 차이들을 토대로 한 바이너리 패턴(해시 키)으로 색상 이미지 내의 각 픽셀로 표시할 수 있다. 또는, 컴퓨텅 장치는 117단계에서 여러 방향들의 픽셀 차이들을 토대로 한 바이너리 패턴(해시 키)으로 명도 이미지 내의 각 픽셀로 표시할 수 있다. 상기 바이너리 패턴(해시 키)으로 색상 및 명도 이미지 내의 각 픽셀을 이용하여 컴퓨팅 장치는 119단계에서 해시 키들의 2차원 히스토그램을 형성할 수 있다. 컴퓨팅 장치는 121단계에서 상기 119단계에서 형성된 해시 키들의 2차원 히스토그램을 제 2 관심 영역으로 지칭할 수 있다.
하나의 실시 예에서, 선택된 관심 영역은 본질적으로 다른 추정의 앙상블로서 표현된다.
도 2는 연산 형식에서 비디오의 각 프레임을 변환하는 방법의 실시 예를 나타내는 흐름도이다.
도 2를 참조하면, 녹화된 비디오의 프레임들이 비디오 플레이어에 의해 재생되는 동안, 컴퓨팅 장치는 201단계에서 상기 프레임들을 주기적으로 샘플링하고 축소할 수 있다. 컴퓨팅 장치는 203단계에서 상기 샘플링 및 축소된 프레임들을 색상, 채도, 명도 이미지로 표현하고, 205단계에서 오버랩된 사각형(선택된 관심 영역)들로 분해할 수 있다.
이어서 상기 각각의 사각형은 도 2의 207 내지 219의 단계를 통해 소정의 표현으로 변환될 수 있다. 예를 들어, 각 프레임은 다중 이미지 채널들로부터 얻어진 부분적인 픽셀 변화 패턴들과 독립적인 색상으로 표현된다. 또한 사각형은 관심 영역 내의 객체들의 중심과 경계 구조를 토대로 관심 영역 내로부터 픽셀들을 선택함으로써 표현으로 변환된다.
컴퓨팅 장치는 207단계에서 선택된 관심 영역을 사각형으로 표시할 수 있으며, 컴퓨팅 장치는 209단계에서 상기 사각형 내부의 색상과 채도를 선택하고 색상 및 채도 픽셀 값들을 사용하여 2차원 히스토그램(2D histogram)을 형성할 수 있다. 그리고 컴퓨팅 장치는 211단계에서 2차원 히스토그램 표현을 제1 사각형으로 표현할 수 있다.
그리고 207단계에의 각 사각형에 대하여, 컴퓨팅 장치는 213단계에서 사각형 내부의 색상 픽셀들을 선택하고 여러 방향들의 픽셀 차이들을 토대로 바이너리 표현(binary representation)할 수 있으며, 215단계에서 사각형 내부의 명도 픽셀들을 선택하고 여러 방향들의 픽셀 차이들을 토대로 바이너리 패턴(해시 키(hash key))으로 표현할 수 있다. 그리고 컴퓨팅 장치는 217단계에서 색상 픽셀들과 명도 픽셀들을 나타내는 해시 키들을 사용하여 2차원 히스토그램을 형성할 수 있다. 그리고 컴퓨팅 장치는 219단계에서 해시 키들을 사용하여 형성한 2차원 히스토그램을 제2 사각형으로 표현할 수 있다.
도 7은 관심 영역을 표현하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 701은 관심 영역으로 선택된 703 및 705를 사각형 영역을 나타낸다. 707은 상기 관심 영역으로 선택된 705 영역을 색상, 채도, 명도 이미지로 사각형 영역을 표현하고 있다. 709는 색상 맵으로부터 산출된 경계 영역들을 표시하고 있으며, 711은 관심 영역의 중심으로부터 모든 경계 지점들까지 그려진 선들을 표시하고 있다. 이러한 선들은 701과 동일한 명도에 의해 채색된다.
샘플링된 프레임에서, 원본 관심 영역에 최적으로 매칭된 사각형이 결정될 수 있다. 도 3에 도시된 바와 같이, 원본 관심 영역에 최적으로 매칭된 사각형은 여러 히스토그램 빈(histogram bin)들 및 여러 크로스 빈(cross bin)들의 비교를 구별하여 평가한 분기 측정(divergence measure)을 토대로 결정된다. 색상에 기초하고 부분 픽셀 변화에 기초한 특성들로부터의 판단들을 조합하여 결정된 최적으로 매칭된 사각형은 관심 영역의 신규 위치 및 크기로서 사용될 수 있다.
구체적으로, 컴퓨팅 장치는 제 1 관심 영역(301), 제 2 관심 영역(303), …, 제 n 관심 영역(305)과 제 1 사각형 표현(307), 제 2 사각형 표현(309), …, 제 n 사각형(311) 표현을 313단계에서 히스토그램 빈과 크로스 빈들의 비교를 통한 분기 측정을 토대로 원본 관심 영역의 최적으로 매칭된 사각형을 제 1 표현 조정(315), 제 2 표현 조정(317), …, 제 n 표현 조정(319)하여 321단계에서 신규 뷰포트로 결정할 수 있다. 그리고 컴퓨팅 장치는 과거 이력 및 객체 인캡슐레이션 계량을 기초로 하여 323단계에 상기 뷰포트의 크기 및 위치를 조정하여 325단계에서 가상 카메라 기능으로 뷰포트를 전송할 수 있다.
또한, 신규 관심 영역은 그 안에 객체를 완전히 포함하기 위한 객체 검출측정(metrics) 및 휴리스틱스(heuristics)를 확인하여 재배치될 수 있다.
도 3의 325단계인 가상 카메라 기능으로 뷰포트를 전송하는 도 4를 통해 자세히 살펴보도록 한다.
도 4는 선택된 관심 영역에서 가상의 카메라 패닝(panning)을 수행하는 방법을 나타내는 흐름도이다.
카메라 기능은 별도의 스레드(thread)로서 동작하며, 플레이어에 의해 재생되는 비디오에 대한 가상의 카메라 패닝(panning) 및 줌(zoom)을 수행한다. 프레임이 샘플링된 영역에서의 원활한 패닝 기능은 궤적 추정 기술(trajectory estimation technique)들을 이용하여 수행될 수 있다. 이러한 방법은 프레임의 캡처 지점, 이후의 프레임에 대한 요청 지점 사이에 프레임 처리 지연이 발생할 수 있다.
구체적으로, 도 4를 참조하면, 컴퓨팅 장치는 401단계에서 뷰포트의 과거 위치 정보를 통해 407단계에서 초기 변위를 추정할 수 있다. 또한 컴퓨팅 장치는 403단계의 지연된 프레임 페치 정보와 405단계의 뷰포트 현재 위치 정보를 통해 407단계에서 초기 변위를 추정할 수 있다. 상기 407단계에서 추정한 초기 변위와 409단계에서 감지된 변경 정보를 컴퓨팅 장치는 통해 411단계에서 궤적을 추정할 수 있다. 상기 추정된 궤적을 통해 컴퓨팅 장치는 413단계에서 시간당 변위 패닝을 알 수 있다. 컴퓨팅 장치는 415단계에서 상기 변위가 설정된 임계치를 초과하는지 여부를 결정할 수 있다. 임계치 초과하면 컴퓨팅 장치는 415단계에서 이를 감지하고, 417단계에서 모듈로 상기 임계치에 따라 뷰포트를 치환하고 419단계에서 크로핑 및 크기조정으로 뷰포트 영역을 재조정한다. 또한 417단계에서 모듈로 상기 임계치에 따라 뷰포트를 치환하고 421단계에서 나머지 연산을 수행하여 423단계에서 변위를 축적할 수 있다.
원활한 카메라 줌은 도 5에 도시된 방법 단계들을 이용하여 설명된 바와 같이 수행된다.
도 5는 선택된 관심 영역에서 가상의 카메라 줌-인 및 줌-아웃을 수행하는 방법을 나타내는 흐름도이다.
도 5를 참조하면, 컴퓨팅 장치는 501단계에서 객체 색상을 검출할 수 있다. 컴퓨팅 장치는 503단계에서 상기 검출한 색상이 중요한지 여부를 결정하고, 중요하면 505단계에서 프레임 크기로 뷰포트를 변경 및 507단계에서 가상 카메라 기능으로 뷰포트를 전송할 수 있다. 상기 503단계에서 상기 검출한 색상이 중요하지 않으면 509단계에서 뷰포트의 길이 및 폭 변화 정보를 검색하고 511단계에서 사각형 필터를 이용하여 객체 경계의 특성을 검출할 수 있다. 컴퓨팅 장치는 513단계에서 뷰포트 내부에 경계가 위치하고 있는지 여부를 결정할 수 있으며, 뷰포트 내부에 경계가 위치하고 있으면 컴퓨팅 장치는 515단계에서 감소 피스톤 모델로 적용하고 507단계에서 가상 카메라 기능으로 뷰포트를 전송할 수 있다. 상기 513단계에서 뷰포트 내부에 경계가 위치하고 있지 않으면 컴퓨팅 장치는 517단계에서 경계를 포함하도록 뷰포트를 이동 후 감소 피스톤 모델을 적용하여 가상 카메라 기능으로 뷰포트를 전송할 수 있다.
도 8은 프레임 샘플링이 어떻게 수행되는지 그리고 관심 영역 궤적 추정이 각 샘플에서 어떻게 조절되는지 보여준다.
관심 영역의 선택에 대한 전체 프로세스 및 관심 영역에 대한 가상 카메라 제어는 여러 관심 영역들에 대하여 동시에 여러 번 수행될 수 있다. 다수의 관심 영역들이 선택된 경우, 선택된 관심 영역들은 분할 화면(split-screen) 또는 화면-내-화면(picture-in-picture) 또는 썸네일 뷰(thumbnail view)로 표시된다. 예를 들어, 화면은 관심 영역들의 개수만큼 여러 부분으로 분할된다. 하나의 실시 예에서, 최초의 관심 영역 선택 크기를 토대로, 서로 다른 여러 관심 영역들은 화면에 대해 점유율이 다르게 할당될 수 있다. 또는, 서로 다른 여러 관심 영역들은 화면에 동일한 점유율로 할당될 수 있다.
도 9a 및 도 9b는 선택된 관심 영역의 궤적 추정을 설명하기 위한 도면이다.
도 9a의 901은 미디어 컨텐츠 재생 중에 사용자가 선택한 관심 영역이다. 903은 원본의 연속적인 프레임이고, 905는 조정된 연속적인 프레임이다. 상기 903프레임에서 선택된 관심 영역을 905와 같이 확대하여 재생할 수 있으며, 상기 원본 프레임에서 계속적인 움직임을 감지함으로써 뷰포트를 조정하여 표시할 수 있다.
도 9b의 907은 미디어 컨텐츠 재생 중에 사용자가 선택한 관심 영역이다. 909는 원본의 연속적인 프레임이고, 911은 조정된 연속적인 프레임이다. 상기 909 프레임에서 선택된 관심 영역을 911과 같이 확대하여 재생할 수 있으며, 상기 원본 프레임에서 계속적인 움직임을 감지함으로써 뷰포트를 조정하여 표시할 수 있다.
도 10은 컴퓨팅 장치의 구성을 나타내는 도면이다. 도 10에 도시된 예에서, 컴퓨팅 장치는 하나 이상의 프로세서(1020), 저장 장치(1030), 메모리(1040), 네트워크 인터페이스(1050), 사용자 인터페이스(1060)를 포함한다. 또한, 컴퓨팅 장치는 비디오 플레이어(1080) 및 가상 카메라 제어 모듈(1090)을 포함한다.
컴퓨팅 장치는 도 10에 도시되지 않은 구성요소들을 포함할 수도 있다. 예를 들어, 컴퓨팅 장치는 마이크와 스피커를 포함할 수 있으며, 이를 통해 전화 통화를 수행할 수 있다. 또한, 컴퓨팅 장치는 각 구성요소에 전력을 공급하기 위한 배터리를 포함할 수 있다. 또한, 컴퓨팅 장치는 키패드, 트랙볼, 마우스와 같은 사용자 인터페이스 또는 사용자가 컴퓨팅 장치와 상호작용할 수 있는 그 밖의 사용자 인터페이스들을 포함할 수 있다. 도 10에 도시된 컴퓨팅 장치의 구성요소들은 컴퓨팅 장치의 모든 예에서 항상 필요한 것은 아니다.
프로세서(1020)는 컴퓨팅 장치 내에서의 실행을 위한 기능 및/또는 프로세스 명령을 수행하기 위한 구성이다. 프로세서(1020)는 메모리(1040) 또는 저장 장치(1030)에 저장된 명령을 처리할 수 있다. 프로세서(1020)는 마이크로프로세서, 컨트롤러, 디지털 신호 처리기(DSP), 응용 주문형 집적회로(ASIC), 필드-프로그래머블 게이트 어레이(FPGA), 또는 유사한 개별 또는 집적 논리 회로 중의 적어도 하나를 포함할 수 있다. 본 명세서에서, 프로세서(1020)가 가지는 기능들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로서 구현된다.
저장 장치(1030)는 하나 이상의 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다. 또한, 저장 장치(1030)는 비휘발성 저장 요소들을 포함할 수 있다. 예를 들어, 비휘발성 저장 요소들은 마그네틱 하드 디스크, 광학 디스크, 플로피 디스크, 플래시 메모리, EPROM(electrically programmable memories), EEPROM(electrically erasable and programmable memories) 등을 포함할 수 있다. 또한, 저장 장치(1030)는 비-일시적(non-transitory) 저장 매체일 수 있다. "비-일시적"이라는 용어는 반송파(carrier wave) 또는 전파 신호(propagated signal)에 구현되지 않은 저장 매체를 가리킨다. 그러나 "비-일시적"이라는 용어가 움직이지 않는 저장 장치를 의미하는 것으로 해석되어서는 안 된다. 몇몇 예에서, 저장 장치(1030)는 메모리(1040)보다 대용량의 정보를 저장할 수 있도록 구성된다. 어떤 예에서, 비-일시적 저장 매체는 시간 경과에 따라 변경될 수 있는 데이터를 저장할 수 있다(예컨대, RAM 또는 캐시).
메모리(1040)는 동작 중에 컴퓨팅 장치 내의 정보를 저장하는 구성이다. 몇몇 예에서, 메모리(1040)는 컴퓨터 판독 가능한 저장 매체로서 설명된다. 메모리(1040)는 컴퓨팅 장치의 전원이 꺼졌을 때 저장된 내용을 유지하지 않는 메모리를 의미하는 휘발성 메모리로서 설명될 수 있다. 휘발성 메모리의 예로 RAM(random access memories), DRAM(dynamic random access memories), SRAM(static random access memories) 및 그 밖의 휘발성 메모리 유형들을 포함한다. 몇몇 예에서, 메모리(1040)는 프로세서(1020)에서의 실행을 위한 프로그램 명령을 저장한다.
컴퓨팅 장치는 무선 네트워크와 같은 하나 이상의 네트워크들을 통해 외부 장치들과 통신을 수행하는 네트워크 인터페이스(1050)를 이용한다. 네트워크 인터페이스(1050)는 이더넷(Ethernet) 카드와 같은 네트워크 인터페이스 카드, 광학 트랜시버, RF 트랜시버, 또는 정보를 송수신할 수 있는 다른 유형의 장치일 수 있다. 이러한 네트워크 인터페이스(1050)들의 예로, USB 뿐만 아니라 모바일 컴퓨팅 장치들의 블루투스, 3G, 와이파이 무선통신들이 포함될 수 있다. 무선 네트워크들의 예로, 와이파이, 블루투스, 3G가 포함될 수 있다. 몇몇 예에서, 컴퓨팅 장치는 서버, 휴대전화, 또는 네트워크상의 다른 컴퓨팅 장치와 같은 외부 장치(도시되지 않음)와 무선 통신을 수행하기 위하여 네트워크 인터페이스(1050)를 이용할 수 있다.
사용자 인터페이스(UI)(1060)는 컴퓨팅 장치의 사용자가 컴퓨팅 장치와 상호작용을 할 수 있도록 하는 구성이다. 사용자 인터페이스(1060)는 그래픽 사용자 인터페이스(GUI)를 생성할 수 있다. 예를 들어, 본 발명의 실시 예에서, 사용자 인터페이스(1060)는 터치스크린(1070)에 표시되는 그래픽 사용자 인터페이스를 생성한다. 그래픽 사용자 인터페이스는 하나 이상의 터치 감응형(touch sensitive) UI 요소들을 포함할 수 있다. 예를 들어, 사용자는 터치스크린(1070)에 표시된 하나 이상의 터치 감응형 UI 요소들을 터치함으로써 컴퓨팅 장치와 상호작용을 할 수 있고 명령을 입력할 수 있다.
터치스크린(1070)은 LCD(liquid crystal display), 전자잉크 디스플레이, CRT(cathode ray tube), 플라즈마 디스플레이, OLED(organic light emitting diode) 디스플레이, 또는 그 밖의 디스플레이 유형과 같은 다양한 디스플레이 장치들을 포함할 수 있다.
본 발명의 실시 예들에 따르면, 비디오 플레이어(1080)는 녹화된 비디오를 컴퓨팅 장치의 사용자 인터페이스(1060)에서 재생할 수 있다. 가상 카메라 제어 모듈(1090)은 도 1 내지 도 5에 도시된 하나 이상의 방법 단계들을 수행하기 위한 구성일 수 있다. 예를 들어, 가상 카메라 제어 모듈(1090)은 고해상도 비디오 내에서 자동으로 줌-인/줌-아웃/패닝을 수행함으로써 관심 객체들이 확대되어 포커스 안에 나타나도록 뷰포트(viewport)를 화면 크기에 다시 맞출 수 있다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 가상 카메라 기능을 수행하는 방법에 있어서,
    미디어 컨텐츠 재생 중에 관심 영역을 선택하는 과정;
    상기 선택된 관심 영역을 다른 추정의 앙상블(ensemble)로 표시하는 과정;
    상기 추정에 따라 샘플링된 연속적인 프레임에서 관심 영역을 식별하는 과정;
    상기 식별된 관심 영역으로 가상 카메라 작업을 수행하는 과정; 및
    상기 가상 카메라로 관심 영역을 재생하는 과정을 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 관심 영역은,
    관심 객체를 포함하며,
    상기 관심 객체는 고정된 프레임 또는 변화하는 프레임인 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서, 상기 관심 영역을 선택하는 과정은,
    미디어 컨텐츠 재생 중에 상기 관심 영역을 선택하는 제스처를 검출하는 과정;
    제스처에 대응하여 상기 미디어 컨텐츠를 느리게 재생하는 과정;
    상기 관심 영역에 포함된 관심 객체가 움직이는 경우 재생 중인 미디어 컨텐츠를 정지하는 과정을 포함하며,
    상기 관심 영역은 스폿-줌(spot-zoom), 핀치 줌(pinch zoom), 스타일러스-펜 중 적어도 하나에 의해 선택되는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서, 상기 다른 추정의 앙상블(ensemble)로 표시하는 과정은,
    상기 선택된 관심 영역을 다중 이미지 채널들로부터 얻어진 픽셀 변화 패턴 및 색상으로 표시하는 과정;
    상기 관심 영역 내의 픽셀들을 선택함으로써 관심 영역의 표현을 생성하는 과정으로 이루어지는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서, 상기 관심 영역을 식별하는 과정은,
    상기 프레임에서 상기 다른 추정들을 조합하여 최적으로 매칭된 관심 영역을 결정하는 과정;
    상기 결정된 관심 영역을 뷰포트(viewport)로 설정 및 뷰포트 위치와 크기를 결정하는 과정을 포함하며,
    상기 관심 영역은 히스토그램 빈(histogram bin) 및 크로스 빈(cross bin)의 비교를 통해 평가한 분기 측정으로 결정하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서, 상기 가상 카메라 작업을 수행하는 과정은,
    과거의 뷰포트 위치 및 크기 정보와 현재 뷰포트 위치 및 크기 정보를 기반으로 새로운 뷰포트 위치와 크기를 결정 및 표시하는 과정;
    상기 표시되는 뷰포트에 포함된 관심 객체 이동 감지 시, 이동 궤적을 추정하여 뷰포트의 화면 위치 및 크기를 재조정하여 표시하는 과정을 포함하는 것을 특징으로 하는 방법.
  7. 제 6 항에 있어서,
    상기 관심 객체 이동 감지 시, 줌-인, 줌-아웃, 패닝 작업을 수행하는 것을 특징으로 하는 방법.
  8. 제 1 항에 있어서, 상기 프레임은,
    분할 화면, 화면 내 화면 또는 썸네일 뷰 중 적어도 하나로 표시되는 것을 특징으로 하는 방법.
  9. 가상 카메라 기능을 수행하는 장치에 있어서,
    미디어 컨텐츠를 렌더링하는 가상 카메라 제어 모듈;
    미디어 컨텐츠 재생 중에 관심 영역 선택하고 상기 선택된 관심 영역을 다른 추정의 앙상블로 표시하도록 제어하고, 상기 추정에 따라 샘플링된 연속적인 프레임에서 관심 영역을 식별하고, 상기 식별된 관심 영역으로 가상 카메라 작업을 수행하고, 상기 가상 카메라로 관심 영역을 재생하도록 제어하는 프로세서로 구성되는 것을 특징으로 하는 컴퓨팅 장치.
  10. 제 9 항에 있어서, 상기 프로세서는,
    미디어 컨텐츠 재생 중에 상기 관심 영역을 선택하는 제스처를 검출하고 상기 제스처에 대응하여 상기 미디어 컨텐츠를 느리게 재생하고, 상기 관심 영역에 포함된 관심 객체가 움직이는 경우 재생 중인 미디어 컨텐츠를 정지하는 것을 특징으로 하는 컴퓨팅 장치.
  11. 제 9 항에 있어서, 상기 프로세서는,
    상기 선택된 관심 영역을 다중 이미지 채널들로부터 얻어진 픽셀 변화 패턴 및 색상으로 표시하도록 제어하고, 상기 관심 영역 내의 픽셀들을 선택함으로써 관심 영역의 표현을 생성하여 다른 추정의 앙상블로 표시하는 것을 특징으로 하는 컴퓨팅 장치.
  12. 제 9 항에 있어서, 상기 프로세서는,
    상기 프레임에서 상기 다른 추정들을 조합하여 최적으로 매칭된 관심 영역을 결정하고, 상기 결정된 관심 영역을 뷰포트로 설정 및 뷰포트 위치와 크기를 결정하고, 히스토그램 빈 및 크로스 빈의 비교를 통해 평가한 분기 측정으로 관심 영역을 결정하는 것을 특징으로 하는 컴퓨팅 장치.
  13. 제 9 항에 있어서, 상기 프로세서는,
    과거의 뷰포트 위치 및 크기 정보와 현재 뷰포트 위치 및 크기 정보에 따라 새로운 뷰포트 위치와 크기를 결정 및 표시하도록 제어하고, 상기 뷰포트에 포함된 관심 객체의 이동 감지 시, 이동 궤적을 추정하여 뷰포트의 화면 위치 및 크기를 재조정하여 표시하도록 제어하는 것을 특징으로 하는 컴퓨팅 장치.
  14. 제 9 항에 있어서, 상기 가상 카메라 제어 모듈은,
    상기 관심 영역을 줌-인, 줌-아웃, 패닝 작업을 수행하는 것을 특징으로 하는 컴퓨팅 장치.
KR20130132249A 2013-01-15 2013-11-01 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치 KR20140092211A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN200/CHE/2013 2013-01-15
IN200CH2013 2013-01-15

Publications (1)

Publication Number Publication Date
KR20140092211A true KR20140092211A (ko) 2014-07-23

Family

ID=51165206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130132249A KR20140092211A (ko) 2013-01-15 2013-11-01 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치

Country Status (2)

Country Link
US (1) US9826276B2 (ko)
KR (1) KR20140092211A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030422A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US9967446B2 (en) 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera
WO2019124922A1 (ko) * 2017-12-22 2019-06-27 삼성전자 주식회사 360 비디오에서 poi(point of interest) 정보를 제공하기 위한 장치 및 방법
KR20190107501A (ko) * 2018-03-12 2019-09-20 주식회사 엘지유플러스 멀티미디어 콘텐츠 처리를 위한 장치 및 제어방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6182885B2 (ja) * 2013-02-05 2017-08-23 ノーリツプレシジョン株式会社 画像処理プログラム及び画像処理装置
CN105592285B (zh) * 2014-10-21 2020-04-21 华为技术有限公司 Roi视频实现方法及装置
JP6624958B2 (ja) * 2016-02-03 2019-12-25 キヤノン株式会社 通信装置、通信システム、通信制御方法およびコンピュータプログラム
US10841557B2 (en) * 2016-05-12 2020-11-17 Samsung Electronics Co., Ltd. Content navigation
US10939139B2 (en) * 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
JPWO2020184188A1 (ko) * 2019-03-08 2020-09-17
US11956295B2 (en) 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489394B (zh) * 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
US8364698B2 (en) * 2008-07-11 2013-01-29 Videosurf, Inc. Apparatus and software system for and method of performing a visual-relevance-rank subsequent search
US10140301B2 (en) * 2010-09-01 2018-11-27 Apple Inc. Device, method, and graphical user interface for selecting and using sets of media player controls
US8379999B2 (en) * 2011-01-18 2013-02-19 Chanan Gabay Methods, circuits, devices, apparatuses and systems for providing image composition rules, analysis and improvement
US8565523B2 (en) * 2011-06-02 2013-10-22 Apple Inc. Image content-based color balancing
US8908962B2 (en) * 2011-09-30 2014-12-09 Ebay Inc. Item recommendations using image feature data
US20130345967A1 (en) * 2012-06-21 2013-12-26 Qualcomm Incorporated Routability graph with predetermined number of weighted edges for estimating a trajectory of a mobile device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030422A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR20170030419A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR20170030420A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US9967446B2 (en) 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera
WO2019124922A1 (ko) * 2017-12-22 2019-06-27 삼성전자 주식회사 360 비디오에서 poi(point of interest) 정보를 제공하기 위한 장치 및 방법
KR20190076176A (ko) * 2017-12-22 2019-07-02 삼성전자주식회사 360 비디오에서 POI(Point of Interest) 정보를 제공하기 위한 장치 및 방법
US11622097B2 (en) 2017-12-22 2023-04-04 Samsung Electronics Co., Ltd. Apparatus and method for providing point of interest (POI) information in 360 video
KR20190107501A (ko) * 2018-03-12 2019-09-20 주식회사 엘지유플러스 멀티미디어 콘텐츠 처리를 위한 장치 및 제어방법

Also Published As

Publication number Publication date
US9826276B2 (en) 2017-11-21
US20140199043A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
US9826276B2 (en) Method and computing device for performing virtual camera functions during playback of media content
US11750918B2 (en) Assist for orienting a camera at different zoom levels
CN108965982B (zh) 视频录制方法、装置、电子设备和可读存储介质
WO2017181556A1 (zh) 游戏直播方法及装置
KR101772177B1 (ko) 사진을 획득하기 위한 방법 및 장치
US9373187B2 (en) Method and apparatus for producing a cinemagraph
KR101969424B1 (ko) 촬영된 이미지를 표시하는 촬영 장치 및 그 촬영 방법
CN106657780B (zh) 图像预览方法和装置
US9704028B2 (en) Image processing apparatus and program
CN106559712B (zh) 视频播放处理方法、装置及终端设备
US9749541B2 (en) Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
CN107888984B (zh) 短视频播放方法及装置
WO2022111198A1 (zh) 视频处理方法、装置、终端设备及存储介质
US20150302551A1 (en) Content aware video resizing
WO2021136158A1 (zh) 一种视频窗口画面显示方法及装置
WO2018095252A1 (zh) 视频录制方法及装置
WO2021057359A1 (zh) 图像处理方法、电子设备及可读存储介质
CN105323491A (zh) 图像拍摄方法及装置
CN108986117B (zh) 视频图像分割方法及装置
US10616551B2 (en) Method and system for constructing view from multiple video streams
CN111078011A (zh) 手势控制方法、装置、计算机可读存储介质及电子设备
KR20230109174A (ko) 핸드헬드 디바이스로 가로 모드에서 비디오를 캡처링하는 기술
WO2018192094A1 (zh) 场景展示方法及装置
CN114422692A (zh) 视频录制方法、装置及电子设备
US10699676B2 (en) Display apparatus, method of controlling the same, and computer program product thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application