KR20180098314A - 카메라의 불일치하는 조준 방향을 제어하기 위한 방법 및 장치 - Google Patents

카메라의 불일치하는 조준 방향을 제어하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20180098314A
KR20180098314A KR1020187020859A KR20187020859A KR20180098314A KR 20180098314 A KR20180098314 A KR 20180098314A KR 1020187020859 A KR1020187020859 A KR 1020187020859A KR 20187020859 A KR20187020859 A KR 20187020859A KR 20180098314 A KR20180098314 A KR 20180098314A
Authority
KR
South Korea
Prior art keywords
camera
function
parameters
user
mismatch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020187020859A
Other languages
English (en)
Other versions
KR102725024B1 (ko
Inventor
파비앙 다니오
르노 도르
프랑스와 제라르
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180098314A publication Critical patent/KR20180098314A/ko
Application granted granted Critical
Publication of KR102725024B1 publication Critical patent/KR102725024B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/2259—
    • H04N5/23296—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/49—Miscellaneous game characteristics with provisions for connecting to a part of the body
    • A63F2250/497—Head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 개시내용은 원격 전동 카메라(10)의 조준 방향(22)을 결정하기 위한 방법들, 장치 또는 시스템들에 관한 것이다. 카메라(10)에 의해 캡처된 몰입형 비디오 콘텐츠는 기준 방향들(13)과 연관된다. 불일치 함수(32, 42, 53)의 파라미터들이 계산된다. 이러한 함수는 카메라의 조준 방향(22)을 제어하기 위해 사용된다. 이는 사용자(21)가 원하는 회전과 카메라(22)의 회전 사이의 불일치를 도입시킨다. 본 개시내용의 예시적인 목적은 사용자가 기준 방향들을 향해 카메라를 회전시킬 수 있게 하여 사용자가 카메라를 반대 방향을 향해 회전시키는 것을 방지하는 것이다. 본 원리들은 의사-햅틱 효과들을 생성하여, 사용자를 아프게 하지 않으면서 기준 방향을 보도록 유도하는 이점을 갖는다.

Description

카메라의 불일치하는 조준 방향을 제어하기 위한 방법 및 장치
본 개시내용은, 카메라를 제어할 때, 예를 들어 헤드 장착 디스플레이들(HMD) 또는 TV 세트 또는 모바일 디바이스(예를 들어, 태블릿 또는 스마트폰)로 몰입형 비디오 콘텐츠를 소비할 때, 의사-햅틱 피드백의 도메인에 관한 것이다.
카메라의 조준 방향을 제어하는 것은 다양한 종래의 시스템들에서 달성되었다. 이것은, 카메라가 캡처할 수 있는 것보다 더 넓은 환경에서 카메라가 몰입되는 경우 유용하다. 이러한 시스템들은 예를 들어, TV 쇼 녹화 또는 보안 카메라 원격 제어에 사용된다. 게임들 또는 몰입형 콘텐츠 렌더러들의 가상 카메라들은 또한 조준 방향 제어 시스템을 구비한 것으로 간주될 수 있다.
카메라의 조준 방향을 제어할 때, 사용자는 카메라 회전들을 통해 4π 스테라디안(steradian) 환경을 시청할 수 있다. 이러한 특징이 콘텐츠의 몰입도 측면에서 실제 개선으로 보일 수 있다면, 사용자는 환경의 오직 일부만을 시청하고 있기 때문에, 사용자는 주어진 순간에 자신이 보아야 하는 방향을 보지 못할 수 있다. 실제로 사용자가 카메라 대신에 주위를 응시할 수 있기 때문에, 나레이션의 강조들과 같은 일부 중요한 이벤트들을 놓칠 수 있는데, 이는, 이벤트가 발생하는 순간에 사용자가 콘텐츠의 다른 부분을 시청하고 있기 때문이다.
배경기술에 따르면, 사용자가 기준 방향을 향해 보게 하기 위해 카메라 패닝(panning)을 강제하는 것이 매우 효율적인 솔루션임이 공지되어 있다. 그러나, 이러한 솔루션은 단점들을 갖는 것이 널리 공지되어 있다. 예를 들어, 이는, 대부분의 사람들이 시각적 단서들을 잃거나 이들을 아프게 하고, 결과적으로 사용자의 경험 품질을 악화시킬 것이다.
본 개시내용의 예시적인 목적은 사용자가 기준 방향을 향해 카메라를 회전시킬 수 있게 하여 사용자가 카메라를 반대 방향을 향해 회전시키는 것을 방지하는 것이다.
본 개시내용은 카메라의 조준 방향을 결정하는 방법에 관한 것으로서, 이 방법은,
- 적어도 하나의 기준 방향의 세트를 획득하는 단계;
- 카메라와 연관된 적어도 하나의 제어기의 제2 파라미터들을 획득하는 단계;
- 기준 방향들에 따른 불일치 함수를 표현하는 제1 파라미터들을 계산하는 단계 - 불일치 함수는 결정할 조준 방향과 카메라 제어기들의 제2 파라미터들에 의해 정의된 방향 사이의 불일치를 표현함 -; 및
- 적어도 하나의 제어기의 제2 파라미터들에 대해 불일치 함수를 적용함으로써 카메라의 조준 방향을 계산하는 단계
를 포함한다.
특정 특성에 따르면, 상기 불일치 함수는 시그모이드형(sigmoid-loke) 함수이다.
일 실시예에 따르면, 상기 세트의 적어도 하나의 기준 방향은 카메라의 위치 및 다른 객체의 위치에 따라 결정된다.
이 방법의 변형에서, 상기 세트의 기준 방향들의 수는 시간에 걸쳐 변한다.
유리하게는, 상기 세트의 적어도 하나의 기준 방향은 불일치 함수를 표현하는 상기 제1 파라미터들을 컴퓨팅하기 위해 사용되는 기준 파라미터들과 연관된다.
다른 변형에 따르면, 상기 세트의 적어도 하나의 기준 방향은 시간에 따라 변한다.
일 실시예에 따르면, 상기 조준 방향을 상기 카메라에 송신하는 단계를 더 포함한다.
본 개시내용은 또한 카메라의 조준 방향을 결정하도록 구성되는 장치에 관한 것으로서, 이 장치는,
- 적어도 하나의 기준 방향의 세트를 획득하기 위한 수단;
- 방향 커맨드들을 표현하는 제2 파라미터들을 획득하기 위해 카메라와 연관된 적어도 하나의 제어기;
- 기준 방향들에 따른 불일치 함수를 표현하는 제1 파라미터들을 계산하기 위한 프로세서 - 불일치 함수는 결정할 조준 방향과 제어기들의 제2 파라미터들에 의해 정의된 방향 사이의 불일치를 표현함 -; 및
- 적어도 하나의 제어기의 제2 파라미터들에 대해 불일치 함수를 적용함으로써 카메라의 조준 방향을 계산하도록 구성되는 프로세서
를 포함한다.
본 개시내용은 또한 카메라의 조준 방향을 결정하도록 구성되는 장치에 관한 것으로서, 이 장치는,
- 적어도 하나의 기준 방향의 세트를 획득하고,
- 적어도 하나의 기준 방향의 상기 세트에 따른 불일치 함수를 표현하는 제1 파라미터들을 계산하고,
- 카메라와 연관된 제어기로부터 방향 커맨드들을 표현하는 제2 파라미터들을 획득하고,
- 적어도 하나의 제어기의 제2 파라미터들에 대해 불일치 함수를 적용함으로써 카메라의 조준 방향을 계산하도록
구성되는 적어도 하나의 프로세서를 포함한다.
본 개시내용은 또한, 프로그램이 컴퓨터 상에서 실행되는 경우, 카메라의 조준 방향을 결정하는 전술한 방법을 적어도 하나의 프로세서에 의해 실행하기 위한 프로그램 코드의 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
또한, 본 개시내용은 프로세서로 하여금 텍스처를 표현하는 이미지를 구성하는 전술한 방법을 적어도 수행하게 하기 위한 명령어들이 저장된 비일시적 프로세서 판독가능 매체에 관한 것이다.
첨부된 도면들을 참조하는 하기 설명을 읽을 때 본 개시내용은 보다 잘 이해될 것이고, 다른 특정 피처들 및 이점들이 나타날 것이다.
도 1은 본 원리들의 특정 실시예에 따른, 결정된 시간 t(예를 들어, 시스템의 초기화 시간)에 제어된 카메라 시스템을 예시한다.
도 2는 본 원리들의 특정 실시예에 따른, 시스템의 초기화 이후의 시간 t에 도 1의 제어된 카메라 시스템을 예시한다.
도 3a는 본 원리들의 특정 실시예에 따른, 도 2에 예시된 바와 같이, 카메라 조준 방향과 카메라 제어기의 파라미터들과 연관된 방향 사이의 불일치의 예시적인 도면을 예시한다.
도 3b는 본 원리들의 특정 실시예에 따른, 도 1 및 도 2의 기준 방향들의 세트가 변할 때 방법이 불일치 함수를 컴퓨팅하기 위해 사용할 수 있는 세팅들을 예시한다.
도 4는 본 원리들의 특정 실시예에 따른, 도 3a 및 도 3b의 불일치 함수들의 반복적 계산을 예시한다.
도 5는 본 원리들의 특정 실시예에 따른, 도 1 및 도 2의 기준 방향들의 세트가 하나 초과의 기준 방향을 포함할 때 컴퓨팅되는 불일치 함수를 예시한다.
도 6은 본 원리들의 특정 실시예에 따른, 도 3a, 도 3b, 도 4 및 도 5에 예시된 것들과 같은 불일치 함수에 따른 도 1 및 도 2의 카메라의 조준 방향을 프로세싱하도록 구성된 장치의 하드웨어 실시예를 도식적으로 도시한다.
도 7은 본 원리들의 비제한적인 유리한 실시예에 따른, 도 6의 디바이스와 같은 프로세싱 디바이스에서 구현되는 바와 같은 카메라의 조준 방향을 결정하는 방법의 실시예를 도시한다.
이제, 도면들을 참조하여 본 요지를 설명하며, 동일한 참조 부호들은 도면 전반에 걸쳐 동일한 엘리먼트들을 지칭하기 위해 사용된다. 하기 설명에서, 설명의 목적들로, 요지에 대한 철저한 이해를 제공하기 위해 수많은 특정 세부사항들이 제시된다. 요지의 실시예들은 이러한 특정 세부사항 없이도 실시될 수 있음이 이해된다.
명료함을 위해, 도 1 내지 도 5는 2차원의 예들을 예시하고 단지 "요(yaw)"각(즉, Z 축을 중심으로 하는 회전)만을 참조한다. 본 원리들은 3차원 및 "피치"각(즉, Y 축을 중심으로 하는 회전) 및 "롤"각(즉, X 축을 중심으로 하는 회전)으로 확장가능함이 이해된다.
카메라(실제 또는 가상)는 한 장소(실제 또는 가상)에 위치되고 카메라가 촬영할 수 있는 객체들로 둘러싸인다. 이는 객체들을 위치 확인하기 위해 기준 프레임이 연관되는 카메라의 환경을 구성한다.
카메라(실제 또는 가상)는 카메라 위치된 환경과 관련된 파라미터들의 세트와 연관된다. 카메라의 위치는 환경과 연관된 기준 프레임에서 표현된다. 카메라는, 이하 카메라의 조준 방향으로 지칭되는 주어진 방향에서 촬영하고 있다.
도 1은 결정된 시간 t(예를 들어, 시스템의 초기화 시간)에 제어된 카메라 시스템(1)을 예시한다. 카메라(10)는 카메라 조준 방향 제어기(12)와 연관된다. 도 1에서, 카메라 제어기(12)는 헤드 장착 디스플레이(HMD)로 표현된다. 실제로, HMD는 카메라 제어기로 고려될 수 있다. 일 실시예에서, HMD는 예를 들어, 적외선 카메라들을 사용하는 가속도계들 및/또는 자이로스코프들 또는 외부 위치 추적 시스템을 포함할 수 있는 통합 관성 측정 유닛(IMU)과 같은 헤드 포즈 추정 시스템을 구비한다. 사용자가 이동하고 있는 경우, 사용자의 머리의 검출된 위치는 카메라의 조준 방향을 배향시키기 위해 사용된다. 카메라(10)는 원격 위치에 배치된 전동 디바이스이다. 변형에서, 카메라(10)는 3차원 가상 세계에 배치된 가상 카메라이다.
카메라(10) 및 카메라 제어기(12)는 시스템의 시작 시에 설정된 제로 방향(11)을 공유한다. 명료함을 위해, 도 1에서, 카메라(10)와 카메라 제어기(12)는 동일한 장소에서 도시된다. 임의의 실시예에서, 이들은 분리된 환경에 속한다. 예를 들어, 보안 시스템에서 카메라들은 외부에 위치되는 한편, 이들의 조준 방향을 제어하기 위한 조이스틱들은 제어 스테이션에 위치된다. HMD의 경우, IMU는 실세계에 속하는 한편, 카메라는 가상 세계에 속한다. 카메라 측에서 사용된 제로 방향과 카메라 제어기 측에서 이의 등가 방향 사이에서 드리프트가 점진적으로 나타날 수 있는 것으로 널리 공지되어 있기 때문에, 제로 방향은 때때로 공통 값으로 리셋될 수 있다. 1 인칭 시점 애플리케이션에서, HMD 회전 각도와 카메라 조준 방향 사이에는 일대일 대응이 존재한다. HMD가 주어진 각도를 통해 회전하고 있을 때, 카메라는 동일한 주어진 각도를 통해 회전한다. 다른 실시예에서, 카메라 제어기는 조이스틱, 또는 키보드 또는 스마트폰의 키들의 세트이다. 일부 실시예들에서, 카메라가 촬영하고 있는 것이 렌더링되는 디스플레이는 TV-세트 또는 컴퓨터 스크린 또는 스마트폰이나 태블릿과 같은 모바일 디바이스 스크린이다.
적어도 하나의 기준 방향(13)의 세트가 획득된다. 기준 방향은, 예를 들어 나레이션의 강조가 이러한 방향에서 발생하고 있으면 사용자가 보아야 하는 방향에 대응한다. 기준 방향들은 콘텐츠의 메타데이터로서 제공되고 콘텐츠 스트림 내에서 수신되거나 동일한 파일로부터 판독된다. 변형에서, 기준 방향들의 세트는 콘텐츠와 상이한 소스로부터 획득된다. 모든 데이터가 동기화되어야 한다. 다른 변형에서, 기준 방향들은 예를 들어 관심 영역을 검출하기 위해 돌극성(saliency) 맵을 사용하여 콘텐츠의 이미지들의 프로세싱으로 인해 획득되고, 기준 방향은 각각의 관심 영역과 연관된다. 기준 방향이 콘텐츠에 의존하기 때문에, 이들의 수 및 기준 방향들 자체는 시간에 따라 변할 수 있다.
일 실시예에 따르면, 본 원리들은 사용자가 이러한 기준 방향을 보도록 유도하는 것, 또는 보완적 효과로서, 사용자가 이러한 기준 방향으로부터 너무 멀리 보는 것을 방지하는 것을 목적으로 한다. 비디오 게임에서와 같이 사용자가 3차원(3D) 모델링된 장면을 탐색하고 있는 변형에서, 장면은 모든 방향에서 모델링되지 않을 수 있다. 실제로, 비용 또는 시간상의 이유들로, 영화관 스테이지들의 경우와 같이 360° 공간의 오직 일부만이 모델링될 수 있다. 이러한 경우, 제작자는 사용자가 3D 장면의 비-모델링된 부분 또는 영화관 스테이지의 기술적 구역을 보는 것을 방지하기를 원할 수 있다. 이러한 변형에서, 기준 방향은 영화관 스테이지의 비-모델링된 방향 또는 기술적 구역으로부터 먼 방향에 대응한다. 동시에 몇몇 기준 방향들이 획득될 수 있다. 예를 들어, 나레이션이 두 배우들 사이의 대화를 포함하면, 이들 둘 모두가 나레이션의 강조를 구성한다. 기준 방향은 시간에 따라 변할 수 있다. 도 1에서, 기준 방향(13)은 이동하는 동안 평면을 따를 수 있다. 카메라가 테니스 게임을 촬영하고 있는 다른 예에서, 2개의 기준 방향들이 선수들을 따를 수 있고 하나의 기준 방향은 볼을 따를 수 있다.
도 2는 시스템의 초기화 이후 시간 t에 도 1의 제어된 카메라 시스템(1)을 예시한다. 도 2에서, 카메라 제어기(12)는 헤드 장착 디스플레이(HMD)로 표현된다. 사용자는 카메라(10)의 중앙 및 제로 방향(11)에 의해 형성된 기준 프레임에서 방향(21)(우측 방향)으로 자신의 머리를 회전시킨다. 도 2의 예에서, (제로 방향의 좌측에서) 기준 방향(13)이 획득된다. 카메라(10)는 방향(22)을 향해 회전되었다. 도 2에서, 카메라(10)는 제로 방향(11)과 카메라 제어기 방향(21) 사이에 형성된 각도보다 작은 각도에 걸쳐 회전되었다. 실제로, 도 3a, 도 3a, 도 4 및 도 5에 의해 설명된 바와 같이, 기준 방향(13)과 카메라 제어기(12)의 파라미터들을 통해 획득된 방향 사이의 각도가 증가함에 따라 카메라 조준 방향이 컴퓨팅되어 의사-햅틱 효과를 생성한다. 도 2의 예에서, 사용자는 방향(21)까지 우측으로 자신의 머리를 회전시켰지만, 카메라의 환경에서 우측으로 덜 향하는 방향(22)에서 촬영된 것을 보고 있다. 사용자의 실제 이동과 카메라로부터의 시각적 피드백 사이의 이러한 불일치의 결과로서 사용자는 의사-햅틱 저항을 느낀다. 다른 실시예에서, 카메라 제어기(12)는 마우스 디바이스 또는 조이스틱이고, 디스플레이는 TV-세트 또는 컴퓨터 스크린이다. 동일한 의사-햅틱 효과는 카메라 조준 방향과 카메라 제어기 상의 사용자의 커맨드들에 따라 사용자가 볼 것으로 예상하는 방향 사이의 불일치로 인해 생성된다.
도 3a는 카메라 조준 방향과 카메라 제어기의 파라미터들과 연관된 방향 사이의 불일치의 예시적인 도면을 예시한다. 도 3a의 각도 값 φ는 도 1 및 도 2의 제로 방향(11)과 기준 방향(13) 사이의 각도에 대응한다. 곡선(32)은 제로 방향(11)과 도 2의 카메라 제어기 방향(21) 사이의 각도 θcontrol에 따라 제로 방향(11)과 도 2의 카메라 조준 방향(22) 사이의 각도 θcam를 표현한다. 도메인들 둘 모두는 원형이며: 값들은 φ - π 라디안에서 φ + π 라디안으로 이동한다(그리고 φ - π는 φ + π와 동일한 각도이다). 라인(31)은 1인칭 시점 애플리케이션에 대응하며: θcam의 값은 항상 θcontrol의 값과 동일하다. 곡선(32)은 불일치 함수의 실시예를 도시하며: 사용자가 카메라 제어기를 기준 방향으로부터 더 멀리 구동할수록, 카메라는 덜 회전하고, 더 이상 회전하지 않게 된다. 이러한 포인트 이후, 곡선(32)은 평탄하다. 바람직하게는, 도 3a에 예시된 바와 같이, 불일치 함수는 시그모이드형 함수이며; 그 기울기는 φ에서 1.0과 동일하고 한계에 근접한다. 변형에서, 불일치 함수는 구분적(piecewise) 선형이며: 그 기울기는 φ 주위에서 1.0과 동일하고 주어진 임계치를 넘으면 0.0과 동일하다. 특히, 이러한 불일치 함수의 사용은 각도 도메인들의 원형 속성을 파괴한다. 실제로, 사용자가 카메라 제어기에 π 라디안(180°)에 걸쳐 회전하도록 명령할 때, 카메라는 n π 라디안 미만에 걸쳐 회전하고, 따라서, 반대 방향을 향하지 않는다. 이러한 사실의 결과는 각도 φ - π가 이제 각도 φ + π와 상이하며 불일치 함수의 도메인이 이러한 한계들을 넘어 확장된다는 것이다. 이는, 불일치 함수들의 곡선이 파선 사각형 상에 도시된다는 사실에 의해 도 3a, 도 3b 및 도 4에 예시된다.
도 3b는 기준 방향들의 세트가 변할 때 방법이 불일치 함수를 컴퓨팅하기 위해 사용할 수 있는 세팅들을 예시한다. 도 3b에서, 불일치 함수는 시그모이드형 함수이다. 그 기울기는 값 φ에서 1.0으로 제한된다. 함수는, θcontrol의 값이 φ + π 및 φ - π 라디안과 각각 동일할 때 함수가 도달하는 값들인 적어도 2개의 세팅 값들(33 및 34)에 따라 컴퓨팅된다. 추가적인 세팅들은 함수의 미분, 즉 함수가 포인트들(33 및 34)에서 각각 갖는 기울기들(0.0≤S1≤1.0; 0.0≤S2≤1.0) 및 함수의 기울기가 (값 φ에서 1.0로부터 φ + π의 S1 또는 φ - π의 S2로) 감소하는 속도를 좌우할 수 있다. 변형에서, 불일치 함수는 구분적 선형이다. 세팅들(33 및 34)은 이러한 종류의 불일치 함수에 대해 또한 유용하다. 함수의 기울기가 변화되는 임계치들을 표시하기 위해 φ - π와 φ + π 사이의 값들의 목록이 추가로 사용될 수 있다.
세팅 데이터는 햅틱 효과를 구성하도록 설정된다. 예를 들어, 도 3b에서, 값들(33 및 34)이 φ에 더 가까울수록 장면의 가시적 부분은 더 제한된다. 동일한 방식으로, 불일치 함수의 로컬 기울기들을 좌우하는 세팅들은, 사용자가 카메라를 회전하려 시도할 때 카메라 제어기를 통해 사용자가 느끼는 의사-햅틱 저항을 조절한다.
불일치 함수는 기준 방향 세트에서의 변화가 검출될 때를 결정된다(즉, 예를 들어, 컴퓨팅 또는 계산된다). 불일치 함수가 컴퓨팅되는 순간에(특히 본 방법의 시작 시에) 사용자가 컴퓨팅된 불일치 함수에 속하는 방향을 보지 않는 것이 발생할 수 있다. 도 4는 불일치 함수들의 반복적 계산을 예시한다. 도 4의 예에서, 초기화 시에, 기준 방향들의 세트는 비어있다. 사용자는 카메라 제어기를 사용하여 카메라가 방향(41)(θcam = θcontrol = θ)을 조준하게 한다. 기준 방향(φ)이 획득되고 불일치 함수(42)는 이 세팅들에 따라 컴퓨팅된다. 포인트(41)는 불일치 함수(42)의 곡선에 속하지 않는다. 카메라의 조준 방향의 갑작스러운 시프트를 회피하기 위해, 포인트(41)를 통과하는 제1 불일치 함수(43)가 컴퓨팅된다. 함수(43)는 불일치 함수(42)와의 거리를 증가시키지 않고 φ를 향할 때 감소하지 않도록 하는 제약 하에서 컴퓨팅된다. 사용자가 카메라 제어기를 사용하여 카메라를 방향 φ를 향해 회전시킬 때, 카메라 회전이 용이하게 된다. 반대로, 반대 방향으로의 회전은 어려워진다. 카메라 제어기의 변화가 검출될 때, 카메라의 조준 방향은 함수(43)의 곡선을 따르고 제2 불일치 함수가 컴퓨팅된다. 도 4의 예에서, 카메라 제어기는 기준 방향에 더 가까운 포인트(44)에 도달하고, 제2 불일치 함수(45)는 함수(43)와 동일한 제약들 하에서 컴퓨팅된다. 제2 불일치 함수는 제1 불일치 함수로 재명명되고 동작이 반복된다. 컴퓨팅 제약들 때문에, 제2 불일치 함수는 불일치 함수(42)에 점점 더 가까워지고, 결과적으로 카메라의 조준 방향에서의 갑작스러운 시프트 없이 원하는 의사-햅틱 효과에 도달된다.
도 5는 한 쌍의 기준 방향들에 따라 컴퓨팅된 불일치 함수를 예시한다. 2개의 기준 방향들이 획득되었다. 이러한 기준 방향들의 경우, 카메라는 상기 기준 방향을 조준해야 한다. 이는 도 5의 포인트들(51 및 52)에 의해 예시된다. 도 5의 예에 따르면, 불일치 함수(53)는 하기 제약들 하에서 계산된다:
Figure pct00001
불일치 함수들(53)은 이러한 포인트들(41 및 42)을 통과한다.
Figure pct00002
포인트들(41 및 42)에서 불일치 함수의 기울기는 1.0과 동일하다.
Figure pct00003
불일치 함수의 기울기는, 포인트들(41 및 42)로부터 멀어질 때 1.0 이하이다.
Figure pct00004
불일치 함수는 연속적이다.
본원에서 앞서 설명된 바와 같이, θcontrol의 도메인은 원형을 의미한다. 방법이 고유한 기준 방향을 관리할 때, 연속성의 제약에 불복종하지 않고 도메인의 이러한 원형 속성을 파괴하여, 기준 방향 각도 값 상에 불일치 함수의 중심을 두는 것이 가능하다. 적어도 2개의 기준 방향들이 존재하는 경우, 원형 속성은 2개의 기준 방향 각도 값들 사이에서 오직 한번 파괴될 수 있다. 도 5에서, 포인트(51)로부터 포인트(52)까지 구간의 연속성을 유지하고 포인트(52)로부터 포인트(51)까지의 구간에서 이를 파괴하는 선택이 행해졌다. 결과적으로, 의사-햅틱 "자석 효과"가 포인트(51)로부터 포인트(52)까지의 각도 구간에서 관측되고, 이를 넘어서 의사-햅틱 "저항 효과"가 관측된다. 변형에서, 포인트(52)로부터 포인트(51)까지 구간의 연속성을 유지하고 포인트(52)로부터 포인트(51)까지의 구간에서 이를 파괴하는 선택이 행해진다. 다른 변형에서, 이중 의사-햅틱 자석 효과를 도입하는 θcontrol의 도메인의 원형 속성을 유지하는 선택이 행해진다.
도 6은 카메라의 조준 방향을 프로세싱하도록 구성된 장치(60)의 하드웨어 실시예를 도시한다. 이러한 예에서, 디바이스(60)는 클럭 신호를 또한 전송하는 데이터 및 어드레스들의 버스(63)에 의해 서로 연결된 하기 엘리먼트들을 포함한다:
- 마이크로프로세서(61)(또는 CPU),
- 그래픽 카드(66),
- ROM(Read Only Memory) 타입(64)의 비휘발성 메모리,
- 랜덤 액세스 메모리 또는 RAM(65), 그래픽 카드(66)는 랜덤 액세스 메모리의 레지스터들을 내장할 수 있다.
- 도 6에는 상세히 도시되지 않은, 예를 들어, 마우스, 웹캠 등과 같은 I/O(입력/출력) 디바이스들의 세트, 및
- 전원(67).
디바이스(60)는 카메라 제어기(62)에 연결된다. 일 실시예에서, 카메라 제어기는 조이스틱, 키보드 또는 원격 콘트롤이다. 다른 실시예에서, 카메라 제어기는 예를 들어, 가속도계들 및/또는 자이로스코프들을 포함하는 관성 측정 유닛이다.
디바이스(60)는 이의 조준 방향을 변경하도록 구비된 카메라(68)에 연결되는데, 즉 실제 카메라가 가동되고, 가상 카메라는 카메라 조준 방향을 제어하도록 구성된 프로그램 또는 스크립트와 연관된다.
유리하게는, 디바이스(60)는 그래픽 카드에서 계산된 이미지들을 디스플레이하기 위해 직접적으로 그래픽 카드(66)에 대한 디스플레이 스크린 타입의 하나 이상의 디스플레이 디바이스들(69)에 연결된다. 변형에서, 하나 이상의 디스플레이 디바이스(69)는 버스(63)를 통해 그래픽 카드(66)에 연결된다. 특정 실시예에서, 카메라 제어기(62) 및/또는 하나 이상의 디스플레이 디바이스(69)는 헤드 장착 디스플레이들과 같은 디바이스(60)에 통합된다.
메모리들(64 및 66)의 설명에서 사용된 "레지스터"라는 용어는 언급된 메모리들 각각에서, 저용량의 메모리 구역(일부 이진 데이터)뿐만 아니라 대용량의 메모리 구역(전체 프로그램이 저장될 수 있게 하거나 또는 계산된 데이터를 표현하는 데이터의 전부 또는 일부가 디스플레이되게 함) 둘 다를 지정하는 것에 유의한다.
스위치 온되는 경우, 마이크로프로세서(61)는 ROM(64)의 레지스터(640)의 프로그램에 따라, RAM(650)의 프로그램의 명령어들을 로딩 및 실행한다.
랜덤 액세스 메모리(65)는 특히,
- 레지스터(650)에서, 디바이스(60) 상에서 스위칭하는 것을 담당하는 마이크로프로세서(61)의 동작 프로그램,
- 레지스터(651)에서, 적어도 하나의 기준 방향들을 표현하는 데이터,
- 레지스터(652)에서, 불일치 함수의 파라미터들을 표현하는 데이터 - 이러한 파라미터들은 카메라의 조준 방향을 제어하기 위해 마이크로프로세서(61)에 의해 사용됨 -,
- 레지스터(653)에서, 불일치 함수의 파라미터들을 컴퓨팅하기 위해 마이크로프로세서(61)에 의해 사용되는 세팅들을 표현하는 데이터
를 포함한다.
하나의 특정 실시예에 따르면, 본 개시내용에 대해 특정되고 이하 설명되는 방법의 단계들을 구현하는 알고리즘들은 유리하게는, 이러한 단계들을 구현하는 디바이스(60)와 연관된 그래픽 카드(66)의 메모리 GRAM에 저장된다.
변형에 따르면, 전원(67)은 디바이스(60) 외부에 있다.
도 7은 비제한적인 유리한 실시예에 따른 디바이스(60)와 같은 프로세싱 디바이스에서 구현되는 방법으로서 방법(70)의 일 실시예를 도식적으로 도시한다.
초기화 단계(71)에서, 디바이스(60)는 방법의 세팅들 및 제로 방향을 획득한다. 본 문헌에서 정보를 획득하는 단계는 전자 디바이스의 메모리 유닛에서 이러한 정보를 판독하는 단계로서 또는 통신 수단을 통해(예를 들어, 유선 또는 무선 무선 연결을 통해 또는 접촉 연결에 의해) 다른 전자 디바이스로부터 이러한 정보를 수신하는 단계로서 간주될 수 있음을 또한 유의해야 한다. 획득된 정보는 디바이스(60)의 랜덤 액세스 메모리(65)의 레지스터(653)에 저장된다.
단계(72)는 기준 방향들의 세트를 표현하는 데이터를 획득하는 것으로 구성된다. 제1 실시예에서, 기준 방향들의 세트는 통신 수단을 통해 다른 디바이스로부터 수신된다. 이러한 데이터는 비디오 콘텐츠와 연관될 수 있거나 전용 서버에 의해 제공될 수 있다. 변형에서, 기준 방향 데이터는 디바이스(60)와 연관된 저장 매체 상의 파일로부터 판독된다. 다른 실시예에서, 기준 방향들의 세트는 비디오 콘텐츠를 프로세싱한 이미지에 의해 획득된다. 예를 들어, 비디오 콘텐츠의 이미지들의 돌극성 맵들의 프로세싱은 매우 돌출된 영역들을 검출하도록 허용한다. 이러한 영역의 포인트, 예를 들어 베리센터(barycentre) 또는 가장 높은 돌출부를 갖는 픽셀이 기준 방향을 결정하기 위해 사용될 수 있다. 다른 실시예에서, 카메라가 촬영하고 있는 장면의 일부 객체들은 위치설정 디바이스와 연관된다. 기준 방향은 이러한 객체들의 위치 및 카메라의 위치에 따라 설정된다. 이러한 객체 중 임의의 객체가 이동하는 경우 및/또는 카메라가 이동하는 경우, 기준 방향들은 수정된다.
공지된 기준 방향들의 세트에서 변화가 검출될 때(심지어 초기화 단계(71)에 의해 생성될 때에도), 불일치 함수를 컴퓨팅하는 단계(73)가 실행된다. 불일치 함수는 카메라 제어기에 의해 관리되는 각도 값을 카메라의 조준 방향에 대응하는 각도 값과 연관시킨다. 이러한 함수의 사용은 사용자가 예상하는 대로 카메라가 반응하지 않기 때문에 카메라 제어기를 사용할 경우 의사-햅틱 효과를 생성한다. 불일치 함수는 의사-햅틱 효과들을 좌우하는 세팅 데이터에 따라 컴퓨팅된다. 변형에서, 의사-햅틱 효과를 기준 방향에 적응시키기 위해, 추가적인 기준 파라미터들이 기준 방향과 연관된다. 유사한 기준 방향의 2개의 발생들은 상이한 불일치 함수들을 생성할 수 있다.
단계(74)는 카메라 제어기의 파라미터들에서의 변화들을 검출하는 것으로 구성된다. 본 문헌에서 θcontrol로 지칭되는 각도 값은 파라미터들에서의 검출된 변화에 따라 업데이트된다. 이러한 각도는 사용자가 카메라를 조준하기를 원하는 방향을 표현한다. 다음 단계(75)는, θcontrol가 업데이트될 때 또는 단계(73)에서 새로운 불일치 함수가 컴퓨팅될 때 실행된다. 변형에서, 타이머는 단계(74)와 연관되고, 단계 제어기의 파라미터들에서 또는 단계(72)의 기준 방향들의 세트에서 어떠한 변화도 검출되지 않더라도 지속기간 값이 종료되면 단계(75)가 실행된다.
단계(75)는 θcontrol에 대해 불일치 함수를 적용하는 것으로 구성된다. 이러한 적용의 결과는 카메라에 대한 조준 방향이다.
임의적 단계(76)는 컴퓨팅된 조준 방향을 카메라에 송신하는 것으로 구성된다. 변형에서, 조준 방향은, 적어도 임계 값(예를 들어, 1° 또는 5° 또는 10°)에 대해 카메라의 실제 조준 방향과 상이한 경우에만 송신된다. 다른 변형에서, 조준 방향은, 단계(75)에서 어떠한 새로운 조준 방향도 계산되지 않은 경우에도 카메라에 반복적으로 송신된다.
방법은 기준 방향들의 세트의 변화가 검출되면 단계(72)에서, 또는 카메라 제어기의 파라미터들에서의 변화가 검출되면 단계(74)에서 활성화된다. 변형에서, 방법은 타이머에 의해 실행됨으로써 활성화된다.
당연하게, 본 개시내용은 이전에 설명된 실시예들로 제한되지 않는다. 특히, 본 개시내용은 전동 카메라에 대한 조준 위치 커맨드를 결정하는 방법으로 제한되지 않고, 조준 방향을 카메라에 송신하는 방법 및 전동 카메라의 조준 방향을 제어하는 방법까지 또한 확장된다. 조준 위치를 컴퓨팅하기 위해 필요한 계산들의 구현은 CPU에서의 구현으로 제한되는 것이 아니라, 임의의 프로그램 타입, 예를 들어, GPU 타입 마이크로프로세서에 의해 실행될 수 있는 프로그램들에서의 구현으로 확장된다.
본원에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 오직 단일 형태의 구현의 상황에서 논의되는(예를 들어, 오직 방법 또는 장치로서만 논의되는) 경우에도, 논의되는 특징들의 구현은 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능 로직 디바이스를 포함하는 일반적인 프로세싱 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어, 스마트폰들, 태블릿들, 컴퓨터들, 모바일 폰들, 휴대용/개인 휴대 정보 단말(“PDA들”), 및 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
본 명세서에 설명된 다양한 프로세스들 및 특징들의 구현들은 다양한 상이한 장비 또는 애플리케이션들, 특히 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 프로세싱, 및 이미지들 및 관련된 텍스처 정보 및/또는 깊이 정보의 다른 프로세싱과 연관된 장비 또는 애플리케이션들에서 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA 및 다른 통신 디바이스들을 포함한다. 명확해야 할 바와 같이, 장치는 모바일일 수 있고, 심지어 모바일 차량에 설치될 수 있다.
추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 다른 저장 디바이스, 예를 들어, 하드 디스크, 콤팩트 디스켓("CD"), 광 디스크(예를 들어, 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD), 랜덤 액세스 메모리("RAM") 또는 판독-전용 메모리("ROM")와 같은 프로세서-판독가능 매체 상에 저장될 수 있다. 명령어들은 프로세서-판독가능 매체 상에 유형으로 구현된 애플리케이션 프로그램을 형성할 수 있다. 명령어들은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합일 수 있다. 명령어들은 예를 들어 운영 시스템, 별개의 애플리케이션 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는 프로세스를 수행하도록 구성된 디바이스, 및 프로세스를 수행하기 위한 명령어들을 갖는 프로세서-판독가능 매체(예를 들어, 저장 디바이스)를 포함하는 모든 디바이스로서 특성화될 수 있다. 추가로, 프로세서-판독가능 매체는 명령어들에 추가하여 또는 명령어들 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.
본 기술분야의 통상의 기술자에게 자명할 바와 같이, 구현들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 반송하도록 포맷된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 설명된 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 신택스를 기록 또는 판독하기 위한 규칙들을 데이터로서 운반하거나, 설명된 실시예에 의해 기록된 실제 신택스 값들을 데이터로서 운반하도록 포맷될 수 있다. 이러한 신호는, 예를 들어, (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하는) 전자기 파로서 또는 기저대역 신호로서 포맷될 수 있다. 포맷은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림과 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 공지된 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체 상에 저장될 수 있다.
다수의 구현들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 행해질 수 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 엘리먼트들은 다른 구현들을 생성하기 위해 결합, 보충, 수정 또는 제거될 수 있다. 추가적으로, 통상의 기술자는, 다른 구조체들 및 프로세스들이 개시된 것들을 대체할 수 있고 결과적인 구현들이 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성할 것임을 이해할 것이다. 따라서, 이러한 및 다른 구현들이 본 출원에 의해 고려된다.

Claims (15)

  1. 카메라(10)의 조준 방향(22)을 결정하는 방법으로서,
    상기 방법은,
    - 적어도 하나의 기준 방향(13, 51, 52)의 세트를 획득하는 단계(72);
    - 상기 카메라와 연관된 적어도 하나의 제어기의 제2 파라미터들(21, 41, 44)을 획득하는 단계(74);
    - 적어도 하나의 기준 방향(13, 51, 52)의 상기 세트에 따른 불일치 함수(32, 42, 43, 45, 53)를 표현하는 제1 파라미터들을 계산하는 단계(73) - 상기 불일치 함수는 조준 방향과 상기 제2 파라미터들과 연관된 방향 사이의 불일치를 표현함 -; 및
    - 상기 적어도 하나의 제어기의 제2 파라미터들에 대해 상기 불일치 함수를 적용함으로써 상기 카메라의 조준 방향을 계산하는 단계(75)
    를 포함하는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서,
    상기 불일치 함수(32, 42, 43, 45, 53)는 시그모이드형(sigmoid-like) 함수인, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 세트의 적어도 하나의 기준 방향(13, 51, 52)은 상기 카메라의 위치 및 다른 객체의 위치에 따라 결정되는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 세트의 기준 방향들(13, 51, 52)의 수는 시간에 걸쳐 변하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 세트의 적어도 하나의 기준 방향(13, 51, 52)은 상기 불일치 함수(32, 42, 43, 45, 53)를 표현하는 상기 제1 파라미터들을 컴퓨팅하기 위해 사용되는 기준 파라미터들(33, 34)과 연관되는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 세트의 적어도 하나의 기준 방향(13, 51, 52)은 시간에 걸쳐 변하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 조준 방향(22)을 상기 카메라(10)에 송신하는 단계(76)를 더 포함하는, 방법.
  8. 카메라(10)의 조준 방향(22)을 결정하도록 구성되는 장치(60)로서,
    상기 장치는,
    - 적어도 하나의 기준 방향(13, 51, 52)의 세트를 획득하기 위한 수단;
    - 방향 커맨드들(21)을 표현하는 제2 파라미터들을 획득하기 위해 상기 카메라(10)와 연관된 적어도 하나의 제어기(12);
    - 적어도 하나의 기준 방향(13, 51, 52)의 상기 세트에 따른 불일치 함수(32, 42, 43, 45, 53)를 표현하는 제1 파라미터들을 계산하도록 구성되는 프로세서 - 상기 불일치 함수는 조준 방향과 상기 제2 파라미터들과 연관된 방향 사이의 불일치를 표현함 -; 및
    - 상기 적어도 하나의 제어기(12)의 제2 파라미터들에 대해 상기 불일치 함수(32, 42, 43, 45, 53)를 적용함으로써 상기 카메라(10)의 조준 방향(22)을 계산하도록 구성되는 프로세서
    를 포함하는 것을 특징으로 하는, 장치.
  9. 제8항에 있어서,
    상기 불일치 함수(32, 42, 43, 45, 53)는 시그모이드형 함수인, 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 세트의 적어도 하나의 기준 방향(13, 51, 52)은 상기 카메라(10)의 위치 및 다른 객체의 위치에 따라 결정되는, 장치.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 세트의 기준 방향들(13, 51, 52)의 수는 시간에 걸쳐 변하는, 장치.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 세트의 적어도 하나의 기준 방향(13, 51, 52)은 상기 불일치 함수(32, 42, 43, 45, 53)를 표현하는 상기 제1 파라미터들을 컴퓨팅하기 위해 사용되는 기준 파라미터들(33, 34)과 연관되는, 장치.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서,
    상기 세트의 적어도 하나의 기준 방향(13, 51, 52)은 시간에 걸쳐 변하는, 장치.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    상기 조준 방향을 상기 카메라(10)에 송신하기(76) 위한 송신기를 더 포함하는, 장치.
  15. 프로세서로 하여금 적어도 제1항 내지 제7항 중 어느 한 항에 따른 방법(70)의 단계들을 수행하게 하기 위한 명령어들이 저장된 비일시적 프로세서 판독가능 매체.
KR1020187020859A 2015-12-22 2016-12-19 카메라의 불일치하는 조준 방향을 제어하기 위한 방법 및 장치 Active KR102725024B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15307094.1 2015-12-22
EP15307094.1A EP3185535A1 (en) 2015-12-22 2015-12-22 Method and apparatus for controlling a discrepant aiming direction of a camera
PCT/EP2016/081693 WO2017108668A1 (en) 2015-12-22 2016-12-19 Method and apparatus for controlling a discrepant aiming direction of a camera

Publications (2)

Publication Number Publication Date
KR20180098314A true KR20180098314A (ko) 2018-09-03
KR102725024B1 KR102725024B1 (ko) 2024-11-04

Family

ID=55221239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187020859A Active KR102725024B1 (ko) 2015-12-22 2016-12-19 카메라의 불일치하는 조준 방향을 제어하기 위한 방법 및 장치

Country Status (10)

Country Link
US (1) US11347306B2 (ko)
EP (2) EP3185535A1 (ko)
JP (1) JP6978418B2 (ko)
KR (1) KR102725024B1 (ko)
CN (1) CN108702430B (ko)
BR (1) BR112018012767A2 (ko)
CA (1) CA3009536A1 (ko)
MX (1) MX2018007697A (ko)
RU (1) RU2741791C2 (ko)
WO (1) WO2017108668A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6879479B2 (ja) * 2015-09-02 2021-06-02 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム
CN114764273A (zh) * 2021-01-11 2022-07-19 宏达国际电子股份有限公司 沉浸式系统、控制方法与相关的非暂态电脑可读取储存媒体
WO2022220308A1 (ja) 2021-04-16 2022-10-20 パナソニックＩｐマネジメント株式会社 映像表示システム及び映像表示方法
CN113750529B (zh) * 2021-09-13 2024-05-28 网易（杭州）网络有限公司 游戏中的方向指示方法、装置、电子设备及可读存储介质
CN114007136B (zh) * 2021-10-29 2024-12-03 咪咕文化科技有限公司 射击比赛的直播画面生成方法、系统、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150352438A1 (en) * 2014-06-06 2015-12-10 Nintendo Co., Ltd. Information processing system, non-transitory computer-readable storage medium having stored therein information processing program, information processing apparatus, and information processing method
US20170076497A1 (en) * 2015-09-14 2017-03-16 Colopl, Inc. Computer program for directing line of sight

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588914A (en) 1994-06-28 1996-12-31 The Walt Disney Company Method and system for guiding a user in a virtual reality presentation
SE528518C2 (sv) 2005-04-29 2006-12-05 Totalfoersvarets Forskningsins Sätt att navigera i en omvärld registrerad av en eller flera bildsensorer och en anordning för genomförande av sättet
JP2007020092A (ja) 2005-07-11 2007-01-25 Matsushita Electric Ind Co Ltd 画像表示装置、画像表示方法および画像表示システム
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
EP2228110B1 (en) * 2009-03-09 2017-08-30 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
TWI400940B (zh) * 2010-03-24 2013-07-01 Hon Hai Prec Ind Co Ltd 遠端控制軌道式攝影裝置的手持式裝置及方法
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
JP5829020B2 (ja) * 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
EP2497547B1 (en) * 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
KR101648564B1 (ko) * 2011-03-15 2016-08-16 한화테크윈 주식회사 휴대 단말, 원격 카메라, 및 휴대 단말에 의한 원격 카메라의 팬/틸트/줌 제어 방법
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP5986198B2 (ja) 2012-05-30 2016-09-06 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
US9824601B2 (en) 2012-06-12 2017-11-21 Dassault Systemes Symbiotic helper
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
JP6088787B2 (ja) * 2012-10-23 2017-03-01 任天堂株式会社 プログラム、情報処理装置、情報処理方法および情報処理システム
US9035995B2 (en) * 2012-10-23 2015-05-19 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
US9058053B2 (en) 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
JP6135162B2 (ja) 2013-02-12 2017-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US9111355B1 (en) * 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US10062209B2 (en) * 2013-05-02 2018-08-28 Nintendo Co., Ltd. Displaying an object in a panoramic image based upon a line-of-sight direction
JP5925163B2 (ja) 2013-07-25 2016-05-25 三菱電機株式会社 運転支援装置
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150352438A1 (en) * 2014-06-06 2015-12-10 Nintendo Co., Ltd. Information processing system, non-transitory computer-readable storage medium having stored therein information processing program, information processing apparatus, and information processing method
US20170076497A1 (en) * 2015-09-14 2017-03-16 Colopl, Inc. Computer program for directing line of sight

Also Published As

Publication number Publication date
WO2017108668A1 (en) 2017-06-29
EP3395058A1 (en) 2018-10-31
RU2018126063A3 (ko) 2020-07-08
US20200363866A1 (en) 2020-11-19
MX2018007697A (es) 2018-11-09
JP6978418B2 (ja) 2021-12-08
US11347306B2 (en) 2022-05-31
CN108702430A (zh) 2018-10-23
RU2018126063A (ru) 2020-01-23
CN108702430B (zh) 2021-02-09
BR112018012767A2 (pt) 2018-12-04
JP2019503612A (ja) 2019-02-07
CA3009536A1 (en) 2017-06-29
EP3395058B1 (en) 2025-08-13
KR102725024B1 (ko) 2024-11-04
RU2741791C2 (ru) 2021-01-28
EP3185535A1 (en) 2017-06-28

Similar Documents

Publication Publication Date Title
KR102346437B1 (ko) 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들
JP7132280B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
KR102697559B1 (ko) 영상 표시 방법, 저장 매체 및 전자 장치
US9626801B2 (en) Visualization of physical characteristics in augmented reality
US9177224B1 (en) Object recognition and tracking
KR102725024B1 (ko) 카메라의 불일치하는 조준 방향을 제어하기 위한 방법 및 장치
CN109743892B (zh) 虚拟现实内容的显示方法和装置
US9589384B1 (en) Perspective-enabled linear entertainment content
CN109189302B (zh) Ar虚拟模型的控制方法及装置
JP2017016657A (ja) 没入型ビデオ・コンテンツの一部分を参照部分の位置に従って処理する方法及び装置
US20210181506A1 (en) Image Display Method, Apparatus, and System
US20190130193A1 (en) Virtual Reality Causal Summary Content
CN114449162A (zh) 一种播放全景视频的方法、装置、计算机设备及存储介质
US11373329B2 (en) Method of generating 3-dimensional model data
EP3211629A1 (en) An apparatus and associated methods
US20250108292A1 (en) Over-fitting a training set for a machine learning (ml) model for a specific game and game scene for encoding
US20250303291A1 (en) Enabling the tracking of a remote-play client in virtual reality without additional sensors

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20180719

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20211027

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211217

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231120

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240729

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241029

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241030

End annual number: 3

Start annual number: 1

PG1601 Publication of registration