KR20210136858A - 화상표시장치, 제어방법, 및 프로그램 - Google Patents

화상표시장치, 제어방법, 및 프로그램 Download PDF

Info

Publication number
KR20210136858A
KR20210136858A KR1020210056992A KR20210056992A KR20210136858A KR 20210136858 A KR20210136858 A KR 20210136858A KR 1020210056992 A KR1020210056992 A KR 1020210056992A KR 20210056992 A KR20210056992 A KR 20210056992A KR 20210136858 A KR20210136858 A KR 20210136858A
Authority
KR
South Korea
Prior art keywords
virtual viewpoint
parameter
virtual camera
viewpoint image
image
Prior art date
Application number
KR1020210056992A
Other languages
English (en)
Inventor
타쿠 오가사와라
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20210136858A publication Critical patent/KR20210136858A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system

Abstract

화상표시장치를 제공한다. 화상표시장치는, 가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 위치 중 적어도 하나를 지정하는 제1 파라미터를 결정하기 위한 유저 조작을 접수하고; 가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 위치 중 적어도 하나를 지정하는, 미리 설정된 제2 파라미터를 취득하고; 상기 제1 파라미터와 상기 제2 파라미터 중 적어도 하나에 근거하여 생성된 상기 가상 시점 화상을 표시부에 표시한다.

Description

화상표시장치, 제어방법, 및 프로그램{IMAGE DISPLAY APPARATUS, CONTROL METHOD AND PROGRAM}
본 개시내용은, 가상 시점 화상에 따른 화상표시장치, 제어 방법, 및 프로그램에 관한 것이다.
최근에는, 복수 카메라로 촬영한 복수의 촬영 화상으로부터, 임의의 시점의 화상을 생성하는 가상 시점 화상의 생성 기술이 주목받고 있다. 가상 시점 화상을 생성하기 위해서 지정된 가상 시점을 편의적으로 설명하기 위한 개념으로서 가상 카메라를 사용한다. 가상 카메라는 물리 카메라와는 달리, 물리적인 제약 없이 삼차원 공간에 있어서 이동/회전/확장/수축등의 여러가지 움직임이 가능하다. 가상 카메라를 적절히 제어하기 위해서, 각각의 움직임에 대응하는 복수의 조작방법이 생각될 수 있다.
일본특허 제6419278호에서는, 터치패널을 구비한 화상표시장치에 가상 시점 화상을 표시하는 구성에 있어서, 터치패널에 대하여 행해진 터치 조작의 손가락의 개수에 따라, 가상 카메라의 동작을 제어하는 방법이 개시되어 있다.
일본특허 제6419278호에 개시된 방법에서는, 가상 시점을 크게 움직이고 싶을 경우나 복잡하게 변화시키고 싶을 경우등, 의도하는 가상 시점의 움직임에 따라서는 조작이 어렵다.
본 개시내용의 일측면은 종래의 기술이 갖는 상술한 과제를 해결하기 위한 것이다.
본 개시내용의 특징은, 가상 시점 화상을 열람할 때의 편리성을 향상하기 위한 것이다.
본 개시내용의 제1 측면에 따른 화상표시장치는: 다시점 화상에 근거하여 생성된 가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 위치 중 적어도 하나를 지정하는 제1 파라미터를 결정하기 위한 유저 조작을 접수하는 접수부; 가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 위치 중 적어도 하나를 지정하는, 미리 설정된 제2 파라미터를 취득하는 취득부; 및 상기 제1 파라미터와 상기 제2 파라미터 중 적어도 하나에 근거하여 생성된 상기 가상 시점 화상을 표시하는 표시부를 구비한다.
본 개시내용의 추가의 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.
본 개시내용의 명세서의 일부에 포함되고 그 일부를 구성하는 첨부도면들은, 본 개시내용의 실시예들을 예시하고, 이 설명과 함께, 본 개시내용의 원리를 설명하는 역할을 한다.
도1a는 가상 시점 화상 생성 시스템의 구성도다.
도1b는 복수의 센서 시스템(101)의 설치 예를 도시한 도다.
도2a는 화상표시장치의 기능을 도시한 도다.
도2b는 화상표시장치의 구성을 도시한 도다.
도3a는 가상 카메라의 좌표계를 도시한 도다.
도3b는 가상 카메라의 위치를 도시한 도다.
도3c는 가상 카메라의 자세를 도시한 도다.
도3d는 가상 카메라의 이동을 도시한 도다.
도3e는 가상 카메라의 이동을 도시한 도다.
도3f는 가상 카메라의 이동을 도시한 도다.
도3g는 가상 카메라의 이동을 도시한 도다.
도3h는 가상 카메라의 이동을 도시한 도다.
도4a는 자동 조작에 의한 가상 카메라의 조작 예를 도시한 도다.
도4b는 가상 카메라의 동작의 설정 예를 도시한 도다.
도4c는 자동 조작 정보의 일례를 도시한 도다.
도4d는 자동 조작 정보의 일례를 도시한 도다.
도4e는 가상 시점 화상의 일례를 도시한 도다.
도4f는 가상 시점 화상의 일례를 도시한 도다.
도4g는 가상 시점 화상의 일례를 도시한 도다.
도5a는 수동 조작 화면을 도시한 도다.
도5b는 수동 조작 정보를 도시한 도다.
도6은 가상 카메라의 조작을 위한 처리 예를 도시한 흐름도다.
도7a는 조작 예를 도시한 도다.
도7b는 표시 예를 도시한 도다.
도7c는 표시 예를 도시한 도다.
도7d는 표시 예를 도시한 도다.
도7e는 표시 예를 도시한 도다.
도8a는 제2실시예에 따른 태그 생성을 도시한 도다.
도8b는 제2실시예에 따른 태그 재생 방법을 도시한 도다.
도8c는 제2실시예에 따른 태그 재생 방법을 도시한 도다.
도9는 제2실시예에 따른 가상 카메라의 조작을 위한 처리 예를 도시한 흐름도다.
도10은 제3실시예에 따른 수동 조작 예를 도시한 도다.
이하, 첨부 도면을 참조하여 실시예를 상세하게 설명한다. 이하의 실시예는 청구된 개시내용의 범위를 한정하려는 것이 아니다. 그 실시예에는 복수의 특징이 기재되어 있지만, 이러한 복수의 특징들 모두를 필요로 하는 실시예에 한정하는 것이 아니고, 복수의 이러한 특징은 적절히 조합되어도 된다. 더욱, 첨부 도면에 있어서는, 동일 또는 유사한 구성에 동일한 참조 번호를 첨부하고, 그의 중복된 설명은 생략한다.
<제1실시예>
본 실시예에서는, 복수의 촬상 장치에 의해 촬상된 복수의 화상과, 지정된 가상 시점에 근거하여, 지정된 가상 시점으로부터의 뷰(view)를 나타내는 가상 시점 화상을 생성하는 시스템에 관해서 설명을 행한다. 본 실시예에 있어서의 가상 시점 화상은, 유저가 자유롭게(임의로) 지정하는 시점에 대응한 화상에 한정되지 않고, 예를 들면 복수의 후보로부터 유저가 선택한 시점에 대응한 화상이어도 된다. 본 실시예에서는, 가상 시점의 지정이 유저 조작에 의해 행해질 경우를 주로 설명하지만, 가상 시점의 지정이 화상해석의 결과등에 근거해서 자동으로 행해져도 좋다.
본 실시예에서는, "가상 카메라"라고 하는 용어를 사용해서 설명을 행한다. 가상 카메라란, 촬상 영역의 주위에 실제로 설치된 복수의 촬상 장치와는 상이한 가상 카메라이며, 가상 시점 화상의 생성에 사용된 가상 시점을 편의적으로 설명하기 위한 개념이다. 다시 말해, 가상 시점 화상은, 촬상 영역과 관련된 가상 공간내에서 설정된 가상 시점으로부터 촬상한 화상이라고 간주할 수 있다. 그리고, 가상 촬상에 있어서의 시점의 위치 및 방향은 가상 카메라의 위치 및 방향으로서 나타낼 수 있다. 바꿔 말하면, 가상 시점 화상은, 그 공간내에 설정된 가상 시점의 위치에 카메라가 존재하는 것이라고 가정했을 경우에, 그 카메라에 의해 얻어지는 촬상 화상을 모의한 화상이라고 말할 수 있다.
설명순은, 도1a 및 도1b를 참조하여 가상 시점 화상 생성 시스템의 전체에 대해서 설명하고, 도2a 및 도2b를 참조하여 화상표시장치(104)에 대해서 설명한다. 이 화상표시장치(104)는 자동 조작과 수동 조작을 유의미하게 조합한 가상 카메라 제어 처리를 행할 것이다. 도6을 사용하여, 그 가상 카메라의 제어 처리에 대해서 설명하고, 그 제어 예, 및, 해당 가상 카메라를 사용한 가상 시점 화상의 표시 예에 대해서 도7a∼도7e에서 설명한다.
도3a∼도3h, 도4a∼도4g, 및 도5a, 도5b에서는, 이들의 설명에 필요한 가상 카메라의 구성이나, 자동처리와 수동처리의 각각에 대해서 설명한다.
(가상 시점 화상 생성 시스템의 구성)
우선, 도1a 및 도1b를 참조하여 본 실시예에 따른 가상 시점 화상 생성 시스템(100)의 구성을 설명한다.
가상 시점 화상 생성 시스템(100)은, 센서 시스템(101a)으로부터 센서 시스템(101n)까지의 ｎ개의 센서 시스템을 가지고, 각 센서 시스템은 적어도 1대의 촬영 장치인 카메라를 가진다. 이후에는, 달리 설명이 없는 한, "센서 시스템(101)"은, n개의 센서 시스템을 구별하지 않고, 복수의 센서 시스템(101)을 나타낸다.
도1b는, 복수의 센서 시스템(101)의 설치 예를 도시한 도다. 복수의 센서 시스템(101)은, 촬영의 대상영역인 영역(120)을 둘러싸도록 설치되어, 각각 상이한 방향에서 그 영역(120)을 촬영한다. 본 실시예의 예에서는, 촬영 대상의 영역(120)을 축구의 시합이 행해질 스타디움의 필드라고 하고 이 필드를 둘러싸도록 n대(예를 들면, 100대)의 센서 시스템(101)이 설치되는 것으로 하여 설명을 행한다. 그렇지만, 설치되는 센서 시스템(101)의 수는 한정되지 않고, 촬영 대상의 영역(120)은 스타디움의 필드에 한정되지 않는다. 예를 들면, 영역(120)에 스타디움의 객석이 포함되어도 좋고, 영역(120)이 옥내의 스튜디오나 무대등이여도 좋다.
또한, 복수의 센서 시스템(101)은 영역(120)의 전체 주위에 걸쳐 설치되지 않도록 구성이 취해져도 좋고, 복수의 센서 시스템(101)은 설치 장소의 제한 등에 따라서는 영역(120)의 주위의 일부에만 설치되도록 구성이 취해져도 좋다. 또한, 복수의 센서 시스템(101)에 구비된 복수의 카메라에는, 망원 카메라와 광각 카메라등의 기능이 상이한 촬영 장치가 포함되어 있어도 좋다.
복수의 센서 시스템(101)이 가지는 복수의 카메라는 서로 동기하여 촬영을 행한다. 이것들의 카메라의 촬영에 의해 얻어진 복수의 화상을 다시점 화상이라고 부른다. 또한, 본 실시예에 있어서의 다시점 화상의 각각은, 촬영 화상이여도 좋고, 촬영 화상에 대하여 예를 들면 소정의 영역을 추출하는 처리등의 화상처리를 행하는 것으로 얻어진 화상이여도 좋다.
또한, 복수의 센서 시스템(101)은, 카메라에 더해서 마이크(도시되지 않음)를 가져도 좋다. 복수의 센서 시스템(101)의 각 마이크는 서로 동기하여 음성을 수음한다. 이 수음된 음성에 근거하여, 화상표시장치(104)에 있어서의 화상의 표시와 함께 재생된 음성신호를 생성할 수 있다. 이후에는, 설명의 간략화를 위해, 음성에 관한 기재를 생략하지만, 기본적으로 화상과 음성은 동시에 처리되는 것으로 한다.
화상기록장치(102)는, 복수의 센서 시스템(101)으로부터 다시점 화상을 취득하여, 촬영에 사용한 타임 코드와 맞춰서 데이터베이스(103)에 기억한다. 타임 코드란, 촬영 장치가 촬영한 시간을 유일하게 식별하기 위한 정보이며, 예를 들면, "일:시:분:초.프레임 번호"의 형식으로 지정하는 것이 가능하다.
화상표시장치(104)는, 데이터베이스(103)로부터 타임 코드에 따라 다시점 화상과, 가상 카메라에 대한 유저의 수동 조작에 근거하여, 화상을 제공한다.
가상 카메라(110)는, 영역(120)과 관련된 가상 공간내에 설정되고, 복수의 센서 시스템(101)의 어느 카메라와도 상이한 시점에서 영역(120)을 열람할 수 있다. 가상 카메라(110)와, 그의 동작의 상세에 대해서는 도3c∼도3h를 참조하여 후술한다.
본 실시예에서는 가상 카메라(110)에 대한 자동 조작과 수동 조작의 양쪽을 사용하지만, 가상 카메라를 자동 조작하기 위한 자동 조작 정보에 대해서 도4a에 후술한다. 또한, 가상 카메라(110)를 수동 조작하기 위한 수동 조작방법에 대해서 도5a 및 도5b에 후술한다.
화상표시장치(104)는, 자동 조작과 수동 조작을 유의미하게 조합한 가상 카메라 제어 처리를 실행하고, 제어된 가상 카메라와 타임 코드에 근거하여 다시점 화상으로부터 가상 시점 화상을 생성한다. 이 가상 카메라 제어 처리에 대해서는 도6에 상세히 설명하고, 이 제어 예와, 그 가상 카메라를 사용해서 생성된 가상 시점 화상의 예에 대해서는 도7a∼도7e에 설명한다.
화상표시장치(104)가 생성하는 가상 시점 화상은, 가상 카메라(110)로부터의 뷰를 나타내는 화상이다. 본 실시예에 있어서의 가상 시점 화상은 자유시점 영상이라고도 불리는 것이며, 화상표시장치(104)의 터치패널이나 액정 디스플레이등에 표시된다.
또한, 가상 시점 화상 생성 시스템(100)의 구성은 도1a에 도시하는 것에 한정되지 않는다. 화상표시장치(104)와 조작 디바이스나 표시 디바이스와 분리되는 구성이여도 좋다. 또한, 복수의 표시 디바이스를 화상표시장치(104)에 접속하고, 각각에 가상 시점 화상을 출력하는 구성이여도 좋다.
또한, 도1a의 예에서는, 데이터베이스(103)와 화상표시장치(104)는 상이한 장치인 것으로서 설명했지만, 데이터베이스(103)와 화상표시장치(104)가 일체형으로 되는 구성이여도 좋다. 또한, 데이터베이스(103)로부터 중요한 씬(scene)을 화상표시장치(104)에 미리 복사하는 구성이여도 좋다. 더욱, 데이터베이스(103)와 화상표시장치(104)가 액세스가능한 타임 코드의 설정에 따라, 시합의 전체 타임 코드에 액세스 가능하게 할지, 일부에만 액세스 가능하게 할지를 전환하는 구성을 취하여도 좋다. 일부의 데이터를 복사하는 구성에서는 그 복사된 구간의 타임 코드에만 액세스를 허가하는 구성을 취하여도 좋다.
또한, 본 실시예에서는, 가상 시점 화상이 동화상인 일례를 중심으로 설명하지만, 가상 시점 화상은 정지 화상이여도 좋다.
(화상표시장치의 기능 구성)
다음에, 도2a 및 도2b을 참조하여 화상표시장치(104)의 구성을 설명한다.
도2a는 화상표시장치(104)의 기능 구성 예를 도시한 도면이다. 화상표시장치(104)는, 도2a에 도시된 기능을 사용하고, 자동 조작과 수동 조작을 유의미하게 조합한 가상 카메라 제어 처리를 실행한다. 화상표시장치(104)는, 수동 조작부(201), 자동 조작부(202), 조작 제어부(203), 태그 관리부(204), 모델 생성부(205), 및 화상 생성부(206)를 구비한다.
수동 조작부(201)는, 가상 카메라(110) 또는 타임 코드에 대하여, 유저가 수동 조작한 입력 정보를 접수하기 위한 접수부다. 가상 카메라의 수동 조작에는 터치패널, 조이스틱, 및 키보드 중 적어도 하나의 조작이 포함되지만, 수동 조작부(201)는 그 밖의 입력 디바이스의 조작을 통해 입력 정보를 취득해도 좋다. 수동 조작 화면의 상세에 대해서 도5a 및 도5b에 후술한다.
자동 조작부(202)는, 가상 카메라(110) 및 상기 타임 코드를 자동 조작한다. 본 실시예에 있어서의 자동 조작의 일례는 도4a를 참조해서 상세히 설명하지만, 유저의 수동 조작과 아울러, 화상표시장치(104)는 가상 카메라 또는 타임 코드를 조작 또는 설정한다. 유저에 있어서는 자신이 행한 조작과는 달리, 가상 시점 화상을 자동으로 조작된 것 같이 체감하게 된다. 자동 조작부(202)가 자동 조작에 사용하는 정보를 자동 조작 정보라고 부르고, 예를 들면, 후술하는 선수나 볼에 관한, 삼차원 모델의 좌표나, ＧＰＳ등으로 계측한 위치 정보를 사용한다. 또한, 자동 조작 정보는 이것들에 한정되지 않고, 유저 조작에 따르지 않고 가상 카메라와 타임 코드에 관한 정보를 지정할 수 있는 것이면 좋다.
조작 제어부(203)는, 수동 조작부(201)가 수동 조작 화면으로부터 취득한 유저 입력 정보와, 자동 조작부(202)가 사용하는 자동 조작 정보를 유의미하게 조합하여, 그 가상 카메라 또는 타임 코드를 제어한다.
조작 제어부(203)의 처리의 상세한 것은 도6을 참조해서 후술하고, 제어된 가상 카메라로 생성된 가상 시점 화상의 예에 대해서 도7a∼도7e를 참조해서 후술한다.
또한, 조작 제어부(203)에서는, 자동 조작과 수동 조작의 각각의 조작 대상이 되는 가상 카메라 동작을 설정하고, 이것을 동작 설정 처리라고 부르고, 도4a 및 도4b를 참조해서 그의 상세를 후술한다.
모델 생성부(205)는, 데이터베이스(103)로부터 타임 코드를 지정해 취득한 다시점 화상에 근거해서 영역(120)내의 오브젝트의 삼차원 형상을 나타내는 삼차원 모델을 생성한다. 구체적으로는, 다시점 화상으로부터, 볼이나 인물등의 오브젝트에 대응하는 전경영역을 추출한 전경화상과, 전경영역이외의 배경영역을 추출한 배경화상이 취득된다. 그리고, 모델 생성부(205)는, 복수의 전경화상에 근거해서 전경의 삼차원 모델을 생성한다.
삼차원 모델은, 이를테면 시체적 교차법(Ｖｉｓｕａｌ Ｈｕｌｌ)등의 형상추정 방법에 의해 생성되어, 점군으로 구성된다. 단, 오브젝트의 형상을 나타내는 삼차원 형상 데이터의 형식은 이것에 한정되지 않는다. 또한, 배경의 삼차원 모델은, 미리 외부 장치에 의해 취득되어도 좋다. 또한, 모델 생성부(205)는 화상표시장치(104)가 아니고 화상기록장치(102)에 포함되는 구성이여도 좋다. 이 경우에, 삼차원 모델이 데이터베이스(103)에 기록되고, 화상표시장치(104)는 삼차원 모델을 데이터베이스(103)로부터 판독한다. 또한, 전경의 삼차원 모델에 관해서, 볼, 인물 및 오브젝트의 각각의 좌표를 계산하여, 데이터베이스(103)에 축적하도록 구성되어도 좋다. 각 오브젝트의 좌표를, 도4c를 참조해서 후술하는 자동 조작 정보로서 지정하고, 자동 조작에 사용해도 좋다.
화상 생성부(206)는, 제어 처리된 가상 카메라에 근거하여, 삼차원 모델로부터 가상 시점 화상을 생성한다. 구체적으로는, 삼차원 모델을 구성하는 점마다, 다시점 화상으로부터 적절한 화소값을 취득해서 착색 처리를 행한다. 또한, 착색된 삼차원 모델을 삼차원의 가상 공간에 배치하고, 가상 시점에 투영해서 렌더링 함으로써, 가상 시점 화상이 생성된다. 단, 가상 시점 화상의 생성 방법은 이것에 한정되지 않고, 삼차원 모델을 사용하지 않고 촬상 화상의 투영 변환에 의해 가상 시점 화상을 생성하는 방법등, 여러 가지의 방법을 사용할 수 있다. 또한, 모델 생성부(205) 및 화상 생성부(206)는 화상표시장치(104)와 상이한 디바이스로서 구성되고 그 화상표시장치(104)에 접속되어도 된다.
태그 관리부(204)는, 자동 조작부(202)가 사용하는 자동 조작 정보를 태그로서 관리한다. 태그에 관해서는 제2실시예에 있어서 후술하고, 본 실시예는 태그를 사용하지 않는 구성으로서 설명을 행한다.
(화상표시장치의 하드웨어 구성)
다음에, 도2b를 참조해서 화상표시장치(104)의 하드웨어 구성에 대해서 설명한다. 화상표시장치(104)는, ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)(211), ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)(212), 및 ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)(213)을 포함한다. 또한, 화상표시장치(104)는, 조작 입력부(214), 표시부(215), 및 외부 인터페이스(216)를 포함한다.
ＣＰＵ(211)는, ＲＡＭ(212)과 ＲＯＭ(213)에 격납된 프로그램과 데이터를 사용해서 처리한다. ＣＰＵ(211)는, 화상표시장치(104)의 전체의 동작 제어를 행하고, 도2a에 도시된 각 기능을 실현하기 위한 처리를 실행한다. 또한, 화상표시장치(104)가 ＣＰＵ(211)와는 상이한 1개 이상의 전용의 하드웨어를 가지고, 그 전용의 하드웨어는 ＣＰＵ(211)에 의한 처리의 적어도 일부를 실행해도 좋다. 전용의 하드웨어의 예로서는, 특정 용도 지향 집적회로(ＡＳＩＣ), 필드 프로그래머블 게이트 어레이(ＦＰＧＡ) 및 디지탈 신호 프로세서(ＤＳＰ)가 있다.
ＲＯＭ(213)은, 프로그램과 데이터를 보유한다. ＲＡＭ(212)은, ＲＯＭ(213)으로부터 판독된 프로그램과 데이터를 일시적으로 기억하는 워크 에어리어를 가진다. 또한, ＲＡＭ(212)은, ＣＰＵ(211)가 각 처리를 실행할 때에 사용하는 워크 에어리어를 제공한다.
조작 입력부(214)는, 예를 들면 터치패널이며, 유저가 조작하는 정보를 취득한다. 예를 들면, 가상 카메라와 타임 코드에 대한 조작을 접수한다. 또한, 조작 입력부(214)는, 외부 콘트롤러와 접속하고, 조작에 관한 유저로부터의 입력 정보를 접수해도 좋다. 외부 콘트롤러는, 예를 들면, 조이스틱 등의 3축 콘트롤러나 마우스 등이다. 또한, 외부 콘트롤러는, 이것들에 한정되지 않는다.
표시부(215)는, 터치패널이나 스크린이며, 생성한 가상 시점 화상을 표시한다. 터치패널의 경우는, 조작 입력부(214)와 표시부(215)가 단일체인 구성이다.
외부 인터페이스(216)는, 예를 들면, ＬＡＮ등을 통하여, 데이터베이스(103)에 대해 정보의 송수신을 행한다. 또한, ＨＤＭＩ(등록상표)이나 ＳＤＩ등의 화상출력 포트를 통하여, 외부 스크린에 정보를 송신해도 좋다. 또한, 이더넷 등을 통해 화상 데이터를 송신해도 좋다.
(가상 카메라 동작)
다음에, 도3a∼도3h를 참조해서 가상 카메라(110)(또는 가상 시점)의 동작을 설명한다. 이 동작의 설명의 편의를 위해, 먼저 가상 카메라 위치 및 자세/시추대(view frustum)/주목점등에 대해서 설명한다.
가상 카메라(110)와 그의 동작은, 하나의 좌표계를 사용해서 지정된다. 좌표계는 도3a에 도시된 X축/Y축/Z축으로부터 구성된 일반적인 삼차원 공간의 직교좌표계를 사용한다.
이 좌표계는, 피사체에 대해 설정해 사용된다. 피사체는, 스타디움의 필드나, 스튜디오 등이다. 피사체는, 도3b에 도시한 바와 같이, 스타디움의 필드 전체(391)와, 그 위에 있는 볼(392)과 선수(393)등도 포함한다. 또한, 피사체는 그 필드의 주변의 객석등을 포함해도 좋다.
좌표계의 피사체에의 설정은, 필드(391)의 중심을, 원점(0, 0, 0)으로 한다. 또한, X축을 필드(391)의 긴 변 방향, Y축을 필드(391)의 짧은 변 방향, Z축을 필드에 대한 연직방향으로 한다. 여기서, 좌표계의 설정 방법은, 이것들에 한정되지 않는다.
다음에, 도3c 및 도3d를 사용하여, 가상 카메라에 대해서 설명한다. 가상 카메라는 가상 시점 화상을 묘화하기 위한 시점이다. 도3c에 도시된 사각추에 있어서, 정점이 가상 카메라의 위치(301)를, 정점으로부터 연장되는 벡터가 가상 카메라의 자세(302)를 나타낸다. 가상 카메라의 위치는, 삼차원 공간의 좌표(x, y, z)로 표현되고, 그 자세는 각 축의 성분을 스칼라로 하는 단위 벡터로 표현된다.
가상 카메라의 자세(302)는, 전방 클립면(303)과 후방 클립면(304)의 중심좌표를 통과하는 것으로 한다. 또한, 전방 클립면(303)과 후방 클립면에 끼워진 공간(305)을 가상 카메라의 시추대라고 부르고, 화상 생성부(206)가 가상 시점 화상을 생성하는 범위(혹은, 가상 시점 화상을 투영해 표시하는 범위, 이후, 가상 시점 화상의 표시 영역이라고 한다)가 된다. 가상 카메라의 자세(302)는 벡터로서 표현되고, 가상 카메라의 광축 벡터라고도 불린다.
도3d를 사용하여, 가상 카메라의 이동과 회전에 대해서 설명한다. 가상 카메라는, 삼차원 좌표로 표현된 공간내를 이동 및 회전한다. 가상 카메라의 이동(306)은, 가상 카메라의 위치(301)의 이동이며, 각 축의 성분(x, y, z)으로 표현된다. 가상 카메라의 회전(307)은, 도3a에 도시한 바와 같이, Z축 주위의 회전인 요(yaw), X축 주위의 회전인 피치, Y축 주위의 회전인 롤(roll)로 표현된다.
이것에 의해, 가상 카메라는 피사체(필드)의 삼차원 공간을 자유롭게 이동 및 회전할 수 있고, 피사체의 임의의 영역을 가상 시점 화상으로서 생성할 수 있다. 다시 말해, 가상 카메라의 Ｘ, Y, Z좌표(x, y, z) 및 X축, Y축 및 Z축의 회전 각도(pitch, roll, yaw)를 지정함으로써 가상 카메라의 촬영 위치 및 촬영 방향을 조작하는 것이 가능하다.
다음에, 도3e를 참조하여, 가상 카메라의 주목점(target point)의 위치를 설명한다. 도3e는 가상 카메라의 자세(302)가 주목면(308)에 향하고 있는 상태를 도시한 도면이다.
주목면(target surface)(308)은, 예를 들면, 도3b에 설명한 ＸＹ평면(필드면, Z=0)이다. 주목면(308)은, 이것에 한정되지 않고, ＸＹ평면에 평행하고, 사람이 자연으로 시점을 향하는 선수의 높이에 있는 평면(예를 들면, Z=1.7m)등이어도 좋다. 또한, 주목면(308)은 ＸＹ평면에 평행할 필요는 없다.
가상 카메라의 주목점의 위치(좌표)는, 가상 카메라의 자세(302)(벡터)와, 주목면(308)과, 교점(309)을 가리킨다. 가상 카메라의 주목점의 좌표(309)는, 가상 카메라의 위치(301)와, 자세(302)와, 주목면(308)이 결정되면, 유일한 좌표로서 계산될 수 있다. 또한, 그 때에 사용된 벡터와 평면의 교점(가상 카메라의 주목점 309)의 산출은 기지의 방법에 의해 실현될 수 있기 때문에 생략된다. 또한, 가상 카메라의 주목점의 좌표(309)가, 묘화된 가상 시점 화상의 중심이 되도록, 가상 시점 화상을 생성해도 좋다.
여기서, 가상 카메라의 이동 및 회전의 조합에 의해 실현될 수 있는 가상 카메라의 이동을 본 실시예에서는 가상 카메라 동작이라고 부른다. 상술한 것처럼, 이동 및 회전의 조합에 의해 무한 가상 카메라의 이동은 실현될 수 있고, 그 중에서, 유저가 쉽게 보고 조작할 수 있는 조합은 가상 카메라 동작으로서 미리 정의해두어도 좋다. 본 실시예에 따른 대표적인 가상 카메라 동작은 복수 있고, 이들은 확대(줌인), 축소(줌 아웃)이나, 주목점의 평행이동이나, 상기 회전과는 다른, 주목점을 중심으로 한 횡회전이나 종회전 등이다. 이것들의 동작에 대해서 다음에 설명한다.
확대/축소란, 가상 카메라의 표시 영역에 있는 피사체를 확대 또는 축소 표시하는 동작이다. 피사체의 확대/축소는, 가상 카메라의 위치(301)를, 가상 카메라의 자세방향(광축방향)(302)을 따라 전후 이동함으로써 실현된다. 가상 카메라가 자세방향(광축방향)(302)을 따라 전진하면, 표시 영역에 있는 피사체에 방향을 변경하지 않고 가까이 가기 때문에, 결과적으로 피사체는 확대 표시되게 된다. 반대로, 가상 카메라가 자세방향(광축방향)을 따라 후퇴하면, 피사체가 보다 작아진다. 또한, 확대/축소는 이 방법에 한정되지 않고, 가상 카메라의 초점거리등의 변경을 사용해도 좋다.
주목점의 평행 이동은, 가상 카메라의 자세(302)를 변경하지 않고, 가상 카메라의 주목점(309)을 이동하는 동작이다. 이 동작에 대해서 도3f를 참조해서 설명하면, 가상 카메라의 주목점 309의 평행 이동은 궤적(320)이며, 가상 카메라의 주목점 309로부터 주목점 319까지의 이동을 가리킨다. 주목점의 평행 이동(320)에서는, 가상 카메라의 위치는 변화되지만 자세 벡터(302)는 변화되지 않기 때문에, 주목점만을 이동해서 같은 방향으로부터 피사체를 계속해서 보는 가상 카메라 동작이 된다. 또한, 자세 벡터(302)는 변화되지 않기 때문에, 가상 카메라의 주목점(309)의 평행 이동 320과, 가상 카메라의 위치(301)의 평행 이동 321은, 같은 이동 궤적(이동 거리)이 된다.
계속해서, 도3g를 참조하여 주목점을 중심으로 한 가상 카메라의 횡회전에 대해서 설명한다. 주목점을 중심으로 한 횡회전은, 도3g에 도시한 바와 같이, 주목점(309)을 중심으로 하고, 가상 카메라가 주목면(308)의 평행면을 따라 회전(322)하는 동작이다. 주목점(309)을 중심으로 한 횡회전에 있어서, 자세 벡터(302)는 주목점(309)을 계속해서 향한 채 변화되고, 주목점(309)의 좌표는 변화되지 않는다. 유저는 주목점을 중심으로 한 횡회전에 의해, 주목점(309)은 움직이지 않기 때문에, 그 주변에 있는 피사체를, 주목면으로부터의 높이를 변화시키지 않고 여러가지 각도로부터 볼 수 있다. 이 동작은, 주목점을 어긋나게 하지 않고, 또, 피사체(주목면)로부터의 거리가 높이에 있어서 변화되지 않으므로, 유저는 주목 대상을 여러가지 각도로부터 쉽게 볼 수 있다.
또한, 가상 카메라의 위치(301)의 회전시의 궤적(322)은, 주목면(308)과 평행면에 있고, 회전의 중심은 참조번호 323이 된다. 다시 말해, 주목점의 ＸＹ좌표를 (X1, Y1)로 하고 가상 카메라의 ＸＹ좌표를 (X2, Y2)로 하여, R^2=(X1-X2)^2+(Y1-Y2)^2가 되는 반경R의 원위를 이동하도록 가상 카메라의 위치를 결정한다. 또한, 가상 카메라의 위치로부터 주목점의 ＸＹ좌표방향으로 자세 벡터가 되도록 자세를 결정함으로써, 주목점을 어긋나게 하지 않고 여러가지 각도로부터 피사체를 볼 수 있다.
계속해서, 도3h를 참조해서 주목점을 중심으로 한 가상 카메라의 종회전에 대해서 설명한다. 주목점을 중심으로 한 종회전은, 도3h에 도시한 바와 같이, 주목점(309)을 중심으로 하고, 가상 카메라가 주목면(308)과 수직면을 따라 회전(324)하는 동작이다. 주목점을 중심으로 한 종회전에 있어서, 자세 벡터(302)는 주목점(309)을 계속해서 향한 채 변화되고, 주목점(309)의 좌표는 변화되지 않는다. 상술한 횡회전(322)과 달리, 가상 카메라의 주목면으로부터의 높이는, 변화되는 동작이다. 이 경우, 가상 카메라의 위치와, 주목점을 포함하고, ＸＹ평면에 대하여 수직한 평면상에서, 가상 카메라의 위치와 주목점과의 사이의 거리가 변하지 않도록 가상 카메라의 위치를 결정할 수 있다. 또한, 가상 카메라의 위치부터 주목점의 위치에 자세 벡터가 되도록 자세를 결정함으로써, 주목점을 어긋나게 하지 않고 여러가지 각도로부터 피사체를 볼 수 있다.
이상 설명한 주목점을 중심으로 한 횡회전(322)과 종회전(324)을 조합하는 것에 의해, 가상 카메라는 주목점(309)을 변화시키지 않고 360도의 여러가지 각도로부터 피사체를 볼 수 있는 동작을 실현할 수 있다. 이 동작을 사용하는 가상 카메라의 조작 제어 예를, 도7a∼도7e를 참조해서 후술한다.
또한, 가상 카메라 동작은 이것들에 한정되지 않고, 가상 카메라의 이동과 회전의 조합에 의해 실현될 수 있는 동작이어도 좋다. 이상 설명한 가상 카메라 동작은, 자동 조작이여도 수동 조작이여도 마찬가지로 조작할 수 있다.
(동작 설정 처리)
본 실시예에서는, 도3a∼도3h에 설명된 가상 카메라 동작을, 자동 조작과 수동 조작의 각각에 자유롭게 할당할 수 있다. 이 할당을 동작 설정 처리라고 부른다.
다음에, 도4a 및 도4b를 참조해서 동작 설정 처리에 대해서 설명한다. 또한, 동작 설정 처리는 화상표시장치(104)의 조작 제어부(203)에 있어서 실행된다.
도4a는, 가상 카메라 동작에 식별자를 할당한 리스트이며, 동작 설정 처리에 사용된다. 도4a에서는, 동작 식별자(ＩＤ)마다 도3c∼도3h에 설명한 가상 카메라 동작이 설정되어 있다. 예를 들면, 식별자=2에는 도3f를 참조해서 설명한 주목점의 평행 이동이, 식별자=3에는 도3g를 참조해서 설명한 주목점을 중심으로 한 횡회전이, 식별자=4에는 도3h를 참조해서 설명한 주목점을 중심으로 한 종회전이 설정되어 있다. 그 밖의 식별자에 대해서도 마찬가지로 설정할 수 있다. 조작 제어부(203)는, 이 식별자를 사용하는 것에 의해, 자동 조작이나 수동 조작에 할당된 가상 카메라 동작을 지정한다. 또한, 일례에서는, 동일한 동작에 복수의 동작 식별자를 할당하여도 좋다. 예를 들면, 식별자=5에는, 도3f를 참조해서 설명한 주목점의 평행 이동이며, 이동 거리가 10m의 평행 이동이 설정되고, 식별자=6에는, 도3f를 참조해서 설명한 주목점의 평행 이동이며, 이동 거리가 20m의 평행 이동이 설정되어도 좋다.
도4b는, 동작이 설정된 일례다. 도4b에서는, 자동 조작의 대상으로서, 가상 카메라의 주목점의 평행 이동(식별자=2)이 설정되어 있다. 또한, 수동 조작의 대상으로서, 확대/축소(식별자=1)와, 주목점의 평행 이동(식별자=2)과, 주목점을 중심으로 한 횡회전(식별자=3) 및 종회전(식별자=4)이 설정되어 있다.
화상표시장치(104)의 조작 제어부(203)는, 이 동작 설정에 따라, 자동 조작과 수동 조작에 의한 가상 카메라 동작을 제어한다. 도4b의 예에서는, 자동 조작에 의해 타임 코드에 의해서 가상 카메라의 주목점이 평행 이동하고, 자동 조작에 의해 지정된 주목점의 위치를 변경하지 않고, 유저의 수동 조작에 의해 피사체를 여러가지 각도나 확대율로 볼 수 있다. 이 동작 설정 예에 따른 가상 카메라 동작이나, 가상 시점 화상의 표시 예에 관한 상세한 설명은 도4c, 도4d 및 도7a∼도7e를 참조해서 후술한다. 또한, 동작 설정할 수 있는 조합은 도4b의 예에 한정되지 않고, 또한, 동작 설정의 내용을 도중에 변경하는 것도 가능하다. 또한, 자동 조작 또는 수동 조작에서 설정될 수 있는 동작은 하나가 아니고, 각각 복수의 가상 카메라 동작을 설정하는 구성도 가능하다.
동작 설정의 조합은 기본적으로 자동 조작과 수동 조작 사이에서 배타 제어이여도 좋다. 예를 들면, 도4b의 예에서는, 자동 조작의 대상이 가상 카메라의 주목점의 평행 이동이며, 자동 조작중에, 수동 조작에 의한 주목점의 평행 이동이 조작되었을 경우이여도 캔슬(무시)하는 것 같은 처리를 행해도 좋다. 또한, 배타 제어를 일시적으로 해제하는 것 같은 처리를 행해도 좋다.
또한, 동작이 설정되는 조합은, 미리 설정 후보를 화상표시장치(104)가 보유해도 좋고, 유저가 자동 조작과 수동 조작에 할당되는 가상 카메라 동작의 선택 조작을 유저로부터 접수해서 설정해도 좋다.
(자동 조작 정보)
도4a 및 도4b를 참조해서 설명한 동작 설정 처리에 있어서 자동 조작으로서 지정된 가상 카메라 동작에 관하여, 타임 코드마다 구체적 내용을 나타낸 정보를 자동 조작 정보라고 부른다. 여기에서, 도4c 및 도4d를 참조하여, 자동 조작 정보에 대해서 설명한다. 자동 조작 정보로 지정된 가상 카메라 동작의 식별자(종류)는, 도4a 및 도4b를 참조해서 설명한 바와 같이 동작 설정 처리에 의해 결정된다. 도4c는 도4b의 동작 설정 예에 대응한 자동 조작 정보의 예다.
도4c에 있어서의 자동 조작 정보(401)는, 가상 카메라 동작으로서, 타임 코드마다 가상 카메라의 주목점의 위치와 자세가 지정되어 있다. 도4c의 제1행부터 최종 행까지의 타임 코드와 같이, 연속하는 타임 코드(2020-02-02 13:51:11.020∼2020-02-02 13:51:51.059)를 타임 코드 구간이라고 부른다. 또한, 그 시작 시각(13.51.11.020)을 시작 타임 코드, 그 종료 시각(13:51:51.059)을 종료 타임 코드라고 부른다.
주목점의 좌표는 (x, y, z)로 지정되고, z는 일정값(z=z01)이며, (x, y)만이 변화되고 있다. 이 좌표들의 연속 값을, 도4d에 도시된 삼차원 공간(411)에 도시하면, 필드면으로부터 일정한 높이로 평행 이동(도4b의 식별자=2)하는 궤적(412)이 된다. 한편, 가상 카메라의 자세에 관해서는, 대응한타임 코드 구간에 있어서 초기값만이 지정되어 있다. 따라서, 자동 조작 정보(401)를 사용한 자동 조작은, 지정된 타임 코드 구간에서, 자세에 대해서는 초기값(-Y방향)으로부터 변화되지 않고, 주목점이 궤적(412)을 추종하도록 가상 카메라는 이동한다(421∼423).
예를 들면, 궤적(412)이, 럭비 등의 필드 스포츠에 있어서의 볼의 위치를 추종(주목점의 위치=볼의 위치)하도록 설정되면, 이 자동 조작에 의해 가상 카메라는 자세를 변화시키지 않고, 항상 볼과 그 주변의 피사체를 추적한다.
도4d에 도시된 자동 조작 정보를 사용했을 경우에, 가상 카메라가 참조번호 421∼423에 있을 때의 가상 시점 화상의 예는 각각 도4e∼도4g에 도시되어 있다. 이것들의 일련의 도면에 도시한 바와 같이, 타임 코드 및 위치가 변화함으로써, 가상 카메라의 화각에 속하는 피사체는 변화되지만, 가상 시점 화상 모두는 동일한 자세 벡터, 다시 말해 -Y방향을 갖는다. 본 실시예에서는, 이러한 자동 조작 정보(401)를 사용한 자동 조작을 자동재생이라고도 부른다.
또한, 궤적(412)과 같은 연속 값의 좌표는, 도2a의 모델 생성부(205)에 설명된 바와 같이, 삼차원 모델 생성시에 계산한 전경 오브젝트인 볼이나 선수의 좌표를 사용할 수 있다.
또한, 화상표시장치(104)이외의 디바이스로부터 취득한 데이터를 자동 조작 정보에 사용해도 좋다. 예를 들면, 피사체로서 포함되는 볼이나 선수의 의류등에 위치측위 태그를 장착하고, 그 위치 정보를 주목점으로서 사용해도 좋다. 또한, 삼차원 모델 생성시에 계산한 전경 오브젝트의 좌표나, 위치측위 태그로 취득한 위치 정보를 그대로 자동 조작 정보에 사용해도 좋고, 이 정보로부터 별도로 산출된 정보를 사용해도 좋다. 예를 들면, 삼차원 모델의 전경 오브젝트의 좌표값이나 측위값에 관해서, 선수의 자세나 볼의 위치에 따라 z값은 변동하지만, z는 고정 값으로 하고 x, y의 값만 사용해도 좋다. z의 값은 필드의 높이(z=0)나, 시청자가 자연으로 눈을 돌리기 쉬운 높이(z=1.7m등)을 설정해도 좋다. 또한, 자동 조작 정보를 취득하는 디바이스는 위치측위 태그에 한정되지 않고, 예를 들면, 표시중의 화상표시장치(104)와는 상이한 또 하나의 화상표시장치로부터 수신된 정보를 사용해도 좋다. 예를 들면, 자동 조작 정보의 조작을 행하는 작업자가, 화상표시장치(104)와는 상이한 또 하나의 화상표시장치를 조작해서 자동 조작 정보를 입력해도 좋다.
또한, 자동 조작 정보로 지정될 수 있는 타임 코드 구간은, 필드 스포츠에 있어서의 시합 전체이여도 좋거나, 그 일부이여도 좋다.
또한, 자동 조작 정보의 예는, 이상 설명한 예에 한정되지 않는다. 자동 조작 정보의 항목은, 가상 카메라 동작에 관한 정보이면 한정되지 않는다. 그 밖의 자동 조작 정보의 예에 관해서는 후술한다.
(수동 조작 화면)
도5a 및 도5b를 사용하여, 본 실시예에 따른 가상 카메라의 수동 조작에 대해서 설명한다. 수동 조작으로 지정된 가상 카메라 동작은, 도4a 및 도4b에 도시된 동작 설정 처리에 의해 결정되었다. 여기에서는, 동작 설정 처리에서 할당된 가상 카메라 동작에 대한 수동조작방법이나, 타임 코드의 수동조작방법에 대해서 설명한다.
도5a는, 화상표시장치(104)의 조작 입력부(214)의 수동 조작 화면(501)의 구성을 설명하기 위한 도다.
도5a에 있어서, 수동 조작 화면(501)은, 주로 가상 카메라 조작 영역(502)과, 타임 코드 조작 영역(503)으로 구성된다. 가상 카메라 조작 영역(502)은 가상 카메라에 대한 유저의 수동 조작을 접수하기 위한 그래픽 유저 인터페이스(ＧＵＩ)이고, 타임 코드 조작 영역(503)은 타임 코드에 대한 유저의 수동 조작을 접수하기 위한 그래픽 유저 인터페이스(ＧＵＩ)이다.
우선, 가상 카메라 조작 영역(502)에 대해서 설명한다. 가상 카메라 조작 영역(502)은, 접수한 조작의 종류에 따라, 도4a 및 도4b의 동작 설정 처리로 설정된 가상 카메라 동작을 실행한다.
도5a의 예에서는, 터치패널을 사용하기 때문에, 조작의 종류는 탭이나 스와이프(swipe) 등의 터치 조작의 종류가 된다. 한편, 유저 조작의 입력을 위해 마우스를 사용하는 경우에는, 탭 조작 대신에 클릭 조작이, 스와이프 조작 대신에 드랙 조작이 행해져도 좋다. 이들의 터치 조작의 각각에는, 도4a에 도시된 가상 카메라 동작인, 주목점의 평행 이동이나, 주목점을 중심으로 한 횡/종회전등의 동작을 할당한다. 이 할당을 결정하는 테이블을 수동 조작 설정이라고 부르고, 도5b에 도시한다.
도5b를 사용하여, 수동 조작 설정에 대해서 설명한다. 도5b에서는, 항목에, 터치 조작, 터치수, 터치 영역, 그리고, 가상 카메라 동작의 식별자(ＩＤ)가 있다.
터치 조작의 항목에는, 가상 카메라 조작 영역(502)에서 가능한 터치 조작이 열거된다. 예를 들면, 탭이나 스와이프 등이 포함된다. 터치수의 항목에는, 터치 조작에 필요한 손가락의 개수가 정의된다. 터치 영역의 항목에는, 해당 터치 조작의 처리 대상이 되는 영역이 지정된다. 예를 들면, 가상 카메라 조작 영역(전체)과 가상 카메라 조작 영역(우측 가장자리)등이 지정된다. 터치 조작의 항목, 터치수의 항목, 및 터치 영역의 항목의 3항목의 내용에 따라, 유저로부터 접수된 수동 조작의 내용이 구별된다. 그리고, 각각의 수동 조작에 가상 카메라 동작의 식별자(ＩＤ)를 할당하는 것에 의해, 각 수동 조작을 접수했을 때에, 가상 카메라 동작의 하나를 실행한다. 가상 카메라 동작의 식별자(ＩＤ)는 도4a를 참조해서 설명한 바와 같이, 도3c∼도3h에 설명한 가상 카메라 동작의 종류를 식별한다.
도5b의 할당 예에서는, 예를 들면 제2행(Ｎｏ．2)의 지정에 의해, 가상 카메라의 조작 영역(502)에 대한 1개 손가락의 횡방향의 스와이프 조작을 접수했을 때에, 주목점을 중심으로 한 횡회전(동작 식별자=3)이 실행되게 된다. 또한, 제3행(Ｎｏ．3)의 지정에 의해, 가상 카메라의 조작 영역(502)에 대한 1개 손가락의 종방향의 스와이프 조작을 접수했을 때에, 주목점을 중심으로 한 종회전(동작 식별자=4)이 실행되게 된다.
또한, 가상 카메라의 수동 조작에 사용된 터치 조작의 종류에 대해서는, 손가락의 개수에 따른 제스처 조작을 사용해도 좋고, 후술하는 제3실시예에 나타내는 비교적 간단한 제스처 조작을 사용해도 좋다. 모두 도5b의 수동 조작 설정으로 지정가능하다. 또한, 수동 조작 설정으로 지정할 수 있는 조작은 터치 조작에 한정되지 않고, 터치패널이외의 디바이스를 사용하는 경우의 조작을 지정할 수 있다.
다음에, 타임 코드 조작 영역(503)에 대해서 설명한다. 타임 코드 조작 영역(503)은 타임 코드를 조작하기 위한 구성 요소(512∼515)로부터 구성된다. 메인 슬라이더(512)는, 촬영 데이터의 전체 타임 코드를 조작할 수 있다. 손잡이(knob)(522)의 위치를 드랙 조작 등으로 선택하여서, 메인 슬라이더(512)내의 임의의 타임 코드를 지정할 수 있다.
서브 슬라이더(513)는, 타임 코드의 일부를 확대해서 표시하고, 메인 슬라이더(512)보다 미세한 입도로 타임 코드를 조작할 수 있다. 손잡이(523)의 위치를 드랙 조작 등으로 선택하여서, 타임 코드를 지정할 수 있다. 메인 슬라이더(512)와 서브 슬라이더(513)는 화면상에는 같은 길이이지만, 선택될 수 있는 타임 코드의 범위는 상이하다. 예를 들면, 메인 슬라이더(512)는 1시합의 길이인 3시간분부터 선택가능한 것에 대해, 서브 슬라이더(513)는 그의 일부인 30초부터 선택 가능하게 한다. 즉, 각 슬라이더의 스케일이 상이하고, 서브 슬라이더(513)는, 프레임 단위로 한 것 같은, 보다 미세한 입도의 타임 코드를 지정할 수 있다. 일례에서는, 서브 슬라이더(513)는, 손잡이(522)가 위치된 시간의 15초전부터 15초후까지이다.
또한, 메인 슬라이더(512)의 손잡이(522)를 사용해서 지정된 타임 코드와, 서브 슬라이더(513)의 손잡이(523)를 사용해서 지정된 타임 코드를, "일:시:분:초. 프레임 번호"의 형식으로 수치로서 표시해도 좋다. 또한, 서브 슬라이더(513)는 항상 표시될 필요는 없다. 예를 들면, 그것은 표시 지시를 접수후에 표시해도 좋고, 일시정지등의 특정한 조작이 지시되었을 때에 표시해도 좋다. 또한, 서브 슬라이더(513)로 선택 가능해지는 타임 코드 구간은 가변적이다. 일시정지등의 특정 조작을 접수했을 때에는, 일시정지의 지시를 접수한 시점에서의 손잡이(523)의 시각의 전후 15초정도의 구간을 표시해도 좋다.
재생 속도를 지정하는 슬라이더(514)는, 등배재생이나 슬로우 재생 등의 재생 속도를 지정가능하다. 손잡이(524)로 선택된 재생 속도에 따라, 타임 코드의 증분 간격을 제어한다. 타임 코드의 증분 간격을 제어하는 예에 대해서는 도6의 흐름도를 참조해서 설명한다.
캔슬 버튼(515)은, 타임 코드에 관한 각 조작을 캔슬하기 위해서 사용해도 좋고, 일시정지를 클리어하고, 통상 재생에 되돌아가기 위해 사용해도 좋다. 또한, 이 버튼은, 타임 코드에 관한 수동 조작을 행하는 버튼이면, 캔슬에 한정되지 않는다.
또한, 수동 조작 화면은, 가상 카메라 조작 영역(502)과 타임 코드 조작 영역(503)이외의 영역을 포함해도 좋다. 예를 들면, 화면상부의 영역(511)에, 시합 정보를 표시해도 좋다. 시합 정보로서는, 개최 장소/일시, 대전 카드, 및 득점 상황을 들 수 있다. 또한, 시합 정보는 이것에 한정되지 않는다.
또한, 화면상부의 영역(511)에 있어서는, 예외적인 조작을 할당해도 좋다. 예를 들면, 화면상부의 영역(511)이 더블 탭을 접수했을 경우에는, 가상 카메라의 위치와 자세는, 피사체 전체를 위에서 볼 수 있는 위치에 이동되도록 조작되어도 좋다. 가상 카메라의 수동 조작은 익숙하지 않은 유저에는 어려운 경우가 있고, 무슨 위치에 있는 것인지 불분명한 경우도 있다. 이러한 경우에 있어서, 유저에 있어서 위치와 자세를 알기 쉬운 부감지점에 되돌아가도록 조작을 할당해도 좋다. 부감화상은, 도3b에 도시된 것 같은 피사체를 Z축으로부터 내려다보는 가상 시점 화상이다.
또한, 가상 카메라 또는 타임 코드를 조작할 수 있으면 구성은 이것들에 한정되지 않고, 가상 카메라 조작 영역(502)과 타임 코드 조작 영역(503)은 분리될 필요는 없다. 예를 들면, 가상 카메라 조작 영역(502)에 대한 더블 탭등으로, 타임 코드에 대한 조작으로서 일시정지등이 처리되어도 좋다. 또한, 조작부 입력부(214)가 타블렛(500)인 경우를 설명했지만, 조작 및 표시 디바이스는 이것에 한정되지 않는다. 예를 들면, 표시 영역(502)의 우반을 더블 탭했을 경우에는 10초 고속 감기하고, 좌반을 더블 탭했을 경우에는 10초 되감도록, 조작부 입력부(214)가 설정되어도 좋다.
(조작 제어 처리)
다음에, 도6의 흐름도를 사용하여, 본 실시예에 따른 자동 조작과 수동 조작을 유의미하게 조합하는 가상 카메라의 제어 처리에 대해서 설명한다.
자동 조작과 수동 조작의 각각에 설정된 가상 카메라 동작은 이전에 설명된 동작 설정 처리에 의해 결정된다. 더욱이, 자동 조작은 도4a에 설명한 자동 조작 정보에 따라 실행되고, 수동 조작은 도5b에 설명한 수동설정 내용에 따라 실행된다. 또한, 그 양쪽의 조작을 유의미하게 조합한 가상 카메라 제어 처리에 대해서 본 흐름도로 설명한다. 또한, 도6에 도시된 흐름도는, ＣＰＵ(211)가, ＲＡＭ(212)을 워크 스페이스로서 사용하고, ＲＯＭ(213)에 격납된 프로그램을 실행함으로써, 실현된다.
조작 제어부(203)는, 단계 S602에서 타임 코드 및 재생 속도에 관한 처리를 실행하고, 그 후에, 단계 S604∼단계 S608에 있어서 자동 조작과 수동 조작을 유의미하게 조합하는 처리를 실행한다. 또한, 조작 제어부(203)는, 단계 S602∼단계 S611의 루프 처리를 프레임마다 실행한다. 예를 들면, 출력된 가상 시점 화상의 프레임 레이트가 60ＦＰＳ일 경우, 약 16.6[ｍｓ]의 간격으로 단계 S602∼단계 S611의 1루프(1프레임)를 처리한다. 또한, 1루프의 간격에 관해서, 화상표시장치에 있어서 터치패널등의 화상표시에 있어서의 갱신 레이트(refresh rate)를 60ＦＰＳ로 설정하고, 그것과 동기 처리 함으로써 실현해도 좋다.
단계 S602에서는, 조작 제어부(203)는, 타임 코드를 증분한다. 본 실시예에 따른 상기 타임 코드는, 도4c에 설명한 바와 같이 "일:시:분:초:프레임 번호"에 의해 지정될 수 있고, 증분은 프레임마다 실행된다. 바꿔 말하면, 단계 S602∼단계 S611의 루프 처리가 이전에 설명된 대로 프레임마다 실행되므로, 매 루프 처리마다 타임 코드에 있어서의 프레임수가 증분된다.
또한, 타임 코드의 증분은, 도5a에서 설명한 재생 속도의 슬라이더의 선택 값(514)에 따라, 증분 간격을 변경해도 좋다. 예를 들면, 1/2의 재생 속도가 지정된 경우, 프레임은 단계 S602∼단계 S611의 루프 처리 2회마다 한번 증분되어도 좋다.
다음에, 조작 제어부(203)는 처리를 단계 S603에 진행시키고, 모델 생성부(205)를 통하여, 증분 또는 지정된 타임 코드의 삼차원 모델을 취득한다. 모델 생성부(205)는 도2a에 설명한 바와 같이, 다시점 화상으로부터 피사체의 삼차원 모델을 생성한다.
다음에, 단계 S604에서는, 조작 제어부(203)는, 증분된 또는 지정된 타임 코드에 있어서의 자동 조작부(202)의 자동 조작 정보가 있는 것인가 아닌가를 판정한다. 타임 코드에 있어서의 자동 조작 정보가 있을 경우(단계 S604에서 Ｙｅｓ), 조작 제어부(203)는 처리를 단계 S605에 진행시키고, 자동 조작 정보가 없을 경우(단계 S604에서 Ｎｏ)는 조작 제어부(203)는 처리를 단계 S606에 진행시킨다.
단계 S605에 있어서, 조작 제어부(203)는, 대응한 타임 코드에 있어서의 자동 조작 정보를 사용해서 가상 카메라를 자동 조작한다. 가상 카메라의 자동 조작에 대해서는 도4a∼도4c를 참조해서 설명했기 때문에, 그 설명을 생략한다.
단계 S606에 있어서, 조작 제어부(203)는, 유저로부터 수동 조작을 접수하고, 접수한 조작 내용에 따라서 처리를 전환한다. 타임 코드에 대한 수동 조작을 접수했을 경우(단계 S606에서 "타임 코드 조작"), 조작 제어부(203)는 처리를 단계 S609에 진행시킨다. 가상 카메라에 대한 수동 조작을 접수했을 경우(단계 S606에서 "가상 카메라 조작"), 조작 제어부(203)는 처리를 단계 S607에 진행시킨다. 수동 조작을 접수하지 않았을 경우(단계 S606에서 "없음"), 조작 제어부(203)는 처리를 단계 S609에 진행시킨다.
단계 S607에 있어서, 조작 제어부(203)는 수동 조작(단계 S606)으로 지정된 가상 카메라 동작이, 자동 조작(단계 S605)으로 지정된 가상 카메라 동작과 간섭하는 것인가 아닌가를 판정한다. 동작의 비교에는, 도4a에 도시된 가상 카메라 동작의 식별자를 사용하여서, 자동 조작과 수동 조작이 동일 식별자일 경우에 자동 조작과 수동 조작이 간섭한다고 판정해도 좋다. 또한, 이것은 식별자의 비교에 한정되지 않고, 가상 카메라의 위치나 자세의 변화량 등을 비교해서 간섭이 있는 것인가 아닌가를 판정해도 좋다.
수동 조작으로 지정된 가상 카메라의 동작이 자동 조작으로 지정된 동작과 간섭한다고 판정되었을 경우(단계 S607에서 Ｙｅｓ), 조작 제어부(203)는 처리를 단계 S609에 진행시키고, 접수한 수동 조작은 캔슬된다. 다시 말해, 자동 조작과 수동 조작이 간섭하는 경우에는, 자동 조작이 우선된다. 또한, 자동 조작에 의해 변화되지 않는 파라미터에 대해서는 수동 조작에 근거해서 조작된다. 예를 들면, 자동 조작에 의해 주목점의 평행 이동이 행해질 경우, 주목점의 위치는 변화되지만 가상 카메라의 자세는 변화되지 않는다. 이 때문에, 주목점의 위치는 변화되지 않지만 가상 카메라의 자세가 변화되는, 가상 카메라의 횡회전, 종회전등은 주목점의 평행 이동과 간섭하지 않으므로, 수동 조작에 의해 실행될 수 있다. 지정된 가상 카메라의 동작이 자동 조작으로 지정된 동작과 간섭하지 않는다고 판정되었을 경우(단계 S607에서 Ｎｏ), 조작 제어부(203)는 처리를 단계 S608에 진행시키고, 자동 조작과 수동 조작을 조합한 가상 카메라 제어 처리를 실행한다.
예를 들면, 단계 S605에서 지정된 자동 조작의 동작이 주목점의 평행 이동(식별자=2)으로, 단계 S606에서 지정된 수동 조작의 동작이 주목점의 평행 이동(식별자=2)으로, 감상된다고 판정되었을 경우, 수동 조작의 주목점의 평행 이동은 캔슬된다. 한편, 예를 들면, 단계 S605에서 지정된 자동 조작의 동작이 주목점의 평행 이동(식별자=2)이고, 단계 S606에서 지정된 수동 조작의 동작이 주목점을 중심으로 한 종/횡회전(식별자=3, 4)일 때, 그 동작들은 상이한 동작이라고 판정된다. 이 경우에, 도7a∼도7e를 참조해서 후술하는 것 같이, 단계 S608에서 각기 조합되는 동작이 실행된다.
계속해서, 단계 S608에서는, 조작 제어부(203)는, 가상 카메라의 수동 조작을 실행한다. 가상 카메라의 수동 조작에 대해서는 도5a 및 도5b에서 설명했으므로, 그 설명을 생략한다. 다음에, 조작 제어부(203)는 처리를 단계 S609에 진행시키고, 자동 조작 및 수동 조작의 적어도 한쪽에 의해서 조작된 가상 카메라의 위치와 자세로 촬상했을 경우의 가상 시점 화상을 생성해서 묘화한다. 가상 시점 화상의 묘화에 대해서는 도2a에서 설명했으므로, 그 설명을 생략한다.
단계 S610에서는, 조작 제어부(203)는, 표시해야 할 타임 코드를, 유저에 의한 수동 조작으로 지정된 타임 코드로 갱신한다. 타임 코드를 지정하기 위한 수동 조작에 대해서는 도5a 및 도5b에서 설명했으므로, 그 설명을 생략한다.
단계 S611에서는, 조작 제어부(203)는 모든 프레임의 표시가 완료한 것인가 아닌가, 즉 종료 타임 코드에 도달한 것인가 아닌가를 판정한다. 종료 타임 코드에 도달했을 경우(단계 S611에서 Ｙｅｓ), 조작 제어부(203)는 도6에 도시된 처리를 종료하고, 종료 타임 코드에 도달하지 않았을 경우(단계 S611에서 Ｎｏ)는 처리를 단계 S602에 되돌아간다. 이상의 흐름도를 사용한 가상 카메라 제어 예, 및, 가상 시점 화상의 생성 예에 대해서, 이후의 도7a∼도7e를 사용해서 설명한다.
(가상 카메라 제어 예, 및, 가상 시점 화상의 표시 예)
도7a∼도7e를 참조하여, 본 실시예에 따른 자동 조작과 수동 조작을 조합한 가상 카메라의 제어 예, 및, 가상 시점 화상의 표시 예에 대해서 설명한다.
여기에서는, 가상 카메라의 제어 예로서, 자동 조작에 도4c 및 도4d에 설명한 자동 조작 정보를 사용하고, 수동 조작에 도5b에 설명한 수동설정 내용을 사용하는 경우를 설명한다.
도4c 및 도4d의 자동 조작에 있어서, 가상 카메라는, 자세를 변경하지 않고 타임 코드의 경과에 따라 가상 카메라의 주목점의 좌표가 궤적(412)을 추종하도록 평행 이동(식별자=2)하게 조작된다. 도5b의 수동 조작에 있어서, 가상 카메라는, 스와이프와 드랙의 적어도 한쪽의 조작에 의해 주목점을 중심으로 하는 횡/종회전(도3g 및 도3h, 식별자=3, 4)등을 행하도록 유저에 의해 조작된다.
예를 들면, 도4d의 궤적(412)이 필드 스포츠에 있어서의 볼을 추종하면, 단계 S605의 자동 조작은 가상 카메라의 주목점에 항상 볼을 잡도록 평행 이동하는 동작이다. 이 동작에 더해서, 주목점을 중심으로 하는 횡/종회전을 수동 조작함으로써, 유저는 볼 주변의 선수를 여러가지 각도에서 보면서 의식하지 않고 항상 볼을 추종할 수 있다.
이 일련의 동작 예를 도7a∼도7d를 사용해서 설명한다. 도7a∼도7e의 예에 있어서, 스포츠는 럭비이고, 선수가 오프로드(offload) 패스(엎어지기 바로 전에 행하는 패스)를 행하는 씬을 촬영하는 것으로 한다. 이러한 경우에, 피사체는 럭비 볼 및 필드상의 적어도 한 선수다.
도7a는 필드의 삼차원 공간을 부감한 것으로, 자동 조작(궤적 412)에 의해, 가상 카메라의 주목점이 좌표 701∼703으로 평행 이동(식별자=2)하는 경우다.
우선, 가상 카메라의 주목점이 좌표 701에 있는 경우를 설명한다. 이때의 가상 카메라의 위치는 좌표 711에 있고, 자세는 거의 -X방향이다. 그 때의 가상 시점 화상은, 도7b에 도시한 바와 같이, 플레이를 필드 긴 변 방향을 따라서 -X방향으로 본 것이 된다.
다음에, 가상 카메라의 주목점이 좌표 702에 자동 조작으로 평행 이동했을 경우를 설명한다. 여기에서, 주목점이 좌표 701로부터 702에 자동 조작으로 평행 이동(식별자=2)하는 동안에, 유저에 의해 주목점을 중심으로 하는 종회전(식별자=4)의 수동 조작이 행해지는 것으로 한다. 이러한 경우에, 가상 카메라의 위치는 좌표 712에 평행 이동하고, 가상 카메라의 자세는 거의 -Z방향으로 종회전한다. 이때의 가상 시점 화상은, 도7c에 도시한 바와 같이, 피사체를 필드의 위쪽에서 내려다 본 것이 된다.
더욱, 가상 카메라의 주목점이 좌표 703에 평행 이동했을 경우를 설명한다. 여기에서, 주목점이 좌표 702로부터 703에 평행 이동(식별자=2)하는 동안에, 유저에 의해 주목점을 중심으로 하는 횡회전(식별자=3)의 수동 조작이 행해지는 것으로 한다. 이러한 경우에, 가상 카메라의 위치는 좌표 713에 평행 이동하고, 가상 카메라의 자세는 거의 -Y방향으로 종회전한다. 이때의 가상 시점 화상은, 도7d에 도시한 바와 같이, 피사체를 필드외로부터 -Y방향으로 본 것이 된다.
이상과 같이, 자동 조작과 수동 조작을 유의미하게 조합하는 것으로, 럭비의 오프로드 패스와 같은 빠른 전개의 씬에 있어서, 볼 부근을 자동으로 가상 카메라의 화각내에 계속해서 잡고, 또, 수동 조작에 따라서 여러가지 각도에서 그 씬을 보는 것이 가능하다. 구체적으로는, 자동 조작에 의해, 유저에 조작 부담을 지우지 않고, 삼차원 모델이나 위치측위 태그로부터 취득한 볼의 좌표를 사용하여서, 가상 카메라의 화각내에 항상 볼 부근을 계속해서 잡을 수 있다. 더욱, 수동 조작으로서, 유저는, 단순한 드랙 조작(손가락 1개의 드랙 조작에 의한 주목점을 주시점으로 횡/종회전)을 가하는 것만으로, 여러가지 각도로부터 주목해야 할 플레이를 볼 수 있다.
또한, 자동 조작이 행해지는 구간(궤적 412)에 있어서, 수동 조작이 행해지지 않을 경우, 가상 카메라의 자세는 최후에 수동 조작된 자세로 유지된다. 예를 들면, 자동 조작에 의해 주목점의 위치가 좌표 703으로부터 704에 평행 이동(식별자=2)하는 동안에 수동 조작이 행해지지 않을 경우, 가상 카메라의 자세는 좌표 713과 좌표 714에서 같았던 채(같은 자세 벡터)이다. 이에 따라, 도7e에 도시한 바와 같이, 가상 카메라의 자세는 -Y방향이며, 도7d 이후, 수동 조작이 없던 채 시간이 경과하는 동안은, 화상표시장치(104)는 선수가 오프로드 패스를 성공시켜, 트라이를 향해 전력 질주하는 씬을 같은 자세로 표시한다.
또한, 도6 및 도7a∼도7e의 조작 제어에 있어서, 수동 조작 및 자동 조작의 적어도 한쪽에 의해서 설정된 내용을 일시적으로 무효 또는 유효하게 하는 처리를 추가해도 좋다. 예를 들면, 가상 시점 화상의 재생에 대한 일시정지 지시를 접수했을 경우는, 수동 조작 및 자동 조작에 의해 설정된 동작 설정 처리를 리셋해서 디폴트의 가상 카메라의 위치 및 좌표를 설정해도 좋다. 디폴트의 가상 카메라의 위치에 관해서, 예를 들면, 필드 전체가 화각에 꼭 맞도록 필드 위쪽에서 자세에 대해, -Z방향으로 가상 카메라의 위치 및 좌표를 변경해도 좋다.
다른 예에서는, 가상 시점 화상의 재생에 대한 일시정지 지시를 접수했을 경우에, 수동 조작에 의해 설정된 내용을 무효로 하고, 일시정지가 해제되어 재생이 재개되었을 경우에, 수동 조작에 의해 설정된 내용을 다시 반영해도 좋다.
또한, 자동 조작시는 자동 조작에 주목점의 평행 이동(식별자=2)이 설정되고, 동일한 동작(식별자=2)이 수동 조작된 결과, 단계 S607에서 수동 조작이 캔슬되었을 경우, 일시정지시에는 자동 조작 정보에 상관 없이 주목점의 평행 이동의 수동 조작이 가능할 수도 있다.
예를 들면, 자동재생에 있어서 가상 카메라의 주목점이 좌표 701에 있을 때에, 일시정지를 접수했을 경우를 생각한다. 이때의 가상 시점 화상은 도7b에 도시되었지만, 오프로드 패스의 계기가 된 상대팀의 태클 선수의 모양을 확인하고 싶지만, 바깥쪽의 선수는 화각으로부터는 제외되고 있다. 이러한 경우에, 유저는 일시정지를 행하고, 화면의 아래 방향으로 평행 이동을 수동 조작했을 경우는, 좌표 705등에 주목점을 평행 이동할 수 있다.
또한, 일시정지가 해제되어 통상 재생에 되돌아갔을 경우는, 동작 설정 내용이 유효해져, 자동 조작에 의한 주목점의 평행 이동(식별자=2)이 실행되고, 수동 조작에 의한 주목점의 평행 이동(식별자=2)이 캔슬되도록 설정되어도 좋다. 또한, 이 때에, 수동 조작에 의해 평행 이동한 이동량(좌표 701로부터 좌표 705에의 이동 거리)도 캔슬되어도 좋고, 자동 조작으로 지정된 좌표 701에 주목점을 되돌리는 처리를 행해도 좋다.
이상 설명한 바와 같이, 자동 조작과 수동 조작을 유의미하게 조합해서 가상 카메라를 제어 함으로써, 피사체가 빠르게 복잡하게 이동하는 씬이여도, 가상 카메라의 화각내에 피사체의 원하는 장소를 계속해서 잡고, 또, 여러가지 각도로부터의 열람이 가능하게 된다.
예를 들면, 럭비와 같은 필드 스포츠에 있어서, 필드의 넓은 범위에서 단숨에 플레이가 전개해 득점에 연결되는 씬에 대하여도, 자동 조작에 의해 가상 카메라의 화각내에 볼 부근을 계속해서 잡아, 수동 조작을 가하면 여러가지 각도로부터 그 씬을 볼 수 있다.
<제2실시예>
본 실시예에서는, 화상표시장치(104)에 있어서의 태그 생성 처리, 및, 태그 재생 처리에 대해서 설명한다. 도1a의 가상 시점 화상 생성 시스템과, 도2a의 화상표시장치(104)를 포함하는, 제1실시예과 같은 구성, 처리, 기능은 동일한 참조부호를 사용하고, 그 설명을 생략한다.
본 실시예의 태그는, 스포츠의 득점 등의 주목 씬을 유저가 선택할 수 있고, 선택된 씬에 있어서의 자동 조작을 설정할 수 있게 하는 것이다. 또한, 유저는, 태그에 따른 자동재생중에, 수동 조작을 추가로 행할 수도 있고, 태그를 사용해서 자동 조작과 수동 조작을 조합한 가상 카메라 제어 처리를 실행할 수 있다.
이러한 태그는, 가상 시점 화상의 대표적인 사용 케이스인 스포츠 프로그램의 해설 등에 사용된다. 이러한 사용 케이스에서는, 득점 등의 복수의 중요 씬을, 여러가지 위치와 각도로부터 열람해 해설할 수 있는 것이 필요하다. 제1실시예의 예에 나타낸 볼이나 선수의 위치를 가상 카메라의 주목점으로서 자동 조작하는 것과 아울러, 본 실시예에서는, 해설 등의 의도에 따라, 볼이나 선수등의 오브젝트이외의 임의의 위치를 주목점으로 하는 태그도 생성가능하다.
본 실시예에서는, 태그는, 가상 카메라의 위치 및 자세를 설정하는 자동 조작이 타임 코드와 관련된 것으로 가정하여 설명한다. 그렇지만, 일례에서는, 시작 및 종료 타임 코드를 가지는 타임 코드 구간(기간)과, 타임 코드 구간내의 복수의 자동 조작이 관련된 구성을 취하여도 좋다.
또한, 도1a의 가상 시점 화상 생성 시스템에 있어서, 데이터베이스(103)로부터 득점등의 주목해야 할 기간의 데이터를 화상표시장치(104)에 복사해서 사용하는 구성에 있어서, 복사한 타임 코드 구간에 태그를 부가하도록 구성을 취해도 좋다. 따라서, 복사한 데이터에만 액세스를 용이하게 하고, 스포츠 프로그램등에 있어서, 중요 씬의 가상 시점 화상을 사용해서 화상표시장치(104)를 해설에 사용할 수 있다.
본 실시예에 있어서의 태그는, 화상표시장치(104)(도2a)에 있어서의 태그 관리부(204)에서 관리되어, 태그 생성 및 태그 재생 처리는, 조작 제어부(203)에 있어서 실행된다. 각 처리는, 제1실시예에서 설명한 도4a의 자동 조작과 도5b의 수동 조작, 그리고, 도6의 자동 조작과 수동 조작을 조합한 가상 카메라 제어 처리 등을 기초로 해서 실현된다.
(태그 생성 처리)
다음에, 도8a를 참조해서 화상표시장치(104)에 있어서 태그를 생성하는 방법에 대해서 설명한다.
도8a는, 도5a에 설명한 화상표시장치(104)의 수동 조작 화면과 같은 구성이며, 터치패널(501)은 가상 카메라 조작 영역(502)과 타임 코드 조작 영역(503)으로 크게 나뉜다.
태그 생성을 위한 유저 조작에서는, 우선, 유저는 타임 코드 조작 영역(503)에서 타임 코드를 선택하고 나서, 가상 카메라 조작 영역(502)에서 타임 코드에 있어서의 가상 카메라 동작을 지정한다. 이 2개의 단계를 되풀이하는 것으로, 임의의 타임 코드 구간에 있어서의 자동 조작을 작성할 수 있다.
태그 생성시에도, 타임 코드 조작 영역(503)에 있어서의 타임 코드의 지정 조작은 도5a에 설명한 내용과 같다. 다시 말해, 메인 슬라이더에 있어서의 손잡이를 드랙 조작함으로써, 또는 서브 슬라이더에 있어서의 손잡이를 드랙 조작(811)함으로써, 태그 생성하고 싶은 타임 코드를 지정할 수 있다.
또한, 타임 코드의 지정에 관해서는, 메인 슬라이더(512)에 있어서, 개략적 타임 코드를 지정하고나서 일시정지 지시를 행하고, 그 시간 전후 수십초의 범위가 표시되는 서브 슬라이더(513)를 사용해서 상세한 타임 코드를 지정해도 좋다. 또한, 서브 슬라이더(513)는 태그 생성이 지시되었을 때에 표시되어도 좋다.
유저가 타임 코드를 선택하면, 이 타임 코드에 있어서의 가상 시점 화상(부감화상)이 표시된다. 도8a에 있어서의 가상 카메라 조작 영역(502)에는, 피사체를 부감하는 가상 시점 화상이 표시되어 있다. 이것은, 피사체의 광범위를 표시하는 부감화상을 보면서 플레이 상황의 파악이 보다 쉽고 주목점의 지정을 쉽게 행할 수 있기 때문이다.
다음에, 표시중의 해당 타임 코드에 있어서의 부감화상(가상 시점 화상)을 보면서, 해당 타임 코드에 있어서의 가상 카메라의 주목점을 탭 조작(812)에 의해 지정한다. 화상표시장치(104)는, 탭된 위치를 삼차원 공간에 있어서의 가상 카메라의 주목면상의 좌표로 변환하고, 그 좌표를 해당 타임 코드에 있어서의 주목점의 좌표로서 기록한다. 또한, 본 실시예에서는, ＸＹ좌표는 탭된 위치이며, Z좌표는 Z=1.7m인 것으로서 설명을 할 것이다. 그렇지만, Z좌표도 ＸＹ좌표와 마찬가지로, 탭된 위치에 근거하여 취득되어도 좋다. 이 탭 위치로부터의 좌표 변환방법은, 공지이어서, 설명을 생략한다.
이상의 2단계(도8a에 있어서의 821, 822)를 되풀이함으로써, 임의의 타임 코드 구간에 있어서의 가상 카메라의 주목점을 시계열로 지정할 수 있다.
또한, 상기의 조작으로 지정된 타임 코드가 종종 연속적이지 않고 사이에 간격이 있지만, 그 간격동안 수동으로 지정된 좌표를 사용해서 보완에 의해 좌표가 생성되어도 좋다. 복수점간의 보완은 각각의 곡선함수(스플라인 곡선등)를 사용해서 행하는 방법이 공지이어서, 생략된다.
이상의 순서로 생성된 태그는, 도4a에 설명한 자동 조작 정보와 같은 형식을 갖는다. 따라서, 본 실시예에서 생성된 태그는, 제1실시예에서 설명한 자동 조작과 수동 조작을 유의미하게 조합하는 가상 카메라 제어 처리에 사용될 수 있다.
또한, 태그에서 지정하는 가상 카메라 동작은, 주목점의 좌표에 한정되지 않고, 제1실시예에서 설명한 가상 카메라 동작의 임의의 것이어도 좋다.
이상의 방법을 사용하여, 1시합에 있어서의 복수의 득점 씬에 대하여, 복수의 상이한 태그를 생성하는 것이 가능하다. 또한, 동일 구간의 타임 코드에 대하여, 상이한 자동 조작 정보를 갖는 복수의 태그도 생성가능하다.
또한, 제1실시예에서 설명한 통상의 가상 카메라의 조작 화면과, 본 실시예에 있어서의 태그 생성의 조작 화면간의 전환 버튼을 준비해도 되도록 구성을 취하여도 좋다. 또한, 도시되지 않지만, 태그 생성의 조작 화면으로 전환한 후에, 피사체를 부감하는 위치와 자세에 가상 카메라를 이동시키는 처리를 행하도록 구성을 취하여도 좋다.
이상 설명한 태그 생성 처리를 사용하여, 스포츠 시합에 있어서 득점 등의 주목 씬이 일어난 임의의 타임 코드 구간에 있어서의 자동 조작을 쉽게 태그로서 생성할 수 있다. 다음에, 이렇게 생성된 태그를 유저가 선택하여서 쉽게 씬을 자동으로 재생하는 태그 재생 처리에 대해서 설명한다.
(태그 재생 처리)
다음에, 도9의 흐름도와 도8b 및 도8c의 조작 화면을 사용하여, 화상표시장치(104)에 있어서의 태그 재생에 대해서 설명한다.
도9는, 태그 재생시의 화상표시장치(104)가 실행하는 가상 카메라의 제어 처리 예를 도시한 흐름도다. 도9는, 도6과 마찬가지로, 조작 제어부(203)가 S902∼S930의 처리를 프레임마다 되풀이해 실행한다. 매번, 타임 코드에 있어서의 프레임수가 하나씩 증분되고, 연속적 프레임이 처리된다. 또한, 도6의 가상 카메라 제어 처리의 흐름도와 동일 처리가 되는 단계들에 대한 설명은 생략한다.
단계 S902에서는, 조작 제어부(203)는, 단계 S603과 동일한 처리를 행하고, 현 타임 코드의 삼차원 모델을 취득한다.
단계 S903에서는, 조작 제어부(203)는, 표시 모드를 판정한다. 표시 모드란, 도5a의 조작 화면에 있어서의 표시 모드이며, 통상 재생 모드와 태그 재생 모드가 판정한다. 그 표시 모드의 판정 결과가 통상 재생일 때는, 처리를 단계 S906에 진행시키고, 태그 재생일 때는 처리를 단계 S904에 진행시킨다.
또한, 판정하는 표시 모드는 이것들에 한정되지 않는다. 예를 들면, 도8a에 도시된 태그 생성은, 모드 판정의 대상에 추가되어도 좋다.
다음에, 화상표시장치(104)는 처리를 단계 S904에 진행시키고, 조작 제어부(203)는, 표시 모드가 태그 재생이므로, 선택된 태그에 있어서, 타임 코드로 지정된 자동 조작 정보를 판독한다. 자동 조작 정보는 먼저 설명한 대로, 도4c등에 도시되어 있다. 다음에, 화상표시장치(104)는 처리를 단계 S905에 진행시키고, 조작 제어부(203)는 단계 S605와 동일한 처리를 행하고, 가상 카메라를 자동 조작한다.
다음에, 화상표시장치(104)는 처리를 단계 S906에 진행시키고, 조작 제어부(203)는 유저로부터 수동 조작을 접수하고, 접수한 조작 내용에 따라서 처리를 전환한다. 유저로부터 타임 코드에 대한 수동 조작을 접수했을 경우(단계 S906에서 "타임 코드 조작"), 화상표시장치(104)는 처리를 단계 S912에 진행시킨다. 유저로부터 가상 카메라에 관한 수동 조작을 접수했을 경우(단계 S906에서 "가상 카메라 조작"), 화상표시장치(104)는 처리를 단계 S922에 진행시킨다. 유저로부터 수동 조작을 접수하지 않았을 경우(단계 S906에서 "없음"), 화상표시장치(104)는 처리를 단계 S907에 진행시킨다. 유저로부터 태그의 선택 조작을 접수했을 경우(단계 S906에서 "태그 선택 조작"), 화상표시장치(104)는 처리를 단계 S922에 진행시킨다. 이때의 수동 조작 화면에 대해서 도8b 및 도8c를 사용해서 설명한다.
또한, 단계 S906에서 판정된 수동 조작의 내용은 이것들에 한정되지 않고, 도8a에 도시된 태그 생성 조작도 대상으로 삼아도 좋다.
도8b는, 수동 조작 화면(801)에 있어서의 타임 코드 조작 영역(503)을 추출하는 것이다. 도8b의 타임 코드를 조작하는 메인 슬라이더(512)상에, 복수의 태그(831∼833)가 구별가능하게 표시되어 있다. 태그(831∼833)의 표시 위치는, 태그의 시작 타임 코드가 메인 슬라이더상에서 상당하는 위치에 표시된다. 또한, 표시되는 태그는 도8a에 도시된 화상 생성 장치(104)에서 생성한 태그를 사용해도 좋고, 다른 디바이스에서 생성한 태그를 입력시켜도 좋다.
여기에서, 유저는 메인 슬라이더(512)상에 표시된 복수의 태그(831∼833) 중 어느 하나를 탭 조작(834)으로 선택한다. 태그 선택시에는, 태그에 설정된 자동 조작 정보는, 말칸(speech bubble)(835)에 도시한 바와 같이 열거될 수 있다. 말칸(835)에서는, 타임 코드에 2개의 자동 조작이 설정되어 있고, 그들에 대응하는 2개의 태그명(Ａｕｔｏ1, Ａｕｔｏ2)이 표시되어 있다. 또한, 동일한 타임 코드로서 설정될 수 있는 태그수는 2에 한정되지 않는다. 유저가 태그 831∼833 중 임의의 태그를 탭 조작(834)에 의해 선택하면, 화상표시장치(104)는 처리를 단계 S922에 진행시킨다.
단계 S922에 있어서, 조작 제어부(203)는, 표시 모드로서 태그 재생을 설정하고, 처리를 단계 S923에 진행시킨다.
단계 S923에 있어서, 조작 제어부(203)는, 단계 S906에 있어서 선택된 태그에 의해 지정된 시작 타임 코드를 판독하고, 처리를 단계 S912에 진행시킨다. 그 후, 단계 S912에 있어서, 조작 제어부(203)는 타임 코드를 지정된 타임 코드로 갱신하고, 처리를 단계 S902에 되돌아간다. 게다가, S904 및 S905후에 있어서, 화상표시장치(104)는 선택한 태그에 의해 지정된 자동 조작 정보를 사용해서 가상 카메라의 자동 조작을 행한다.
여기에서, 태그 재생(태그를 선택후의 자동재생)시의 화면을 도8c에 도시한다. 도8c에서는, 타임 코드 조작 영역(503)에 서브 슬라이더(843)가 표시되어 있다. 또한, 서브 슬라이더(843)의 척도는, 태그에 의해 지정된 타임 코드 구간의 길이이여도 좋다. 또한, 태그 재생이 지시되었을 때, 서브 슬라이더(843)가 동적으로 표시되어도 좋다. 또한, 태그 재생시에는, 재생중의 태그는 다른 태그와 구별될 수 있는 표시(832)로 대체되어도 좋다.
도8c의 가상 카메라 조작 영역(502)에서는, 선택된 태그에 포함된 자동 조작 정보로 지정된 가상 카메라를 사용해서 생성된 가상 시점 화상이 표시되어 있다. 태그 재생시에, 수동 조작을 추가로 접수하는 것도 가능하고, 단계 S907 및 S908에 있어서, 화상표시장치(104)는 제1실시예에서 설명한 것과 마찬가지로 자동 조작과 수동 조작을 조합한 가상 카메라 제어 처리를 실행한다.
단계 S907에 있어서, 조작 제어부(203)는, 가상 카메라에 관한 수동 조작을 접수했을 경우, 현재의 표시 모드를 확인한다. 표시 모드가 통상 재생 모드의 경우(단계 S907에서 "통상 재생"), 조작 제어부(203)는 처리를 단계 S909에 진행시키고, 표시 모드가 태그 재생 모드의 경우(단계 S907에서 "태그 재생"), 처리를 단계 S908에 진행시킨다.
단계 S908에 있어서, 조작 제어부(203)는 선택된 태그에 있어서의 자동 조작과, 단계 S906에서 접수한 가상 카메라의 수동 조작과를 비교하여, 서로 간섭하는 것인가 아닌가를 판정한다. 자동 조작과 수동 조작과의 비교 방법은 단계 S607과 같기 때문에, 설명을 생략한다.
단계 S909에 있어서, 조작 제어부(203)는 단계 S608과 마찬가지로 가상 카메라를 수동 조작한다. 단계 S910에 있어서, 조작 제어부(203)는 단계 S609과 마찬가지로 가상 시점 화상을 묘화한다. 단계 S911에 있어서, 조작 제어부(203)는 타임 코드를 증분한다. 타임 코드의 증분은 단계 S602에서 같기 때문에, 설명을 생략한다.
단계 S921에 있어서, 조작 제어부(203)는, 태그 재생시에 단계 S911에서 증분된 타임 코드가 태그 지정된 종료 타임 코드인가 아닌가를 판정한다. 증분된 타임 코드가 태그 지정된 종료 타임 코드가 아닐 경우(단계 S921에서 Ｎo), 조작 제어부(203)는 처리를 단계 S930에 진행시키고, 단계 S611과 마찬가지의 판정을 행한다. 증분된 타임 코드가 태그 지정된 종료 타임 코드일 경우(단계 S921에서 Ｙｅｓ), 조작 제어부는 처리를 단계 S923에 되돌리고, 선택된 태그의 시작 타임 코드를 판독하고, 태그 재생을 되풀이하는 리피트 재생을 행한다. 또한, 이 경우, 전회의 재생에 있어서 설정된 수동 조작이 자동 조작으로서 반영되어도 좋다.
또한, 유저는, 태그 재생중의 리피트 재생을 해제하기 위해서, 도8c에 도시된 캔슬 버튼(844)을 눌러도 좋다.
또한, 태그 재생을 리피트 할 때에는, 최후에 수동 조작된 자세를 리피트시에 유지해도 좋다. 도4c 및 도4d의 자동 조작 정보를 태그로서 조작을 행할 경우, 타임 코드 구간(궤적 412, 시점 700, 종점 710)에 있어서, 리피트 재생이 행해질 경우는, 종점(710)에 있어서의 자세가, 시점(700)에 되돌아가는 경우에도 유지되도록 구성이 취해져도 좋다. 또는, 시점(700)에 되돌아갈 때에, 자동 조작 정보에 있어서 지정된 자세의 초기값으로 되돌아가도록 구성이 취해져도 좋다.
이상 설명한 것 같이, 본 실시예에 따른 태그 생성 방법에 의해, 화상표시장치(104)에 있어서, 소정의 범위의 타임 코드에 대한 자동 조작 정보를 단시간에 쉽게 생성할 수 있다.
또한, 태그 재생 방법에 의해, 유저는, 복수의 태그로부터 원하는 것을 선택하는 간단한 조작에 의해서만 씬마다 자동재생을 행할 수 있다. 또한, 씬마다 피사체의 움직임이 상이하고 복잡한 경우에도, 자동 조작에 의해 씬마다 주목해야 할 위치를 가상 카메라의 화각내에 계속해서 잡을 수 있다. 또한, 자동 조작에 유저가 수동 조작을 가하는 것으로, 유저가 원하는 각도로 피사체를 표시시킬 수 있다. 또한, 태그로서 유저가 자동 조작을 추가할 수 있으므로, 유저의 기호에 따라 복수의 가상 카메라 조작을 조합할 수 있다.
예를 들면, 스포츠 중계에 있어서의 복수의 득점 씬에 대하여, 타임 코드 조작에 의해 타임 코드를 지정하고, 가상 카메라의 주목점 좌표의 지정 조작을 태그로서 추가함으로써, 쉽게 복수 씬의 태그를 생성할 수 있다. 시합 후의 해설 프로그램등에서 이 태그들을 사용함으로써, 해설자는 복수의 득점 씬을 쉽게 여러가지 각도로부터 표시하고, 그 해설들에 이용할 수 있다. 예를 들면, 제1실시예의 도7b∼도7d에 도시한 바와 같이, 주목 씬을 여러가지 각도로부터 표시함으로써, 주목해야 할 포인트등을 상세히 해설할 수 있다.
또한, 태그는 스포츠 해설에 한정되지 않고, 예를 들면, 주목 스포츠의 전문가나 유명선수가 주목해야 하는 씬에 대하여 태그를 생성하는 것이 가능하고, 다른 유저는 이러한 태그를 태그 재생을 위해 사용할 수 있다. 유저는, 간단한 조작을 행하는 것만으로, 전문성이 높은 사람이 설정한 태그를 사용해서 주목해야 하는 씬을 여러가지 각도로부터 보는 것을 즐길 수도 있다.
또한, 생성한 태그를 다른 화상표시장치에 송신하고, 다른 화상표시장치에 있어서 해당 태그를 사용해서 그 씬을 자동으로 재생하는 것이 가능하다.
<제3실시예>
본 실시예에서는, 화상표시장치(104)에 있어서의 가상 카메라의 수동 조작의 일례에 대해서 설명한다. 손가락의 개수에 의한 터치 조작의 전환에 따라서 가상 카메라 동작을 전환하는 방법과 비교하여, 1개의 손가락으로 가상 카메라의 동작을 전환할 수 있기 때문에, 유저가 보다 쉽게 수동 조작을 행할 수 있다.
제1 및 제2실시예와 같은 구성, 처리, 기능에 대해서는 설명을 생략한다. 도1a의 가상 시점 화상 생성 시스템과, 도2a의 화상표시장치(104)의 기능 블록은 제1실시예에 있어서 설명했기 때문에, 그 설명을 생략하고, 수동 조작만을 추가로 설명한다.
도10을 참조하여, 본 실시예의 가상 카메라에 대한 수동 조작을 설명한다. 도10의 화면구성은, 제1실시예에서 설명한 도5a와 마찬가지로, 터치패널(1001)에 표시된 가상 카메라 조작 영역(502)과, 타임 코드 조작 영역(503)을 가진다. 타임 코드 조작 영역(503)의 구성 요소에 대해서는, 도5a를 참조해서 설명한 것과 같기 때문에, 설명을 생략한다.
본 실시예에서는 화상표시장치(104)의 조작 입력부(214)에 터치패널을 사용했을 경우의 2개의 가상 카메라 동작에 대하여, 가상 카메라 조작 영역(1002)의 터치 조작을 설명한다. 하나의 동작은, 도3f에 도시된 가상 카메라의 주목점의 평행 이동이며, 또 하나의 동작은, 가상 카메라의 확대/축소(도시되지 않음)다.
본 실시예에 있어서, 가상 카메라의 주목점의 평행 이동을 행하기 위한 터치 조작은, 조작 영역의 임의 위치에 대한 탭 조작(1021)(또는, 더블 탭 조작)이다. 화상표시장치(104)는, 탭된 위치를 삼차원 공간에 있어서의 가상 카메라의 주목면상의 좌표로 변환하고, 그 좌표가 가상 카메라의 주목점이 되도록, 가상 카메라를 평행 이동한다. 유저에 있어서는, 탭된 위치가 화면중앙으로 되도록 이동하는 조작이 되고, 탭 조작을 되풀이하는 것만으로, 피사체상의 주목하고 싶은 위치를 계속해서 표시할 수 있다. 또한, 일례에서는, 현재의 가상 카메라의 주목점의 좌표(1020)로부터, 탭 조작(1021)에 의해 지정된 점까지, 소정의 속도로 가상 카메라를 평행 이동시켜도 좋다. 또한, 좌표(1020)로부터 탭 조작(1021)에 의해 지정된 점까지의 이동 속도는, 등속이동이여도 좋다. 이 경우, 이동 속도는, 1초등의 소정의 기간에 그 이동을 완료하도록 결정되어도 좋다. 혹은, 이동 속도는 탭 조작(1021)에 의해 지정된 점까지의 거리에 비례하여 증가하고, 탭 조작(1021)에 의해 지정된 점에 근접할수록 늦어지도록, 구성을 취하여도 좋다.
또한, 평행 이동을, 2개 손가락을 사용한 드랙 조작(스와이프 조작)으로 행하는 것으로 하면, 피사체가 재빠르게 이동했을 경우에 그 드랙 조작의 이동량을 조정하는 것이 곤란했다. 이에 대하여, 본 실시예에서는 이동하고 싶은 목적지에 직감적 탭 조작이 필요하다.
가상 카메라의 확대 또는 축소를 행하기 위한 터치 조작은, 가상 카메라 조작 영역(1002)의 우측 가장자리의 소정의 영역의 드랙 조작(1022)이 된다. 예를 들면, 가상 카메라 조작 영역(1002)의 단부(가장자리)의 소정의 영역을 상방향으로 드랙(스와이프)함으로써 핀치 아웃(pinch-out)하고, 하방향으로 드랙(스와이프)함으로써 핀치 인(pinch-in)한다. 또한, 도10의 예에서는, 가상 카메라 조작 영역(1002)의 화면의 우측 가장자리가 도시되어 있지만, 또 하나의 방향의 화면 가장자리이여도 좋고, 드랙 방향은 상하에 한정되지 않는다.
확대/축소를 2개의 손가락으로 핀치 아웃 및 핀치 인으로 행하는 경우와 비교하여, 화면 가장자리에 대한 1개의 손가락으로 드랙 조작만이 필요하다. 예를 들면, 화면 가장자리에 있어서의 상방향의 드랙으로 확대하고, 화면 가장자리에 있어서의 하방향의 드랙으로 축소를 행한다.
또한, 이상 설명한 조작은 도5a 및 도5b에서 설명한 수동 설정 내용으로 설정될 수 있고, 제1실시예에서 설명한 것처럼 자동 조작과 수동 조작을 조합한 가상 카메라 제어 처리에 사용될 수 있다.
이상 설명한 바와 같이, 본 실시예에 따른 수동 조작에 의해, 유저는, 가상 카메라를 조작하기 위해서 손가락의 개수를 작은 증분으로 전환하는 것이 불필요하고, 1개의 손가락으로 화상표시장치(104)를 직감적으로 조작할 수 있다. 또한, 평행 이동 조작에 있어서, 이동처의 주목점을 태핑(tapping)에 의해 지정함으로써, 소정의 위치에 평행 이동할 수 있으므로, 드랙이나 스와이프등의 조작량을 조정할 필요가 있는 조작과 비교하여, 보다 직감적으로 평행 이동을 지시할 수 있다.
<제4실시예>
본 실시예에서는, 화상표시장치(104)에 있어서의 가상 카메라의 자동 조작의 일례에 대해서 설명한다.
자동 조작 정보의 일례로서, 도4c와 동일 항목을 사용하여, 특별한 구간의 타임 코드에 있어서, 가상 카메라의 주목점의 좌표와 자세의 양쪽에 일정값을 사용한다. 예를 들면, 스포츠에서는 선수의 부상이나 반칙에 의해 종종 시합이 중단되고, 그러한 시간대는 시청자에 있어서는 지루할 수 있다. 이러한 중단을 검지했을 경우에는, 가상 카메라를 필드 전체가 보이는 위치와 자세로 자동 조작하고, 타임 코드를 배속으로 나아가게 하는 자동 조작을 실행하도록, 구성을 취하여도 좋다. 또한, 중단 전체를 스킵하도록 지정하는 것이 가능하다. 이 경우, 시합의 중단은, 작업자에 의해 입력되어도 좋고, 유저에 의해 태그를 사용하여서 지정되어도 좋다. 이러한 자동 조작을 행하는 것에 의해, 유저는 플레이가 중단하는 지루한 시간대를 조속 이송 또는 스킵할 수 있다.
또 하나의 예로서는, 플레이가 대단히 빠르게 전개하는 씬에 있어서는, 소정구간의 타임 코드에 대한 재생 속도를 변경하도록 설정되는 구성이 취해져도 좋다. 예를 들면, 재생 속도를 절반 속도등의 지연 값을 설정함으로써, 유저는 전속력으로 행하는 것이 곤란했던 가상 카메라의 수동 조작을 쉽게 행할 수 있다.
또한, 스포츠의 경우에 심판이 제스처를 행하거나 볼이나 선수의 이동이 정지한 것을 결정하기 위한 화상해석에 의해, 시합에서 플레이가 중단하고 있는 것을 검출하도록, 구성이 취해져도 좋다. 한편, 선수나 볼의 이동 속도에 따라 플레이가 빨리 진행하고 있는 것을 화상해석에 의해 검출하도록, 구성이 취해져도 좋다. 또한, 음성해석을 사용해서 플레이가 중단되어 있는 것이나, 플레이가 빠르게 진행하고 있는 것을 검출하도록, 구성이 취해져도 좋다.
그 밖의 실시예
또한, 본 개시내용의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 특정 용도 지향 집적회로(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령을 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령을 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령을, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 개시내용을 실시예들을 참조하여 기재하였지만, 그 개시내용은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (23)

  1. 다시점 화상에 근거하여 생성된 가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 위치 중 적어도 하나를 지정하는 제1 파라미터를 결정하기 위한 유저 조작을 접수하는 접수부;
    가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 위치 중 적어도 하나를 지정하는, 미리 설정된 제2 파라미터를 취득하는 취득부; 및
    상기 제1 파라미터와 상기 제2 파라미터 중 적어도 하나에 근거하여 생성된 상기 가상 시점 화상을 표시하는 표시부를 구비하는, 화상표시장치.
  2. 제 1 항에 있어서,
    상기 제1 파라미터 및 상기 제2 파라미터는, 소정의 시간에 가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 조합에 대응하는, 화상표시장치.
  3. 제 1 항에 있어서,
    상기 제1 파라미터 및 상기 제2 파라미터는, 상기 가상 시점 화상에 있어서의 주목점의 위치의 평행 이동, 주목점을 중심으로 한 가상 시점의 위치의 회전, 줌인 및 줌아웃 중 적어도 하나에 대응하는, 화상표시장치.
  4. 제 1 항에 있어서,
    상기 접수부는, 상기 표시부에 표시된 그래픽 유저 인터페이스(ＧＵＩ)와, 터치패널 중 적어도 하나를 통해 유저 조작을 접수하는, 화상표시장치.
  5. 제 4 항에 있어서,
    상기 접수부가 상기 표시부에 표시된 가상 시점 화상에 대한 탭 조작 또는 클릭 조작을 접수하는 경우에, 상기 탭 조작 또는 상기 클릭 조작에 대응한 위치의 이동처인 주목점의 위치의 평행 이동에 대응하는 상기 제1 파라미터가 취득되는, 화상표시장치.
  6. 제 4 항에 있어서,
    상기 접수부가 상기 가상 시점 화상의 단부의 영역에 있어서의 드랙 조작 또는 스와이프 조작을 접수하는 경우에, 상기 드랙 조작 또는 상기 스와이프 조작의 방향에 대응한 줌인 또는 줌아웃에 대응하는 상기 제1 파라미터가 취득되는, 화상표시장치.
  7. 제 1 항에 있어서,
    가상 시점 자세와 주목점 위치 중 적어도 하나의 요소가 상기 제2 파라미터에 따라 변화되는 경우에, 상기 요소에 대해서는 상기 제1 파라미터에 근거하지 않고 생성된 상기 가상 시점 화상이 표시되는, 화상표시장치.
  8. 제 7 항에 있어서,
    가상 시점 자세와 주목점 위치 중 적어도 하나의 요소가 상기 제2 파라미터에 따라 변화되지 않고 상기 제1 파라미터에 따라 변화되는 경우에, 상기 요소에 대해서는 상기 제1 파라미터에 근거하여 생성된 상기 가상 시점 화상이 표시되는, 화상표시장치.
  9. 제 7 항에 있어서,
    가상 시점 자세와 주목점 위치 중 적어도 하나의 요소가 상기 제2 파라미터 및 상기 제1 파라미터에 따라 변화되는 경우에, 상기 요소에 대해서는 상기 제1 파라미터에 근거하지 않고 상기 가상 시점 화상이 표시되는 것인가 아닌가를 설정하는 설정부를 더 구비하는, 화상표시장치.
  10. 제 1 항에 있어서,
    상기 표시부는, 상기 표시부가 가상 시점 화상을 표시하는 동안 일시정지의 지시를 접수하는 경우에, 상기 제1 파라미터에 근거하며 상기 제2 파라미터에 근거하지 않고 생성된 상기 가상 시점 화상을 표시하는, 화상표시장치.
  11. 제 10 항에 있어서,
    상기 표시부가, 상기 가상 시점 화상을 표시하는 동안, 일시정지의 지시를 접수한 후에 일시정지의 해제의 지시를 접수하는 경우에, 상기 표시부는 상기 제2 파라미터에 근거하여 생성된 상기 가상 시점 화상을 표시하는, 화상표시장치.
  12. 제 10 항에 있어서,
    상기 표시부가, 상기 가상 시점 화상을 표시하는 동안, 일시정지의 지시를 접수한 후에 일시정지의 해제의 지시를 접수하는 경우에, 상기 표시부는, 일시정지의 지시를 접수하였을 때, 상기 가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점 위치에 대응한 상기 가상 시점 화상을 표시하는, 화상표시장치.
  13. 제 1 항에 있어서,
    상기 제1 파라미터 및 상기 제2 파라미터는, 상기 가상 시점 화상의 재생 속도의 지정을 포함하는, 화상표시장치.
  14. 제 1 항에 있어서,
    가상 시점 화상에 있어서의 자세와 주목점 위치 중 적어도 하나를 지정하는 제3 파라미터를 기록하고, 상기 제3 파라미터를 상기 가상 시점 화상에 대한 시간과 관련시키는, 기록부를 더 구비하고,
    상기 표시부는, 상기 제3 파라미터에 대응한 시간에 대한 상기 제3 파라미터에 근거하여 우선해서 생성된 상기 가상 시점 화상을 표시하는, 화상표시장치.
  15. 제 14 항에 있어서,
    상기 표시부는, 상기 제3 파라미터에 대응한 시간을 포함하는 소정의 기간에 있어서의 상기 가상 시점 화상을 리피트 재생하는, 화상표시장치.
  16. 제 15 항에 있어서,
    상기 표시부가 상기 리피트 재생 동안에 상기 유저 조작을 통해 상기 제1 파라미터를 접수하는 경우에, 상기 표시부는 상기 접수된 상기 제1 파라미터를 상기 제3 파라미터로서 기록하는, 화상표시장치.
  17. 제 14 항에 있어서,
    상기 표시부는, 상기 기록부가 기록한 상기 제3 파라미터에 대응한 시간을 구별가능하게 표시하는, 화상표시장치.
  18. 제 14 항에 있어서,
    상기 표시부는, 상기 제3 파라미터에 근거해서 상기 가상 시점 화상을 재생하는 모드, 상기 제3 파라미터를 기록하는 모드, 및 상기 제3 파라미터에 근거하지 않는 통상 재생 모드를 전환하고, 상기 생성된 상기 가상 시점 화상을 표시하는, 화상표시장치.
  19. 제 1 항에 있어서,
    상기 표시부는, 상기 가상 시점 화상의 타임 코드를 지정가능한 제1슬라이더와, 상기 타임 코드의 일부를 확대하는 것으로 미세한 입도로 타임 코드를 지정가능한 제2슬라이더를 포함하는, 그래픽 유저 인터페이스를 더욱 표시하는, 화상표시장치.
  20. 제 1 항에 있어서,
    상기 표시부는, 상기 표시부의 갱신 레이트에 따라서 생성된 상기 가상 시점 화상을 표시하는, 화상표시장치.
  21. 제 1 항에 있어서,
    상기 다시점 화상과 상기 가상 시점 화상을 생성하기 위한 데이터 중 적어도 하나를 외부장치로부터 수신하는 수신부를 더 구비하는, 화상표시장치.
  22. 화상표시장치의 제어 방법으로서:
    가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 위치 중 적어도 하나를 지정하는 제1 파라미터를 결정하기 위한 유저 조작을 접수하는 단계;
    가상 시점 화상에 있어서의 가상 시점으로부터의 뷰의 자세와 주목점의 위치 중 적어도 하나를 지정하는, 미리 설정된 제2 파라미터를 취득하는 단계; 및
    상기 제1 파라미터와 상기 제2 파라미터 중 적어도 하나에 근거하여 생성된 상기 가상 시점 화상을 표시부에 표시하는 단계를 포함하는, 제어 방법.
  23. 컴퓨터에 청구항 1 내지 21 중 어느 한 항에 따른 화상표시장치로서 기능시키기 위해, 기억매체에 기억된, 프로그램.
KR1020210056992A 2020-05-08 2021-05-03 화상표시장치, 제어방법, 및 프로그램 KR20210136858A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2020-082818 2020-05-08
JP2020082818A JP7458889B2 (ja) 2020-05-08 2020-05-08 画像表示装置、制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
KR20210136858A true KR20210136858A (ko) 2021-11-17

Family

ID=78377987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210056992A KR20210136858A (ko) 2020-05-08 2021-05-03 화상표시장치, 제어방법, 및 프로그램

Country Status (4)

Country Link
US (1) US20210349620A1 (ko)
JP (1) JP7458889B2 (ko)
KR (1) KR20210136858A (ko)
CN (1) CN113630547A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022131778A (ja) 2021-02-26 2022-09-07 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction
CN114648615B (zh) 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质
CN114900679B (zh) * 2022-05-25 2023-11-21 安天科技集团股份有限公司 一种三维模型展示方法、装置、电子设备及可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7380216B2 (en) * 2000-11-30 2008-05-27 International Business Machines Corporation Zoom-capable scrollbar
US6816174B2 (en) * 2000-12-18 2004-11-09 International Business Machines Corporation Method and apparatus for variable density scroll area
KR20070086037A (ko) * 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
US7933929B1 (en) * 2005-06-27 2011-04-26 Google Inc. Network link for providing dynamic data layer in a geographic information system
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
JP2009295147A (ja) 2008-05-07 2009-12-17 Hoya Corp スクロール表示可能な情報処理装置
JP2011043991A (ja) 2009-08-21 2011-03-03 Olympus Imaging Corp ユーザインターフェース装置、携帯機器、およびプログラム
JP5675141B2 (ja) 2010-03-29 2015-02-25 キヤノン株式会社 再生装置及び再生方法
US9367959B2 (en) * 2012-06-05 2016-06-14 Apple Inc. Mapping application with 3D presentation
JP6104597B2 (ja) 2012-12-19 2017-03-29 Ntn株式会社 フォイル軸受
US9836204B1 (en) * 2013-03-14 2017-12-05 Visualon, Inc. Scrolling control for media players
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
US9329750B2 (en) * 2013-09-10 2016-05-03 Google Inc. Three-dimensional tilt and pan navigation using a single gesture
US10852428B2 (en) * 2014-02-21 2020-12-01 FLIR Belgium BVBA 3D scene annotation and enhancement systems and methods
US9852351B2 (en) * 2014-12-16 2017-12-26 3Ditize Sl 3D rotational presentation generated from 2D static images
JP6727106B2 (ja) 2016-11-30 2020-07-22 キヤノン株式会社 画像音響処理装置および画像音響処理方法、プログラム
JP6539253B2 (ja) 2016-12-06 2019-07-03 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
US10569172B2 (en) * 2017-09-19 2020-02-25 Canon Kabushiki Kaisha System and method of configuring a virtual camera
JP2019114847A (ja) 2017-12-21 2019-07-11 オリンパス株式会社 画像記録制御装置、画像記録方法、画像記録プログラム、撮像装置及び画像記録制御システム
JP7301507B2 (ja) 2018-08-08 2023-07-03 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020067716A (ja) 2018-10-22 2020-04-30 キヤノン株式会社 情報処理装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP7458889B2 (ja) 2024-04-01
US20210349620A1 (en) 2021-11-11
JP2021177351A (ja) 2021-11-11
CN113630547A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
KR20210136858A (ko) 화상표시장치, 제어방법, 및 프로그램
JP6742869B2 (ja) 画像処理装置および画像処理方法
JP2020534592A (ja) 仮想カメラを制御するシステム及び方法
KR102500615B1 (ko) 정보 처리장치, 정보 처리방법 및 프로그램
KR102484197B1 (ko) 정보 처리장치, 정보 처리방법 및 기억매체
JP2021013095A (ja) 画像処理装置、表示方法、及び、プログラム
US11070724B2 (en) Image processing apparatus and method
JP5312505B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
US20160344946A1 (en) Screen System
AU2018391746B2 (en) Display control device and display control method
JP2024019537A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020102687A (ja) 情報処理装置、画像処理装置、画像処理方法、及びプログラム
KR101743888B1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
KR20180045668A (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
US11308670B2 (en) Image processing apparatus and method
JP2022012900A (ja) 情報処理装置、表示方法、及び、プログラム
KR101263881B1 (ko) 무인 방송 제어 시스템
JP2021043922A (ja) 情報処理装置、システム、生成方法、及び、プログラム
JP2015192427A (ja) 端末装置及びプログラム
JP2023168948A (ja) 撮像制御装置、撮像制御方法
JP6214365B2 (ja) 画像再生装置、その制御方法、および制御プログラム
JP2022182836A (ja) 映像処理装置及びその制御方法及びプログラム
JP2019115035A (ja) 表示制御装置、表示制御方法

Legal Events

Date Code Title Description
A201 Request for examination