KR20230152589A - 화상 처리 시스템, 화상 처리방법, 및 기억매체 - Google Patents

화상 처리 시스템, 화상 처리방법, 및 기억매체 Download PDF

Info

Publication number
KR20230152589A
KR20230152589A KR1020230053723A KR20230053723A KR20230152589A KR 20230152589 A KR20230152589 A KR 20230152589A KR 1020230053723 A KR1020230053723 A KR 1020230053723A KR 20230053723 A KR20230053723 A KR 20230053723A KR 20230152589 A KR20230152589 A KR 20230152589A
Authority
KR
South Korea
Prior art keywords
virtual viewpoint
image
display area
images
virtual
Prior art date
Application number
KR1020230053723A
Other languages
English (en)
Inventor
히로나오 이토
미츠루 마에다
마모루 타나에
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2023038750A external-priority patent/JP2023163133A/ja
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20230152589A publication Critical patent/KR20230152589A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 시점 화상과 다른 화상을 포함하는 매력적인 디지털 콘텐츠를 제공하는 것이 곤란하였다. 본 개시는, 가상 시점 화상과 다른 화상을 포함하는 매력적인 디지털 콘텐츠를 표시하는 기술을 제공하는 화상 처리 시스템을 제공하는 것을 목적으로 한다. 가상 시점 화상과 다른 화상을 포함하는 매력적인 디지털 콘텐츠가 표시된다. 화상 처리 시스템은, 입체 형상의 디지털 콘텐츠로부터 가상 시점 화상과 가상 시점 화상에 대응하는 가상 시점과 다른 시점의 화상을 특정하고, 가상 시점 화상과 가상 시점 화상에 대응하는 가상 시점과 다른 시점의 화상에 대응하는 화상을 표시 영역에 표시하는 제어를 행한다.

Description

화상 처리 시스템, 화상 처리방법, 및 기억매체{IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}
본 발명은 화상 처리 시스템, 화상 처리방법, 및 기억매체에 관한 것이다.
복수의 촬상장치에 의해 촬상된 복수의 화상을 사용하여, 지정된 가상 시점으로부터의 가상 시점 화상을 생성하는 기술이 주목받고 있다. 일본국 특개 2015-45920호 공보에는, 복수의 촬상장치를 다른 위치에 설치해서 피사체를 촬상하고, 촬상 화상으로부터 추정되는 피사체의 3차원 형상을 사용하여 가상 시점 화상을 생성하는 방법에 대해 기재되어 있다.
본 발명의 일면에 따르면, 화상 처리 시스템은, 입체 형상의 디지털 콘텐츠의 제1면과 관련된 가상 시점 화상으로서, 복수의 촬상장치에 의해 촬상된 복수의 화상과 가상 시점에 근거하여 생성되는 상기 가상 시점 화상과, 상기 디지털 콘텐츠의 제2면과 관련되고 상기 가상 시점 화상에 대응하는 상기 가상 시점과 다른 시점의 화상을 특정하도록 구성된 특정부와, 상기 가상 시점 화상에 대응하는 화상과, 상기 가상 시점과 다른 시점의 화상에 대응하는 화상을 표시 영역에 표시하는 제어를 행하도록 구성된 표시 제어부를 갖는다.
본 발명의 또 다른 특징은 첨부도면을 참조하는 이하의 실시형태의 설명으로부터 명백해질 것이다.
도1은 실시형태 1에 따른 화상 처리장치의 장치 구성의 일례를 도시한 도면이다.
도2는 실시형태 1에 따른 화상 처리장치의 하드웨어 구성을 도시한 도면이다.
도3은 실시형태 1에 따른 화상 처리장치의 동작 절차를 설명하기 위한 플로우차트다.
도4a 내지 도4c는 실시형태 1에 따른 콘텐츠 생성부가 생성하는 디지털 콘텐츠로서의 입체 화상의 예를 나타낸 도면이다.
도5는 실시형태 2에 따른 화상 처리장치의 동작 절차를 설명하기 위한 플로우차트다.
도6은 실시형태 3에 따른 화상 처리장치의 동작 절차를 설명하기 위한 플로우차트다.
도7은 도6에서 계속되는 플로우차트다.
도8은 도6과 도7에서 계속되는 플로우차트다.
도9는 실시형태 4에 따른 유저 디바이스에 표시되는 그래피컬 유저 인터페이스의 일례를 도시한 도면이다.
도10은 실시형태 4에 따른 동작 절차를 설명하기 위한 플로우차트다.
도11은 실시형태 5에 따른 유저 디바이스에 표시되는 그래피컬 유저 인터페이스의 일례를 도시한 도면이다.
도12는 실시형태 5에 따른 동작 절차를 설명하기 위한 플로우차트다.
도13은 실시형태 6에 따른 유저 디바이스에 표시되는 그래피컬 유저 인터페이스의 일례를 도시한 도면이다.
도14는 실시형태 6에 따른 동작 절차를 설명하기 위한 플로우차트다.
도15는 실시형태 7에 따른 화상 처리장치의 장치 구성의 일례를 도시한 도면이다.
도16은 실시형태 7에 따른 입체 형상의 디지털 콘텐츠의 각 면을 설명하는 도면이다.
도17은 실시형태 7에 따른 선수의 촬상 방향을 설명하는 도면이다.
도18은 실시형태 7에 따른 콘텐츠 생성부가 생성하는 입체 형상의 디지털 콘텐츠의 예를 나타낸 도면이다.
도19는 실시형태 7에 따른 화상 처리장치의 동작 절차를 설명하기 위한 플로우차트다.
도20은 실시형태 8에 따른 화상 처리장치의 동작 절차를 설명하기 위한 플로우차트다.
도21은 실시형태 9에 따른 화상 처리 시스템의 시스템 구성을 도시한 도면이다.
도22는 실시형태 9에 따른 데이터 전송 절차를 도시한 도면이다.
이하, 도면을 참조해서 본 발명의 실시형태를 설명한다. 단, 본 발명은 이하의 실시형태에 한정되는 것은 아니다. 각 도면에 있어서, 유사한 부재 또는 요소에 대해서는 동일한 참조번호를 붙인다. 중복하는 설명은 생략 또는 간략화한다.
실시형태 1에 따른 화상 처리 시스템은, 복수의 촬상장치(카메라)에 의해 다른 방향에서 촬상한 화상, 촬상장치의 상태와, 가상 시점에 근거하여, 지정한 가상 시점에서 본 가상 시점 화상을 생성한다. 그 가상 시점 화상을 가상적인 입체 화상의 표면에 표시한다. 촬상장치는, 카메라 뿐만 아니라, 화상 처리를 행하는 기능부를 갖고 있어도 된다. 촬상장치는, 카메라 이외에, 거리 정보를 취득하는 센서를 갖고 있어도 된다.
복수의 카메라는, 복수의 방향에서 촬상 영역을 촬상한다. 촬상 영역은, 예를 들면, 경기장의 필드와 임의의 높이로 둘러싸인 영역이다. 촬상 영역은, 피사체의 3차원 형상을 추정하는 3차원 공간과 관련되어도 된다. 3차원 공간은, 촬상 영역의 전부 또는 촬상 영역의 일부이어도 된다. 촬상 영역은, 콘서트 홀 또는 촬영 스튜디오이어도 된다.
복수의 카메라는, 촬상 영역을 둘러싸도록 각각 다른 위치 및 각각 다른 방향(자세)에 설치되고, 동기해서 촬상을 행한다. 이때, 복수의 카메라는 촬상 영역의 전체 주위에 설치되지 않아도 된다. 설치 장소가 제한되는 경우에는, 카메라는 촬상 영역의 일부의 방향에만 설치되어도 된다. 카메라의 수는 특별히 한정되지 않는다. 예를 들면, 촬상 영역이 럭비 경기장인 경우, 경기장의 주위에 수십 내지 수백대 정도의 카메라가 설치되어도 된다.
복수의 카메라는, 망원 카메라와 광각 카메라 등 화각이 다른 카메라를 포함해도 된다. 예를 들면, 망원 카메라를 사용해서 선수를 고해상도로 촬상함으로써 생성되는 가상 시점 화상의 해상도를 향상시킬 수 있다. 볼의 이동 범위가 넓은 구기의 경우에는, 광각 카메라를 사용해서 촬상함으로써 카메라 대수를 절감할 수 있다. 광각 카메라와 망원 카메라의 촬상 영역을 조합해서 촬상함으로써 설치 위치의 자유도가 향상된다. 카메라는 공통의 시각에서 동기되고, 촬상한 화상의 각 프레임에는 촬상 시각 정보가 부여된다.
가상 시점 화상은, 자유 시점 화상으로도 불리고, 오퍼레이터가 자유롭게 지정한 시점에 대응하는 화상을 모니터할 수 있다. 가상 시점 화상은, 예를 들면, 한정된 복수의 시점 후보로부터 오퍼레이터가 선택한 시점에 대응하는 화상을 모니터하는 경우도 포함한다. 가상 시점은 오퍼레이터에 의해 수동으로 지정되거나, 또는 화상 해석의 결과에 근거하여 인공지능(AI)에 이해 자동으로 지정되어도 된다. 가상 시점 화상은 영상 또는 정지 화상이어도 된다.
가상 시점 화상의 생성에 사용되는 가상 시점 정보는, 가상 시점의 위치 및 방향(자세)과 화각(초점거리)을 포함하는 정보다. 구체적으로는, 가상 시점 정보는, 가상 시점의 3차원 위치를 나타내는 파라미터와, 팬, 틸트 및 롤 방향에 있어어서의 가상 시점으로부터의 방향(시선 방향)을 나타내는 파라미터와, 초점거리 정보를 포함한다. 가상 시점 정보의 내용은 상기한 것에 한정되지 않는다.
가상 시점 정보는 복수의 프레임마다의 파라미터를 갖고 있어도 된다. 즉, 가상 시점 정보는, 가상 시점 영상의 화상을 구성하는 복수의 프레임의 각각에 대응하는 파라미터를 갖고, 각각의 연속하는 복수의 시점에 있어서의 가상 시점의 위치 및 방향을 나타내어도 된다.
예를 들어, 가상 시점 화상은 이하와 같은 방법으로 생성된다. 우선, 복수의 카메라가 다른 방향에서 촬상함으로써 복수 카메라 화상을 취득한다. 다음에, 복수 카메라 화상으로부터, 인물과 볼 등의 피사체에 대응하는 전경 영역을 추출하여 전경 화상을 얻는다. 전경 영역 이외의 배경 영역을 추출하여 배경 화상을 취득한다. 전경 화상 및 배경 화상은 텍스처 정보(색 정보 등)를 갖고 있다.
그후, 피사체의 3차원 형상을 나타내는 전경 모델과 전경 모델을 착색하기 위한 텍스처 데이터가 전경 화상에 근거하여 생성된다. 경기장 등의 배경의 3차원 형상을 나타내는 배경 모델을 착색하기 위한 텍스처 데이터가 배경 화상에 근거하여 생성된다. 그리고, 전경 모델과 배경 모델에 대하여 텍스처 데이터를 맵핑하고, 가상 시점 정보가 나타내는 가상 시점에 근거하여 렌더링을 행함으로써, 가상 시점 화상이 생성된다.
단, 가상 시점 화상의 생성 방법은 이것에 한정되지 않는다. 전경이나 배경 모델을 사용하지 않고 촬상 화상의 사영 변환에 의해 가상 시점 화상을 생성하는 방법을 포함하여, 다양한 방법을 사용할 수 있다.
전경 화상은, 카메라에 의해 촬상된 화상으로부터, 피사체의 영역(전경 영역)을 추출하여 얻어진 화상이다. 전경 영역으로서 추출되는 피사체는, 시계열로 같은 방향에서 촬상을 행한 경우에 움직임이 있는(절대 위치나 형태를 변화할 수 있는) 동적 피사체(동체)를 가리킨다. 피사체는, 예를 들면, 경기에 있어서, 경기장에 있는 선수와 심판 등의 인물, 경기가 구기이면, 볼을 포함한다. 콘서트나 엔터테인먼트 세팅에 있어서, 전경 피사체의 예로는 가수, 연주자, 퍼포머, 및 사회자이다.
배경 화상은, 적어도 전경의 피사체와는 다른 영역(배경 영역)의 화상이다. 구체적으로는, 배경 화상은, 전경이 되는 피사체를 제거한 촬상 화상이다. 배경은, 시계열로 같은 방향에서 촬상을 행한 경우 정지 또는 거의 정지한 촬상 대상물을 가리킨다.
이러한 촬상 대상물은, 예를 들면, 콘서트 스테이지, 경기 등의 이벤트가 열리는 스타디움, 구기에서 사용하는 골 등의 구조물과, 필드이다. 배경은 적어도 전경이 되는 피사체와는 다른 영역이다. 촬상 대상은, 피사체와 배경 이외의 물체를 포함해도 된다.
도1은, 본 실시형태에 따른 화상 처리장치(100)를 도시한 도면이다. 도1에 표시되는 기능 블록의 일부는, 화상 처리장치(100)에 포함되는 컴퓨터가 기억매체로서의 메모리에 기억된 컴퓨터 프로그램을 실행함으로써 실현되고 있다. 그러나, 이와 같은 기능 블록들의 일부 또는 전부를 하드웨어로 실현해도 된다. 하드웨어의 예로서는, 주문형 집적회로(ASIC)와 프로세서(리컨피규러블 프로세서 및 디지털 신호 처리기[DSP])를 들 수 있다.
화상 처리장치(100)의 기능 블록은, 같은 케이싱에 내장되지 않고 있어도 되고, 신호로를 거쳐 접속된 다른 장치들에 의해 구성되어도 된다. 화상 처리장치(100)는, 복수의 카메라에 접속되어 있다. 화상 처리장치(100)는, 형상 추정부(2), 화상 생성부(3), 콘텐츠 생성부(4), 보존부(5), 표시부(115) 및 조작부(116)를 갖는다. 형상 추정부(2)는, 복수의 카메라(1)와 화상 생성부(3)에 접속된다. 표시부(115)는 화상 생성부(3)에 접속되어 있다. 각각의 기능 블록은 각각의 다른 장치에 실장되어 있어도 된다. 기능 블록의 전부 혹은 일부가 같은 장치에 실장되어 있어도 된다.
복수의 카메라(1)는, 콘서트 스테이지, 경기 등의 이벤트가 열리는 스타디움, 구기에서 사용되는 골 등의 구조물, 또는 필드 주위의 다른 위치에 배치되고, 각각 다른 시점에서 촬상을 행한다. 각 카메라(1)는, 그 카메라(1)를 식별하기 위한 식별 번호(카메라 번호)를 갖는다. 카메라(1)는, 촬상한 화상으로부터 전경 화상을 추출하는 기능 등, 다른 기능을 가져도 되고, 그 기능을 실현하는 하드웨어(회로나 장치 등)도 포함하여도 된다. 카메라 번호는, 카메라(1)의 설치 위치에 근거하여 설정되거나, 그 이외의 기준에 근거하여 설정되어도 된다.
화상 처리장치(100)는 카메라(1)가 설치되는 회장 내에 설치되거나, 이 회장 외의 방송국 등에 배치되어 있어도 된다. 화상 처리장치(100)는 카메라(1)와 네트워크를 거쳐 접속되어 있다.
형상 추정부(2)는, 복수의 카메라(1)로부터의 화상을 취득한다. 형상 추정부(2)는, 복수의 카메라(1)로부터 취득한 화상에 근거하여, 피사체의 3차원 형상을 추정한다. 구체적으로는, 형상 추정부(2)는, 공지의 표현 방법으로 표시되는 3차원 형상 데이터를 생성한다. 3차원 형상 데이터는, 점으로 구성되는 점군 데이터나, 폴리곤으로 구성되는 메시 데이터나, 또는 복셀로 구성되는 복셀 데이터이어도 된다.
화상 생성부(3)는, 형상 추정부(2)로부터 피사체의 3차원 형상 데이터의 위치와 자세를 나타내는 정보를 취득하고, 가상 시점에서 피사체의 3차원 형상을 본 것처럼 피사체를 표현하는 2차원 형상을 포함하는 가상 시점 화상을 생성할 수 있다. 가상 시점 화상을 생성하기 위해서, 화상 생성부(3)는, 오퍼레이터에 의해 지정된 가상 시점 정보(가상 시점의 위치와 가상 시점에서의 시선 방향 등)를 접수하고, 그 가상 시점 정보에 근거하여 가상 시점 화상을 생성할 수도 있다. 여기에서, 화상 생성부(3)는, 복수의 카메라에 의해 얻어진 복수의 화상에 근거하여 가상 시점 화상을 생성하는 가상 시점 화상 생성부로서 기능하고 있다.
가상 시점 화상은 콘텐츠 생성부(4)로 보내진다. 콘텐츠 생성부(4)는, 후술하는 것과 같이, 예를 들면, 입체 형상의 디지털 콘텐츠를 생성한다. 콘텐츠 생성부(4)에서 생성된, 가상 시점 화상을 포함하는 디지털 콘텐츠는 표시부(115)에 출력된다.
콘텐츠 생성부(4)는 복수의 카메라(1)로부터의 화상을 직접 접수하여, 각각의 카메라(1)의 화상을 표시부(115)에 공급할 수도 있다. 또한, 콘텐츠 생성부(4)는 조작부(116)로부터의 지시에 근거하여, 카메라(1)의 화상과 가상 시점 화상을 가상적인 입체 화상의 어떤 면에 표시할 것인지를 전환할 수도 있다.
표시부(115)는, 예를 들면, 액정 디스플레이와 발광 다이오드(LED)로 구성된다. 표시부(115)는, 콘텐츠 생성부(4)로부터, 가상 시점 화상을 포함하는 디지털 콘텐츠를 취득하여 이 디지털 콘텐츠를 표시한다. 표시부(115)는, 오퍼레이터가 각각의 카메라(1)를 조작하기 위한 그래피컬 유저 인터페이스(GUI)를 더 표시한다.
조작부(116)는, 조이스틱, 조그 다이얼, 터치패널, 키보드 및 마우스로 구성되고, 카메라(1)의 조작을 오퍼레이터가 행하기 위해 사용된다. 또한, 조작부(116)는, 콘텐츠 생성부(4)에서 생성하는 디지털 콘텐츠(입체 화상)의 표면에 표시되는 화상을 오퍼레이터가 선택하기 위해 사용된다. 또한, 조작부(116)는, 화상 생성부(3)가 가상 시점 화상을 생성하기 위한 가상 시점의 위치와 자세를 지정할 수 있다.
오퍼레이터의 조작 지시에 의해 가상 시점의 위치와 자세를 화면 위에서 직접적으로 지정해도 된다. 이와 달리, 오퍼레이터의 조작 지시에 의해 소정의 피사체를 화면 위에서 지정한 경우, 그 소정의 피사체를 화상인식에 의해 인식해서 추미하고, 그 피사체로부터의 가상 시점 정보나, 그 피사체를 중심으로 한 원호형의 주위의 위치부터의 가상 시점 정보를 자동적으로 지정해도 된다.
더구나, 오퍼레이터의 조작 지시에 의해 미리 지정한 조건을 만족하는 피사체를 화상인식에 의해 인식하고, 그 피사체로부터의 가상 시점 정보나, 그 피사체를 중심으로 해서 원호형의 주위의 위치부터의 가상 시점 정보를 자동적으로 지정해도 된다. 이와 같은 경우에 지정된 조건은 예를 들면 특정한 애슬리트 이름, 슈트를 한 선수, 파인 플레이를 한 선수와 볼의 위치이다.
보존부(5)는 콘텐츠 생성부(4)가 생성된 디지털 콘텐츠, 가상 시점 화상 및 카메라 화상을 보존하기 위한 메모리를 포함한다. 보존부(5)는 착탈가능한 기록 매체를 갖고 있어도 된다. 예를 들어, 착탈가능한 기록 매체에는, 다른 회장이나 다른 스포츠 씬에 있어서 촬상된 복수의 카메라 화상, 그것들을 사용해서 생성된 가상 시점 화상과, 이와 같은 화상들을 조합해서 생성된 디지털 콘텐츠가 기록되어도 된다.
보존부(5)는, 외부 서버 등으로부터 네트워크를 거쳐 다운로드한 복수의 카메라 화상. 그것들을 사용해서 생성된 가상 시점 화상과, 이와 같은 화상들을 조합해서 생성된 디지털 콘텐츠를 보존할 수 있도록 구성해도 된다. 이들 카메라 화상, 가상 시점 화상과, 디지털 콘텐츠는 제3자가 작성해도 된다.
도2는, 실시형태 1에 따른 화상 처리장치(100)의 하드웨어 구성을 나타내는 도면이다. 도2를 참조해서 화상 처리장치(100)의 하드웨어 구성에 대해 설명한다.
화상 처리장치(100)는, 중앙처리장치(CPU)(111), 판독 전용 메모리(ROM)(112), 랜덤 액세스 메모리(RAM)(113), 보조 기억장치(114), 표시부(115), 조작부(116), 통신 인터페이스(I/F)(117), 및 버스(118)를 갖는다. CPU(111)은, ROM(112), RAM(113)과 보조 기억장치(114)에 기억되어 있는 컴퓨터 프로그램을 사용해서 화상 처리장치(100)의 전체를 제어함으로써, 도1에 나타내는 화상 처리장치(100)의 각 기능 블록을 실현한다.
RAM(113)은, 보조 기억장치(114)로부터 공급되는 컴퓨터 프로그램과 데이터, 및 통신 I/F(117)를 통해 외부에서 공급되는 데이터를 일시기억한다. 보조 기억장치(114)는, 예를 들어, 하드 디스크 드라이브 등으로 구성되고, 화상 데이터, 음성 데이터와, 콘텐츠 생성부(4)로부터의 가상 시점 화상을 포함하는 디지털 콘텐츠 등의 다양한 데이터를 기억한다.
표시부(115)는, 상기한 것과 같이, 가상 시점 화상을 포함하는 디지털 콘텐츠와, GUI을 표시한다. 조작부(116)는, 상기한 것과 같이, 오퍼레이터에 의한 조작 입력을 받고, 각종의 지시를 CPU(111)에 입력한다. CPU(111)은, 표시부(115)를 제어하는 표시 제어부, 및 조작부(116)를 제어하는 조작 제어부로서 동작한다.
통신 I/F(117)는, 화상 처리장치(100)의 외부의 장치(예를 들면, 카메라(1)와 외부 서버)와의 통신에 사용된다. 예를 들면, 화상 처리장치(100)가 외부의 장치와 유선으로 접속되는 경우에는, 통신용의 케이블이 통신 I/F(117)에 접속된다. 화상 처리장치(100)가 외부의 장치와 무선통신하는 기능을 갖는 경우에는, 통신 I/F(117)는 안테나를 구비한다. 버스(118)는 화상 처리장치(100)의 각 구성요소를 연결하고 그들 사이에 정보를 전달한다.
본 실시형태에서는, 표시부(115)와 조작부(116)가, 화상 처리장치(100)의 내부에 포함되어 것으로 설명한다. 하지만, 표시부(115)와 조작부(116)의 적어도 한쪽이 화상 처리장치(100)의 외부의 별체의 장치이어도 된다. 화상 처리장치(100)는, 예를 들면, 퍼스널 컴퓨터(PC) 단말로 구성되어도 된다.
도3은, 실시형태 1에 따른 화상 처리장치(100)의 동작 절차를 설명하기 위한 플로우차트다. 도4a 내지 도4c는 실시형태 1에서 콘텐츠 생성부(4)가 생성하는 입체 형상의 디지털 콘텐츠의 예를 나타낸 도면이다.
화상 처리장치(100)의 컴퓨터로서의 CPU(111)이 예를 들면 ROM(112)과 보조 기억장치(114) 등의 메모리에 기억된 컴퓨터 프로그램을 실행함으로써 도3의 플로우차트의 각 스텝의 동작이 행해진다.
본 실시형태에서는, 화상 처리장치(100)는 방송국에 설치되고, 도4a에 나타낸 것과 같은 입체 형상의 디지털 콘텐츠(200)를 제작하여 방송해도 된다. 이와 달리, 화상 처리장치(100)는 디지털 콘텐츠(200)를 인터넷를 거쳐 제공해도 된다. 이 경우에, 화상 처리장치(100)는 디지털 콘텐츠(200)에 논 펀저블 토큰(NFT)을 부여할 수 있다.
예를 들어, 자산가치를 향상시키기 위해서, 배포할 콘텐츠의 수량을 제한해서 시리얼 번호를 사용하여 콘텐츠로 관리해서 디지털 콘텐츠(200)에 희소성을 갖게 할 수 있다. NFT은 블록 체인 상에서 발행 및 유통하기 위한 토큰이다. NFT의 포맷의 일례로서는, Ethereum Request for Comment(ERC)-721과 ERC-1155로 불리는 토큰 규격을 포함한다. 토큰은 통상 오퍼레이터가 관리하는 워렛과 관련되어 보관된다.
스텝 S31에 있어서, CPU(111)은, 메인 카메라 화상(제1 화상)을 예를 들면 도4a에 도시된 입체 형상의 디지털 콘텐츠(200)의 제1면(201)과 관련시킨다. CPU(111)는 오퍼레이터에 의한 확인을 위해 제1면(201)과 관련된 메인 카메라 화상을 표시해도 된다. 도4a에 나타낸 것과 같이, 디지털 콘텐츠(200)를 가상적으로 본 시점에서의 시선 방향(구체적으로는, 도4a의 지면에 수직한 방향))과 제1면(201)의 법선방향이 평행하지 않은 경우에는, CPU(111)는 이하의 표시를 행해도 된다. 제1면(201)에 표시되는 메인 카메라 화상은, 디지털 콘텐츠(200)의 표시면에 대한 제1면(201)의 법선방향의 각도에 근거하여 사영 변환되어서 생성된다. 여기에서, 메인 카메라 화상(메인 화상 또는 제1 화상)은, 스포츠 회장에 설치된 복수의 카메라로부터 얻어진 복수의 화상 중 텔레비젼(TV) 방송 등을 위해 선택되는 화상을 말한다. 메인 화상은 소정의 피사체를 화각 내에 포함하는 화상이다. 메인 카메라 화상은 스포츠 회장에 설치된 카메라에 의해 촬상될 필요는 없다. 예를 들면, 메인 카메라 화상은 촬영자가 소지하는 휴대용 카메라에 의해 촬상된 화상이어도 된다. 이와 달리, 메인 카메라 화상은 회장내의 관객이 소지하는 카메라나 카메라 탑재된 스마트폰 등의 전자기기로 촬상된 화상이어도 된다. 메인 카메라 화상은, 가상 시점 화상의 생성에 사용되는 복수의 카메라(1) 중 한 개에 의해 촬상된 화상, 또는 그 복수의 카메라(1)에 포함되지 않는 카메라에 의해 촬상된 화상이어도 된다.
어떤 카메라의 화상을 메인 화상으로서 방송 또는 온라인 상에 배포할 것인가는 방송국의 오퍼레이터가 조작부(116)를 사용해서 적절히 선택한다. 예를 들면, 득점의 순간을 방영하거나 배포하는 경우에는, 골 근방의 카메라에 의해 촬상된 화상을 메인 화상으로서 방송하는 경우가 많다.
본 실시형태에 있어서는, 도4a 내지 도4c에 나타낸 것과 같이, 좌측에 나타낸 면을 제1면(201)으로 부르고, 우측에 나타낸 면을 제2면(202)으로 하고, 상측에 나타낸 면을 제3면(203)으로 부른다. 그러나, 이것에 한정되지 않는다. 어떤 면을 제1면, 제2면 또는 제3면으로 부른 것인지는 미리 임의로 설정할 수 있다.
스텝 S32에서, 콘텐츠 생성부(4)는, 디지털 콘텐츠(200)의 제3면(203)에 부수 데이터를 관련시킨다. 예를 들어, 부수 데이터로서는, 골에 득점한 선수의 이름, 선수의 팀 명과, 선수가 골을 득점한 시합의 결과 등의 데이터를 관련시킨다. CPU(111)는 오퍼레이터에 의한 확인을 위해, 제3면(203)에 관련된 부수 데이터를 표시해도 된다. NFT를 부여하는 경우에는, NFT의 발행수 등 희소성을 나타내는 데이터를 부수 데이터로서 제3면(203)에 표시해도 된다. NFT의 발행수는, 화상 생성 시스템을 사용해서 디지털 콘텐츠(200)를 생성하는 오퍼레이터가 결정하거나, 화상 생성 시스템이 자동적으로 결정해도 된다.
스텝 S33에 있어서, 화상 생성부(3)는, 메인 카메라 화상을 촬상하는 카메라(1)와 다른 소정 각도(예를 들면 90°)만큼 시점의 방향이 다르고, 예를 들면, 골이나 슈터를 포함하는 화상을 복수의 카메라(1)에 의한 화상 중에서 취득한다. 복수의 카메라(1)의 배치 위치와 자세를 미리 알고 있으므로, CPU(111)는 메인 카메라 화상과 소정 각도 시점의 시선 방향이 다른 상기한 화상이 어느 카메라로부터 취득할 수 있는지는 판단가능하다. 이하의 설명에서, 화상의 시점이라고 하는 표현은 화상을 촬상하는 카메라(1)의 시점 혹은 화상을 생성하기 위해서 지정된 가상 시점을 말한다.
이와 달리, 스텝 S33에 있어서, 화상 생성부(3)는 소정의(예를 들어, 상기한바와 같이 90° 시점의 방향이 다른) 가상 시점으로부터, 화상 인식에 의해 인식된 피사체를 포함하는 가상 시점 화상을 취득해도 된다. 이와 같은 경우, 화상 생성부(3)는 소정의(상기한 바와 같이 90° 시점 방향, 즉 자세가 다른) 가상 시점에 대한 지정을 접수하고, 가상 시점 화상을 생성시킴으로써 가상 시점 화상을 취득해도 된다.
이와 달리, 화상 생성부(3)는, 미리 복수의 시점으로부터의 가상 시점 화상을 생성하고, 해당하는 것을 선택함으로써 가상 시점 화상을 취득해도 된다. 본 실시형태에서는, 메인 카메라 화상과 소정 각도만큼 시점이 다른 화상을 90° 시점이 다른 화상인 것으로 설명한다. 그러나, 이 각도는 미리 설정될 수 있다.
가상 시점 화상은, 메인 카메라 화상에 포함되는 피사체의 방향(예를 들면, 인물인 경우에는, 얼굴이나 몸의 방향)에 근거해서 특정되는 가상 시점에 대응하는 화상이어도 된다. 메인 카메라 화상이 복수의 피사체를 포함하는 경우에는, 이들 복수의 피사체 중 한 개에 대해 가상 시점을 설정해도 된다.
상기한 설명에서는, 메인 카메라 화상에 대하여 소정의 각도의 시점에서의 화상을 선택한다. 그러나, 소정의 시점에서의 가상 시점 화상을 선택해서 취득해도 된다. 소정의 시점의 예로는, 피사체 시점, 피사체의 후방의 시점, 피사체를 중심으로 한 원호 위의 위치의 가상 시점을 들 수 있다.
피사체 시점은, 피사체의 위치를 가상 시점의 위치로 하고 피사체의 방향을 가상 시점에서의 시선 방향으로 하는 가상 시점을 말한다. 예를 들면, 피사체가 인물인 것으로 가정하자. 피사체 시점은, 인물의 얼굴의 위치를 가상 시점의 위치로 하고, 인물의 얼굴의 방향을 가상 시점에서의 시선 방향으로 한 시점이다. 이와 달리, 이 인물의 시선 방향은 가상 시점에서의 시선 방향으로 사용해도 된다.
피사체의 후방의 시점은, 피사체의 후방에 소정의 거리의 위치를 가상 시점의 위치로 하고, 그 위치로부터 피사체의 위치를 향하는 방향을 가상 시점에서의 시선 방향으로 하는 가상 시점을 말한다. 이와 달리, 가상 시점에서의 시선 방향은 피사체의 방향에 근거하여 결정되어도 된다. 예를 들면, 피사체가 인물인 경우, 피사체의 후방의 시점은, 인물의 등의 일정 거리 후방 또한 일정 거리 위의 위치를 가상 시점의 위치로 하고, 인물의 얼굴의 방향을 가상 시점에서 시선 방향으로 한 가상 시점을 말한다.
피사체를 중심으로 한 원호 위의 위치에서의 가상 시점은, 피사체의 위치를 중심으로 한 소정의 반경으로 규정되는 구면 위의 위치를 가상 시점의 위치로 하고, 그 위치로부터 피사체의 위치를 향하는 방향을 가상 시점에서의 시선 방향으로 하는 가상 시점을 말한다.
예를 들면, 피사체가 인물인 경우, 인물의 위치를 중심으로 한 소정의 반경으로 규정되는 구면 위의 위치를 가상 시점의 위치로 하고, 그 위치로부터 피사체의 위치를 향하는 방향을 가상 시점에서의 시선 방향으로 하는 가상 시점이다.
이에 따라, 스텝 S33은, 제1 화상과 소정의 관계를 갖는 시점의 가상 시점 화상을 제2 화상으로서 취득하는 가상 시점 화상 생성 스텝으로서 기능하고 있다. 여기에서, 제1 화상과 소정의 관계를 갖는 시점의 가상 시점 화상의 시각(촬상 타이밍)은 제1 화상과 같은 것이다. 본 실시형태에서는, 제1 화상과 소정의 관계를 갖는 상기 시점은, 상기한 바와 같이 제1 화상의 시점과 소정의 각도 관계 또는 소정의 위치 관계를 갖는 시점을 말한다.
스텝 S34에 있어서, CPU(111)은, 그 제2 화상을 디지털 콘텐츠(200)의 제2면(202)과 관련시킨다. CPU(111)는, 오퍼레이터의 확인을 위해, 제2 화상을 표시해도 된다. 전술한 것과 같이, 제1면(201)과 관련되는 메인 화상과, 제2면(202)과 관련되는 제2화상은, 같은 시각에 촬상된 화상이 되도록 동기제어된다. 이와 같이, 스텝 S31 내지 S34에서는, 제1 화상을 입체 형상의 디지털 콘텐츠(200)의 후술하는 제1면(201)과 관련시키고, 제1 화상과 소정의 관계를 갖는 가상 시점의 가상 시점 화상을 제2면(202)과 관련시키고 있다. 스텝 S31 내지 S34는 콘텐츠 생성 스텝(콘텐츠 생성수단)으로서 기능하고 있다.
스텝 S35에 있어서, CPU(111)은, 조작부(116)를 거쳐 상기한 제2면(202)에 표시되는 제2 화상의 시점을 변경하는 조작이 행해졌는지 판별한다. 즉, 오퍼레이터는 시시각각 변화하는 스포츠 씬을 보면서 제2면에 표시된 제2화상의 시점을, 복수의 카메라(1)에 의해 촬상된 화상 중에서 원하는 시점의 카메라 화상을 선택함으로써 변경할 수 있다.
이와 달리, 오퍼레이터는 복수의 가상 시점 중에서 원하는 시점에 대해 화상 생성부(3)에 대하여 지정함으로써 그 시점에서의 가상 시점 화상을 취득할 수 있다. 스텝 S35에서는, 이와 같은 시점 변경 조작이 행해진 경우에는(스텝 S35에서 YES), 스텝 S36으로 처리가 진행한다.
스텝 S36에 있어서, CPU(111)은, 시점이 변경된 후의 시점 화상을 복수의 카메라(1)에 의해 촬상된 화상 중에서 선택하거나, 또는 시점이 변경된 후의 가상 시점 화상을 화상 생성부(3)로부터 취득한다. 이때, CPU(111)가 미리 생성된 가상 시점 화상을 취득하거나, 또는 변경된 시점에 근거해서 새로운 가상 시점 화상을 취득해도 된다. 이 선택되거나 취득된 화상을 제2화상으로 하여, 스텝 S34로 처리를 진행한다. 스텝 S34에서, CPU(111)는 제2 화상을 제2면(202)과 관련시킨다. 이 상태에 있어서, 표시부(115)는, 디지털 콘텐츠(200)의 제1면(201), 제2면(202) 및 제3면(203) 위에 각각, 제1 화상, 제2 화상 및 부수 데이터를 표시한다. 이때, 오퍼레이터는, 디지털 콘텐츠(200)의 제1면(201), 제2면(202) 및 제3면(203)과 각각 제1 화상, 제2 화상 및 부수 데이터가 관련된 상태에 대한 표시를 확인할 수 있다. 이 경우에, 어떤 면이 제1면(201), 제2면(202) 또는 제3면(203)인지를 표시하기 위해 면 번호도 표시해도 된다.
스텝 S35에서, 시점 변경이 없는 경우에는(스텝 S35에서 NO) 스텝 S37로 처리를 진행한다. 스텝 S37에서, CPU(111)은, 디지털 콘텐츠(200)에 NFT를 부여할 것인지 아닌지 판별한다. 이를 위해, CPU(111)는, 예를 들면 표시부(115)에 디지털 콘텐츠(200)에 NFT를 부여할 것인지 아닌지를 묻는 GUI을 표시한다. 오퍼레이터가 NFT를 부여한다고 선택한 경우에는(스텝 S37에서 YES), 스텝 S38로 처리를 진행한다. 스텝 S38에서, CPU(111)는 디지털 콘텐츠(200)에 NFT를 부여하고, 디지털 콘텐츠(200)를 암호화한다. 스텝 S39로 처리를 진행한다.
스텝 S37에서 no로 판별된 경우에는(스텝 S37에서 NO), 스텝 S39로 처리를 진행한다.
스텝 S37에 있어서의 디지털 콘텐츠(200)는, 도4b 및 도4c와 같은 형상의 입체 화상이어도 된다. 디지털 콘텐츠(200)가 다면체 형상을 갖는 경우에, 다면체는 도4a와 같은 6면체에 한정되지 않고, 예를 들면 8면체이어도 된다.
스텝 S39에 있어서, CPU(111)은, 도3의 디지털 콘텐츠(200)를 생성하기 위한 절차를 종료할 것인지 아닌지 판별한다. 오퍼레이터가 조작부(116)를 조작해서 절차를 종료하지 않는 경우(스텝 S39에서 NO), 스텝 S31로 처리가 되돌아 상기한 처리를 반복한다. 오퍼레이터가 조작부(116)를 조작해서 절차를 종료하는 경우(스텝 S39에서 YES), 도3의 절차를 종료한다. 오퍼레이터가 조작부(116)를 조작해서 절차를 종료하지 않는 경우, 조작부(116)의 최후의 조작으로부터 소정 기간(예를 들면 30분) 경과한 후 자동적으로 처리를 종료해도 된다.
도4b 및 도4c는 디지털 콘텐츠(200)의 변형예를 나타낸 도면이다. 도4b는 도4a의 디지털 콘텐츠(200)의 구 버전을 나타낸 것이다. 구(디지털 콘텐츠)(200)의 예를 들면 정면에서 볼 때 좌측의 구면인 제1면(201)에 제1화상을 표시한다. 우측의 구면인 제2면(202)에 제2화상을 표시한다. 상측의 구면인 제3면(203)에 상기한 부수 데이터를 표시한다.
도4c는 도4a의 디지털 콘텐츠(200)의 평면을 원하는 곡률을 갖는 곡면으로 변형한 예를 나타낸 도면이다. 이렇게, 본 실시형태에 따른 디지털 콘텐츠(200)는 도4b에 나타낸 것과 같은 구체나 도4c에 나타낸 것과 같은 구면을 갖는 입방체를 사용해서 화상을 표시할 수 있다.
다음에, 실시형태 2에 대해서 도5를 참조하여 설명한다.
도5는, 실시형태 2에 따른 화상 처리장치(100)의 동작 절차를 설명하기 위한 플로우차트다. 화상 처리장치(100)의 컴퓨터로서의 CPU(111)이 예를 들면 ROM(112)과 보조 기억장치(114) 등의 메모리에 기억된 컴퓨터 프로그램을 실행함으로써 도5의 플로우차트의 각 스텝의 동작이 행해진다.
도5에 있어서, 도3과 동일한 스텝 번호를 갖는 스텝의 처리는 같으며, 그것의 설명을 생략한다.
도5의 스텝 S51에 있어서, CPU(111)은, 오퍼레이터에 의해 지정된 시점의 카메라 화상 또는 오퍼레이터에 의해 지정된 가상 시점에서의 가상 시점 화상을 화상 생성부(3)로부터 제2 화상으로서 취득한다. 나머지 절차는 도3과 같다.
실시형태 1에서는, 메인 화상(제1 화상)에 대하여 소정의 관계를 갖는(소정 각도 다른) 제2화상을 취득한다. 이와 달리, 실시형태 2에서는, 오퍼레이터가 원하는 카메라를 선택하거나, 원하는 피사체의 원하는 시점의 가상 시점 화상을 취득해서 제2화상을 취득한다.
스텝 S51에서 오퍼레이터에 의해 선택되는 카메라 화상 또는 가상 시점 화상의 예로는, 스포츠 회장의 비스듬한 위쪽의 시점의 화상 또는 비스듬한 아래쪽에서의 시점의 화상을 포함한다. 실시형태 2에 있어서는, 제2면(202)에 표시되는 가상 시점 화상을 오퍼레이터가 선택가능하다.
스텝 S51에서 오퍼레이터에 의해 선택되는 가상 시점 화상은, 예를 들면 줌아웃한 것 같은 피사체로부터 떨어져 놓인 시점에서의 가상 시점 화상이어도 된다.
과거에 생성한 카메라 화상과 이 카메라 화상에 근거하여 생성한 가상 시점 화상을 보존부(5)에 보존해 두고, 그것을 판독하여, 제1화상, 제2화상 및 부수 데이터로서 각각 제1면, 제2면 및 제3면에 표시하여도 된다.
스텝 S38과 스텝 S39 사이에, 예를 들어, CPU(111)가 조작부(116)의 최후의 조작으로부터 소정 기간(예를 들면, 30분) 경과후에 자동적으로 디폴트의 입체 화상 표시로 전환하는 스텝을 삽입해도 된다. 디폴트의 입체 화상 표시의 예로서, 제1면에 메인 화상을 표시하고, 제3면에는 부수 데이터를 표시하고, 제2면에는 과거의 통계에서 가장 빈도가 높게 사용된 시점으로부터의 카메라 화상이나 가상 시점 화상을 표시해도 된다.
도6 내지 도8을 참조해서 실시형태 3에 대해 설명한다. 도6은 실시형태 3에 따른 화상 처리장치(100)의 동작 절차를 설명하기 위한 플로우차트이며, 도7은 도6에서 계속되는 플로우차트이다. 도8은, 도6과 도7에서 계속되는 플로우차트다. 화상 처리장치(100)의 컴퓨터로서의 CPU(111)이 예를 들면 ROM(112)과 보조 기억장치(114) 등의 메모리에 기억된 컴퓨터 프로그램을 실행함으로써 도6 내지 도8의 플로우차트의 각 스텝의 동작이 행해진다.
실시형태 3에서는, 오퍼레이터가 가상 시점 수를 1 내지 3 중에서 선택하고, 이에 따라 디지털 콘텐츠(200)의 제1 내지 제3면의 표시가 자동적으로 전환된다.
스텝 S61에 있어서, 오퍼레이터가 가상 시점의 수를 1 내지 3 중에서 선택하고, CPU(111)가 이 선택된 수를 접수한다. 스텝 S62에 있어서, CPU(111)은, 선택된 수의 가상 시점 화상을 화상 생성부(3)로부터 취득한다.
이때, CPU(111)는 자동적으로 대표적인 가상 시점을 선택한다. 구체적으로 설명하면, CPU(111)는, 씬을 해석하고, 예를 들면 과거의 통계로부터 가장 사용 빈도가 높은 가상 시점을 제1 가상 시점으로 선택한다. CPU(111)는 다음에 사용 빈도가 높은 가상 시점을 제2 가상 시점으로 선택하고, 그 다음에 사용 빈도가 높은 가상 시점을 제3 가상 시점으로 선택한다. 제2 가상 시점은 제1 가상 시점으로부터 예를 들면 +90°각도가 다르도록 미리 설정되고, 제3 가상 시점은 제1 가상 시점으로부터 예를 들면 -90°각도가 다르도록 미리 설정해도 된다. 여기에서, +90°, -90°은 예이며, 이들 각도에 한정되지 않는다.
스텝 S63에 있어서, CPU(111)은, 선택된 가상 시점의 수가 1인지 아닌지 판별한다. 이 수가 1이면(스텝 S63에서 YES), 스텝 S64로 처리를 진행한다. 스텝 S64에 있어서, CPU(111)은, 복수의 카메라(1) 중의 메인 카메라로부터 메인 화상을 취득해서, 이 메인 화상을 디지털 콘텐츠(200)의 제1면(201)과 관련시킨다.
스텝 S65에서, CPU(111)은 부수 데이터를 디지털 콘텐츠(200)의 제3면(203)과 관련시킨다. 실시형태 1에 따른 도3의 스텝 S32에서 관련된 부수 데이터와 마찬가지로, 이 부수 데이터는, 예를 들면, 골을 득점한 선수의 이름이어도 된다.
스텝 S66에 있어서, CPU(111)은, 디지털 콘텐츠(200)의 제2면과 전술한 제1 가상 시점에서의 제1 가상 시점 화상을 관련시킨다. 도8의 스텝 S81로 처리를 진행한다.
스텝 S63에서 no로 판별된 경우에는(스텝 S63에서 NO), 스텝 S67로 처리를 진행한다. 스텝 S67에서, CPU(111)은, 선택된 가상 시점의 수가 2인지 아닌지 판별한다. 이 수가 2이면(스텝 S67에서 YES), 스텝 S68로 처리를 진행한다.
스텝 S68에 있어서, CPU(111)은, 부수 데이터를 디지털 콘텐츠(200)의 제3면(203)과 관련시킨다. 부수 데이터는, 스텝 S65에서 관련되는 부수 데이터와 마찬가지로, 예를 들면, 골을 득점한 선수의 이름이어도 된다.
스텝 S69에 있어서, CPU(111)은, 제1 가상 시점에서의 제1 가상 시점 화상을 디지털 콘텐츠(200)의 제1면(201)과 관련시킨다. 또한, CPU(111)는 디지털 콘텐츠(200)의 제2면(202)과, 전술한 제2 가상 시점에서의 제2 가상 시점 화상을 관련시킨다. 도8의 스텝 S81로 처리를 진행한다.
스텝 S67에서 no로 판별된 경우에는(스텝 S67에서 NO), 도7의 스텝 S71로 처리를 진행한다. 스텝 S71에 있어서, CPU(111)은, 오퍼레이터가 제3면(203)과 부수 데이터를 관련시키는 선택을 하고 있는지 아닌지 판별한다. yes인 경우에는(스텝 S71에서 YES), 스텝 S72로 처리를 진행한다. no인 경우에는(스텝 S71에서 NO), 스텝 S73으로 처리를 진행한다.
스텝 S72에 있어서, CPU(111)은, 제1 가상 시점에서의 가상 시점 화상을 디지털 콘텐츠(200)의 제1면(201)과 관련시키고, 제2 가상 시점에서의 제2 가상 시점 화상을 제2면(202)과 관련시키고, 제3 가상 시점에서의 제3 가상 시점 화상을 제3면과 관련시킨다. 도8의 스텝 S81로 처리를 진행한다.
스텝 S71에서 판정이 yes인 경우에는(스텝 S71에서 YES), 스텝 S73에 있어서, CPU(111)은, 부수 데이터를 디지털 콘텐츠(200)의 제3면(203)과 관련시킨다. 부수 데이터는, 스텝 S65에서 관련되는 부수 데이터와 마찬가지로, 예를 들면, 골을 득점한 선수의 이름이어도 된다.
스텝 S74에 있어서, CPU(111)은, 제1 가상 시점에서의 제1 가상 시점 화상을 디지털 콘텐츠(200)의 제1면(201)과 관련시킨다. 스텝 S75에 있어서, CPU(111)은, 디지털 콘텐츠(200)의 제2면(202)과, 제2 가상 시점에서의 제2 가상 시점 화상과 제3 가상 시점에서의 제3 가상 시점 화상을 서로의 옆에 표시할 수 있도록 관련시킨다. 즉, CPU(111)는 제2면(202)을 제2 가상 시점 화상과 제3 가상 시점 화상을 표시하는 2개의 영역으로 분할하고, 각각의 영역과 가상 시점 화상을 관련시킨다. 도8의 스텝 S81로 처리를 진행한다.
도8의 스텝 S81에 있어서, CPU(111)은, 디지털 콘텐츠(200)에 NFT을 부여할 것인지 아닌지 판별한다. 이것을 위해, CPU(111)는, 예를 들면 표시부(115)에 디지털 콘텐츠(200)에 NFT를 부여할 것인지 아닌지를 묻는 GUI)을 표시한다. 오퍼레이터가 NFT를 부여한다고 선택한 경우에는(스텝 S81에서 YES), 스텝 S82로 처리를 진행한다. 스텝 S82에서, CPU(111)는 디지털 콘텐츠(200)에 NFT를 부여하고, 디지털 콘텐츠(200)를 암호화한다. 스텝 S83으로 처리를 진행한다.
스텝 S81에서 no로 판별된 경우에는(스텝 S81에서 NO), 스텝 S83으로 처리를 진행한다. 전술한 것과 같이, 스텝 S81에 있어서의 디지털 콘텐츠(200)는 도4b 또는 도4c에 도시된 것과 같은 형상이어도 된다.
스텝 S83에 있어서, CPU(111)은, 도6 내지 도8의 절차를 종료할 것인지 아닌지 판별한다. 오퍼레이터가 조작부(116)를 조작해서 절차를 종료하지 않으면(스텝 S83에서 NO), 스텝 S84로 처리를 진행한다.
스텝 S84에서는, CPU(111)은 가상 시점의 수가 변경되어 있지 않은지 판별한다.
수가 변경되어 있으면(스텝 S84에서 YES), 스텝 S61로 처리가 되돌아간다. 수가 변경되지 않으면(스텝 S84에서 NO) 스텝 S62로 처리가 되돌아간다. 스텝 S83에서 yes로 판별된 경우에는(스텝 S83에서 YES), 도6 내지 도8의 절차를 종료한다.
실시형태 3은, 오퍼레이터가 가상 시점 수를 1 내지 3 중에서 선택하고, 그것에 따라 CPU(111)가 디지털 콘텐츠(200)의 제1면(201) 내지 제3면(203)과 관련시킬 화상을 자동적으로 선택하는 예를 설명하였다. 그러나, 오퍼레이터가 복수의 카메라(1)에 의해 촬상된 화상 중에서 디지털 콘텐츠(200)를 구성하는 면과 관련시킬 카메라 화상의 수를 선택해도 된다. 그리고, CPU(111)는 그것에 따라 복수의 카메라(1) 중에서 소정의 카메라를 자동적으로 선택하고, 디지털 콘텐츠(200)의 제1면(201) 내지 제3면(203)과 선택된 카메라에 의해 촬상된 화상을 자동적으로 관련시켜도 된다. 이때, 시점의 최대 수는 반드시 3개일 필요는 없다. 예를 들면, 시점의 수는, 디지털 콘텐츠(200)를 구성하는 면의 수 혹은, 화상을 관련되는 것이 가능한 면의 수를 최대로 하는 범위에서 결정되어도 된다. 한개의 면에 복수의 화상을 관련시킬 수 있으면, 최대의 시점의 수를 더 증가시킬 수 있다.
스텝 S82와 스텝 S83 사이에, CPU(111)이 예를 들면 조작부(116)의 최후의 조작으로부터 소정 기간(예를 들면, 30분) 경과 후에 자동적으로 디폴트의 입체 화상 표시로 이루어진 콘텐츠로 전환하는 스텝을 삽입해도 된다. 디폴트의 입체 화상 표시의 예로서, 제1면이 메인 화상을 표시하고, 제2면이, 과거의 통계에서 가장 사용 빈도가 높은 시점에서의 카메라 화상 또는 가상 시점 화상을 표시한다. 제3면은 예를 들면 부수 데이터를 표시한다.
이상과 같이, 실시형태 3에 있어서는, 스텝 S69, S72 및 스텝 S95에 있어서, 제2면에 표시된 것과 다른 가상 시점 화상을 제1면과 관련시킬 수 있다.
다음에, 실시형태 4에 대해서 도9 및 도10을 참조하여 설명한다. 본 실시형태에 있어서, 시스템 구성은 실시형태 1에서 설명한 구성과 유사하다. 이 때문에, 설명을 생략한다. 시스템의 하드웨어 구성도, 도2와 유사하다. 그 설명도 생략한다.
실시형태는, 실시형태 1 내지 3의 어느 한 개에 따른 방법에 의해 생성된 입체 형상의 디지털 콘텐츠를 유저 디바이스에 표시하는 GUI를 설명한다. 유저 디바이스의 예로는, PC, 스마트폰 및 터치패널을 갖는 태블릿 단말(미도시)을 들 수 있다. 본 실시형태는, 터치패널을 갖는 태블릿 단말을 예로 들어 사용해서 설명한다. 이 GUI는 화상 처리장치(100)에서 생성되어, 유저 디바이스에게 송신된다. GUI는 소정의 정보를 취득하는 유저 디바이스에 의해 생성되어도 된다.
화상 처리 시스템(100)은, CPU, ROM, RAM, 보조 기억장치, 표시부, 조작부, 통신 I/F 및 버스를 갖는다(미도시). CPU는, ROM, RAM과 보조 기억장치에 기억되어 있는 컴퓨터 프로그램을 사용해서 화상 처리 시스템(100)의 전체를 제어한다.
화상 처리 시스템(100)은, 입체 형상의 디지털 콘텐츠로부터, 촬상 화상, 가상 시점 화상, 가상 시점 화상과 관련된 음성 정보, 촬상 화상 및 가상 시점 화상에 포함되는 피사체에 관한 정보를 특정한다.
본 실시형태에서는, 실시형태 3에 따라 생성되고, 가상 시점의 수가 3개이고, 3개의 가상 시점 화상이 제2면과 관련되는 입체 형상인 디지털 콘텐츠를 예로 들어 설명한다. 3개의 가상 시점 화상은 영상이며, 이하, 가상 시점 영상으로 호칭한다. 본 실시형태에서는, 입체 형상의 디지털 콘텐츠를 6면체로 하지만, 구체나 8면체를 사용해도 된다.
가상 시점 영상과 관련된 음성 정보는, 촬상중의 회장에서 취득되는 음성 정보다. 이와 달리, 가상 시점에 근거하여 보정된 음성 정보를 사용해도 된다. 가상 시점에 근거하여 보정된 음성 정보의 예로는, 촬상시에 회장에서 취득되고 시청자가 가상 시점의 위치에서 가상 시점으로부터의 시선 방향을 향하고 있는 것처럼 들리도록 조정된 음성 정보다. 음성 정보는 별도로 준비해도 된다.
도9는, 유저 디바이스에 표시되는 본 실시형태에 따른 GUI을 도시한 도면이다. GUI 화상은 제1영역(911)과 제2영역(912)을 갖는다. 제1영역(911)은, 입체 형상의 디지털 콘텐츠과 관련된 정보를 나타내는 화상을 표시하는 제1표시 영역(901), 제2표시 영역(902), 제3표시 영역(903), 제4표시 영역(904), 제5표시 영역(905) 및 제6표시 영역(906)을 포함한다. 각 표시 영역은 할당된 화상이나 정보를 표시한다. 제2영역(912)은, 제1표시 영역(901) 내지 제6표시 영역(906) 중 유저에 의해 선택된 표시 영역과 관련된 정보를 나타내는 화상을 표시하는 제7표시 영역(907)을 포함한다. 제1표시 영역(901) 내지 제6표시 영역(906)과 관련된 정보를 나타내는 화상은 정지 화상이거나 영상이어도 된다.
도9는, 3개의 가상 시점 영상과 관련된 제2표시 영역(902)이 선택된 예를 나타내고 있다. 3개의 가상 시점 영상과 관련된 표시 영역이 선택된 경우, 각 시점의 가상 시점 영상에 대응하는 GUI 908, GUI 909 및 GUI 910이 제2영역 내에 표시된다. GUI 908, GUI 909, GUI 910을 제7표시 영역(907)에 중첩 표시해도 된다.
본 실시형태에서는, 입체 형상의 디지털 콘텐츠의 각 면과 각 표시 영역을 관련시키고 있다. 즉, 각 표시 영역은 디지털 콘텐츠의 각 면과 관련된 정보를 나타내는 화상을 표시한다. 디지털 콘텐츠의 형상에 상관없이, 디지털 콘텐츠와 관련된 정보를 나타내는 화상을 표시 영역이 표시해도 된다.
디지털 콘텐츠의 표시면의 수와 표시 영역의 수가 다를 수 있다. 예를 들면, 6면체의 디지털 콘텐츠에 대하여, 제1표시 영역(901) 내지 제4표시 영역(904) 만을 유저 디바이스가 표시해도 된다. 이와 같은 경우에, 제1표시 영역(901) 내지 제3표시 영역(903)은 디지털 콘텐츠와 관련된 정보의 일부를 표시한다. 제4표시 영역(904)은 유저에 의해 선택된 표시 영역과 관련된 정보를 표시한다.
입체 형상의 디지털 콘텐츠로부터 특정된 정보를, 각 표시 영역과 관련시키고, 특정된 정보를 나타내는 화상을 표시한다. 본 실시형태에서는, 피사체가 농구 선수이다. 제1표시 영역(901)은 선수의 메인 화상을 표시한다. 제2표시 영역(902)은, 메인 화상에 표시되는 선수와 관련되는 3개의 가상 시점 영상을 나타내는 화상 및 가상 시점 영상을 나타내는 아이콘(913)을 중첩하여 표시한다. 제3표시 영역(903)은 메인 화상에 표시되는 선수가 소속하는 팀의 정보를 나타내는 화상을 표시한다. 제4표시 영역(904)은, 메인 화상이 촬상된 시즌의 성적 정보를 나타내는 화상을 표시한다. 제5표시 영역(905)은 촬상시의 시합의 최종 스코어를 나타내는 화상을 표시한다. 제6표시 영역(906)은 디지털 콘텐츠의 저작권 정보를 나타내는 화상을 표시한다.
제1표시 영역(901) 내지 제6표시 영역(906)과 관련된 정보가 영상을 나타내는 정보를 포함하는 경우, 영상에 대응하는 표시 영역의 화상 위에 그림이나 아이콘을 중첩 표시해도 된다. 이 경우, 1개의 촬상장치에 의해 촬상된 화상으로부터 생성되는 영상과, 복수의 촬상장치에 의해 생성된 가상 시점 화상으로부터 생성되는 가상 시점 영상에 대하여 각각 다른 아이콘을 사용한다. 본 실시형태에서는, 제2표시 영역(902)의 가상 시점 영상을 나타내는 화상 위에 아이콘(913)을 중첩 표시한다. 제2표시 영역(902)이 유저에 의해 선택된 경우, 제7표시 영역(907)에 표시되는 가상 시점 영상 위에 아이콘(913)을 표시한다. 그림이나 아이콘은 표시 영역의 근처에 배치해도 된다.
제1표시 영역(901) 내지 제6표시 영역(906) 중 1개의 표시 영역이 복수의 화상 또는 복수의 영상과 관련되어도 된다. 본 실시형태는, 제2표시 영역(902)에 t로 다른 시점에서의 3개의 가상 시점 영상과 관련되어 있는 경우를 설명한다. 이 경우, GUI 908, GUI 909, GUI 910이 각각 다른 시점에서의 가상 시점 영상과 관련된다. GUI 908은 피사체 시점(시점1)에서의 가상 시점 영상과 관련된다. GUI 909는 피사체의 후방의 시점(시점2)에 대응하는 가상 시점 영상과 관련된다. GUI 910은 피사체를 중심으로 한 구면 위에 놓인 가상 시점(시점3)으로부터의 가상 시점 영상과 관련된다. 이때, 1개의 표시 영역과 복수의 화상 또는 복수의 영상이 관련되지 않은 경우에는, GUI 908, GUI 909, GUI 910은 표시할 필요가 없다.
제7표시 영역(907)에는, 유저가 제1표시 영역(901) 내지 제6표시 영역(906)을 선택하기 전에 표시할 정보로서, 초기 화상이 설정된다. 초기 화상은 제1표시 영역(901) 내지 제6표시 영역(906)과 관련된 화상이거나, 또는, 제1표시 영역(901) 내지 제6표시 영역(906)과 관련된 화상과 다른 화상이어도 된다. 본 실시형태에서는, 제1표시 영역(901)의 메인 화상을 초기 화상으로 설정한다.
도10은, 본 실시형태에 따른 화상 처리 시스템(100)의 동작 절차를 설명하기 위한 플로우차트다. 구체적으로는, 도10은 도2의 CPU(111)이 실행하는 처리를 나타낸다. 스텝 S1001에 있어서, CPU(111)는 입체 형상의 디지털 콘텐츠의 제1면 내지 제6면과 관련된 콘텐츠 정보를 특정한다.
스텝 S1002에 있어서, CPU(111)는 스텝 S1001에서 특정한 콘텐츠 정보를 제1표시 영역(901) 내지 제6표시 영역(906)과 관련시킨다. 그후, CPU(111)는 관련된 정보를 나타내는 화상을 제1표시 영역(901) 내지 제6표시 영역(906)에 표시한다. CPU(111)는, 제7표시 영역(907)에 미리 설정된 초기 화상을 더 표시한다. 본 실시형태에서는, 제1표시 영역(901)의 메인 화상을 초기 화상으로서 제7표시 영역(907)에 표시한다.
스텝 S1003에 있어서, CPU(111)는 최신의 입력 접수 이후에 소정의 시간(예를 들면, 30분)이 경과하였는지 아닌지 판정한다. yes인 경우(스텝 S1003에서 YES), 스텝 S1017로 처리를 진행한다. no인 경우(스텝 S1003에서 NO), 스텝 S1004로 처리를 진행한다.
스텝 S1004에 있어서, CPU(111)는 CPU(111)는 유저에 의한 제1표시 영역(901) 내지 제6표시 영역(906)의 어느 한개를 선택하는 입력을 접수하였지 아닌지 판정한다. yes인 경우, 접수한 입력에 따라 진행하는 스텝이 다르다. 제1표시 영역(901)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제1표시 영역), 스텝 S1005로 처리를 진행한다. 제2표시 영역(902)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제2표시 영역), 스텝 S1006으로 처리를 진행한다. 제3표시 영역(903)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제3표시 영역), 스텝 S1007로 처리를 진행한다. 제4표시 영역(904)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제4표시 영역), 스텝 S1008로 처리를 진행한다. 제5표시 영역(905)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제5표시 영역), 스텝 S1009로 처리를 진행한다. 제6표시 영역(906)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제6표시 영역), 스텝 S1010으로 처리를 진행한다. no로 판정된 경우(스텝 S1004에서 NO), 스텝 S1003으로 처리가 되돌아간다.
스텝 S1005에 있어서, CPU(111)는 제1표시 영역(901)에 대응하는 선수의 메인 화상을 제7표시 영역(907)에 표시한다. 이미 제7표시 영역(907)에 제1표시 영역(901)과 관련된 선수의 메인 화상이 표시되어 있는 경우, 제7표시 영역(907)에 메인 화상을 표시한 채 스텝 S1003으로 처리가 되돌아간다. 유저가 선택한 표시 영역과 관련되는 정보가 이미 제7표시 영역(907)에 표시되어 있는 경우에는, 스텝 S1007 내지 스텝 S1010도 마찬가지이다. 이 때문에, 설명을 생략한다. 메인 화상이 영상이며 이미 제7표시 영역(907)에 메인 화상이 표시되어 있는 경우, CPU(111)는 다시 미리 정해진 재생 시각부터 영상을 재생하거나, 표시된 영상을 그대로 계속해서 재생해도 된다.
스텝 S1006에 있어서, CPU(111)는 제2표시 영역(902)에 대응하는 선수와 관련되는 가상 시점 영상을 제7표시 영역(907)에 표시한다. 복수의 가상 시점 영상이 제2표시 영역(902)과 관련되어 있는 경우, CPU(111)는 미리 설정한 가상 시점 영상을 제7표시 영역(907)에 표시한다.
본 실시형태에서는, CPU(111)는 피사체 시점(시점1)의 가상 시점 영상을 제7표시 영역(907)에 표시한다. 미리 설정한 가상 시점 영상을 제7표시 영역(907)에 표시한 후, 스텝 S1011로 처리를 진행한다.
스텝 S1011에 있어서, CPU(111)는 최신의 입력을 접수한 이후에 소정의 시간(예를 들면, 30분)이 경과하였는지 아닌지 판정한다. yes의 경우(스텝 S1011에서 YES), 스텝 S1017로 처리를 진행한다. no의 경우(스텝 S1011에서 No), 스텝 S1012로 처리를 진행한다.
스텝 S1012에 있어서, CPU(111)는 복수의 가상 시점 영상 중, 유저가 원하는 가상 시점의 가상 시점 영상을 선택하는 입력을 접수하였는지 아닌지 판정한다. 구체적으로는, CPU(111)는 도9의 제7표시 영역(907)과 같이 각 가상 시점을 나타내는 GUI들 907 내지 909를 표시하고, 유저가 GUI들 907 내지 909를 선택함으로써 각 가상 시점의 가상 시점 영상을 선택한다. yes로 판정된 경우, 선택된 GUI에 따라 다음 스텝으로 처리를 진행한다. GUI 908이 선택되면(스텝 S1012에서 시점 1), 스텝 S1013으로 처리를 진행한다. GUI 909가 선택되면(스텝 S1012에서 시점 2) 스텝 S1014로 처리를 진행한다. GUI 910이 선택되면(스텝 S1012에서 시점 3) 스텝 S1015로 처리를 진행한다.
no로 판정된 경우(스텝 S1012에서 NO), 스텝 S1016으로 처리를 진행한다.
각 가상 시점을 나타내는 GUI 908 내지 910을 설치하지 않고, 제7표시 영역(907)에 대한 플릭 조작이나 터치 조작에 의해 각 시점의 가상 시점 영상이 선택되어도 된다. 복수의 가상 시점 영상이 제2표시 영역(902)과 관련되어 있는 경우, 복수의 가상 시점 영상을 연결하여 1개의 가상 시점 영상으로 하여 연속적으로 재생하여도 된다. 이 경우, 처리가 스텝 S1012를 건너뛰고 스텝 S1016으로 진행한다.
스텝 S1013에 있어서, CPU(111)는 피사체 시점(시점1)의 가상 시점 영상을 제7표시 영역(907)에 표시한다. 스텝 S1011로 처리가 되돌아간다. 이미 제7표시 영역(907)에 피사체 시점의 가상 시점 영상이 표시되어 있는 경우에는, CPU(111)는 다시 미리 정해진 재생 시각으로부터 영상을 재생하거나, 표시된 영상을 그대로 계속해서 재생해도 된다. 이미 제7표시 영역(907)에 의도된 가상 시점 영상이 표시되어 있는 경우에는, 스텝 S1014와 스텝 S1015도 마찬가지이다. 이 때문에 이하 설명을 생략한다.
스텝 S1014에 있어서, CPU(111)는 피사체의 후방의 시점(시점2)에 대응하는 가상 시점 영상을 제7표시 영역(907)에 표시한다. 스텝 S1011로 처리가 되돌아간다.
스텝 S1015에 있어서, CPU(111)는 피사체를 중심으로 한 구면 위에 놓인 가상 시점(시점3)의 가상 시점 영상을 제7표시 영역(907)에 표시한다. 스텝 S1011로 처리가 되돌아간다.
스텝 S1016에 있어서, CPU(111)는 유저에 의한 제1표시 영역(901) 내지 제6표시 영역(906)의 어느 한개를 선택하는 입력을 접수했는지 판정한다. yes의 경우, 스텝 S1004와 같이 처리가 분기한다. no의 경우,(스텝 S1016에서 NO) 스텝 S1011로 처리가 되돌아간다.
스텝 S1007에 있어서, CPU(111)는 제3표시 영역(903)에 대응하는 선수가 소속하는 팀 정보를 제7표시 영역(907)에 표시한다.
스텝 S1008에 있어서, CPU(111)는 제4표시 영역(904)에 대응하는 선수의 이번 시즌의 성적 정보를 제7표시 영역(907)에 표시한다.
스텝 S1009에 있어서, CPU(111)는 제5표시 영역(905)에 대응하는 시합의 최종 스코어를 제7표시 영역(907)에 표시한다.
스텝 S1010에 있어서, CPU(111)는 제6표시 영역(906)에 대응하는 저작권 정보를 제7표시 영역(907)에 표시한다.
스텝 S1017에 있어서, CPU(111)는 제7표시 영역에 초기 화상을 표시한다. 본 실시형태에서는, CPU(111)는 제1표시 영역(901)의 메인 화상을 초기 화상으로서 제7표시 영역(907)에 표시한다. 처리를 종료한다.
다음에, 실시형태 5에 대해서 도11 및 도12를 참조하여 설명한다. 본 실시형태에 있어서, 시스템 구성은 실시형태 1에서 설명한 구성과 유사하다. 이 때문에, 설명을 생략한다. 시스템의 하드웨어 구성도, 도2와 유사하여, 그 설명도 생략한다.
도11은, 본 실시형태에 따른 GUI을 도시한 도면이다. 실시형태 4와 마찬가지로, 실시형태 3에 따라 생성되고, 가상 시점의 수가 3개이고, 3개의 가상 시점 화상이 제2면과 관련되는 입체 형상의 디지털 콘텐츠를 예로 들어 설명한다.
실시형태 4와 달리, 제1영역(1107)에 표시되는 표시 영역의 수는 디지털 콘텐츠의 면 수와 다르다. 구체적으로는, 제1영역(1107)에 표시되는 표시 영역의 수가 5개이고, 디지털 콘텐츠의 면 수는 6개다. 이 GUI는, 화상 처리장치(100)에서 생성되어, 유저 디바이스에 송신된다. 이와 달리, 이 GUI는 소정의 정보를 취득하는 유저 디바이스에 의해 생성되어도 된다.
본 실시형태에서는, 디지털 콘텐츠가 시점이 다른 3개의 가상 시점 영상을 포함한다. 각 시점의 가상 시점 영상은 제2표시 영역(1102) 내지 제4표시 영역(1104)과 관련된다. 실시형태 4와 마찬가지로, 3개의 가상 시점은, 피사체 시점(시점1), 피사체의 후방의 시점(시점2), 및 피사체를 중심으로 한 구면 위에 놓인 가상 시점(시점3)이다. 3개의 가상 시점 영상이 제2표시 영역(1102) 내지 제4표시 영역(1104)과 관련되기 때문에, 가상 시점 영상을 나타내는 아이콘(913)이 제2표시 영역(1102) 내지 제4표시 영역(1104)에 중첩 표시된다.
제1표시 영역(1101)은 선수의 메인 화상과 관련된다. 제5표시 영역(1105)은 저작권 정보와 관련된다. 표시 영역에 표시될 정보는 이것들에 한정되는 것은 아니고, 디지털 콘텐츠와 관련된 모든 정보를 표시할 수 있다.
도12는, 본 실시형태에 따른 화상 처리장치(100)의 동작 절차를 설명하기 위한 플로우차트다. 화상 처리장치(100)의 컴퓨터로서의 CPU(111)이 예를 들면 ROM(112)과 보조 기억장치(114) 등의 메모리에 기억된 컴퓨터 프로그램을 실행함으로써 도12의 플로우차트의 각 스텝의 동작이 행해진다. 도12에 있어서 도10과 동일한 스텝 번호를 갖는 스텝의 처리는 같다. 설명을 생략한다.
도12의 스텝 S1004에 있어서, 제2표시 영역(1102)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제2 표시 영역), 스텝 S1201로 처리를 진행한다. 제3표시 영역(1103)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제3 표시 영역), 스텝 S1202로 처리를 진행한다. 제4표시 영역(1104)을 선택하는 입력을 접수한 경우(스텝 S1004에서 제4 표시 영역), 스텝 S1203으로 처리를 진행한다.
스텝 S1201에 있어서, CPU(111)는 피사체 시점(시점1)의 가상 시점 영상을 제6표시 영역(1106)에 표시한다. 스텝 S1003으로 처리가 되돌아간다.
스텝 S1202에 있어서, CPU(111)는 피사체의 후방의 시점(시점2)에 대응하는 가상 시점 영상을 제6표시 영역(1106)에 표시한다. 스텝 S1003으로 처리가 되돌아간다.
스텝 S1203에 있어서, CPU(111)는 피사체를 중심으로 한 구면 위에 놓인 가상 시점(시점3)의 가상 시점 영상을 제6표시 영역(1106)에 표시한다. 스텝 S1003으로 처리가 되돌아간다.
다음에, 실시형태 6에 대해서 도13 및 도14를 참조하여 설명한다. 본 실시형태에 있어서, 시스템 구성은 실시형태 1에서 설명한 구성과 유사하다. 이 때문에, 설명을 생략한다. 시스템의 하드웨어 구성도, 도2와 유사하여, 그 설명도 생략한다.
도13은, 실시형태 6에 따른 GUI을 도시한 도면이다. 본 실시형태에서는, 실시형태 3에 따라 생성되고, 가상 시점의 수가 6개이고, 6개의 가상 시점 화상이 제2면과 관련되는 입체 형상의 디지털 콘텐츠를 예로 들어 설명한다. 6개의 가상 시점 화상은 영상이며, 이하, 가상 시점 영상으로 호칭한다. 이 GUI는, 화상 처리장치(100)에서 생성되어, 유저 디바이스에 송신된다. 이와 달리, 이 GUI는 소정의 정보를 취득하는 유저 디바이스에 의해 생성되어도 된다.
본 실시형태는, 실시형태 4와 달리, 제1영역(1307)에 표시되는 표시 영역의 수가 디지털 콘텐츠의 면 수와 다르다. 구체적으로는, 제1영역(1307)에 표시되는 표시 영역의 수가 3개이고, 디지털 콘텐츠의 면 수는 6개다. 또한, 6개의 가상 시점 영상이 제2표시 영역(1302)과 관련되어 있다.
제1표시 영역(1301)은 선수의 메인 화상과 관련된다. 제3표시 영역(1303)은 저작권 정보와 관련된다. 표시 영역에 표시하는 정보는 이것들에 한정되는 것은 아니고, 디지털 콘텐츠와 관련된 모든 정보가 표시될 수 있다.
본 실시형태에서는, 실시형태 4 및 실시형태 5와 달리, 제2영역(1308)이 제4표시 영역(1304), 제5표시 영역(1305), 제6표시 영역(1306)을 포함한다. 유저에 의해 제1표시 영역(1301) 내지 제3표시 영역(1303)의 어느 한개가 선택된 경우, 선택된 표시 영역에 대응하는 화상이 제5표시 영역(1305)에 표시된다.
제5표시 영역(1305)은 항상 제2영역(1308)에 표시된다. 한편, 제4표시 영역(1304) 및 제6표시 영역(1306)은, 가상 시점 영상이 제5표시 영역에 표시되는 경우에 제2영역(1308)에 표시된다.
제2영역(1308)의 중심에 위치하는 표시 영역과 그 이외의 표시 영역은 형상이 다르다. 구체적으로는, 제4표시 영역(1304) 및 제6표시 영역(1306)은 제5표시 영역(1305)과 형상 또는 크기가 다르다. 본 실시형태에서는, 제5표시 영역(1305)이 직사각형의 형상을 갖고, 제4표시 영역(1304)과 제6표시 영역(1306)은 사다리꼴의 형상을 갖는다. 이것은 제2영역(1308)의 중심에 위치하는 제5표시 영역(1305)의 시인성을 향상시킬 수 있다.
6개의 가상 시점 영상은 각각 가상 시점이 다르다. 3개의 피사체가 존재하고, 6개의 가상 시점 영상은, 3개의 피사체 각각에 위치한 가상 시점을 갖는 3개의 가상 시점 영상과, 3개의 피사체 각각 위치의 일정 거리 후방 또한 일정 거리 위에 위치한 가상 시점을 갖는 3개의 가상 시점 영상을 포함한다. 예를 들면, 피사체가 오펜스를 하는 A선수와, 디펜스를 하는 B선수와 농구 볼인 농구의 시합에 있어서, 6개의 가상 시점 영상은 다음과 같다: A선수의 얼굴의 위치를 가상 시점의 위치로 하고, A선수의 얼굴의 방향을 가상 시점에서의 시선 방향으로 한 제1가상 시점 영상; A선수의 얼굴의 위치의 일정 거리 후방(예를 들면, 3m 후방) 또한 일정 거리 위의 위치(예를 들면, 1m 위)를 가상 시점의 위치로 하고, A선수를 화각 내에 포함하도록 설정되는 방향을 가상 시점에서의 시선 방향으로 한 제2가상 시점 영상; B선수의 얼굴의 위치를 가상 시점의 위치로 하고, B선수의 얼굴의 방향을 가상 시점에서의 시선 방향으로 한 제3가상 시점 영상; B선수의 얼굴의 위치의 일정 거리 후방 또한 일정 거리 위의 위치를 가상 시점의 위치로 하고, B선수를 화각 내에 포함하도록 설정되는 방향을 가상 시점에서의 시선 방향으로 한 제4가상 시점 영상; 농구 볼의 무게중심 위치를 가상 시점의 위치로 하고, 농구 볼의 진행 방향을 가상 시점에서의 시선 방향으로 한 제5가상 시점 영상; 농구 볼의 무게중심 위치의 일정 거리 후방 또한 일정 거리 위의 위치를 가상 시점의 위치로 하고, 농구 볼의 진행 방향을 가상 시점의 위치로 한 제6가상 시점 영상이다.
피사체의 위치의 일정 거리 후방 또한 일정 거리 위의 위치는, 촬상 씬에 근거하여 결정되거나, 피사체가 가상 시점 화상의 화각에 대한 비율에 근거하여 결정해도 된다. 가상 시점에서의 시선 방향은 다음 중에서 적어도 한 개에 근거하여 설정된다: 피사체의 자세, 피사체의 진행 방향, 및 화각에서의 피사체의 위치.
본 실시형태에서는, 6개의 가상 시점 영상은 동일한 재생 시간을 갖는다. 그러나, 가상 시점 영상이 다른 재생 시간을 가져도 된다.
6개의 가상 시점 영상에 대응하는 제2표시 영역(1302)이 선택된 경우, 제2영역(1308)에 제5표시 영역(1305) 이외에 제4표시 영역(1304) 및 제6표시 영역(1306)이 표시된다. 제2영역(1308)에 표시되는 3개의 표시 영역 1304, 1305 및 1306은, 각각의 3개의 피사체의 가상 시점 영상과 관련된다. 구체적으로는, 제4표시 영역(1304)은 A선수를 피사체로 포함하는 제1 및 제2 가상 시점 영상과 관련된다. 제5표시 영역(1305)은 B선수를 피사체로 포함하는 제3 및 제4 가상 시점 영상과 관련된다. 제6표시 영역(1306)은 농구 볼을 피사체로 포함한MS 제5 및 제6 가상 시점 영상과 관련된다.
각 표시 영역에 표시되는 모든 영상은 동시에 재생되지 않는다. 제2영역(1308)의 중심에 위치하는 표시 영역에 표시되는 영상만 재생된다. 본 실시형태에서는, 제5표시 영역(1305)에 표시되는 가상 시점 영상 만 재생된다.
도14는, 실시형태 6에 따른 화상 처리장치(100)의 동작 절차를 설명하기 위한 플로우차트다. 화상 처리장치(100)의 컴퓨터로서의 CPU(111)이 예를 들면 ROM(112)와 보조 기억장치(114) 등의 메모리에 기억된 컴퓨터 프로그램을 실행함으로써 도5의 플로우차트의 각 스텝의 동작이 행해진다. 도14에 있어서, 도10과 동일한 스텝 번호를 갖는 스텝의 처리는 동일하다. 설명을 생략한다.
스텝 S1401에 있어서, CPU(111)는 미리 설정한 가상 시점 영상을 제4표시 영역(1304), 제5표시 영역(1305) 및 제6표시 영역(1306)에 표시한다. 본 실시형태에서는, 3개의 피사체의 위치를 가상 시점의 위치로 한 3개의 가상 시점 영상이 표시된다. 구체적으로는, 제4표시 영역(1304)은 A선수의 얼굴의 위치를 가상 시점의 위치로 한 제1가상 시점 영상을 표시한다.
제5표시 영역(1305)은 B선수의 얼굴의 위치를 가상 시점의 위치로 한 제3가상 시점 영상을 표시한다. 제6표시 영역(1306)은 농구 볼의 무게중심 위치를 가상 시점의 위치로 한 제5가상 시점 영상을 표시한다. 이때, 제2영역(1308)의 중심에 위치하는 제5표시 영역(1305)만 영상을 재생하고, 제4표시 영역(1304) 및 제6표시 영역(1306)은 영상을 재생하지 않는다. 미리 설정한 가상 시점 영상을 제4표시 영역(1304), 제5표시 영역(1305), 제6표시 영역(1306)에 표시한 후, 스텝 S1011로 처리를 진행한다.
스텝 S1402에 있어서, CPU(111)는 제5표시 영역(1305)에 표시되는 가상 시점 영상의 피사체를 변경하는 조작이 입력되었는지 판정한다. 구체적으로는, CPU(111)는 제5표시 영역(1305)에 대한 수평방향으로의 슬라이드 조작에 의해 피사체의 다른 가상 시점 영상으로 전환하는 조작이 입력되었는지 판정한다. Yes로 판정된 경우, 슬라이드된 방향에 따라 다음 스텝으로 처리를 진행한다. 좌측 방향으로의 슬라이드 조작의 입력 정보를 접수한 경우(스텝 S1402에서 좌측), 스텝 S1410으로 처리를 진행한다. 우측 방향으로의 슬라이드 조작의 입력 정보를 접수한 경우(스텝 S1402에서 우측), 스텝 S1411로 처리를 진행한다. no로 판정된 경우(스텝 S1402에서 NO), 스텝 S1405로 처리를 진행한다.
스텝 S1403에 있어서, CPU(111)는 각 표시 영역과 관련된 가상 시점 영상을 좌측의 표시 영역과 다시 관련시킨다. 예를 들면, 제5표시 영역(1305)에 대응하는 제3가상 시점 영상에 대하여 좌측 방향으로의 슬라이드 조작을 접수한 경우, 제5표시 영역(1305)에 대응하는 제3및 제4가상 시점 영상을 제5표시 영역(1305)의 좌측에 있는 제4표시 영역(1304)과 관련시킨다. 제6표시 영역(1306)과 관련된 제5 및 제6가상 시점 영상을 제6표시 영역(1306)의 좌측에 있는 제5표시 영역(1305)과 관련시킨다. 제2영역(1308)에 있어서, 제4표시 영역(1304)의 좌측에는 표시 영역이 존재하지 않는다. 이 때문에, 제4표시 영역(1304)에 대응하는 제1 및 제2가상 시점 영상은 우측에 표시 영역을 갖지 않는 제6표시 영역(1306)과 관련된다. 재관련 후에, CPU(111)는 제5표시 영역(1305)과 관련된 가상 시점 영상 중, 피사체에 대한 가상 시점의 위치가 재관련 전의 제5표시 영역(1305)에서 재생된 가상 시점 영상과 같은 가상 시점 영상을 재생한다. 예를 들면, 재관련 전의 제5표시 영역(1305)에서 재생된 가상 시점 영상이 제3가상 시점 영상인 경우, 재관련 후에 제5표시 영역(1305)과는 제5 및 제6가상 시점 영상이 관련된다. 제3가상 시점 영상은 피사체의 위치를 가상 시점의 위치로 한 가상 시점 영상이기 때문에, 마찬가지로 피사체의 위치를 가상 시점의 위치로 한 가상 시점 영상인 제5가상 시점 영상이 제5표시 영역(1305)에 표시된다. 이에 따라, 유저는 직감적으로 다른 피사체의 가상 시점 영상을 전환할 수 있다. 상기 처리를 행한 후, 스텝 S1011로 처리가 되돌아간다.
스텝 S1404에 있어서, CPU(111)는 각 표시 영역과 관련된 가상 시점 영상을 우측의 표시 영역과 다시 관련시킨다. 예를 들면, 제5표시 영역(1305)에 대응하는 제3가상 시점 영상에 대하여 우측 방향으로의 슬라이드 조작을 접수한 경우, 제5표시 영역(1305)에 대응하는 제3 및 제4가상 시점 영상이 제5표시 영역(1305)의 우측에 있는 제6표시 영역(1306)과 관련된다. 제4표시 영역(1304)과 관련된 제1 및 제2가상 시점 영상은 제4표시 영역(1304)의 우측에 있는 제5표시 영역(1305)과 관련된다. 제2영역(1308)에 있어서, 제6표시 영역(1306)의 우측에는 표시 영역이 존재하지 않는다. 이 때문에, 제6표시 영역(1306)에 대응하는 제5및 제6가상 시점 영상은 좌측에 표시 영역을 갖지 않는 제4표시 영역(1304)과 관련된다. 재관련 후에, CPU(111)는 제5표시 영역(1305)과 관련된 가상 시점 영상 중, 피사체에 대한 가상 시점의 위치가 재관련 전의 제5표시 영역(1305)에서 재생된 가상 시점 영상과 같은 가상 시점 영상을 재생한다. 상기 처리를 행한 후, 스텝 S1011로 처리가 되돌아간다.
스텝 S1405에 있어서, CPU(111)는 제5표시 영역(1305)에 표시되는 가상 시점 영상의 가상 시점 위치를 변경하는 조작이 입력되었는지 판정한다. 구체적으로는, CPU(111)는 제5표시 영역(1305)에 대한 더블탭 조작에 의해 가상 시점의 위치가 다른 동일한 피사체의 가상 시점 영상으로 전환하는 조작을 접수한다. yes의 경우(스텝 S1405에서 YES), 스텝 S1406으로 처리를 진행한다. no의 경우(스텝 S1405에서 NO), 스텝 S1016으로 처리를 진행한다.
스텝 S1406에 있어서, CPU(111)는 가상 시점 영상의 가상 시점의 위치를 변경하는 처리를 행한다. 구체적으로는, CPU(111)는 가상 시점의 위치가 다른 동일한 피사체의 가상 시점 영상으로 전환한다. 예를 들면, 제5표시 영역(1305)이 B선수의 얼굴의 위치를 가상 시점의 위치로 한 제3가상 시점 영상과 B선수의 얼굴의 위치의 일정 거리 후방 또한 일정 거리 위의 위치를 가상 시점의 위치로 한 제4가상 시점 영상이 관련되어 있는 것으로 가정한다. 더블탭 조작이 접수될 때 제5표시 영역(1305)에 제3가상 시점 영상이 표시되는 경우, CPU(111)는 제4가상 시점 영상으로 전환하여 제5표시 영역(1305)에 제4 가상 시점 영상을 표시하는 처리를 행한다. 이렇게 함으로써, 유저는 같은 피사체의 가상 시점의 위치를 직감적으로 전환할 수 있다. 상기 처리를 행한 후, 스텝 S1011로 처리가 되돌아간다.
슬라이드 조작이나 더블탭 조작에 의해 가상 시점 영상을 전환할 때, 제5표시 영역(1305)에서 재생하고 있는 가상 시점 영상의 타임코드를 기록해 두고, 전환후의 가상 시점 영상을 기록된 타임코드로 표시된 시각부터 재생해도 된다.
본 실시형태에서는, 더블탭 조작에 의해 같은 피사체의 가상 시점의 위치를 전환한다. 그러나, 다른 조작을 사용해도 된다. 예를 들면, 제5표시 영역(1305)에 대한 핀치 인 조작, 핀치 아웃 조작이나 상하 방향의 슬라이드 조작에 의해 가상 시점의 위치를 전환해도 된다.
본 실시형태에서는, 같은 피사체의 복수의 가상 시점 영상이 1개의 표시 영역과 관련된다. 그러나, 같은 피사체의 복수의 가상 시점 영상이 복수의 표시 영역과 관련되어도 된다. 구체적으로는, 제4표시 영역(1304), 제5표시 영역(1305) 및 제6표시 영역(1306) 위에 각각 제7표시 영역, 제8표시 영역 및 제9표시 영역을 추가해도 된다(미도시). 이 경우, 제4표시 영역(1304)은 제1가상 시점 영상을 표시하고, 제5표시 영역(1305)은 제3가상 시점 영상을 표시하고, 제6표시 영역(1306)은 제5가상 시점 영상을 표시하고, 제7표시 영역은 제2가상 시점 영상을 표시하고, 제8표시 영역은 제4가상 시점 영상을 표시하고, 제9표시 영역은 제6가상 시점 영상을 표시한다. 실시형태 6에서는, 탭 제스처에 의해 같은 피사체의 가상 시점 영상을 전환하는 조작을 행한다. 이와 같은 변형예에서는, 상하 방향으로의 슬라이드 조작에 의해 표시 영역을 전환한다. 이렇게 함으로써, 유저가 직감적으로 가상 시점을 조작할 수 있다.
실시형태 1에서는, 디지털 콘텐츠(200)의 제1면(201)과 관련된 메인 화상(제1화상)과 소정의 관계를 갖는 제2화상이 디지털 콘텐츠(200)의 제2면(202)과 관련된다. 본 실시형태에서는, 입체 형상의 디지털 콘텐츠의 각 면과, 같은 타임코드를 갖는 복수의 가상 시점 영상이 관련된다. 구체적으로는, 각각의 가상 시점으로부터 피사체로의 시선 방향에 근거하여, 입체 형상의 디지털 콘텐츠의 각 면과 가상 시점 영상을 관련시키는 예에 대해 기재한다.
도15는, 본 실시형태에 따른 화상 처리 시스템을 도시한 도면이다. 도1과 유사한 블록은 같은 참조번호로 표시하고, 설명을 생략한다.
화상 생성부(1501)는, 조작부(116)에 의해 지정된 가상 시점과, 가상 시점 영상에 표시되는 오브젝트의 좌표 정보에 근거하여, 가상 시점의 위치 및 가상 시점에서의 시선 방향과 오브젝트의 좌표의 대응관계를 해석한다. 화상 생성부(1501)는, 조작부(116)에 의해 지정된 가상 시점에서 본 가상 시점 영상으로부터 주목 오브젝트를 특정한다. 본 실시형태에서는, 화상 생성부(1501)는 가상 시점 영상의 중심에 있는 또는 중심에 가장 가까운 오브젝트를 특정한다. 그러나, 이것에 한정되지 않는다. 예를 들면, 가상 시점 영상에서 차지하는 비율이 가장 높은 오브젝트를 특정해도 된다. 가상 시점 영상을 생성하지 않고 오브젝트를 선택해도 된다. 다음에, 화상 생성부(1501)는, 특정된 주목 오브젝트를 촬상하는 촬상 방향을 결정하고, 각각의 촬상 방향에 대응하는 복수의 가상 시점을 생성한다. 촬상 방향은, 상하 좌우, 전후(정면과 배면)이다. 생성되는 복수의 가상 시점은, 오퍼레이터에 의해 지정되는 가상 시점과 같은 타임코드와 관련된다. 생성된 가상 시점에 대응하는 가상 시점 영상을 생성한 후, 화상 생성부(1501)는 주목 오브젝트의 각각의 가상 시점 영상이 상하 좌우, 전후 중 어떤 촬상 방향에서 촬상된 영상인지를 결정하고, 이 가상 시점 영상에 촬상 방향 정보를 부여한다. 촬상 방향 정보는, 주목 오브젝트의 방향에 대하여 어떤 방향에서 영상이 촬상되었는지를 나타내는 정보다. 촬상 방향은, 가상 시점 영상의 찰상 개시시에, 그 가상 시점 영상의 중심 오브젝트와 소정의 지점 사이의 위치 관계에 근거하여 정해진다. 상세한 것은 도17을 참조하여 설명한다.
콘텐츠 생성부(1502)는, 화상 생성부(1501)로부터 받은 가상 시점 영상에 부여된 촬상 방향 정보에 근거하여, 입체 형상의 디지털 콘텐츠의 어떤 면을 이 가상 시점 영상과 관련시킬 것인지를 결정하고, 입체 형상의 디지털 콘텐츠를 생성한다.
도16은, 본 실시형태에 따른 입체 형상의 디지털 콘텐츠의 각 면을 설명하는 도면이다. 입체 형상의 디지털 콘텐츠(1600)의 면 1601을 정면으로 정의하고, 면 1602를 우측면, 면 1603을 상면, 면 1604를 좌측면, 면 1605를 배면, 면 1606을 하면으로 정의한다.
도17은, 선수의 촬상 방향을 설명하는 도면이다. 코트(1700)에는 배스킷 1701, 배스킷 1702, 선수(1703)가 존재한다. 선수(1703)는, 배스킷 1701을 향해서 공격한다. 여기에서, 배스킷 1701로부터 선수(1703)를 향해 수평으로 선수(1703)와 배스킷 1701을 연결하는 방향을 "정면" 방향으로 정한다. 여기에서 정면의 결정 방법을 설명한다. 처음에, 배스킷 1701은 소정의 점이고 선수(1703)는 3차원(3D) 모델의 무게중심인 것으로 가정하여, 처음에 선수(1703)와 배스킷 1701을 연결하는 선분을 도출한다. 다음에, 도출한 선분에 대하여 수직하고 선수의 3D 모델과 접하는 면을 정면으로 도출한다. 선수(1703)와 배스킷 1701을 연결하는 선분이 사전에 도출되지만, 이것에 한정되지 않는다. 예를 들어, 배스켓 1701에 대응하는 소정의 지점으로부터 선수(1703)의 3D 모델의 무게중심을 향해 광선이 보내진다. 그후, 광선과 3D 모델의 교점을 중심으로 하여 광선에 수직한 평면을 정면으로 도출한다. 정면이 결정된 후, 선수(1703)를 둘러싸는 바운딩 박스를 결정한다. 상면, 하면, 우측면, 좌측면, 배면은, 바운딩 박스의 정면을 기준으로 결정된다. 도17에서는, 선수를 정면에서 본 방향이 화살표 1704로 표현된다. 이 방향을 가상 시점에서의 시선 방향으로 하여 작성된 가상 시점 영상의 촬상 방향 정보는, "정면"이 된다. "정면"의 촬상 방향 정보가 부여된 가상 시점 영상은, 도16의 면 1601과 관련된다. 마찬가지로, 선수(1703)를 우측에서 본 화살표 1706의 방향을 가상 시점에서의 시선 방향으로 하여 작성된 가상 시점 영상의 촬상 방향 정보는, "우측면"이 된다. "우측면"의 촬상 방향 정보가 부여된 가상 시점 영상, 도16의 1602면과 관련된다. 선수(1703)를 좌측에서 본 화살표 1707의 방향을 가상 시점에서의 시선 방향으로 하여 작성된 가상 시점 영상의 촬상 방향 정보는, "좌측면"이 된다. "좌측면"의 촬상 방향 정보가 부여된 가상 시점 영상은 도16의 1604면과 관련된다. 선수(1703)를 위에서 본 화살표 1708의 방향을 가상 시점에서의 시선 방향으로 하여 작성된 가상 시점 영상의 촬상 방향 정보는, "상면"이 된다. "상면"의 촬상 방향 정보가 부여된 가상 시점 영상은 도16의 1603면과 관련된다. 선수(1703)를 아래에서 본 화살표 1709의 방향을 가상 시점에서의 시선 방향으로 하여 작성된 가상 시점 영상의 촬상 방향 정보는, "하면"이 된다. "하면"의 촬상 방향 정보가 부여된 가상 시점 영상은 도16의 1606면과 관련된다. 선수(1703)를 뒤에서 본 화살표 1705의 방향을 가상 시점에서의 시선 방향으로 하여 작성된 가상 시점 영상의 촬상 방향 정보는, "배면"이 된다. "배면"의 촬상 방향 정보가 부여된 가상 시점 영상은, 도16의 1605면과 관련된다. 본 실시형태에서는, 어떤 특정한 순간에 선수(1703)와 배스킷 1701의 관계를 기준으로 방향을 결정한다. 그러나, 선수(1703)가 코트에서 이동하기 때문에 선수(1703)와 배스킷 1701의 위치 관계에 따라 방향을 변경해도 된다.
본 실시형태에서는, 선수와 배스킷의 위치에 따라 촬상 방향을 결정한다. 그러나, 이것에 한정되지 않는다. 예를 들면, 선수의 진행 방향을 따라 선수를 본 방향을 "정면" 방향으로 설정한다. "정면"의 방향을 XY면 위에 ±90° 회전시켜 얻어진 방향을, "좌측면"과 "우측면" 방향으로 설정한다. "정면"의 방향을 YZ면 위에 ±90° 회전시켜 얻어진 방향을, "상면"과 "하면" 방향으로 설정한다. "정면"의 방향을 XY면 위에 +180° 또는 -180° 회전시켜 얻어진 방향을, "배면" 방향으로 설정한다. 정면을 설정하는 다른 예로서, 선수의 얼굴이 설정되는 방향을 "정면"으로고 설정해도 된다. 선수의 진행 방향을 따른 직선에 가장 가까운 배스킷의 위치에서 본 방향을 "정면" 방향으로 설정해도 된다.
선수가 이동할 때마다, 배스킷과의 위치 관계에 따라 촬상 방향을 변화해도 된다. 예를 들면, 미리 정면을 결정한 위치로부터, 일정한 거리(예를 들면, 3미터) 이상 선수가 이동한 경우에 정면을 다시 정해도 된다. 일정 시간의 경과 후에 촬상 방향을 변화시켜도 된다. 최초에 결정된 정면과 이동한 후에 산출되는 정면을 비교했을 때에 평면도에서 각도가 45° 이상 변화한 경우에, 정면을 다시 정해도 된다. 볼이 다른 선수에게 옮겨간 타이밍을 트리거로 하여, 그 때마다 패스를 받은 선수와 배스킷의 위치 관계에 따라 정면을 다시 정해도 된다.
도18은, 콘텐츠 생성부(4)가 생성하는 3D 형상의 디지털 콘텐츠의 예를 나타낸 도면이다. 오퍼레이터가 설정하는 가상 시점과 같은 타임코드에 대응하는 복수의 가상 시점에서 본 복수의 가상 시점 영상이, 3D 형상의 디지털 콘텐츠의 각 면과 관련된다. 이렇게 표시함으로써, 유저는 어떤 위치에서 오브젝트의 가상 시점 영상을 촬상하였는지를 직감적으로 파악할 수 있다.
도19는, 실시형태 7에 따른 화상 처리 시스템(101)의 동작 절차를 설명하기 위한 플로우차트다. 도3의 스텝 S37 내지 S39와 유사한 플로우에 대해서는 같은 참조번호를 붙이고 설명을 생략한다.
스텝 S1901에 있어서, 화상 생성부(1501)는, 조작부(116)를 거쳐 유저가 지정하는 가상 시점의 위치 및 가상 시점에서의 시선 방향을 나타내는 가상 시점 정보를 취득한다.
스텝 S1902에 있어서, 화상 생성부(1501)는, 취득한 가상 시점 정보에 대응하는 가상 시점에서 본 가상 시점 화상에 있어서 주목 오브젝트를 특정한다. 본 실시형태에서는, 가상 시점 영상의 중심에 위치하거나 또는 중심에 가장 가까운 오브젝트를 특정한다.
스텝 S1903에 있어서, 화상 생성부(1501)는, 주목 오브젝트의 촬상 방향을 결정한다. 본 실시형태에서는, 주목 오브젝트의 위치와 소정의 위치를 연결하는 직선에 수직하고, 주목 오브젝트의 3D 모델과 접하는 면을 정면으로 결정한다. 이 정면을 기준으로, 상하 좌우 및 배면에 대응하는 촬상 방향을 결정한다.
스텝 S1904에 있어서, 화상 생성부(1501)는, 스텝 S1903에 있어서 결정한 복수의 촬상 방향에 대응하는 복수의 가상 시점을 생성한다. 본 실시형태에서는, 주목 오브젝트에 대하여 전후 및 상하 좌우에 대응하는 촬상 방향이 결정되고, 각각에 대응하는 가상 시점이 생성된다. 생성되는 가상 시점에서의 시선 방향은 촬상 방향과 같은 방향으로 설정될 수 있으며, 주목 오브젝트가 가상 시점에서의 광축 위에 놓일 필요는 없다. 생성되는 가상 시점은, 주목 오브젝트의 위치로부터 소정의 값의 거리만큼 떨어진 위치에 배치된다. 본 실시형태에서는, 주목 오브젝트로부터 3m 떨어진 위치에 가상 시점이 설정된다.
스텝 S1905에 있어서, 화상 생성부(1501)는, 생성한 가상 시점에 대응하는 가상 시점 화상을 생성한다. 그후, 화상 생성부(1501)는, 생성한 가상 시점 화상에 대하여, 가상 시점에 대응하는 촬상 방향을 나타내는 촬상 방향 정보를 부여한다.
스텝 S1906에 있어서, 화상 생성부(1501)는, 스텝 S1904에서 생성한 모든 가상 시점에 대하여 가상 시점 영상이 생성되었는지 아닌지 판정한다. 모든 가상 시점 영상이 생성된 경우(스텝 S1906에서 YES), 화상 생성부(1501)는, 생성한 가상 시점 영상을 콘텐츠 생성부(1502)에 송신하고, 스텝 S1907로 처리를 진행한다. 모든 가상 시점 영상이 생성되지 않은 경우(스텝 S1906에서 NO), 스텝 S1905로 처리를 진행하여, 모든 가상 시점 영상이 생성될 때까지 루프한다.
스텝 S1907에 있어서, 콘텐츠 생성부(1502)는, 수신한 가상 시점 영상의 촬상 방향 정보에 근거하여, 수신된 가상 시점 영상을 3D 형상의 디지털 콘텐츠의 대응하는 면과 관련시킨다.
스텝 S1908에 있어서, 콘텐츠 생성부(1502)는, 수신한 가상 시점 영상이 3D 형상의 디지털 콘텐츠의 모든 면과 관련되는지 아닌지 판정한다. 가상 시점 영상이 모든 면과 관련된 경우에는(스텝 S1908에서 YES), 스텝 S37로 처리를 진행한다. 그렇지 않은 경우에는(스텝 S1908에서 NO), 스텝 S1907로 처리를 진행한다. 본 실시형태에서는, 모든 면이 모든 가상 시점 영상과 관련되는 것을 상정하고 있다. 그러나, 이것에 한정되지 않고, 가상 시점 영상이 특정한 면 또는 면들과 관련되어도 된다. 이 경우, 스텝 S1908에 있어서, 특정한 면 또는 면들과 가상 시점 영상이 관련되어 있는지를 판정한다.
이와 같은 처리에 의해, 3D 형상의 디지털 콘텐츠의 각 면과 촬상 방향에 대응하는 가상 시점 영상이 관련될 수 있다. 그 결과, 디지털 콘텐츠를 사용해서 가상 시점 영상을 시청하는 유저가, 가상 시점 영상을 전환하고 싶을 때에, 각 면에 대응하는 가상 시점 영상을 직감적으로 파악할 수 있다.
실시형태 7에서는, 오퍼레이터가 지정한 가상 시점을 기준으로, 동일한 타임코드에 대응하는 복수의 가상 시점을 생성하고, 디지털 콘텐츠의 각 면과 각 가상 시점의 촬상 방향에 대응하는 가상 시점 영상을 관련시킨다. 그렇지만, 오퍼레이터가 지정한 가상 시점에서 본 가상 시점 영상을 촬상 방향에 대응하는 면과 관련시키고 싶은 케이스가 있을 수 있다. 실시형태 8에서는, 오퍼레이터가 지정한 가상 시점에서 본 주목 오브젝트의 가상 시점 영상이 촬상되는 촬상 방향을 특정하여, 촬상 방향에 근거하여 디지털 콘텐츠의 각 면과 가상 시점 영상을 관련시킨다.
도20은, 실시형태 8에 따른 화상 처리 시스템(101)의 동작 절차를 설명하기 위한 플로우차트다. 도3의 스텝 S37 내지 S39와, 도19의 스텝 S1901, S1902, S1907 및 S1908과 유사한 처리에는 같은 번호를 붙이고 설명을 생략한다.
스텝 S2001에 있어서, 화상 생성부(1501)는, 스텝 S1901에서 취득한 가상 시점 정보에 근거하여, 가상 시점 영상을 생성한다.
스텝 S2002에 있어서, 화상 생성부(1501)는, 가상 시점 영상의 프레임마다 주목 오브젝트에 대한 촬상 방향을 결정한다. 예를 들면, 전체 가상 시점 영상이 1000프레임을 포함하고, "정면"의 촬상 방향 정보가 부여된 프레임이 800프레임인 것으로 가정한다. 가상 시점 영상은 "배면"의 촬상 방향 정보가 부여된 100프레임, "좌측면"의 촬상 방향 정보가 부여된 50프레임, "우측면"의 촬상 방향 정보가 부여된 30프레임, "상면"의 촬상 방향 정보가 부여된 10프레임, 및 "하면"의 촬상 방향 정보가 부여된 프레임이 10프레임을 더 포함한다. 이렇게 타임코드가 다른 프레임 단위로 촬상 방향 정보가 부여된다.
본 실시형태에서는, 유저가 디지털 콘텐츠를 시청할 때, 촬상 방향이 다른 프레임이 대응하는 디지털 콘텐츠의 각각의 면 위에 회전하여 전환하게 표시된다. 이것은 3D 형상을 이용하여 약동적인 가상 시점 영상을 제공할 수 있다.
본 실시형태에서는, 촬상 방향에 따라 3D 형상의 디지털 콘텐츠과 관련시킬 면이 미리 결정된다. 그러나, 이것에 한정되지 않는다. 예를 들면, 오브젝트를 포함하는 각 가상 시점 영상의 프레임 비율의 내림 차순으로 3D 형상의 디지털 콘텐츠와 관련시킬 면을 결정해도 된다. 구체적으로는, 프레임 비율의 내림 차순으로 제2 내지 제6방향을 설정한다. 1000프레임의 가장 시점 영상이 정면(1604)으로부터의 800프레임, 배면(1605)으로부터의 100프레임, 좌측면(1604)으로부터의 50프레임, 우측면(1602)으로부터의 30프레임, 상면(1603)으로부터의 20프레임, 하면(1606)으로부터의 10프레임을 포함하는 것으로 가정한다. 이 경우, 제1방향이 정면 방향이고, 제2 내지 제6방향이, 배면, 좌측면, 우측면, 상면 및 하면 방향인 것으로 순서대로 결정된다. 그리고, 촬상 방향 정보를 부여한 가상 시점 영상이 콘텐츠 생성부(1502)에 출력된다.
실시형태 4에서는, 디지털 콘텐츠를 보존하는 보존부(5)가 화상 처리장치(100) 내에 내장되는 것으로 설명하였다. 실시형태 9는, 디지털 콘텐츠를 외부 장치(2102)에 보존하는 예를 설명한다. 화상 처리장치 102는, 화상 처리장치 100으로부터 보존부(5)가 제거된 장치이다(미도시).
도21은, 실시형태 9에 따른 화상 처리 시스템(103)의 시스템 구성을 도시한 도면이다. 화상 처리 시스템(103)은, 화상 처리장치(102), 유저 디바이스(2101) 및 외부 장치(2102)를 포함한다.
화상 처리장치(102)는, 실시형태 1 내지 3의 어느 한개에 기재된 방법에 의해 생성된 디지털 콘텐츠를 생성한다. 생성한 디지털 콘텐츠 및 생성에 사용한 가상 시점 화상 등의 미디어 데이터, 가상 시점 화상을 나타내는 아이콘, 및 각 가상 시점 화상의 메타데이터는 외부 장치(2102)에 송신된다. 화상 처리장치(102)는, 표시 화상을 더 생성한다. 생성된 표시 화상은, 유저 디바이스(2101)에 송신된다.
유저 디바이스(2101)는, 예를 들면, PC, 스마트폰, 터치스크린을 갖는 태블릿 단말이어도 된다(미도시). 본 실시형태에서는, 터치스크린을 갖는 태블릿 단말을 예로 들어 설명한다.
외부 장치(2102)는, 실시형태 1 내지 3의 어느 한개에 기재된 방법에 의해 생성된 디지털 콘텐츠를 보존한다. 도1의 보존부(5)와 마찬가지로, 외부 장치(2102)는 디지털 콘텐츠 이외에, 가상 시점 화상, 카메라 화상, 및 각 디지털 콘텐츠에 표시되는 가상 시점 화상에 대응하는 아이콘을 더 보존한다. 화상 처리장치(102)에 의해 특정한 디지털 콘텐츠가 요구된 경우, 외부 장치(2102)는 요구된 디지털 콘텐츠를 화상 처리장치(102)에 송신한다. 디지털 콘텐츠 뿐만 아니라, 외부 장치(2102)는 가상 시점 화상과 각 가상 시점 화상의 메타데이터를 화상 처리장치(102)에 송신해도 된다.
도22는, 실시형태 9에 따른 데이터 전송 절차를 도시한 도면이다. 본 실시형태에서는, 유저로부터의 지시에 응답하여 표시 화상을 생성하고, 표시 화상에 대한 조작에 따라 표시할 가상 시점 화상을 전환하는 절차를 설명한다.
스텝 S2201에 있어서, 유저 디바이스(2101)는, 유저로부터의 입력 후에, 화상 처리장치(102)에 디지털 콘텐츠의 시청 지시를 송신한다. 이 지시에는, 시청할 디지털 콘텐츠를 특정하기 위한 정보가 포함된다. 이 정보의 구체적인 예로는, 디지털 콘텐츠에 대한 NFT와, 디지털 콘텐츠가 외부 장치(2102)에 기억되어 있는 어드레스를 들 수 있다.
스텝 S2202에 있어서, 화상 처리장치(102)는, 취득한 시청 지시에 근거하여 시청 대상의 디지털 콘텐츠를 외부 장치(2102)로부터 요구한다.
스텝 S2203에 있어서, 외부 장치(2102)는, 취득한 요구에 대응하는 디지털 콘텐츠를 특정한다. 요구 내용에 따라, 외부 장치(2102)는, 디지털 콘텐츠 뿐만 아니라, 디지털 콘텐츠의 메타데이터와 관련된 가상 시점 화상을 특정한다.
스텝 S2204에 있어서, 외부 장치(2102)는, 특정된 디지털 콘텐츠를 화상 처리장치(102)에 송신한다. 디지털 콘텐츠 이외에 특정된 정보가 있으면, 외부 장치(2102)는 이 다른 특정된 정보도 송신한다.
스텝 S2205에 있어서, 화상 처리장치(102)는, 취득한 디지털 콘텐츠에 대응하는 표시 화상을 생성한다. 예를 들면, 취득한 디지털 콘텐츠와 3개의 가상 시점 영상이 관련된 경우에는, 화상 처리장치(102)가 실시형태 4에 따른 도9에 나타낸 표시 화상을 작성한다. 이와 달리, 실시형태 5에 따른 도11에 나타내는 표시 화상이다. 실시형태 6에 따른 도13에 나타내는 표시 화상을 생성해도 된다. 본 실시형태에서는, 생성하는 표시 화상으로서 미리 실시형태 4에 따른 도9에 나타낸 표시 화상이 미리 설정된다. 이와 달리, 디지털 콘텐츠에 대응하는 표시 화상이 미리 설정되어 있어도 된다. 이 경우, 디지털 콘텐츠의 작성자가 디지털 콘텐츠의 작성시에 표시 화상을 설정하고, 표시 화상을 디지털 콘텐츠의 메타데이터에 격납한다. 다른 예로서, 유저가 생성한 표시 화상을 설정해도 된다. 이 경우, 화상 처리장치(102)는 스텝 S2201의 디지털 콘텐츠의 시청 지시의 발행시에, 표시할 표시 화상의 종류를 지정한다. 그리고, 화상 처리장치(102)는 생성한 표시 화상을 디지털 콘텐츠의 각 면과 관련시킨다. 본 실시형태에서는, 피사체가 농구 선수이고, 제1표시 영역(901)이 선수를 나타내는 메인 화상에 대응하는 화상을 표시한다. 제2표시 영역(902)은, 메인 화상에 표시되는 선수에 관련되는 3개의 가상 시점 영상을 나타내는 화상 및 가상 시점 영상을 나타내는 아이콘(913)을 중첩 표시한다. 제3표시 영역(903)은 메인 화상에 표시되는 선수가 소속하는 팀의 정보를 나타내는 화상을 표시한다. 제4표시 영역(904)은, 메인 화상에 표시되는 선수의 메인 화상이 촬상된 시즌의 성적 정보를 나타내는 화상을 표시한다. 제5표시 영역(905)은 촬상시의 시합의 최종 스코어를 나타내는 화상을 표시한다. 제6표시 영역(906)은 디지털 콘텐츠의 저작권 정보를 나타내는 화상을 표시한다. 제1표시 영역(901) 내지 제6표시 영역(906)은 유저 조작에 의해 선택가능하다. 스텝 S2205에서는, 화상 처리장치(102)가 제7표시 영역(907)에 초기 화상으로서 제1표시 영역(901)에 표시된 선수를 나타낸 메인 화상을 표시한다.
스텝 S2206에 있어서, 화상 처리장치(102)는 스텝 S2205에서 생성한 표시 화상을 유저 디바이스(2101)에 송신한다.
스텝 S2207에 있어서, 유저 디바이스(2101)는 수신한 표시 화상을 표시한다.
스텝 S2208에 있어서, 표시 화상의 표시 영역을 선택하는 유저 조작을 수신한 경우, 유저 디바이스(2101)는 선택된 표시 영역을 지정하는 정보를 화상 처리장치(102)에 송신한다. 예를 들면, 실시형태 4의 도9에 나타내는 표시 화상을 표시하고, 유저가 표시 영역 902에 대응하는 화상을 선택한 경우, 유저 디바이스(2101)는 표시 영역 902가 선택된 것을 나타내는 정보를 화상 처리장치(102)에 송신한다. 본 실시형태에서는, 제1표시 영역(901) 내지 제6표시 영역(906)에 표시되어 있는 화상과 다른 화상 또는 영상을 제7표시 영역(907)에 표시할 수 있도록 하기 위해, 표시 영역을 지정하는 정보를 화상 처리장치(102)에 송신하였다. 그러나, 이것에 한정되지 않고, 유저 조작에 의해 선택된 화상을 제7표시 영역(907)에 표시하여도 된다. 이 경우, 선택된 표시 영역을 나타내는 정보 대신에, 선택된 화상을 나타내는 정보가 화상 처리장치(102)에 송신된다.
스텝 S2209에 있어서, 화상 처리장치(102)는, 선택된 표시부에 대응하는 아이콘으로부터, 디지털 콘텐츠의 어떤 화상이 선택되었는지 판정한다. 스텝 S2208의 예에서는, 유저가 표시 영역 902를 선택하였기 때문에, 표시 영역 902에 대응하는 가상 시점 화상이 선택된다. 따라서, 제7표시 영역(907)에, 디지털 콘텐츠에 포함되는 가상 시점 화상을 표시한다. 디지털 콘텐츠에 복수의 가상 시점 화상이 포함되어 있는 경우, 처음에 표시할 가상 시점 화상을 미리 설정해 둔다. 상기 처리에 의해, 제1표시 영역(901) 내지 제6표시 영역(906) 중 유저 조작에 의해 선택된 화상에 대응하는 표시 영역을 지정하는 정보를 수신하고, 선택된 표시 영역에 대응하는 화상 또는 영상을 제7표시 영역(907)에 표시함으로써 표시 화면을 갱신한다. 실시형태 6의 도13에 나타내는 표시 화면에서와 같이, 제2영역(1308)에 복수의 가상 시점 화상을 표시하는 경우, 표시된 가상 시점 화상에 대한 터치 입력이나 플릭 입력을 수신하였는지 아닌지 판정한다. 터치 입력을 수신한 경우, 재생되고 있는 가상 시점 영상을 일시 정지한다. 플릭 입력을 수신한 경우, 제5표시 영역(1305)에 표시되고 현재 재생되고 있는 가상 시점 화상을 다른 가상 시점 화상으로 전환한다.
스텝 S2210에 있어서, 화상 처리장치(102)는, 갱신한 표시 화상을 유저 디바이스(2101)에 송신한다.
이와 같은 처리에 의해, 유저가 원하는 디지털 콘텐츠를 표시하는 표시 화상을 작성하고, 유저 디바이스(2101) 위에 표시할 수 있다.
이상, 본 발명의 복수의 실시형태를 상세히 설명하였지만, 본 발명은 상기 실시형태에 한정되는 것은 아니다. 본 발명의 주지에 근거하여 다양한 변형이 가능하고, 이와 같은 변형을 본 발명의 범위에서 제외하는 것은 아니다. 예를 들면, 이상의 실시형태 1 내지 7을 적절히 조합할 수 있다. 본 발명의 실시형태에 따르면, 가상 시점 화상과 다른 화상을 포함하는 매력적인 디지털 콘텐츠를 표시할 수 있다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
더구나, 본 실시형태에 따른 제어의 일부 또는 전부로서, 전술한 실시형태의 기능을 구현하는 컴퓨터 프로그램이 네트워크나 각종 기억매체를 거쳐 화상 처리장치에 주어져도 된다. 그후, 화상 처리장치의 컴퓨터(또는 CPU, MPU 등)가 이 프로그램을 판독하여 실행하도록 구성되어도 된다. 이와 같은 경우에, 프로그램과 이 프로그램을 기억하는 기억매체가 본 발명을 구성한다.
본 실시형태는 이하의 구성, 방법 및 프로그램을 포함한다.
(구성1)
입체 형상의 디지털 콘텐츠의 제1면과 관련된 가상 시점 화상으로서, 복수의 촬상장치에 의해 촬상된 복수의 화상과 가상 시점에 근거하여 생성되는 상기 가상 시점 화상과, 상기 디지털 콘텐츠의 제2면과 관련되고 상기 가상 시점 화상에 대응하는 상기 가상 시점과 다른 시점의 화상을 특정하도록 구성된 특정부와,
상기 가상 시점 화상에 대응하는 화상과, 상기 가상 시점과 다른 시점의 화상에 대응하는 화상을 표시 영역에 표시하는 제어를 행하도록 구성된 표시 제어부를 갖는 장치.
(구성2)
상기 표시 영역을 선택하는 입력 정보를 취득하도록 구성된 취득부를 더 갖고,
상기 표시 제어부는, 상기 취득부에 의해 취득된 상기 입력 정보에 근거하여, 선택된 상기 표시 영역에 대응하는 화상을, 이 선택된 상기 표시 영역과 다른 표시 영역인 선택 표시 영역에 표시하도록 구성된 구성 1에 따른 장치.
(구성3)
상기 디지털 콘텐츠는, 상기 복수의 화상과 상기 가상 시점을 포함하는 복수의 가상 시점에 근거하여 생성되는 복수의 가상 시점 화상을 포함하는 구성 1 또는 2에 따른 장치.
(구성4)
상기 표시 제어부는, 상기 복수의 가상 시점 화상에 대응하는 화상들을 각각의 다른 표시 영역에 표시하도록 구성된 구성 1 내지 3의 어느 한개에 따른 장치.
(구성5)
상기 복수의 가상 시점 화상에 대응하는 화상은 특정한 표시 영역과 관련되고,
상기 표시 제어부는, 상기 취득부에 의해 상기 복수의 가상 시점 화상에 대응하는 화상을 표시하는 표시 영역을 선택하는 입력이 취득된 경우, 상기 복수의 가상 시점 화상 중 특정한 가상 시점 화상을 상기 선택 표시 영역에 표시하도록 구성된 구성 1 내지 4의 어느 한개에 따른 장치.
(구성6)
상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 적어도 한개의 가상 시점은, 상기 복수의 촬상장치에 의해 촬상된 상기 복수의 화상 중 적어도 한개의 화상에 포함되는 피사체에 근거하여 결정되는 구성 1 내지 5의 어느 한개에 따른 장치.
(구성7)
상기 가상 시점의 위치는, 상기 피사체를 나타내는 3차원 형상의 위치에 근거하여 결정되는 구성 1 내지 6의 어느 한개에 따른 장치.
(구성8)
상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 적어도 한개의 가상 시점의 위치는 피사체의 위치에 근거하여 결정되고, 상기 가상 시점으로부터의 시선 방향은 상기 피사체의 방향에 근거하여 결정되는 구성 1 내지 7의 어느 한개에 따른 장치.
(구성9)
상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 적어도 한개의 가상 시점의 위치는 피사체 후방의 소정의 거리 떨어진 위치에 근거하여 결정되고, 상기 가상 시점으로부터의 시선 방향은 상기 피사체의 방향에 근거하여 결정되는 구성 1 내지 7의 어느 한개에 따른 장치.
(구성10)
상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 적어도 한개의 가상 시점의 위치는, 피사체를 중심으로 하는 구면 위의 위치에 근거하여 결정되고, 상기 가상 시점으로부터의 시선 방향은 상기 가상 시점의 위치로부터 상기 피사체를 향하는 방향에 근거하여 결정되는 구성 1 내지 7의 어느 한개에 따른 장치.
(구성11)
상기 피사체는 인물이고,
상기 피사체의 방향은 상기 피사체의 얼굴의 방향인 구성 1 내지 8의 어느 한개에 따른 장치.
(구성12)
상기 표시 제어부는, 상기 선택 표시 영역에 특정한 조작 정보가 입력된 경우, 상기 선택 표시 영역에 표시된 상기 가상 시점 화상과, 상기 복수의 가상 시점 화상 중 상기 선택 표시 영역에 표시된 상기 가상 시점 화상과 다른 가상 시점 화상을 전환하도록 구성된 구성 1 내지 5의 어느 한개에 따른 장치.
(구성13)
상기 특정한 조작 정보는, 키보드 타이핑 조작, 마우스 클릭 조작, 마우스 스크롤 조작과, 상기 가상 시점 화상을 표시하고 있는 표시장치에 대한 터치 조작, 슬라이드 조작, 플릭 제스처, 핀치 인 조작 및 핀치 아웃 조작의 적어도 한개에 관한 조작 정보인 구성 12에 따른 장치.
(구성14)
상기 표시 제어부는, 상기 복수의 가상 시점 화상 각각에 대응하는 아이콘들을 상기 선택 표시 영역 위에 중첩하고, 상기 아이콘들 중에서 어느 한개를 선택하는 입력이 접수된 경우, 상기 선택 표시 영역에 표시된 상기 가상 시점 화상과, 선택된 아이콘에 대응하는 상기 가상 시점 화상을 전환하도록 구성된 구성 12에 따른 장치.
(구성15)
상기 표시 제어부는, 상기 가상 시점 화상을 표시하는 아이콘을 상기 가상 시점 화상을 나타내는 화상 위에 중첩하도록 구성된 구성 1 내지 14의 어느 한개에 따른 장치.
(방법1)
입체 형상의 디지털 콘텐츠의 제1면과 관련된 가상 시점 화상으로서, 복수의 촬상장치에 의해 촬상된 복수의 화상과 가상 시점에 근거하여 생성되는 상기 가상 시점 화상과, 상기 디지털 콘텐츠의 제2면과 관련되고 상기 가상 시점 화상에 대응하는 상기 가상 시점과 다른 시점의 화상을 특정하는 단계와,
상기 가상 시점 화상에 대응하는 화상과, 상기 가상 시점과 다른 시점의 화상에 대응하는 화상을 표시 영역에 표시하는 제어를 행하는 단계를 포함하는 화상 처리방법.
(프로그램)
컴퓨터에, 구성 1 내지 15의 어느 한개에 따른 장치의 각 부를 제어하게 하기 위한 프로그램을 기억한 기억매체.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (17)

  1. 입체 형상의 디지털 콘텐츠의 제1면과 관련된 가상 시점 화상으로서, 복수의 촬상장치에 의해 촬상된 복수의 화상과 가상 시점에 근거하여 생성되는 상기 가상 시점 화상과, 상기 디지털 콘텐츠의 제2면과 관련되고 상기 가상 시점 화상에 대응하는 상기 가상 시점과 다른 시점의 화상을 특정하도록 구성된 특정부와,
    상기 가상 시점 화상에 대응하는 화상과, 상기 가상 시점과 다른 시점의 화상에 대응하는 화상을 표시 영역에 표시하는 제어를 행하도록 구성된 표시 제어부를 갖는 화상 처리 시스템.
  2. 제 1항에 있어서,
    상기 표시 영역을 선택하는 입력 정보를 취득하도록 구성된 취득부를 더 갖고,
    상기 표시 제어부는, 상기 취득부에 의해 취득된 상기 입력 정보에 근거하여, 선택된 상기 표시 영역에 대응하는 화상을, 이 선택된 상기 표시 영역과 다른 표시 영역인 선택 표시 영역에 표시하도록 구성된 화상 처리 시스템.
  3. 제 2항에 있어서,
    상기 디지털 콘텐츠는, 상기 복수의 화상과 상기 가상 시점을 포함하는 복수의 가상 시점에 근거하여 생성되는 복수의 가상 시점 화상을 포함하는 화상 처리 시스템.
  4. 제 3항에 있어서,
    상기 표시 제어부는, 상기 복수의 가상 시점 화상에 대응하는 화상들을 각각의 다른 표시 영역에 표시하도록 구성된 화상 처리 시스템.
  5. 제 3항에 있어서,
    상기 복수의 가상 시점 화상에 대응하는 화상은 특정한 표시 영역과 관련되고,
    상기 표시 제어부는, 상기 취득부에 의해 상기 복수의 가상 시점 화상에 대응하는 화상을 표시하는 표시 영역을 선택하는 입력이 취득된 경우, 상기 복수의 가상 시점 화상 중 특정한 가상 시점 화상을 상기 선택 표시 영역에 표시하도록 구성된 화상 처리 시스템.
  6. 제 5항에 있어서,
    상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 적어도 한개의 가상 시점은, 상기 복수의 촬상장치에 의해 촬상된 상기 복수의 화상 중 적어도 한개의 화상에 포함되는 피사체에 근거하여 결정되는 화상 처리 시스템.
  7. 제 6항에 있어서,
    상기 가상 시점의 위치는, 상기 피사체를 나타내는 3차원 형상의 위치에 근거하여 결정되는 화상 처리 시스템.
  8. 제 3항에 있어서,
    상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 적어도 한개의 가상 시점의 위치는 피사체의 위치에 근거하여 결정되고, 상기 가상 시점으로부터의 시선 방향은 상기 피사체의 방향에 근거하여 결정되는 화상 처리 시스템.
  9. 제 3항에 있어서,
    상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 적어도 한개의 가상 시점의 위치는 피사체 후방의 소정의 거리 떨어진 위치에 근거하여 결정되고, 상기 가상 시점으로부터의 시선 방향은 상기 피사체의 방향에 근거하여 결정되는 화상 처리 시스템.
  10. 제 3항에 있어서,
    상기 복수의 가상 시점 화상에 대응하는 상기 복수의 가상 시점 중 적어도 한개의 가상 시점의 위치는, 피사체를 중심으로 하는 구면 위의 위치에 근거하여 결정되고, 상기 가상 시점으로부터의 시선 방향은 상기 가상 시점의 위치로부터 상기 피사체를 향하는 방향에 근거하여 결정되는 화상 처리 시스템.
  11. 제 8항에 있어서,
    상기 피사체는 인물이고,
    상기 피사체의 방향은 상기 피사체의 얼굴의 방향인 화상 처리 시스템.
  12. 제 5항에 있어서,
    상기 표시 제어부는, 상기 선택 표시 영역에 특정한 조작 정보가 입력된 경우, 상기 선택 표시 영역에 표시된 상기 가상 시점 화상과, 상기 복수의 가상 시점 화상 중 상기 선택 표시 영역에 표시된 상기 가상 시점 화상과 다른 가상 시점 화상을 전환하도록 구성된 화상 처리 시스템.
  13. 제 12항에 있어서,
    상기 특정한 조작 정보는, 키보드 타이핑 조작, 마우스 클릭 조작, 마우스 스크롤 조작과, 상기 가상 시점 화상을 표시하고 있는 표시장치에 대한 터치 조작, 슬라이드 조작, 플릭 제스처, 핀치 인 조작 및 핀치 아웃 조작의 적어도 한개에 관한 조작 정보인 화상 처리 시스템.
  14. 제 12항에 있어서,
    상기 표시 제어부는, 상기 복수의 가상 시점 화상 각각에 대응하는 아이콘들을 상기 선택 표시 영역 위에 중첩하고, 상기 아이콘들 중에서 어느 한개를 선택하는 입력이 접수된 경우, 상기 선택 표시 영역에 표시된 상기 가상 시점 화상과, 선택된 아이콘에 대응하는 상기 가상 시점 화상을 전환하도록 구성된 화상 처리 시스템.
  15. 제 1항에 있어서,
    상기 표시 제어부는, 상기 가상 시점 화상을 표시하는 아이콘을 상기 가상 시점 화상을 나타내는 화상 위에 중첩하도록 구성된 화상 처리 시스템.
  16. 입체 형상의 디지털 콘텐츠의 제1면과 관련된 가상 시점 화상으로서, 복수의 촬상장치에 의해 촬상된 복수의 화상과 가상 시점에 근거하여 생성되는 상기 가상 시점 화상과, 상기 디지털 콘텐츠의 제2면과 관련되고 상기 가상 시점 화상에 대응하는 상기 가상 시점과 다른 시점의 화상을 특정하는 단계와,
    상기 가상 시점 화상에 대응하는 화상과, 상기 가상 시점과 다른 시점의 화상에 대응하는 화상을 표시 영역에 표시하는 제어를 행하는 단계를 포함하는 화상 처리방법.
  17. 컴퓨터에, 청구항 1에 기재된 화상 처리 시스템의 각 부를 제어하게 하는 컴퓨터 프로그램을 기억하는 기억매체.
KR1020230053723A 2022-04-27 2023-04-25 화상 처리 시스템, 화상 처리방법, 및 기억매체 KR20230152589A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022073894 2022-04-27
JPJP-P-2022-073894 2022-04-27
JPJP-P-2023-038750 2023-03-13
JP2023038750A JP2023163133A (ja) 2022-04-27 2023-03-13 画像処理システム、画像処理方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
KR20230152589A true KR20230152589A (ko) 2023-11-03

Family

ID=88511853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230053723A KR20230152589A (ko) 2022-04-27 2023-04-25 화상 처리 시스템, 화상 처리방법, 및 기억매체

Country Status (2)

Country Link
US (1) US20230353717A1 (ko)
KR (1) KR20230152589A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12067308B2 (en) 2022-02-22 2024-08-20 Xerox Corporation Method and system for printing verified copy of a non-fungible token
US11934496B2 (en) * 2022-02-22 2024-03-19 Xerox Corporation Method and system for authentic non-fungible token (NFT) printing

Also Published As

Publication number Publication date
US20230353717A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
JP7498209B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN109889914A (zh) 视频画面推送方法、装置、计算机设备及存储介质
KR20230152589A (ko) 화상 처리 시스템, 화상 처리방법, 및 기억매체
JP2019079298A (ja) 情報処理装置、表示制御方法、及び、プログラム
US10885333B2 (en) Augmented reality apparatus and method
US20060114251A1 (en) Methods for simulating movement of a computer user through a remote environment
KR20010074508A (ko) 스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치
JP6277329B2 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
JP2021013095A (ja) 画像処理装置、表示方法、及び、プログラム
EP3621300B1 (en) Display control device and display control method
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JP2024124469A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP2020102687A (ja) 情報処理装置、画像処理装置、画像処理方法、及びプログラム
Foote et al. One-man-band: A touch screen interface for producing live multi-camera sports broadcasts
US20230033201A1 (en) Image processing apparatus, image processing method, and storage medium
CN110709839A (zh) 用于呈现媒体内容预览的方法、系统和介质
JP2023163133A (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
CN116962660A (zh) 图像处理系统、图像处理方法和存储介质
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
CN110166825A (zh) 视频数据处理方法及装置、视频播放方法及装置
US11816785B2 (en) Image processing device and image processing method
EP4243411A1 (en) Image processing system, image processing method, and storage medium
US20240242422A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable medium
KR102676846B1 (ko) 메타버스 환경에서 돔 디스플레이 운영 방법
WO2023213185A1 (zh) 直播画面数据处理方法、装置、设备、存储介质及程序

Legal Events

Date Code Title Description
A201 Request for examination