KR102623700B1 - 정보처리장치, 정보처리방법, 및 컴퓨터 프로그램 - Google Patents

정보처리장치, 정보처리방법, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102623700B1
KR102623700B1 KR1020210020257A KR20210020257A KR102623700B1 KR 102623700 B1 KR102623700 B1 KR 102623700B1 KR 1020210020257 A KR1020210020257 A KR 1020210020257A KR 20210020257 A KR20210020257 A KR 20210020257A KR 102623700 B1 KR102623700 B1 KR 102623700B1
Authority
KR
South Korea
Prior art keywords
area
information
virtual viewpoint
image
information processing
Prior art date
Application number
KR1020210020257A
Other languages
English (en)
Other versions
KR20210105302A (ko
Inventor
다이치 아다치
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20210105302A publication Critical patent/KR20210105302A/ko
Application granted granted Critical
Publication of KR102623700B1 publication Critical patent/KR102623700B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Hardware Redundancy (AREA)

Abstract

정보처리장치는, 복수의 촬영 장치에 의해 상이한 방향으로부터 촬영되는 촬영 영역내의 오브젝트의 위치 및 형상을 나타내는 오브젝트 정보를 취득하고, 상기 촬영 영역내의 특정 위치로부터 보일 수 있는 가시 영역과, 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 차폐 영역을, 상기 오브젝트 정보에 근거해서 식별하고, 상기 복수의 촬영 장치에 의한 촬영에 근거한 화상 데이터와 가상 시점의 위치 및 방향을 나타내는 가상 시점정보에 근거하는 가상 시점 화상이며, 상기 식별의 결과에 근거한 정보를 표시하는 상기 가상 시점 화상을, 생성한다.

Description

정보처리장치, 정보처리방법, 및 컴퓨터 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM}
본 개시내용은, 복수의 촬영 장치에 의해 오브젝트를 복수의 방향으로부터 촬영함에 의해 얻어진 정보의 처리에 관한 것이다.
복수의 촬영 장치를 다른 위치에 설치해서 다시점에서 동기 촬영하고, 해당 촬영을 통해 얻어진 복수의 화상을 사용하여 시점을 임의로 변경가능한 가상 시점 화상을 생성하는 기술이 있다. 예를 들면, 축구나 농구 등의 경기의 복수의 촬영 화상에 근거하여, 유저에 의해 설정된 시점에 대응한 가상 시점 화상을 생성함에 의해, 유저는 여러가지 시점에서 그 경기를 관전할 수 있다. 축구 선수나 심판등 촬영 영역내의 특정한 오브젝트의 위치 및 방향에 따라서 가상 시점의 위치 및 방향을 설정 함으로써, 선수나 심판의 시야를 재현하는 가상 시점 화상을 생성할 수 있다.
일본특허 제6555513호 공보에는, 복수의 방향으로부터 축구 시합을 촬영해서 얻어진 데이터를 사용하여, 특정한 선수의 시점에 대응한 영상 콘텐츠를 제공하는 것이 기재되어 있다. 일본특허 제6555513호 공보에는, 다른 선수의 시점좌표, 시선방향, 및 시야각으로 규정된 시야를 추정하고, 다른 선수의 시야에 존재하지 않는 사각영역을 영상 콘텐츠내에 표시하는 것이 한층 더 기재되어 있다.
그렇지만, 일본특허 제6555513호에 기재된 방법으로 특정된 사각영역에는, 촬영 영역내의 오브젝트에 의해 차폐되어서 보이지 않는 영역이 반영되지 않고 있다. 예를 들면, 어떤 선수의 시선방향 부근의 영역이여도, 그 선수가 그 선수의 시점으로부터 다른 선수에 의해 차폐되어 있는 영역은 볼 수 없다. 그 때문에, 일본특허 제6555513호에 기재된 의 영상 콘텐츠에 표시된 사각영역에 포함되지 않는 영역도, 실제의 사각을 나타내는 영역을 포함할 수도 있다.
본 개시내용의 측면에서는, 특정한 위치로부터 보일 수 있는 영역과 차폐에 의해 보일 수 없는 영역을 쉽게 식별 가능한 기술을 제공한다.
본 개시내용의 일 측면에서 제공한 정보처리장치는, 복수의 촬영 장치에 의해 상이한 방향으로부터 촬영되는 촬영 영역내의 오브젝트의 위치 및 형상을 나타내는 오브젝트 정보를 취득하는 취득부; 상기 촬영 영역내의 특정 위치로부터 보일 수 있는 가시 영역과, 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 차폐 영역을, 상기 취득부에 의해 취득된 오브젝트 정보에 근거해서 식별하는 식별부; 및 상기 복수의 촬영 장치에 의한 촬영에 근거한 화상 데이터와 가상 시점의 위치 및 방향을 나타내는 가상 시점정보에 근거하는 가상 시점 화상이며, 상기 식별부에 의한 식별의 결과에 근거한 정보를 표시하는 상기 가상 시점 화상을, 생성하는 생성부를 포함한다.
본 개시내용의 다른 측면에서 제공한 정보처리장치는, 복수의 촬영 장치에 의해 상이한 방향으로부터 촬영 영역을 촬영함으로써 얻어진 화상 데이터에 근거해서 생성된 오브젝트 정보이며, 상기 촬영 영역내의 오브젝트의 위치 및 형상을 나타내는 상기 오브젝트 정보를, 취득하는 취득부; 상기 촬영 영역내의 지정된 오브젝트에 대응하는 특정 위치로부터 보일 수 있는 가시 영역과, 다른 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 차폐 영역을, 식별할 수 있는 정보를, 상기 취득부에 의해 취득된 오브젝트 정보에 근거해서 생성하는 생성부; 및 상기 생성부에 의해 생성된 정보를 출력하는 출력부를 포함한다.
본 개시내용의 다른 측면에서 제공한 정보처리방법은, 복수의 촬영 장치에 의해 상이한 방향으로부터 촬영되는 촬영 영역내의 오브젝트의 위치 및 형상을 나타내는 오브젝트 정보를 취득하는 단계; 상기 촬영 영역내의 특정 위치로부터 보일 수 있는 가시 영역과, 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 차폐 영역을, 상기 취득하는 단계에 의해 취득된 오브젝트 정보에 근거해서 식별하는 단계; 및 상기 복수의 촬영 장치에 의한 촬영에 근거한 화상 데이터와 가상 시점의 위치 및 방향을 나타내는 가상 시점정보에 근거하는 가상 시점 화상이며, 상기 식별하는 단계의 결과에 근거한 정보를 표시하는 상기 가상 시점 화상을, 생성하는 단계를 포함한다.
본 개시내용의 다른 측면에서 제공한 정보처리방법은, 복수의 촬영 장치에 의해 상이한 방향으로부터 촬영 영역을 촬영함으로써 얻어진 화상 데이터에 근거해서 생성된 오브젝트 정보이며, 상기 촬영 영역내의 오브젝트의 위치 및 형상을 나타내는 상기 오브젝트 정보를, 취득하는 단계; 상기 촬영 영역내의 지정된 오브젝트에 대응하는 특정 위치로부터 보일 수 있는 가시 영역과, 다른 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 차폐 영역을, 식별할 수 있는 정보를, 상기 취득하는 단계에 의해 취득된 오브젝트 정보에 근거해서 생성하는 단계; 및 상기 생성하는 단계에 의해 생성된 정보를 출력하는 단계를 포함한다.
본 개시내용의 다른 측면에서 제공한 컴퓨터 프로그램은, 컴퓨터를 상술한 정보처리장치로서 기능시키기 위해 매체에 기억된, 컴퓨터 프로그램이다.
본 개시내용의 추가의 특징들은, 첨부도면을 참조하여 이하의 실시 형태들의 설명으로부터 명백해질 것이다.
도1은, 화상처리 시스템의 구성 예를 도시한 도면이다.
도2는, 정보처리장치의 하드웨어 구성 예를 도시한 도면이다.
도3a, 3b는, 정보처리장치 및 표시장치의 동작의 예를 도시하는 흐름도다.
도4a, 4b는, 가시 판정의 처리를 도시한 도면이다.
도5a, 5b는, 가시성 정보의 예를 도시한 도면이다.
도6은, 정보처리장치의 동작의 예를 도시한 흐름도다.
도7은, 가시성 정보의 예를 도시한 도면이다.
도8은, 가시성 정보의 출력의 예를 도시한 도면이다.
[시스템 구성]
도1은, 화상처리 시스템(1)의 구성 예를 도시한 도면이다. 화상처리 시스템(1)은, 지정된 가상 시점으로부터의 뷰(view)를 나타내는 가상 시점 화상을 생성한다. 화상처리 시스템(1)은, 복수의 촬영 장치에 의한 촬영을 통해 얻어진 복수의 화상(다수의 시점 화상)과, 그 지정된 가상 시점에 근거하여, 가상 시점 화상을 생성한다. 본 실시 형태에 따른 가상 시점 화상은, 자유 시점영상이라고도 불린다. 그렇지만, 가상 시점 화상은, 유저가 자유롭게(임의로) 지정한 시점에 대응하는 화상에 한정되지 않고, 예를 들면 복수의 후보로부터 유저가 선택한 시점에 대응하는 화상을 포함한다. 본 실시 형태에서는, 가상 시점의 지정이 유저 조작에 의해 행해질 경우를 중심으로 설명하지만, 가상 시점의 지정이 화상해석의 결과등에 근거해서 자동으로 행해져도 좋다. 또한, 본 실시 형태에서는, 가상 시점 화상이 정지 화상일 경우를 중심으로 설명하지만, 가상 시점 화상은 동화상이여도 좋다. 다시 말해, 화상처리 시스템(1)은, 정지 화상과 동화상 양쪽을 처리가능하다. 이후의 설명에 있어서는, 달리 언급되지 않는 한, "화상"의 단어는, 동화상과 정지 화상의 양쪽의 개념을 포함하는 것으로서 설명하겠다.
화상처리 시스템(1)은, 복수의 촬영 장치(100), 화상처리장치(110), 정보처리장치(200), 및 표시장치(300)를 구비한다. 복수의 촬영 장치(100)는, 촬영 영역내 촬영될 피사체(오브젝트)를 복수의 방향에서 촬영한다. 촬영 영역은, 예를 들면 축구나 가라데의 경기가 행해지는 경기장, 혹은 콘서트나 연극이 행해지는 무대 등이다. 본 실시 형태에서는, 촬영 영역이 축구의 경기장일 경우를 주로 설명한다. 복수의 촬영 장치(100)는, 그 촬영 영역을 둘러싸도록 각각 상이한 위치에 설치되고, 서로 동기하여 촬영을 행한다. 복수의 촬영 장치(100)는 촬영 영역의 전체 주위에 걸쳐 설치되지 않고 있어도 좋고, 설치 장소의 제한 등에 따라서는 촬영 영역의 일부의 방향으로만 설치되어 있어도 좋다. 촬영 장치의 수는 도1에 도시된 예에 한정되지 않는다. 예를 들면, 촬영 영역을 축구 경기장으로 할 경우에는, 경기장 주위에 30대 정도의 촬영 장치가 설치되어도 좋다. 또한, 망원 카메라와 광각 카메라등의 기능이 상이한 촬영 장치가 설치되어 있어도 좋다.
본 실시 형태에 따른 복수의 촬영 장치(100)는 각각이 독립된 하우징을 갖는 카메라이고, 이 카메라는 단일의 시점에서 촬영가능하다. 단, 본 실시 형태는 이러한 구성에 한정하지 않고, 2이상의 촬영 장치가 동일한 하우징내에 포함되어도 좋다. 예를 들면, 복수의 렌즈 군과 복수의 센서를 구비하고 있고 복수의 시점에서 촬영하는 단일의 카메라는, 복수의 촬영 장치(100)로서 설치되어 있어도 좋다.
화상처리장치(110)는, 복수의 촬영 장치(100)로부터 취득한 화상 데이터에 근거하여, 오브젝트 정보(101)를 생성한다. 그 오브젝트 정보(101)는, 촬영 영역내의 인물이나 볼등의 전경 오브젝트와, 경기장이나 필드등의 배경 오브젝트를 포함한다. 오브젝트 정보(101)는, 각 오브젝트의 삼차원 위치 및 삼차원 형상을 나타낸다. 각 오브젝트의 오브젝트 정보(101)는 개별로 기억되어도 좋거나, 촬영 영역내의 복수의 오브젝트의 오브젝트 정보(101)가 총괄적으로 기억되어도 좋다.
정보처리장치(200)는, 화상처리장치(110)로부터 오브젝트 정보(101)를 취득하는 오브젝트 정보 취득부(201), 시야정보(102)를 취득하는 시야정보 취득부(202), 및 가상 시점정보(103)를 취득하는 가상 시점 취득부(203)를 포함한다. 정보처리장치(200)는, 가시 판정부(204) 및 정보생성부(205)를 더 포함한다.
시야정보(102)는, 촬영 영역내의 소정의 시점에 대응하는 시야를 나타낸다. 시야정보(102)는, 후술하는 가시 판정의 기준이다. 시야정보(102)는, 삼차원 공간에 있어서의 시점의 위치, 방향(시점위치로부터의 시선방향), 및 수평방향과 수직방향의 시야의 크기에 대응한 화각을 나타내는 정보를 포함한다. 시야정보(102)의 콘텐츠는 이것에 한정되지 않는다. 시야의 크기가 초점거리 또는 줌 값으로 나타내어져도 좋다. 또한, 시야정보(102)에는, 시점의 위치로부터 시야의 경계인 니어(near)면 및 파(far)면까지의 거리를 나타내는 정보가 포함되어 있어도 좋다. 시야정보(102)는 유저 조작에 근거해서 지정되어도 좋다. 시야정보(102)의 적어도 일부가 자동으로 지정되어도 좋다. 예를 들면, 화상처리 시스템(1)은, 시점의 위치, 방향 및 화각을 지정하는 유저 조작을 접수하고, 시야정보(102)를 생성해도 좋다.
예를 들면, 화상처리 시스템(1)은, 촬영 영역내의 오브젝트인 특정한 인물을 지정하는 유저 조작을 접수하고, 그 인물의 시야를 나타내는 시야정보(102)등, 지정된 오브젝트의 시야정보(102)를 생성해도 좋다. 이 경우, 시야정보(102)가 나타낸 시점의 위치는 지정된 오브젝트의 머리 부분 또는 눈의 위치에 대응하고, 시야정보(102)가 나타낸 시선방향은 지정된 오브젝트의 머리 부분 또는 눈의 방향에 대응한다.
인물의 시야를 나타내는 시야정보(102)는, 그 인물의 머리 부분 또는 눈의 위치 및 방향을 검출하는 센서(예를 들면, 모션 캡처, 전자 컴퍼스, 글로벌 위치결정 시스템(ＧＰＳ)등)로부터 취득한 데이터에 근거해서 생성되어도 좋다. 또한, 촬영 장치(100)로부터 취득한 화상 데이터 또는 화상처리장치(110)가 생성한 오브젝트 정보(101)를 해석한 결과에 근거해서 시야정보(102)가 생성되어도 좋다. 예를 들면, 시야정보(102)가 나타낸 시점의 위치인 인물의 머리 부분의 위치 좌표는, 상기 센서 또는 화상해석에 의해 검출된 머리 부분의 꼭대기의 위치로부터, 얼굴의 전방 및 하방으로 소정의 거리만큼 떨어진 삼차원 좌표 위치이여도 좋다. 또한, 예를 들면, 머리 부분의 좌표 위치는, 검출된 머리 부분의 중심의 위치로부터 얼굴의 전방으로 소정의 거리만큼 떨어진 삼차원 좌표 위치이여도 좋다. 또한, 시야정보(102)가 나타낸 시점의 위치로서의 인물의 눈의 좌표 위치는, 상기 센서 또는 화상해석에 의해 검출된 왼쪽 눈과 오른쪽 눈의 중간에 삼차원 좌표 위치이여도 좋다. 화상처리 시스템(1)은 시야정보(102)를 외부에서 취득해도 좋다.
가상 시점정보(103)는, 가상 시점 화상에 대응하는 가상 시점의 위치 및 방향(시선방향)을 나타낸다. 구체적으로는, 가상 시점정보(103)는, 삼차원 공간에 있어서의 가상 시점의 위치를 나타내는 파라미터와, 팬, 틸트, 및 롤 방향에 있어서의 가상 시점의 방향을 나타내는 파라미터를, 포함하는, 파라미터 세트를 가진다. 가상 시점정보(103)의 콘텐츠는 상술한 정보에 한정되지 않는다. 예를 들면, 가상 시점정보(103)로서의 파라미터 세트에는, 줌율이나 초점거리등 가상 시점에 대응하는 시야의 크기를 나타내는 파라미터나, 시각을 나타내는 파라미터가 포함되어도 좋다. 가상 시점정보(103)는 유저 조작에 근거해서 지정되어도 좋거나, 가상 시점정보(103)의 적어도 일부가 자동으로 지정되어도 좋다. 예를 들면, 화상처리 시스템(1)은, 가상 시점의 위치, 방향 및 화각을 지정하는 유저 조작을 접수하고, 가상 시점정보(103)를 생성해도 좋다. 화상처리 시스템(1)은 가상 시점정보(103)를 외부에서 취득해도 좋다.
가시 판정부(204)는, 오브젝트 정보 취득부(201)가 취득한 오브젝트 정보(101), 시야정보 취득부(202)가 취득한 시야정보(102), 및 가상 시점 취득부(203)가 취득한 가상 시점정보(103)를 사용하여, 가시 판정을 행한다. 가시 판정부(204)에서 행한 가시 판정은, 촬영 영역에서, 시야정보(102)가 나타낸 시점에서 볼 수 있는 영역과 볼 수 없는 영역을 식별하는 처리다. 정보생성부(205)는, 가시 판정부(204)에서 생성한 가시 판정의 결과에 대응한 정보를 생성하여 표시장치(300)에 출력한다. 정보생성부(205)는 가시 판정의 결과와 가상 시점정보(103)를 사용하여, 가상 시점에 대응한 정보를 생성해서 출력해도 좋다. 가시 판정 처리와 정보생성부(205)에 의해 생성되는 정보의 상세에 대해서는 후술한다.
표시장치(300)는, 디스플레이를 갖는 컴퓨터이며, 정보생성부(205)로부터 취득한 정보와 가상 시점 화상(104)을 합성해서 표시한다. 표시장치(300)에 의해 표시되는 화상에는, 시야정보(102)를 나타내는 컴퓨터 그래픽(ＣＧ)이 포함되어 있어도 좋다. 표시장치(300)는 상기 디스플레이 대신에, 프로젝터등의 시각 제시 디바이스를 구비하고 있어도 좋다.
가상 시점 화상(104)은, 촬영 장치(100)에 의해 취득된 화상 데이터 및 가상 시점정보(103)에 근거하여, 화상처리 시스템(1)에 의해 생성된다. 가상 시점 화상(104)은, 예를 들면 이하와 같은 방법으로 생성된다. 복수의 촬영 장치(100)에 의해 각각 상이한 방향에서 촬영함으로써 얻어진 다수의 시점 화상으로부터, 인물이나 볼등의 소정의 오브젝트에 대응하는 전경영역을 추출한 전경화상과, 전경영역이외의 배경영역을 추출한 배경화상이, 취득된다. 그 소정의 오브젝트의 삼차원 형상을 나타내는 전경 모델과 전경 모델에 착색하기 위한 텍스쳐 데이터가, 전경화상에 근거해서 생성된다. 경기장등의 배경의 삼차원 형상을 나타내는 배경 모델에 착색하기 위한 텍스쳐 데이터가 배경화상에 근거해서 생성된다. 그리고, 전경 모델과 배경 모델에 대하여 텍스쳐 데이터를 매핑하고, 가상 시점정보(103)가 나타낸 가상 시점에 따라서 렌더링을 행하는 것에 의해, 가상 시점 화상(104)이 생성된다. 단, 가상 시점 화상(104)의 생성 방법은 상술한 과정에 한정되지 않고, 삼차원 모델을 사용하지 않고 촬영 화상의 투영 변환을 행함으로써 가상 시점 화상(104)을 생성하는 방법등, 여러 가지의 방법을 사용할 수 있다. 화상처리 시스템(1)은, 가상 시점 화상(104)을 외부에서 취득해도 좋다.
화상처리 시스템(1)의 구성은 도1에 도시된 예에 한정되는 것이 아니다. 예를 들면, 화상처리장치(110)와 정보처리장치(200)가 일체로 구성되어도 좋다. 또는, 시야정보(102), 가상 시점정보(103), 및 가상 시점 화상(104)은, 정보처리장치(200)에 의해 생성되어도 좋다. 또는, 정보생성부(205)가 생성한 정보와 가상 시점 화상(104)을 합성해서 표시장치(300)에 출력해도 좋다. 화상처리 시스템(1)은, 오브젝트 정보(101), 시야정보(102), 가상 시점정보(103), 및 가상 시점 화상(104)을 기억하는 기억부와, 유저 조작을 접수하는 입력부를 구비한다.
[하드웨어 구성]
도2는 정보처리장치(200)의 하드웨어 구성 예를 도시하고 있다. 화상처리장치(110) 및 표시장치(300)의 하드웨어 구성도, 이하에 설명된 정보처리장치(200)의 구성과 같다. 정보처리장치(200)는, 중앙처리장치(ＣＰＵ)(211), 판독전용 메모리(ＲＯＭ)(212), 랜덤 액세스 메모리(ＲＡＭ)(213), 보조 기억장치(214), 표시부(215), 조작부(216), 통신I/F(217), 및 버스(218)를 구비한다.
ＣＰＵ(211)는, ＲＯＭ(212)이나 ＲＡＭ(213)에 격납된 컴퓨터 프로그램이나 데이터를 사용해서 정보처리장치(200)의 전체를 제어함으로써, 도1에 도시된 정보처리장치(200)의 각 기능을 실현한다. 정보처리장치(200)는, ＣＰＵ(211)와는 다른 1개이상의 전용의 하드웨어를 구비하고, ＣＰＵ(211)에 의해 실행된 처리의 적어도 일부를 그 전용의 하드웨어가 실행해도 좋다. 전용의 하드웨어의 예로서는, 특정용도 지향 집적회로(ＡＳＩＣ), 필드 프로그래머블 게이트 어레이(ＦＰＧＡ), 및 디지탈 신호 프로세서(ＤＳＰ)가 있다. ＲＯＭ(212)은, 변경을 필요로 하지 않는 프로그램등을 격납하고 있다. ＲＡＭ(213)은, 보조 기억장치(214)로부터 공급된 프로그램이나 데이터, 및 통신I/F(217)를 통해 외부로부터 공급된 데이터등을 일시적으로 기억한다. 보조 기억장치(214)는, 예를 들면 하드디스크 드라이브로 구성되고, 화상 데이터나 음성 데이터등의 여러 가지 종류의 데이터를 기억한다.
표시부(215)는, 예를 들면 액정 디스플레이와 발광 다이오드(ＬＥＤ)로 구성되고, 예를 들면 유저가 정보처리장치(200)를 조작하기 위한 그래픽 유저 인터페이스(ＧＵＩ)를 표시한다. 조작부(216)는, 예를 들면 키보드나 마우스, 조이 스틱, 터치패널 등으로 구성되어, 유저에 의한 조작을 받아서 각종의 지시를 ＣＰＵ(211)에 입력한다. ＣＰＵ(211)는, 표시부(215)를 제어하는 표시 제어부, 및 조작부(216)를 제어하는 조작 제어부로서 동작한다. 통신I/F(217)는, 정보처리장치(200)와 외부 장치와의 통신에 사용된다. 예를 들면, 정보처리장치(200)가 외부 장치와 유선으로 접속될 경우에는, 통신용의 케이블이 통신I/F(217)에 접속된다. 정보처리장치(200)가 외부 장치와 무선통신하는 기능을 가질 경우에는, 통신I/F(217)는 안테나를 구비한다. 버스(218)는, 정보처리장치(200)에 구비된 각 부를 서로 접속하여 이에 정보를 전달한다. 본 실시 형태에서는, 표시부(215)와 조작부(216)가 정보처리장치(200)의 내부에 존재한다. 또는, 표시부(215)와 조작부(216)의 적어도 한쪽은, 정보처리장치(200)의 외부에 별도의 장치로서 존재하고 있어도 좋다.
[동작 플로우]
도3a는, 정보처리장치(200)의 동작의 예를 도시한 흐름도다. 도3a에 도시된 처리는, 정보처리장치(200)에 구비된 ＣＰＵ(211)가 ＲＯＭ(212)에 격납된 프로그램을 ＲＡＭ(213)에 로딩하여 실행함으로써 실현된다. 도3a에 도시된 처리의 적어도 일부를, ＣＰＵ(211)와는 상이한 1개 이상의 전용의 하드웨어에 의해 실현해도 좋다. 후술하는 도6에 도시된 흐름도에서 행한 처리도 마찬가지다. 도3a에 도시된 처리는, 가시성 판정에 관한 정보의 생성을 행하기 위한 지시가 정보처리장치(200)에 입력된 타이밍에서 시작된다. 단, 도3a에 도시된 처리의 시작 타이밍은 상술한 타이밍에 한정되지 않는다. 가상 시점 화상이 동화상일 경우에는, 도3a에 도시된 처리는, 가상 시점 화상의 동화상을 구성하는 프레임마다 실행되어도 좋다.
단계 S2010에서는, 오브젝트 정보 취득부(201)가 오브젝트 정보(101)를 취득한다. 단계 S2020에서는, 시야정보 취득부(202)가 시야정보(102)를 취득한다. 단계 S2030에서는, 가상 시점 취득부(203)가 가상 시점정보(103)를 취득한다. 단계 S2010 내지 단계 S2030의 처리의 순서는 상술한 순서에 한정되지 않고, 또한 이 처리의 적어도 일부는 병행하여 실행되어도 좋다. 단계 S2040에서는, 가시 판정부(204)가 가시 판정을 행한다. 가시 판정의 상세에 대해서 도4a, 4b를 참조하여 설명한다.
도4a는, 촬영 영역내의 필드(10)에 두사람의 선수 20 및 선수 21이 존재하고, 선수 20의 왼손부근에 볼(15)이 위치하고 있는 상황을 도시한 도면이다. 선수 20, 선수 21, 및 볼(15)의 위치 및 형상은, 오브젝트 정보(101)에 의해 나타낸다. 도4a, 4b에 도시된 예에 있어서, 시야정보(102)는, 촬영 영역내에서 또한 필드(10)의 외부의 위치로부터 선수 20을 보는 심판(22)의 시야에 대응하도록 지정되어 있다. 사각추(30)는, 심판(22)의 시점의 위치, 방향, 및 시야의 화각(각도범위)을 나타낸다.
도4b는, 가시 판정의 결과를 도시한 도면이다. 도4b에 있어서, 플래그 "1"이 첨부되어 있는 가시 영역(51)은, 시야정보(102)에 대응하는 시점에서 볼 수 있는 영역이다. 플래그 "-1"이 첨부되어 있는 범위외 영역(52)은, 시야정보(102)에 대응하는 시점에서는 볼 수 없는 영역이다. 이것은, 그 영역이 시야정보(102)에 대응하는 시야의 화각외의 위치에 위치되기 때문이다. 플래그 "0"이 첨부되어 있는 차폐 영역(50)은, 시야정보(102)에 대응하는 시야의 화각내에 위치하지만, 선수 21에 의해 차폐되는 것에 의해 보일 수 없는 영역이다. 상기한 범위외 영역(52)과 차폐 영역(50)을 합성한 영역은, 시야정보(102)에 대응하는 시점에서 보일 수 없는 비가시 영역이다. 차폐 영역(50)에는, 선수 21에 의해 차폐되어 있는 선수 20에 대응하는 영역 위의 영역(60)이 포함된다. 범위외 영역(52)에는, 시야정보(102)에 대응하는 시야의 화각으로부터 벗어난 선수 21에 대응한 영역 위의 영역(72)이 포함된다.
가시 판정은, 예를 들면 아래와 같이 행해진다. 가시 판정의 처리에 있어서, 시야정보(102)에 대응하는 시점의 위치로부터 화각내의 각 방향으로 가상적인 광빔(40)이 방출된다. 광빔(40)은, 사각추(30)의 저면을 1920*1080화소의 화상으로서 간주하는 경우에 각 화소의 방향으로 방출된다. 이 광빔(40)과 최초에 충돌한(교차한) 오브젝트의 표면에 대하여 플래그 "1"이 첨부되고, 2회째 이후에 광빔(40)과 충돌한 오브젝트의 표면에는 플래그 "0"이 첨부된다. 화각외에 위치되고 광빔(40)과 결코 충돌되지 않은 오브젝트의 표면에는, 플래그 "-1"이 첨부된다. 시야정보(102)가 시야의 니어면 및 파면을 지정하고 있을 경우, 시점위치와 광빔이 오브젝트에 충돌하는 위치와의 사이의 거리가 니어면보다도 가깝거나 또는 파면보다도 멀면 플래그 "-1"이 첨부된다.
가시 판정의 방법은 상술한 처리에 한정되지 않는다. 시야정보(102)와 오브젝트 정보(101)에 근거해서 가시 판정이 행해져도 좋다. 예를 들면, 광빔(40)을 방출하는 방법은 상술한 처리에 한정되지 않고, 광빔(40)은 화각내의 소정의 각도마다 방출되어도 좋다. 플래그는, 오브젝트의 삼차원 모델을 구성하는 각 메쉬에 첨부되어도 좋거나, 삼차원 모델에 매핑되는 텍스쳐의 각 화소에 첨부되어도 좋다. 또는, 광빔(40)과 오브젝트의 표면의 교점의 삼차원 좌표값(x, y, z)과 플래그 값이 서로 관련지어 기억되어도 좋다. 예를 들면, 깊이 버퍼를 사용해서 차폐를 판정한 결과를 사용하여 플래그 값을 결정해도 좋다. 구체적으로는, 가상 시점정보(103)가 나타낸 가상 시점으로부터 방출된 광빔과 오브젝트 표면과의 교점으로부터 시야정보(102)가 나타낸 시점의 위치까지의 거리를 구한다. 그 후, 그 거리는 시야정보(102)가 나타낸 시점에 대응한 깊이 값과 비교됨으로써, 차폐가 판정되어도 좋다.
단계 S2050에서는, 정보생성부(205)가 가시성 판정의 결과에 대응하는 가시성 정보를 생성한다. 가시성 정보의 일례로서, 플래그 화상이 생성되는 경우에 대해서 설명한다. 플래그 화상은, 오브젝트상의 각 위치에 첨부된 플래그를 가상 시점정보(103)가 나타낸 가상 시점에 투영하고, 가상 시점에서 본 각 위치의 플래그 값을 소정의 휘도값으로 대체함으로써, 작성된다. 예를 들면, 플래그 값 "1"이 휘도값 "0"으로 치환되고, 플래그 값 "0"이 휘도값 "50"으로 치환되며, 플래그 값 "-1"이 휘도값 "100"으로 치환된다. 플래그 값 "-1"에 대응하는 휘도값과 플래그 값 "0"에 대응하는 휘도값에 같은 값이 할당되어도 좋다. 이 경우, 플래그 화상에 있어서 범위외 영역(52)과 차폐 영역(50)이 구별되지 않게 된다. 단계 S2060에서는, 정보생성부(205)가 가시성 정보(플래그 화상)를 표시장치(300)에 출력한다.
도3b는, 표시장치(300)의 동작의 예를 도시한 흐름도다. 도3b에 도시된 처리는, 표시장치(300)의 ＣＰＵ(211)가 ＲＯＭ(212)에 격납된 프로그램을 ＲＡＭ(213)에 로딩해서 실행함으로써 실현된다. 도3b에 도시된 처리의 적어도 일부를, ＣＰＵ(211)와는 상이한 1개 이상의 전용의 하드웨어에 의해 실현해도 좋다. 도3b에 도시된 처리는, 정보처리장치(200)와 표시장치(300)가 접속되어 통신 가능해진 타이밍에서 시작된다. 단, 도3b에 도시된 처리의 시작 타이밍은 그 타이밍에 한정되지 않는다. 가상 시점 화상이 동화상일 경우에는, 도3b의 처리는, 가상 시점 화상의 동화상을 구성하는 프레임마다 실행되어도 좋다.
단계 S3010에서는, 표시장치(300)가 가상 시점 화상(104)을 취득한다. 단계 S3010에서 취득된 가상 시점 화상(104)은, 정보처리장치(200)가 가시성 정보를 생성하기 위해 사용한 가상 시점에 대응하는 화상이다. 단계 S3020에서는, 표시장치(300)가 정보처리장치(200)로부터 출력된 가시성 정보를 취득한다. 단계 S3010과 S3020에 설명된 처리의 순서는 상술한 순서에 한정되지 않고, 또한 이 처리의 적어도 일부는 병행하여 실행되어도 좋다.
단계 S3030에서는, 표시장치(300)가 정보처리장치(200)로부터 취득한 플래그 화상을 가상 시점 화상(104)에 중첩한다. 표시장치(300)는, 정보처리장치(200)가 가시성 정보를 생성할 때에 사용한 시야정보(102)를 취득하고, 시야정보(102)에 대응한 시점을 나타내는 ＣＧ를 가상 시점 화상(104)에 중첩해도 좋다.
도5a는, 플래그 화상 및 시야정보(102)에 대응한 ＣＧ를 가상 시점 화상(104)에 중첩(오버레이 표시)함으로써 생성된 새로운 가상 시점 화상인 중첩 화상(95)을 도시한 도면이다. 플래그 화상은 반투명하게 중첩되어 있고, 중첩 화상(95)에 있어서 플래그 "0"에 대응하는 차폐 영역(80)은 반투명의 소정의 색(예를 들면, 적색)으로 덮어져 있다. 중첩 화상(95)에 있어서의 카메라 모델(90)은 시야정보(102)에 대응하는 시점(심판(22)의 시점)의 위치를 나타내고 있고, 경계(85)는 시야정보(102)에 대응하는 시야의 화각도 가장자리를 나타내고 있다.
가시성 판정 결과의 표현 방법은 상기에 한정되지 않는다. 가상 시점 화상에 있어서의 차폐 영역의 휘도값이나 색을 바꾸거나, 콘트라스트를 바꾸거나, 텍스쳐의 렌더링 방법을 바꾸거나, 차폐 영역의 경계를 표시하거나 해도 좋다. 도5a의 예에서는, 가상 시점 화상내의 차폐 영역(80)에 대응하는 부분을 가공함으로써 차폐 영역과 그 밖의 영역을 식별 가능하게 한다. 그렇지만, 가시성 정보의 표시 방법은 이것에 한정되지 않는다. 예를 들면, 가상 시점 화상내의 가시 영역을 가공(가시 영역을 덮는 화상을 중첩)해도 좋거나, 범위외 영역을 가공해도 좋다. 가시 영역, 범위외 영역, 및 차폐 영역의 2개 이상은, 각각, 이 영역들이 식별될 수 있도록 상이한 측면에서 가공되어도 좋다. 범위외 영역과 차폐 영역을 포함하는 비가시영역을 식별가능하게 나타내기 위해서, 비가시영역 전체를 균일하게 가공(비가시영역을 덮는 화상을 중첩)해도 좋다.
도5b에 도시된 바와 같이, 카메라 모델(90) 대신에, 시야정보(102)에 대응하는 시점의 위치와 방향을 나타내는 화살표 아이콘(89)을 가상 시점 화상에 표시시켜도 좋다. 본 실시 형태에서는, 화상처리 시스템(1)이, 가시성 정보가 표시되지 않는 가상 시점 화상(104)을 취득하고, 그 가상 시점 화상(104)에 가시성 정보를 중첩해서 표시시킨다. 또는, 화상처리 시스템(1)은, 가시성 정보가 표시되지 않는 가상 시점 화상(104)을 취득하지 않고, 촬영 장치(100)에 의해 취득된 화상 데이터와, 가상 시점정보(103)와, 가시성 정보에 근거하여, 가시성 정보가 표시되는 가상 시점 화상을 직접 생성해도 좋다.
이상과 같이, 심판(22)의 시점에서 볼 수 없는 영역, 즉 사각을 특정하고, 조감도로부터 본 가상 시점 화상 위에 사각을 식별 가능하게 하는 표시하는 것에 의해, 가상 시점 화상의 시청자는 심판(22)의 사각을 쉽게 확인할 수 있다. 예를 들면, 도5b에 도시된 중첩 화상(95)을 보는 것으로, 시청자는, 볼(15) 및 선수(20)의 일부가 심판(22)의 사각에 숨겨진 것을 쉽게 인식할 수 있다.
상기한 예에서는, 시야정보(102)가 심판(22)의 시야를 나타내는 것을 전제로 하여서, 심판(22)의 시점으로부터의 가시성을 판정하였다. 그렇지만, 시야정보(102)는 이것에 한정되지 않는다. 예를 들면, 시야정보(102)가 선수(21)의 시야에 대응하도록 시야정보(102)를 지정함으로써, 선수(21)의 시점으로부터의 각 영역의 가시성을 식별가능할 수 있다. 또한, 선수가 존재하지 않는 위치를 시점위치로서 설정하도록 시야정보(102)를 지정하여, 그 위치에 선수가 있었을 경우에 어느 영역이 보일 수 있는지를 식별가능하게 할 수 있다.
추가로, 예를 들면, 시야정보(102)가 나타낸 시점위치를 볼(15)의 위치로서 지정하여, 볼(15)의 위치로부터 어느 영역이 보일 수 있는지, 바꿔 말하면, 어느 영역에서 볼(15)이 보일 수 있는지를, 쉽게 식별할 수 있다. 시야정보(102)가 나타낸 시점위치를, 볼(15) 대신에, 예를 들면 골로서 지정하면, 어느 영역에서 골이 보일 수 있는지를 식별할 수 있다. 시야정보(102)는 시선방향 및 시야의 크기를 나타내는 정보를 포함하지 않아도 좋다. 다시 말해, 시점위치로부터 보아서 전방위가 시야에 포함되어도 좋다.
[가시성 정보의 다른 예]
상기에서는, 도4a, 4b 및 도5a, 5b를 참조하여, 정보처리장치(200)가 출력하는 가시성 판정 결과에 대응한 가시성 정보가, 촬영 영역내의 가시 영역과 비가시영역을 식별가능하게 나타내는 정보일 경우의 예에 대해서 설명했다. 이하에서는, 가시성 정보의 다른 예에 대해서 설명한다.
우선, 복수의 시점에서의 가시성을 비교한 결과가 가시성 정보로서 사용되는 경우에 대해서 설명한다. 이 경우, 정보처리장치(200)는, 도3a에 도시된 처리 플로우 대신에 도6에 도시된 처리 플로우를 실행한다. 도6에 도시된 처리는, 도3a에 도시된 처리와 같은 타이밍에서 시작된다.
단계 S2010에서는, 오브젝트 정보 취득부(201)가 오브젝트 정보(101)를 취득한다. 단계 S2070에서는, 시야정보 취득부(202)가 복수의 시야정보(102)를 취득한다. 이 복수의 시야정보(102)는, 시점의 위치, 방향, 및 시야의 화각 중 적어도 하나에서 서로 상이하다. 이 경우에, 복수의 시야정보(102)가 나타낸 시점의 위치가 상이하고, 심판(22)의 시야를 나타내는 시야정보(102)와, 심판(22)의 시점위치로부터 전, 후, 좌, 우로 각각 5m 병진 이동한 4개의 시점을 나타내는 시야정보(102)가 취득된다. 단, 취득되는 시야정보(102)의 수나 각각의 시야정보(102)의 관계는 상술한 것에 한정되지 않는다.
단계 S2040에서는, 가시 판정부(204)가 각 시야정보(102)에 대해서 가시 판정을 행하고, 시야정보(102)마다 차폐 영역의 면적을 산출한다. 차폐 영역의 면적은, 오브젝트를 구성하는 메쉬에서, 플래그 "0"이 첨부된 메쉬의 면적을 가산하는 것으로 산출될 수 있다.
단계 S2050에서는, 정보생성부(205)가 가시성 판정의 결과에 대응하는 가시성 정보를 생성한다. 구체적으로는, 정보생성부(205)는, 복수의 시야정보(102)의 각각에 대응하는 차폐 영역을 나타내는 플래그 화상을 생성한다. 더욱, 정보생성부(205)는, 가시 판정부(204)에 의해 시야정보(102)마다 산출된 차폐 영역의 면적에 근거하여, 복수의 시야정보(102)를 소트한(서열을 매긴) 결과를 나타내는 정보를 생성한다. 소트 알고리즘으로서는 퀵 소트를 사용할 수 있지만, 이 퀵 소트에 한정되지 않고 버블 소트 등의 다른 알고리즘을 사용해도 좋다. 단계 S2060에서는, 정보생성부(205)가 플래그 화상과 소트된 결과를 나타내는 정보를, 가시성 정보로서 표시장치(300)에 출력한다. 표시장치(300)는, 도3b를 참조하여 설명된 처리를 사용하여 가시성 정보가 중첩된 가상 시점 화상을 생성하여 표시한다.
도7은, 가시성 정보를 중첩한 가상 시점 화상의 예인 중첩 화상(96)을 도시한 도면이다. 심판(22)의 시점을 나타내는 카메라 모델(90)의 전, 후, 좌, 우에, 4개의 상이한 시점을 나타내는 아이콘(91)이 표시된다. 각 아이콘(91)에는, 각각의 시점에서 본 차폐 영역의 면적을 나타내는 수치가 표시된다. 차폐 영역의 면적이 최소의 시점에 대응하는 아이콘(91)은, "Ｂｅｓｔ"의 문자와 함께 강조 표시(도7의 예에서는 화살표의 색의 변경)가 된다. 아이콘(91)을 강조하는 방법은 이것에 한정되지 않고, 아이콘(91)의 렌더링 방법이 변경되어도 좋다.
심판(22)의 뒤에 위치된 시점은, 중첩 화상(96)의 범위외에 위치된다. 따라서, 그 시점에 대응하는 카메라 모델은 표시되지 않고, 그 시점이 위치하는 방향을 나타내는 화살표와 차폐 영역의 면적만이 표시되어 있다. 차폐 영역(80)은, 기준으로서 심판(22)의 시점에서 본 차폐 영역을 나타내고 있다. 그렇지만, 복수의 시점의 각각에 대응하는 차폐 영역이 식별가능하게 표시되어도 좋다. 면적이 최소가 되는 차폐 영역은 상술한 것에 한정되지 않고 표시되어도 좋다. 경계(85)의 표시에 대해서도 마찬가지다.
이상과 같이, 심판(22)의 근방에 복수의 시점으로부터의 사각을 특정하고, 사각이 보다 작은 시점을 표시하는 것에 의해, 가상 시점 화상의 시청자는, 심판(22)이 어느 위치에 움직여 사각을 작게 해야 하는지를 쉽게 확인할 수 있다.
상기한 예에서는, 차폐 영역이 작은 시점을 나타내는 표시를 행하였다. 그렇지만, 예를 들면, 상술한 예에 한정되지 않고, 각 시점에 대응하는 차폐 영역의 크기의 순위를 나타내는 표시를 행해도 좋고, 차폐 영역이 보다 큰 시점을 나타내는 표시를 행해도 좋다. 차폐 영역의 크기가 역치미만인 시점을 나타내는 표시를 행해도 좋거나, 반대로 차폐 영역의 크기가 역치이상인 시점을 나타내는 표시를 행해도 좋다. 또한, 상기한 예에서는, 복수의 시점에 각각 대응하는 차폐 영역의 크기를 비교한 결과가 표시된다. 단, 상술한 예에 한정되지 않고, 복수의 시점에 각각 대응하는 가시 영역의 크기를 비교한 결과가 표시되어도 좋거나, 복수의 시점에 각각 대응하는 비가시영역의 크기를 비교한 결과가 표시되어도 좋다.
상기한 예에서는, 영역의 크기를 나타내는 지표로서 그 면적을 사용하였다. 그렇지만, 그 영역의 크기를 나타내는 지표로서 체적을 사용하여도 좋다. 이 경우, 촬영 영역과 관련된 삼차원 공간내의 각 복셀에 대하여 시야정보(102)가 나타낸 시점으로부터 광빔(40)을 방출하고, 광빔(40)이 최초에 오브젝트에 충돌할 때까지의 공간에 존재하는 복셀에 플래그 "1"이 첨부된다. 이렇게 하여 플래그 "1"이 첨부된 삼차원 위치는, 시야정보(102)가 나타낸 시점에서 볼 수 있는 위치다. 플래그 "1"이 첨부된 복셀수를 세는 것으로, 가시 영역의 체적을 구할 수 있다. 차폐 영역 및 범위외 영역에 대해서도 마찬가지로 하여 체적을 구할 수 있다. 이 경우, 중첩 화상(96)에는 각 시점에 대응하는 차폐 영역의 체적이 가시성 정보의 일부로서 표시되어도 좋다.
상기한 예에서는, 비교되는 복수의 시점이 같은 간격으로 위치한다. 그렇지만, 상기한 예에 한정되지 않고, 예를 들면 복수의 심판의 시점에 각각 대응하는 복수의 시야정보(102)를 취득하고, 이 시점들을 서로 비교하여도 좋다. 이에 따라, 어느 심판의 시점이 가장 사각이 작은지를 확인할 수 있다. 비교되는 복수의 시점은, 유저 조작에 근거하여 임의로 지정되어도 좋다.
다음에, 지정된 시점에서 본 특정한 오브젝트의 가시성을 나타내는 정보가 가시성 정보로서 사용될 경우에 대해서 설명한다. 이 경우, 도3a에 도시된 단계 S2040에 있어서, 가시 판정부(204)는, 시야정보(102)가 나타낸 시점에서 촬영 영역내의 특정한 오브젝트를 볼 수 있는가 아닌가를 판정한다. 예를 들면, 가시성 판정의 대상이 되는 오브젝트로서 볼(15)이 선택되는 것으로 한다. 가시 판정부(204)는, 볼(15)의 삼차원 모델을 구성하는 복수의 메쉬 중, "가시"를 나타내는 플래그 "1"이 첨부된 메쉬와 "비가시"를 나타내는 플래그 "0" 또는 "-1"이 첨부된 메쉬의 비율을 산출한다.
정보생성부(205)는, 플래그 "0" 또는 "-1"의 비율이 소정의 비율, 예를 들면 50퍼센트를 초과했을 경우에, 볼(15)이 심판(22)으로부터 보일 수 없는 것을 나타내는 정보를 가시성 정보로서 표시장치(300)에 출력한다. 상기한 소정의 비율은, 정보처리장치(200)에 대한 유저 조작에 근거해서 설정되어도 좋거나, 정보처리장치(200)의 외부에서 취득된 파라미터에 대응한 비율이여도 좋다. 도8은, 촬영 영역의 상황과 표시장치(300)에 있어서의 표시의 예를 도시한 도면이다. 시야정보(102)가 나타내는 심판(22)의 시점에서 볼(15)의 삼차원 모델을 구성하는 메쉬들의 소정이상의 비율을 볼 수 없는 경우, 표시장치(300)에는, 가시 판정의 결과를 나타내는 가시성 정보로서 아이콘(94)이 표시된다. 아이콘(94)은 가상 시점 화상에 중첩해서 표시되어도 좋다.
이상과 같이, 심판(22)의 시점으로부터의 사각을 특정하고 볼(15)이 사각에 들어 있는지(비가시영역에 볼(15)이 위치하는지)를 나타내기 위해 표시하는 것에 의해, 가상 시점 화상의 시청자는, 심판(22)으로부터 볼(15)을 볼 수 없는 것을 쉽게 인식할 수 있다.
상기한 예에서는, 시야정보(102)에 대응한 시점으로부터 볼(15)의 소정비율이상의 부분이 보일 수 없는 경우에, 가시성 정보를 표시하였다. 반대로, 볼(15)의 소정비율이상의 부분이 보일 수 있는 경우에, 이 경우를 나타내는 가시성 정보가 표시되어도 좋다. 다시 말해, 가시성 정보는, 특정한 오브젝트인 볼(15)이 가시 영역에 위치하는지를 나타내는 정보이여도 좋다. 또한, 볼(15)을 볼 수 있거나 볼 수 없는 경우에 따라 상이한 가시성 정보가 표시되어도 좋다. 또한, 볼(15)이 차폐 영역에 위치하는 경우와 범위외 영역에 위치하는 경우에 따라, 상이한 가시성 정보가 표시되어도 좋다. 상기한 예에서는, 가시성 판정의 대상이 되는 오브젝트로서 볼(15)을 설명하였다. 그렇지만, 상기한 예에 한정되지 않고, 그 오브젝트는, 특정한 선수이여도 좋고, 촬영 영역내의 특정한 위치이여도 좋다. 가시성 판정의 대상은, 정보처리장치(200)가 접수한 유저 조작에 근거해서 설정되어도 좋고, 가시성 판정의 대상이 되는 오브젝트가 복수이여도 좋다.
정보처리장치(200)는, 복수의 시야정보(102)에 각각 대응하는 복수의 시점에서 본 특정 오브젝트의 가시성을 판정해도 좋다. 예를 들면, 정보처리장치(200)는, 복수의 심판의 각각의 시점으로부터 볼(15)을 볼 수 있는지를 판정하고, 어느 심판으로부터 볼(15)을 볼 수 있는지를 나타내는 정보를 가시성 정보로서 표시하여도 좋다.
이상, 복수의 예를 참조하여 설명한 바와 같이, 화상처리 시스템(1)은, 복수의 촬영 장치(100)에 의해 상이한 방향으로부터 촬영된 촬영 영역내의 오브젝트의 위치 및 형상을 나타내는 오브젝트 정보(101)를 취득한다. 화상처리 시스템(1)은, 촬영 영역내의 특정 위치로부터 보일 수 있는 가시 영역과, 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 차폐 영역을, 오브젝트 정보(101)에 근거해서 식별한다. 화상처리 시스템(1)은, 그 식별의 결과에 근거한 정보가 표시되는 가상 시점 화상을 생성한다. 가상 시점 화상은, 복수의 촬영 장치(100)에 의한 촬영에 근거하는 화상 데이터와 가상 시점의 위치 및 방향을 나타내는 가상 시점정보(103)에 근거한다. 상기한 구성에 의하면, 특정한 위치로부터 보일 수 있는 영역과 차폐로 인해 보일 수 없는 영역을 쉽게 식별할 수 있다.
상술한 실시 형태에서는, 심판(22)에 대응한 시점에 관한 시야정보(102)와 오브젝트 정보(101)에 근거하여, 촬영 영역내의 각 영역이 심판(22)으로부터 보일 수 있는지를 나타내는 가시성 정보가 생성되는 경우를 주로 설명했다. 그렇지만, 예를 들면, 정보처리장치(200)는, 심판(22)의 왼쪽 눈에 대응하는 시야정보(102)와 오른쪽 눈에 대응하는 시야정보(102)를 각각 취득하고, 왼쪽 눈으로만 보일 수 있는 영역, 오른쪽 눈으로만 보일 수 있는 영역, 및 양쪽 눈으로 보일 수 있는 영역을 식별가능하게 나타내는 가시성 정보를 생성해도 좋다. 시야정보(102)에는, 시점의 위치, 방향, 및 시야의 크기에 관한 정보뿐만 아니라, 인물(예를 들면, 심판(22))의 시력에 관한 정보나, 촬영 영역의 환경에 관한 정보(예를 들면, 날씨나 밝기, 광원의 위치에 관한 정보)가 포함되어 있어도 좋다. 정보처리장치(200)는, 이러한 시야정보(102)를 사용하여, 특정한 시점에서 명료하게 보일 수 있는 영역과 명료하게 보일 수 없는 영역을 나타내는 가시성 정보를 식별가능하게 생성해도 좋다. 상술한 구성에 의하면, 어떤 씬에 있어서의 특정한 시점으로부터의 가시성을 보다 상세히 검증할 수 있다.
상술한 실시 형태에서는, 정보처리장치(200)가, 특정한 시각에 있어서의 시점으로부터의 가시성 판정의 결과를 출력하는 예에 대해서 설명하였다. 그렇지만, 정보처리장치(200)는, 시점이 변화되는 복수의 시각에 있어서의 가시성 판정의 결과를 집계해서 출력해도 좋다. 예를 들면, 여기 저기 움직이는 심판(22)의 시점에서 본 각 시각에 있어서의 비가시영역의 면적이나 체적이 플롯(plot)되어서 출력되어도 좋다. 혹은, 비가시영역의 면적이나 체적이 역치를 상회하거나, 볼(15)이 비가시영역에 들어가거나 하는 기간의 길이가 계측되어서 출력되어도 좋다. 하나의 시합 전체에 걸친 시간의 길이를 사용하여, 심판(22)의 움직임을 채점할 수 있다. 또한, 예를 들면, 복수의 시각에 있어서의 가시 영역의 중복 부분(어떤 시각에서도 가시가 되는 영역)이나, 비가시영역의 가산 부분(일부의 시각에서 비가시가 되는 영역)을 나타내는 정보가, 가시성 정보로서 출력되어도 좋다.
본 개시내용에 의하면, 특정한 위치로부터 보일 수 있는 영역과 차폐로 인해 보일 수 없는 영역을 쉽게 식별할 수 있다.
그 밖의 실시예
또한, 본 개시내용의 실시 형태(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시 형태(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시 형태(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 특정 용도 지향 집적회로(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령을 판독하고 실행하여 상기 실시 형태(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시 형태(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령을 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령을, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 개시내용을 실시 형태들을 참조하여 기재하였지만, 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (21)

  1. 정보처리장치로서,
    복수의 촬영 장치에 의해 상이한 방향으로부터 촬영되는 촬영 영역내의 오브젝트의 위치 및 형상을 나타내는 오브젝트 정보를 취득하는 취득부;
    상기 촬영 영역내의 특정 위치로부터 보일 수 있는 가시 영역과, 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 차폐 영역을, 상기 취득부에 의해 취득된 오브젝트 정보에 근거해서 식별하는 식별부; 및
    상기 복수의 촬영 장치에 의한 촬영에 근거한 화상 데이터와 가상 시점의 위치 및 방향을 나타내는 가상 시점정보에 근거하는 가상 시점 화상이며, 상기 식별부에 의한 식별의 결과에 근거한 정보를 표시하는 상기 가상 시점 화상을, 생성하는 생성부를 포함하고,
    상기 가상 시점 화상에 표시된 상기 식별의 결과에 근거한 정보는, 상기 가시 영역을 나타내는 정보와 상기 차폐 영역을 나타내는 정보 중 적어도 어느 하나를 포함하는, 정보처리장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 가상 시점 화상에 표시된 상기 식별의 결과에 근거한 정보는, 상기 가상 시점 화상에 있어서의 상기 가시 영역을 덮는 화상과, 상기 가상 시점 화상에 있어서의 상기 차폐 영역을 덮는 화상 중, 적어도 어느 하나를 포함하는, 정보처리장치.
  4. 제 1 항에 있어서,
    상기 특정 위치의 시점에 관한 시야정보이며, 상기 시점의 위치로서의 상기 특정 위치와, 상기 시점의 위치로부터의 시선방향과, 상기 시선방향을 중심으로 한 시야의 크기를, 나타내는 상기 시야정보를 취득하는 시야정보 취득부를 더 포함하고,
    상기 식별부는, 상기 시야정보 취득부에 의해 취득된 시야정보에 의해 지정된 시야의 범위에 포함된 영역에 있어서, 상기 시점의 위치와의 사이에 오브젝트가 존재하지 않는 영역을 상기 가시 영역으로서 식별하고, 상기 시점의 위치와의 사이에 오브젝트가 존재하는 영역을 상기 차폐 영역으로서 식별하는, 정보처리장치.
  5. 제 1 항에 있어서,
    상기 가시 영역은, 상기 특정 위치로부터 본 소정의 각도범위에 포함되고,
    상기 식별부는, 상기 가시 영역과, 상기 특정 위치로부터 본 상기 소정의 각도범위에 포함되지 않는 범위외 영역을, 식별하는, 정보처리장치.
  6. 제 5 항에 있어서,
    상기 가상 시점 화상에 표시된 상기 식별의 결과에 근거한 정보는, 상기 차폐 영역과 상기 범위외 영역을 포함하는 비가시영역을 나타내는 정보를 포함하는, 정보처리장치.
  7. 제 6 항에 있어서,
    상기 가상 시점 화상에 표시된 상기 식별의 결과에 근거한 정보는, 상기 가상 시점 화상에 있어서의 상기 비가시영역을 덮는 화상을 포함하는, 정보처리장치.
  8. 제 1 항에 있어서,
    상기 가상 시점 화상에 표시된 상기 식별의 결과에 근거한 정보는, 상기 촬영 영역내의 특정한 오브젝트가 상기 가시 영역에 위치하는지를 나타내는 정보를 포함하는, 정보처리장치.
  9. 제 1 항에 있어서,
    상기 가상 시점 화상에 표시된 상기 식별의 결과에 근거한 정보는, 상기 차폐 영역의 면적 또는 체적을 나타내는 정보를 포함하는, 정보처리장치.
  10. 제 1 항에 있어서,
    상기 가상 시점 화상에 표시된 상기 식별의 결과에 근거한 정보는, 상기 촬영 영역내의 복수의 특정 위치에 있어서 차폐로 인해 보일 수 없는 영역이 보다 작은 특정 위치를 나타내는 정보를 포함하는, 정보처리장치.
  11. 제 1 항에 있어서,
    상기 특정 위치는, 상기 촬영 영역내의 지정된 오브젝트에 대응한 위치이며,
    상기 차폐 영역은, 다른 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 영역인, 정보처리장치.
  12. 제 11 항에 있어서,
    상기 지정된 오브젝트는 인물이며,
    상기 특정 위치는 상기 인물의 머리 부분의 위치 또는 눈의 위치인, 정보처리장치.
  13. 제 1 항에 있어서,
    상기 오브젝트 정보는, 상기 오브젝트의 삼차원 위치 및 삼차원 형상을 나타내는, 정보처리장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 정보처리방법으로서,
    복수의 촬영 장치에 의해 상이한 방향으로부터 촬영되는 촬영 영역내의 오브젝트의 위치 및 형상을 나타내는 오브젝트 정보를 취득하는 단계;
    상기 촬영 영역내의 특정 위치로부터 보일 수 있는 가시 영역과, 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 차폐 영역을, 상기 취득하는 단계에 의해 취득된 오브젝트 정보에 근거해서 식별하는 단계; 및
    상기 복수의 촬영 장치에 의한 촬영에 근거한 화상 데이터와 가상 시점의 위치 및 방향을 나타내는 가상 시점정보에 근거하는 가상 시점 화상이며, 상기 식별하는 단계의 결과에 근거한 정보를 표시하는 상기 가상 시점 화상을, 생성하는 단계를 포함하고,
    상기 가상 시점 화상에 표시된 상기 식별하는 단계의 결과에 근거한 정보는, 상기 가시 영역을 나타내는 정보와 상기 차폐 영역을 나타내는 정보 중 적어도 어느 하나를 포함하는, 정보처리방법.
  18. 삭제
  19. 제 17 항에 있어서,
    상기 특정 위치는, 상기 촬영 영역내의 지정된 오브젝트에 대응한 위치이며,
    상기 차폐 영역은, 다른 오브젝트에 의한 차폐로 인해 상기 특정 위치로부터 보일 수 없는 영역인, 정보처리방법.
  20. 삭제
  21. 컴퓨터를 청구항 1, 3 내지 13 중 어느 한 항에 따른 정보처리장치로서 기능시키기 위해, 매체에 기억된, 컴퓨터 프로그램.
KR1020210020257A 2020-02-18 2021-02-16 정보처리장치, 정보처리방법, 및 컴퓨터 프로그램 KR102623700B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2020-024926 2020-02-18
JP2020024926A JP7427468B2 (ja) 2020-02-18 2020-02-18 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20210105302A KR20210105302A (ko) 2021-08-26
KR102623700B1 true KR102623700B1 (ko) 2024-01-11

Family

ID=77273166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210020257A KR102623700B1 (ko) 2020-02-18 2021-02-16 정보처리장치, 정보처리방법, 및 컴퓨터 프로그램

Country Status (4)

Country Link
US (1) US20210258560A1 (ko)
JP (2) JP7427468B2 (ko)
KR (1) KR102623700B1 (ko)
CN (1) CN113347348A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070762A1 (ja) * 2022-09-29 2024-04-04 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
CN116736868A (zh) * 2023-08-11 2023-09-12 松灵机器人(深圳)有限公司 机器人移动控制方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5302227B2 (ja) 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
JP6555513B2 (ja) 2015-06-30 2019-08-07 株式会社セガゲームス プログラム
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP7086522B2 (ja) * 2017-02-28 2022-06-20 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
WO2019050038A1 (ja) 2017-09-11 2019-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像生成方法および画像生成装置
JP7080613B2 (ja) 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2019083402A (ja) 2017-10-30 2019-05-30 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP7109907B2 (ja) 2017-11-20 2022-08-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2019021333A (ja) 2018-09-19 2019-02-07 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data

Also Published As

Publication number Publication date
CN113347348A (zh) 2021-09-03
JP2021131583A (ja) 2021-09-09
US20210258560A1 (en) 2021-08-19
JP2024032826A (ja) 2024-03-12
JP7427468B2 (ja) 2024-02-05
KR20210105302A (ko) 2021-08-26

Similar Documents

Publication Publication Date Title
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
JP7277085B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20140362188A1 (en) Image processing device, image processing system, and image processing method
CN109615703A (zh) 增强现实的图像展示方法、装置及设备
JP7164968B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
KR102623700B1 (ko) 정보처리장치, 정보처리방법, 및 컴퓨터 프로그램
JP7042561B2 (ja) 情報処理装置、情報処理方法
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
CN108629799B (zh) 一种实现增强现实的方法及设备
US11315309B2 (en) Determining pixel values using reference images
KR20200103115A (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
KR20180123302A (ko) 볼의 궤적을 시각화하는 방법 및 장치
KR20180062867A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
CN114241168A (zh) 显示方法、显示设备及计算机可读存储介质
US11468258B2 (en) Information processing apparatus, information processing method, and storage medium
US20130194254A1 (en) Image processing apparatus, image processing method and program
US11277596B2 (en) Image processing apparatus, image processing method, and storage medium
US20200285308A1 (en) A method of modifying an image on a computational device
TW201928761A (zh) 影像擷取之設備及方法
JP2019144958A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant