KR20190045317A - 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램 - Google Patents

화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20190045317A
KR20190045317A KR1020197009810A KR20197009810A KR20190045317A KR 20190045317 A KR20190045317 A KR 20190045317A KR 1020197009810 A KR1020197009810 A KR 1020197009810A KR 20197009810 A KR20197009810 A KR 20197009810A KR 20190045317 A KR20190045317 A KR 20190045317A
Authority
KR
South Korea
Prior art keywords
image
virtual
virtual viewpoint
advertisement
virtual object
Prior art date
Application number
KR1020197009810A
Other languages
English (en)
Other versions
KR102230416B1 (ko
Inventor
쇼고 미즈노
아츠시 다테
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority to KR1020217007783A priority Critical patent/KR102382247B1/ko
Priority claimed from PCT/JP2017/030092 external-priority patent/WO2018051747A1/ja
Publication of KR20190045317A publication Critical patent/KR20190045317A/ko
Application granted granted Critical
Publication of KR102230416B1 publication Critical patent/KR102230416B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Studio Devices (AREA)

Abstract

가상 시점 화상의 피사체(특정 오브젝트)와 가상 오브젝트 영역이 겹칠 가능성을 저감한다. 복수의 카메라에 의해 각각 상이한 방향으로부터 촬영되는 특정 오브젝트의 삼차원 위치를 특정하는 제1 특정 수단과, 상기 복수의 카메라에 의해 취득되는 촬영 화상에 기초하는 가상 시점 화상의 생성에 관한 가상 시점의 삼차원 위치를 특정하는 제2 특정 수단과, 상기 가상 시점 화상 내에 표시시키는 가상 오브젝트를 배치하는 가상 오브젝트 영역의 위치를, 상기 제1 특정 수단에 의해 특정되는 상기 특정 오브젝트의 삼차원 위치와 상기 제2 특정 수단에 의해 특정되는 상기 가상 시점의 삼차원 위치에 기초하여 결정하는 결정 수단을 갖는다.

Description

화상 처리 장치, 화상 생성 방법 및 프로그램
본 발명은, 화상 처리 장치, 화상 생성 방법 및 프로그램에 관한 것이다.
근년, 복수의 카메라를 상이한 위치에 설치하여 다시점으로 동기 촬영하고, 촬영에 의해 얻어진 복수 시점 화상을 사용하여, 카메라 설치 위치의 화상뿐만 아니라 임의의 시점을 포함하는 가상 시점 화상을 생성하는 기술이 주목받고 있다. 복수 시점 화상에 기초하는 가상 시점 화상의 생성 및 열람은, 복수의 카메라가 촬영한 화상을 서버 등의 화상 처리부에 집약되고, 화상 처리부에서, 가상 시점에 기초하는 렌더링 등의 처리를 실시하여, 유저의 시청 단말기에 가상 시점 화상을 표시함으로써 실현할 수 있다.
특허문헌 1에는, 축구의 스타디움 중계 등에 있어서, 스타디움의 벽면 등 소정의 영역에 광고 프레임을 설치해 두고, 광고 프레임을 포함하는 가상 시점의 영상 데이터에 있어서, 광고 프레임에 시청 환경에 따른 광고 정보를 표시하는 기술이 개시되어 있다.
일본 특허 공개 제2014-41259호 공보
그러나, 축구 선수 등의 피사체에 광고 영역이 겹쳐버릴 우려가 있다. 예를 들어, 피사체의 이동에 의해 피사체와 광고 영역이 겹치면, 광고가 비치지 않게 될 우려가 있다. 또한 예를 들어, 가상 시점의 이동에 의해 피사체와 광고 영역이 겹치면, 광고가 비치지 않게 될 우려가 있다. 또한, 광고에 한하지 않고 그 밖의 가상적인 오브젝트가 가상 시점 화상 내에 표시되는 경우에도 마찬가지의 과제가 발생할 수 있다.
본 발명은 이와 같은 문제점을 감안하여 이루어진 것이며, 가상 시점 화상의 피사체(특정 오브젝트)와 가상 오브젝트 영역이 겹칠 가능성을 저감하는 것을 목적으로 한다.
따라서, 본 발명은, 복수의 카메라에 의해 각각 상이한 방향으로부터 촬영되는 특정 오브젝트의 삼차원 위치를 특정하는 제1 특정 수단과, 상기 복수의 카메라에 의해 취득되는 촬영 화상에 기초하는 가상 시점 화상의 생성에 관한 가상 시점의 삼차원 위치를 특정하는 제2 특정 수단과, 상기 가상 시점 화상 내에 표시시키는 가상 오브젝트를 배치하는 가상 오브젝트 영역의 위치를, 상기 제1 특정 수단에 의해 특정되는 상기 특정 오브젝트의 삼차원 위치와 상기 제2 특정 수단에 의해 특정되는 상기 가상 시점의 삼차원 위치에 기초하여 결정하는 결정 수단을 갖는 것을 특징으로 한다.
본 발명에 따르면, 가상 시점 화상의 피사체(특정 오브젝트)와 가상 오브젝트 영역이 겹칠 가능성을 저감할 수 있다.
도 1은 화상 처리 시스템을 도시하는 도면이다.
도 2는 촬상 장치의 설치예를 도시하는 도면이다.
도 3은 화상 생성 장치의 하드웨어 구성을 도시하는 도면이다.
도 4는 화상 생성 장치의 기능 구성을 도시하는 도면이다.
도 5는 화상 처리를 설명하는 흐름도이다.
도 6a는 광고 영역 결정 처리의 설명도이다.
도 6b는 광고 영역 결정 처리의 설명도이다.
도 7a는 광고 영역 결정 처리의 설명도이다.
도 7b는 광고 영역 결정 처리의 설명도이다.
도 8a는 변형예의 설명도이다.
도 8b는 변형예의 설명도이다.
도 9는 제2 실시 형태에 관한 화상 생성 장치의 기능 구성을 도시하는 도면이다.
도 10은 제2 실시 형태에 관한 화상 처리를 설명하는 흐름도이다.
도 11a는 광고 영역 결정 처리의 설명도이다.
도 11b는 광고 영역 결정 처리의 설명도이다.
도 12는 제3 실시 형태에 관한 화상 생성 장치의 기능 구성을 도시하는 도면이다.
도 13은 제3 실시 형태에 관한 화상 처리를 설명하는 흐름도이다.
도 14는 제4 실시 형태에 관한 화상 생성 장치의 기능 구성을 도시하는 도면이다.
도 15는 제4 실시 형태에 관한 화상 처리를 설명하는 흐름도이다.
도 16은 제4 실시 형태에 관한 광고 영역 특정 처리의 설명도이다.
도 17은 제4 실시 형태에 관한 광고 영역 특정 처리의 설명도이다.
도 18a는 제4 실시 형태에 관한 광고 합성 가상 시점 화상의 생성 처리의 설명도이다.
도 18b는 제4 실시 형태에 관한 광고 합성 가상 시점 화상의 생성 처리의 설명도이다.
이하, 본 발명의 실시 형태의 일례에 대하여 도면에 기초하여 설명한다.
(제1 실시 형태)
도 1은 본 실시 형태에 관한 화상 처리 시스템(100)을 도시하는 도면이다. 화상 처리 시스템(100)은, 복수의 촬영 장치(110)와, 화상 처리 장치의 일례인 화상 생성 장치(120)와, 단말 장치(130)를 갖고 있다. 각 촬영 장치(110)와 화상 생성 장치(120)는, LAN(Local Area Network) 케이블 등의 통신 케이블을 통해 접속하고 있다. 또한, 본 실시 형태에 있어서는, 통신 케이블은 LAN 케이블인 것으로 하지만, 통신 케이블은 실시 형태에 한정되는 것은 아니다. 다른 예로서는, 통신 케이블은, DisplayPort나 HDMI(등록 상표)(High Definition Multimedia Interface) 등의 영상 전송 케이블이어도 되는 것으로 한다.
촬영 장치(110)는, 예를 들어 화상(정지 화상 및 동화상)을 촬영 가능한 디지털 카메라이다. 각 촬영 장치(110)는, 축구장 등의 경기장이나 특정 피사체를 둘러싸도록 설치되며, 화상(영상)을 촬영한다. 촬영된 화상은, 촬영 장치(110)로부터 화상 생성 장치(120)에 송신된다. 도 2는 촬영 장치(110)의 설치예를 도시하는 도면이다. 본 실시 형태에 있어서는, 복수의 촬영 장치(110)는, 각각 축구장 전부 또는 일부를 촬영하도록 설치되어 있는 것으로 한다. 즉, 본 실시 형태의 화상 처리 시스템(100)에는, 피사체를 복수의 방향으로부터 촬영하기 위한 복수의 촬영 장치(110)가 포함된다.
화상 생성 장치(120)는, 촬영 장치(110)에 의해 얻어진 촬상 화상을 축적해 두고, 단말 장치(130)에 있어서의 유저 조작에 의해, 가상 시점 정보가 입력되면, 촬상 화상과 가상 시점에 기초하여, 가상 시점 화상을 생성한다. 여기서, 가상 시점 정보는, 촬상 화상으로부터 구축되는 가상 공간에 있어서의 가상적인 시점(가상 시점)의 삼차원적인 위치를 나타내는 정보이다. 가상 시점 정보는, 촬영한 경기장의 중앙 등 소정 위치에 대한 상대적인 위치, 즉 소정 위치에 대한 전후, 좌우, 좌우의 위치 정보, 그 소정 위치로부터의 방향, 즉 전후, 좌우, 상하를 축으로 하는 각도의 방향 정보를 적어도 포함하는 것으로 한다.
화상 생성 장치(120)는, 예를 들어 서버 장치이며, 데이터베이스 기능이나, 화상 처리 기능을 구비하고 있다. 데이터베이스에는, 경기의 개시 전 등 미리 피사체가 존재하지 않는 상태의 경기 회장의 장면을 촬영한 화상을 배경 화상으로서, 촬영 장치(110)를 통해 보유해 둔다. 또한 경기 중의 선수 등 피사체가 존재하는 신에서는, 피사체가 되는 특정 오브젝트 등의 전경을 화상 처리에 의해 분리하여, 특정 오브젝트 화상으로서 보유해 둔다. 또한, 특정 오브젝트는, 경기하는 선수뿐만 아니라, 예를 들어 다른 특정 인물(후보 선수, 감독, 심판 등)이어도 되고, 볼이나 골 등, 화상 패턴이 미리 정해져 있는 물체여도 된다.
가상 시점 정보에 대응한 가상 시점 화상은, 데이터베이스에서 관리된 배경 화상과 특정 오브젝트 화상으로부터 생성되는 것으로 한다. 가상 시점 화상의 생성 방식으로서, 예를 들어 모델 베이스 렌더링(Model-Based Rendering : MBR)이 사용된다. MBR이란, 피사체를 복수의 방향으로부터 촬영한 복수의 촬상 화상에 기초하여 생성되는 삼차원 모델을 사용하여 가상 시점 화상을 생성하는 방식이다. 구체적으로는, 시체적 교차법, Multi-View-Stereo(MVS) 등의 삼차원 형상 복원 방법에 의해 얻어진 대상 신의 삼차원 형상(모델)을 이용하여, 가상 시점으로부터의 신의 외관을 화상으로서 생성하는 기술이다. 또한, 가상 시점 화상의 생성 방법은, MBR 이외의 렌더링 방법을 사용해도 된다. 생성된 가상 시점 화상은, LAN 케이블 등을 통해, 단말 장치(130)에 전송된다.
단말 장치(130)는, 예를 들어 PC(Personal Computer)나 태블릿이다. 컨트롤러(131)는, 예를 들어 마우스, 키보드, 6축 컨트롤러, 터치 패널이며, 이들을 사용하여 유저는 조작하여, 화면 상에 정지 화상이나 동화상을 표시한다. 단말 장치(130)는, 예를 들어 화상 생성 장치(120)로부터 수신한 가상 시점 화상을 표시부(132)에 표시한다. 단말 장치(130)는, 또한, 접속된 컨트롤러(131)에 대한 유저 조작에 따라서, 가상 시점의 이동의 지시(이동량과 이동 방향에 관한 지시)를 접수하고, 접수한 지시에 따른 지시 정보를 나타내는 전송 신호를 화상 생성 장치(120)에 송신한다.
또한, 본 실시 형태에서는, 단말 장치(130)에 의해 설정된 가상 시점에 기초하여 생성된 가상 시점 화상이 단말 장치(130)에서 표시되는 예를 중심으로 설명하지만, 이것에 한정되지 않는다. 예를 들어, 단말 장치(130)에 의해 설정된 가상 시점에 기초하여 생성된 가상 시점 화상이, 다른 단말 장치(130)(예를 들어 스마트폰) 등에서 표시되도록 해도 된다.
도 3은 화상 생성 장치(120)의 하드웨어 구성을 도시하는 도면이다. 화상 생성 장치(120)는, CPU(301)와, ROM(302)과, RAM(303)과, HDD(304)와, 표시부(305)와, 입력부(306)와, 통신부(307)를 갖고 있다. CPU(301)는, ROM(302)에 기억된 제어 프로그램을 판독하여 각종 처리를 실행한다. RAM(303)은, CPU(301)의 주 메모리, 워크 에어리어 등의 일시 기억 영역으로서 사용된다. HDD(304)는, 각종 데이터나 각종 프로그램 등을 기억한다. 표시부(305)는 각종 정보를 표시한다. 입력부(306)는, 키보드나 마우스를 갖고, 유저에 의한 각종 조작을 접수한다. 통신부(307)는, 네트워크를 통해 화상 형성 장치 등의 외부 장치와의 통신 처리를 행한다. 또한, 네트워크로서는, 이더넷(등록 상표)을 들 수 있다. 또한, 다른 예로서는, 통신부(307)는 무선에 의해 외부 장치와의 통신을 행해도 된다.
또한, 흐름도 등을 사용하여 후술하는 화상 생성 장치(120)의 기능이나 처리는, CPU(301)가 ROM(302) 또는 HDD(304)에 저장되어 있는 프로그램을 판독하고, 이 프로그램을 실행함으로써 실현되는 것이다. 단, 화상 생성 장치(120)의 각 기능이나 처리의 일부 또는 전부를 전용의 하드웨어에 의해 실현하는 것도 가능하다. 이 경우, 화상 생성 장치(120)의 CPU(301)가 당해 전용의 하드웨어를 제어함으로써, 후술하는 각 기능이나 처리를 실현한다. 또한, 단말 장치(130)의 하드웨어 구성은, 화상 생성 장치(120)의 하드웨어 구성과 마찬가지이다. 즉, 흐름도 등을 사용하여 후술하는 단말 장치(130)의 기능이나 처리도, CPU(301)에 의해 실현되도록 해도 되고, 그 기능이나 처리의 일부 또는 전부가 전용의 하드웨어에 의해 실현되도록 해도 된다.
도 4는 화상 생성 장치(120)의 기능 구성을 도시하는 도면이다. 화상 생성 장치(120)는, 통신 처리부(401)와, 분리부(402)와, 분리 화상 기억부(403)와, 가상 시점 정보 생성부(404)와, 화상 취득부(405)를 갖고 있다. 화상 생성 장치(120)는 또한, 오브젝트 특정부(406)와, 광고 영역 결정부(407)와, 광고 화상 기억부(408)와, 가상 광고 화상 생성부(409)와, 가상 시점 화상 생성부(410)를 갖고 있다.
통신 처리부(401)는, 화상 생성 장치(120) 및 단말 장치(130)와의 정보의 송수신을 제어한다. 통신 처리부(401)는, 예를 들어 단말 장치(130)로부터 수신한 전송 신호를 지시 정보로 변환한다. 지시 정보는, 예를 들어 가상 시점 화상에 있어서의 가상 시점의 위치를 나타내는 위치 정보(x, y, z)와, 가상적인 촬영 방향을 나타내는 방향 정보(rx, ry, rz)의 변화량을 포함하는 유저 조작 정보이다. 통신 처리부(401)는 또한, 촬영 장치(110)로부터 수신한 전송 신호를, 촬상 화상의 데이터로 변환한다.
분리부(402)는, 통신 처리부(401)를 통해 수신한 촬상 화상 중, 경기의 개시 전 등 특정 피사체(특정 오브젝트)가 존재하지 않는 상태의 경기 회장의 장면을 촬영한 화상을 배경 화상으로서 분리 화상 기억부(403)에 기록한다. 또한, 분리부(402)는, 경기 중에 촬영된 화상으로부터 선수 등 특정 피사체를 추출하고, 추출한 특정 피사체의 화상을 특정 오브젝트 화상으로서 기록한다. 분리 화상 기억부(403)는, 배경 화상 및 특정 오브젝트 화상을 기억한다. 또한, 분리 화상 기억부(403)는, 배경 화상 및 특정 오브젝트 화상을 촬영 공간의 세계 좌표계(삼차원 좌표계)에서의 촬영 위치(삼차원 위치)를 나타내는 촬영 위치 정보와 함께 기억한다. 즉, 삼차원 위치는, 촬영 공간에 있어서의 높이, 폭, 깊이에 대응하는 각 방향에 있어서의 위치에 의해 규정된다. 세계 좌표계에 대한 촬영 위치 정보는, 예를 들어 사전에 설치한 마커 등을 촬영하고, 마커의 삼차원 화상 계측 등을 행함으로써 얻는 것으로 한다.
가상 시점 정보 생성부(404)는, 통신 처리부(401)가 접수한 지시 정보에 포함되는 위치와 방향의 변화량으로부터, 가상 시점 정보(x, y, z, rx, ry, rz)를 생성한다. 여기서, 가상 시점 정보는, 예를 들어 경기장의 중앙을 원점으로 하여, 지시 정보에 포함되는 변화량을 변화 전의 가상 시점 정보에 가산 또는 감산한 정보이다. 화상 취득부(405)는, 가상 시점 정보 생성부(404)에 의해 생성된 가상 시점 정보에 대응한 복수의 특정 오브젝트 화상과 배경 화상을 분리 화상 기억부(403)로부터 취득한다. 오브젝트 특정부(406)는, 화상 취득부(405)가 취득한 특정 오브젝트 화상에 기초하여, 촬영 공간에 있어서의 특정 오브젝트의 위치 및 크기를 특정한다. 오브젝트 특정부(406)는, 특정 오브젝트의 위치 및 크기를 나타내는 특정 오브젝트 정보를 생성한다.
광고 영역 결정부(407)는, 가상 시점 정보 생성부(404)에 의해 생성된 가상 시점 정보와, 오브젝트 특정부(406)에 의해 생성된 특정 오브젝트 정보에 기초하여, 촬영 공간에 있어서, 광고 영역을 배치할 위치(배치 위치)를 결정한다. 여기서, 광고 영역이란, 광고 화상을 표시하는 영역이다. 광고 화상 기억부(408)는 광고 화상을 기억하고 있다. 여기서, 광고 화상은, 기업명 로고, 상품 로고, 상품 이미지 등을 포함하는 화상이다. 또한, 광고 화상은, 실시 형태에 한정되는 것은 아니다. 가상 광고 화상 생성부(409)는, 광고 영역 결정부(407)에 의해 결정된 광고 영역에, 광고 화상 기억부(408)에 기억되어 있는 광고 화상을 배치함으로써, 가상 시점으로부터 보아, 소정의 가상 위치에 광고가 배치된 가상 광고 화상을 생성한다.
또한, 본 실시예에서는, 광고 화상이 배치된 가상 시점 화상을 생성하는 것으로 하지만, 가상 시점 화상에 배치되는 화상은 광고 화상에 한정되는 것은 아니고, 다른 가상적인 오브젝트여도 된다. 여기서, 광고 화상은, 가상 오브젝트의 일례이며, 광고 영역은 가상 오브젝트 영역의 일례이다.
가상 시점 화상 생성부(410)는, 화상 취득부(405)가 취득한 특정 오브젝트 화상 및 배경 화상과, 가상 광고 화상 생성부(409)에 의해 생성된 가상 광고 화상에 기초하여, 가상 시점 화상을 생성한다. 즉, 가상 시점 화상 생성부(410)에 의해 생성된 가상 시점 화상에는, 광고 화상이 포함되어 있다. 가상 시점 화상 생성부(410)에 의해 생성된 가상 시점 화상은, 통신 처리부(401)에 있어서 전송 가능한 전송 신호로 변환되어, 단말 장치(130)에 송신된다.
도 5는 화상 생성 장치(120)에 의한 화상 처리에 있어서의 동작을 설명하는 흐름도이다. S501에 있어서, 통신 처리부(401)는, 단말 장치(130)로부터 지시 정보를 접수하였는지 여부를 확인한다. 통신 처리부(401)는, 지시 정보를 접수하면(S501에서 "예"), 처리를 S502로 진행시킨다. S502에 있어서, 가상 시점 정보 생성부(404)는, 지시 정보에 기초하여, 가상 시점 정보를 생성한다. 다음에, S503에 있어서, 화상 취득부(405)는, 가상 시점 정보에 대응한 가상 시점 화상을 생성하기 위해 필요한, 복수의 특정 오브젝트 화상과 배경 화상을 분리 화상 기억부(403)로부터 취득한다. 또한, 화상 취득부(405)는, 가상 시점 정보의 위치에 대하여 근접하는 적어도 2개 이상의 촬영 장치(110)로부터 취득된 화상 데이터를 취득하는 것으로 한다.
다음에, S504에 있어서, 오브젝트 특정부(406)는, 복수의 촬영 장치(110)에서 촬영한 화상에 대해, 삼차원 화상 해석법을 사용함으로써, 촬영 공간에 있어서의 특정 오브젝트의 위치 및 크기를 특정한다. 또한, 특정 오브젝트의 위치 및 크기를 특정하기 위한 처리는, 실시 형태에 한정되는 것은 아니다.
다음에, S505에 있어서, 광고 영역 결정부(407)는, 특정 오브젝트 정보와, 가상 시점 정보에 기초하여, 광고 영역의 배치 위치를 결정한다. 광고 영역 결정부(407)는, 구체적으로는, 가상 시점 화상에 있어서, 특정 오브젝트 화상과 가상 광고 화상이 겹치지 않는 위치를, 광고 영역의 배치 위치로서 결정한다. 또한, 본 처리에 대해서는, 도 6a, 도 6b 및 도 7a, 도 7b를 참조하면서 후술한다. 다음에, S506에 있어서, 가상 광고 화상 생성부(409)는, 광고 영역 결정부(407)에 의해 결정된 광고 영역의 배치 위치에, 광고 화상 기억부(408)에 기억되어 있는 광고 화상을 배치함으로써, 가상 광고 화상을 생성한다.
다음에, S507에 있어서, 가상 시점 화상 생성부(410)는, 화상 취득부(405)가 취득한 특정 오브젝트 화상과 배경 화상에 기초하여, 가상 시점 화상을 생성한다. 다음에, S508에 있어서, 가상 시점 화상 생성부(410)는, S507에 있어서 생성한 가상 시점 화상에 S506에 있어서 생성한 가상 광고 화상을 합성함으로써, 광고가 배치된 가상 시점 화상을 생성한다. 다음에, S509에 있어서, 통신 처리부(401)는, S508에 있어서 얻어진 가상 시점 화상(표시 화상)을 단말 장치(130)에 송신(출력)한다. 이상으로, 화상 처리가 종료된다.
도 6a, 도 6b 및 도 7a, 도 7b는 광고 영역 결정 처리(S505)의 설명도이다. 도 6a에는, 가상 시점(600)과, 가상적인 촬영 범위(601)와, 특정 오브젝트(602)와, 광고 영역(603)을 개념적으로 도시하고 있다. 도 6a의 예에서는, 가상 시점(600)으로부터 보아, 가상적인 촬영 범위(601)의 우측이며, 또한 특정 오브젝트(602)보다도 촬영 방향에 있어서 후방의 위치가 특정 오브젝트(602)의 배치 위치로서 결정되어 있다. 도 6b는 도 6a에 대응하는 가상 시점 화상(610)을 도시하는 도면이다. 가상 시점 화상(610)에 있어서, 가상 광고 화상(612)은, 특정 오브젝트 화상(611)에 겹치지 않고, 특정 오브젝트 화상(611)의 좌측에 배치되어 있다.
또한, 도 7a에 도시한 바와 같이, 촬영 범위(701)의 좌측에 특정 오브젝트(702)가 위치하고 있는 것으로 한다. 이 경우에는, 광고 영역 결정부(407)는, 특정 오브젝트(702)의 우측이면서 후방의 위치를 광고 영역(703)의 위치로서 결정한다. 도 7b는 도 7a에 대응하는 가상 시점 화상(710)을 도시하는 도면이다. 가상 시점 화상(710)에 있어서, 가상 광고 화상(712)은 특정 오브젝트 화상(711)과 겹치지 않고, 특정 오브젝트 화상(711)의 우측에 배치되어 있다.
이상과 같이, 제1 실시 형태에 관한 화상 생성 장치(120)는, 특정 오브젝트(피사체)에 겹치지 않는 위치를 광고 영역으로서 결정하고, 광고 영역에 가상 광고 화상을 배치한다. 보다 구체적으로는, 화상 생성 장치(120)는, 삼차원 공간에 있어서의 가상 시점의 위치, 및 삼차원 공간에 있어서의 특정 오브젝트의 위치에 기초하여, 광고 영역을 결정한다. 또한, 본 실시 형태에 있어서의 삼차원 공간이란, 복수의 촬영 장치(110)에 의한 촬영 대상이 되는 공간(예를 들어 축구장 등의 경기장)에 있어서의, 예를 들어 높이 방향(중력 방향), 폭 방향 및 깊이 방향에 의해 특정되는 공간이다. 이 삼차원 공간은, 예를 들어 경기장의 중앙을 원점으로 한 삼차원 좌표에 의해 나타낼 수 있다. 상기와 같은 구성에 의하면, 광고 화상 상에 피사체가 겹침으로써, 광고 화상의 일부 또는 전부가 표시되지 않게 되는 것을 방지할 수 있다. 즉, 광고 화상의 표시 기회의 손실을 저감시킬 수 있다. 즉, 화상 생성 장치(120)는, 가상 시점 화상에 있어서, 적절하게 광고 화상을 배치할 수 있다.
제1 변형예로서는, 화상 생성 장치(120)는, 특정 오브젝트의 이동에 따라서 광고 영역의 위치를 변경해도 된다. 구체적으로는, 화상 생성 장치(120)는, 영상의 각 프레임에 기초하여, 오브젝트의 이동을 검출한다. 그리고, 화상 생성 장치(120)는, 도 8a에 도시한 바와 같이, 특정 오브젝트(802)의 가상 시점(800)에 접근하는 방향으로의 이동이 검출된 경우에, 광고 영역(803)의 위치를 보다 후방의 위치로 변경한다.
도 8b는 특정 오브젝트(802)의 이동에 따른 가상 시점 화상의 변화를 도시하는 도면이다. 특정 오브젝트(802)의 이동에 따라서, 가상 시점 화상은, 가상 시점 화상(810)으로부터 가상 시점 화상(820)으로 변화된다. 즉, 가상 시점 화상(810)은, 도 8a에 도시한 특정 오브젝트(802)의 이동 전에 대응하고, 가상 시점 화상(820)은, 도 8a에 도시한 특정 오브젝트(802)의 이동 후에 대응한다. 가상 시점 화상(820)의 특정 오브젝트 화상(821)은, 가상 시점 화상(810)의 특정 오브젝트 화상(811)에 비해 크게 표시된다. 한편, 가상 시점 화상(820)의 가상 광고 화상(822)은, 가상 시점 화상(810)의 가상 광고 화상(812)에 비해 작게 표시된다. 또한, 이 경우에 있어서, 화상 생성 장치(120)는, 가상 광고 화상(822)을 가상 광고 화상(812)에 비해 흐리게 하거나, 음영을 부가하는 등, 거리감을 부여하는 화상 처리를 행해도 된다.
보다 구체적으로는, 화상 생성 장치(120)는, 가상 시점과 특정 오브젝트의 거리에 따라서, 광고 영역의 촬영 방향에 있어서의 위치를 결정한다. 화상 생성 장치(120)는, 예를 들어 가상 시점과 특정 오브젝트의 거리가 짧아질수록, 보다 후방의 위치를 광고 영역의 위치로서 결정한다. 또한, 화상 생성 장치(120)는, 예를 들어 가상 시점과 특정 오브젝트의 거리와 광고 영역의 위치의 관계를 나타내는 관계식으로부터 광고 영역의 위치를 결정하는 것으로 한다. 이 경우, 화상 생성 장치(120)의 HDD(304)에는, 관계식이 미리 기억되어 있는 것으로 한다. 또한, 다른 예로서는, 화상 생성 장치(120)는, 가상 시점과 특정 오브젝트의 거리와 광고 영역의 위치를 대응지은 대응 테이블을 참조하여, 광고 영역의 위치를 결정하는 것으로 해도 된다. 이 경우, 화상 생성 장치(120)의 HDD(304)에는, 대응 테이블이 미리 기억되어 있는 것으로 한다. 또한, 화상 생성 장치(120)는 이때, 가상 시점과 특정 오브젝트의 거리에 따라서, 광고 영역의 촬영 방향에 있어서의 위치 외에, 다른 방향에 있어서의 위치도 아울러 변경해도 된다.
이와 같이, 화상 생성 장치(120)는, 특정 오브젝트가 가상 시점에 접근함에 따라, 광고 영역의 위치를 보다 후방의 위치로 변경한다. 이에 의해, 특정 오브젝트가 가상 시점에 접근하는 방향으로 이동하고 있는 경우에 있어서도, 가상 광고 화상의 일부 또는 전부가 표시되지 않게 되는 것을 방지할 수 있다.
또한, 화상 생성 장치(120)는, 특정 오브젝트의 이동 방향을 검출하고, 검출 결과에 따라서 광고 영역의 위치를 변경하지만, 이것은 특정 오브젝트가 가상 시점을 향하여 이동하는 경우에 한하지 않는다. 예를 들어, 특정 오브젝트가 광고 영역의 방향을 향하여 이동하는 경우에, 광고 영역의 위치를 보다 후방의 위치로 변경해도 되고, 광고 영역의 위치를 특정 오브젝트로부터 이격되는 방향으로 변경해도 된다.
제2 변형예로서는, 화상 생성 장치(120)는, 촬영 공간에 있어서의 광고 영역의 배치 위치를 결정하는 대신에, 가상 시점 화상에 있어서의 광고 영역의 배치 위치를 결정해도 된다. 이 경우, 화상 생성 장치(120)는, 가상 시점 정보에 기초하여, 광고 화상을 포함하지 않는 가상 시점 화상을 생성하고, 이 가상 시점 화상에 있어서, 특정 오브젝트 화상과 겹치지 않는 위치를 광고 영역의 위치로서 결정하면 된다. 그리고, 화상 생성 장치(120)는, 이 광고 영역에, 가상 광고 화상을 중첩함으로써, 광고 화상이 표시된 가상 시점 화상을 얻는다. 또한, 화상 생성 장치(120)는, 가상 시점에 있어서의 광고 영역의 배치 위치에 더하여, 광고 영역의 사이즈를 결정해도 된다. 화상 생성 장치(120)는 예를 들어, 초기 사이즈의 광고 영역을 배치하는 스페이스를 확보할 수 없는 경우에, 광고 영역의 사이즈를 보다 작은 사이즈로 해도 된다. 제2 변형예에 의하면, 삼차원 공간에 있어서의 가상 시점의 위치와, 특정 오브젝트의 위치에 기초하여, 삼차원 공간에 있어서의 광고 영역의 배치 위치를 결정하는 것보다도, 광고 영역의 결정에 관한 처리 부하를 저감할 수 있다.
제3 변형예로서는, 화상 생성 장치(120)는, 유저 조작에 따라서 가상 시점 정보를 생성하는 대신에, 특정 선수나 볼 등 특정 오브젝트를 추미하는 가상 시점 정보를 자동으로 생성해도 된다.
제4 변형예로서는, 화상 처리 장치(120)는, 광고 영역의 위치를, 가상 시점 화상으로서의 동화상의 프레임별로 순차적으로 변경해도 되고, 일단 변경한 후에는 광고 영역의 위치를 소정 기간 고정해도 된다.
제5 변형예로서는, 화상 생성 장치(120)는, 특정 오브젝트, 배경 및 광고 각각의 화상과, 삼차원 공간 상에 있어서의 각각의 배치에 기초하여, 광고가 삽입된 가상 시점 화상을 직접 생성해도 된다. 이와 같은 방법에 의하면, 광고가 삽입되어 있지 않은 가상 시점 화상과 가상 광고 화상을 일단 생성하고 나서 합성하는 경우와 비교하여, 화상 생성 장치(120)의 전체의 처리량을 저감할 수 있다.
제6 변형예로서는, 화상 생성 장치(120)는, 광고가 삽입되어 있지 않은 가상 시점 화상과, 광고 영역 결정부(407)에 의해 결정된 광고 영역의 위치를 나타내는 정보를, 외부의 장치에 출력해도 된다. 그리고, 당해 외부의 장치가, 화상 생성 장치(120)로부터 취득한 정보가 나타내는 광고 영역의 위치에 광고를 삽입하여, 광고 삽입 완료의 가상 시점 화상을 생성해도 된다.
(제2 실시 형태)
다음에, 제2 실시 형태에 관한 화상 처리 시스템에 대하여 설명한다. 도 9는 제2 실시 형태에 관한 화상 생성 장치(900)의 기능 구성을 도시하는 도면이다. 화상 생성 장치(900)는, 도 4를 참조하면서 설명한, 제1 실시 형태에 관한 화상 생성 장치(120)의 구성에 더하여, 배경 형상 특정부(901)를 더 갖고 있다.
배경 형상 특정부(901)는, 화상 취득부(405)가 취득한 복수의 배경 화상에 기초하여, 배경의 형상을 특정한다. 그리고, 배경 형상 특정부(901)는, 배경의 배치와 특징점의 위치 정보 등 배경의 형상을 나타내는 배경 형상 정보를 생성한다. 또한, 배경의 형상의 특정 방법으로서는, 복수의 카메라로 촬영한 화상에 대하여 삼차원 화상 해석법을 사용함으로써, 배경의 배치나 깊이를 포함하는 형상을 특정하는 처리를 들 수 있다. 단, 이것 이외의 방법을 사용해도 된다. 광고 영역 결정부(902)는, 오브젝트 특정부(406)에 의해 생성된 특정 오브젝트 정보와, 배경 형상 정보와, 가상 시점 정보에 기초하여, 촬영 공간에 있어서, 광고 영역의 배치 위치를 결정한다.
도 10은 제2 실시 형태에 관한 화상 생성 장치(900)에 의한 화상 처리를 설명하는 흐름도이다. 또한, 도 10에 도시한 각 처리 중, 도 5에 도시한 화상 처리의 각 처리와 동일한 처리에는 동일한 번호를 붙이고, 설명을 생략한다. S504의 처리 후, S1001에 있어서, 배경 형상 특정부(901)는, 화상 취득부(405)가 취득한 복수의 배경 화상에 기초하여, 배경의 형상을 특정한다. 그리고, 배경 형상 특정부(901)는, 배경의 배치와 특징점의 위치 정보 등 배경의 형상을 나타내는 배경 형상 정보를 생성한다.
다음에, S1002에 있어서, 광고 영역 결정부(902)는, 오브젝트 특정부(406)에 의해 생성된 특정 오브젝트 정보와, 배경 형상 정보와, 가상 시점 정보에 기초하여, 광고 영역의 배치 위치를 결정한다. 광고 영역 결정부(902)는, 구체적으로는, 먼저, 배경의 형상을 고려하지 않고, 특정 오브젝트와 겹치지 않는 위치를 광고 영역의 임시의 배치 위치로서 결정한다. 그리고, 광고 영역 결정부(902)는, 가상 시점과 임시의 배치 위치를 통과하는 직선상 중, 소정의 형상의 위치를 배치 위치로서 결정한다. 여기서, 소정의 형상이란, 가상 시점측을 향하는 면 등을 들 수 있다. 가상 시점측을 향하는 면으로서는, 벽면을 들 수 있고, 또한, 다른 예로서는, 광고 영역 결정부(902)는, 가상 시점으로부터 보아 가상 시점 화상이 정면으로 마주보는 것처럼 보이도록, 배경 형상 상에 광고 영역을 사영하는 것으로 해도 되는 것으로 한다. CPU(301)는, S1002의 처리 후, 처리를 S506으로 진행시킨다.
도 11a, 도 11b는 광고 영역 결정 처리(S1002)의 설명도이다. 도 11a에는, 가상 시점(600)과, 가상적인 촬영 범위(601)와, 특정 오브젝트(602)와, 광고 영역(603)을 개념적으로 도시하고 있다. 또한, 배경에는, 벽면(1101)과, 간판(1102)이 배경으로서 존재하고 있다. 이 경우, 광고 영역 결정부(902)는, 가상 시점 화상에 있어서 특정 오브젝트(602)의 화상과 겹치지 않는 위치에 존재하는 간판(1102)의 위치를 광고 영역의 위치로서 결정한다. 도 11b는, 도 11a에 대응하는 가상 시점 화상(1110)을 도시하는 도면이다. 가상 시점 화상(1110)에 있어서, 가상 광고 화상(1112)은, 특정 오브젝트 화상(1111)과 겹치지 않고, 특정 오브젝트 화상(1111)의 우측의 배경 화상 중, 간판(1102)에 배치되어 있다.
또한, 촬영 방향이 경기장의 바로 위에서 경기장을 부감하는 가상 시점의 경우에는, 화상 생성 장치(900)는 지면을 광고 영역으로서 결정한다. 이에 의해, 경기 시청에 영향을 주지 않고 또한 광고 효과가 있는 가상 시점 화상을 생성할 수 있다. 또한, 제2 실시 형태에 관한 화상 처리 시스템의 이것 이외의 구성 및 처리는, 제1 실시 형태에 관한 화상 처리 시스템의 구성 및 처리와 마찬가지이다.
이상과 같이, 제2 실시 형태에 있어서는, 화상 생성 장치(900)는, 배경의 형상을 고려하여 광고 영역의 위치를 결정한다. 따라서, 배경의 위치나 형상에 의해, 벽이나 간판 등의 배경의 뒤에 가상 광고 화상이 배치되는 것을 방지할 수 있다. 또한, 화상 생성 장치(900)는, 배경의 벽면이나 간판 등의 삼차원 형상에 기초하여 광고 영역의 배치 위치를 결정하므로, 유저가 위화감을 느끼지 않는 가상 시점 화상을 생성할 수 있다.
(제3 실시 형태)
다음에, 제3 실시 형태에 관한 화상 처리 시스템에 대하여 설명한다. 도 12는 제3 실시 형태에 관한 화상 생성 장치(1200)의 기능 구성을 도시하는 도면이다. 화상 생성 장치(1200)는, 도 4를 참조하면서 설명한, 제1 실시 형태에 관한 화상 생성 장치(120)의 구성에 더하여, 오브젝트 해석부(1201)를 더 갖고 있다. 오브젝트 해석부(1201)는, 가상 시점 정보 생성부(404)에 의해 생성된 가상 시점 정보에 기초하여, 광고 화상을 포함하지 않는 가상 시점 화상을 생성한다. 그리고, 오브젝트 해석부(1201)는, 가상 시점 화상 전체에 대한 특정 오브젝트 화상의 사이즈의 비율을 산출하고, 비율을 나타내는 비율 정보를 생성한다.
광고 영역 결정부(1202)는, 가상 시점 정보와, 특정 오브젝트 정보와, 비율 정보에 기초하여, 촬영 공간에 있어서의 광고 영역의 배치 위치를 결정한다. 또한, 본 실시 형태에 있어서는, 광고 영역의 초기 위치가 미리 설정되어 있는 것으로 하고, 광고 영역 결정부(1202)는, 초기 위치를 기준으로 하여, 비율 정보에 기초하여 촬영 방향에 있어서의 위치를 결정한다.
예를 들어, 가상 시점 화상의 전체가 (0, 0) 내지 (1920, 1080)도트의 영역인 것에 비해, 특정 오브젝트 화상의 영역이 (960, 0) 내지 (1560, 1080)도트의 영역인 것으로 한다. 이 경우에, 광고 영역 결정부(1202)는, 비율이 30％ 등 미리 설정된 역치를 초과한 경우에, 초기 위치로부터 촬영 방향에 있어서 소정의 거리만큼, 후방의 위치를 광고 영역의 배치 위치로서 결정한다. 여기서, 소정의 거리는, 예를 들어 가상 시점으로부터의 거리를 2배로 하는 거리이다. 또한, 광고 영역 결정부(1202)는, 광고 영역의 배치 위치를 결정할 때, 비율과 광고 영역의 배치 위치의 관계를 나타내는 관계식을 사용해도 되고, 또 다른 예로서는, 비율과 광고 영역의 배치 위치를 대응지은 대응 테이블을 사용해도 된다.
도 13은 제3 실시 형태에 관한 화상 생성 장치(1200)에 의한 화상 처리를 설명하는 흐름도이다. 또한, 도 13에 도시한 각 처리 중, 도 5에 도시한 화상 처리의 각 처리와 동일한 처리에는 동일한 번호를 붙이고, 설명을 생략한다. S504의 처리 후, S1301에 있어서, 오브젝트 해석부(1201)는, 가상 시점 정보에 기초하여, 광고 화상을 포함하지 않는 가상 시점 화상을 생성한다. 그리고, 오브젝트 해석부(1201)는, 가상 시점 화상 전체에 대한 특정 오브젝트 화상의 사이즈의 비율을 산출하고, 비율을 나타내는 비율 정보를 생성한다.
다음에, S1302에 있어서, 광고 영역 결정부(1202)는, 가상 시점 정보와, 특정 오브젝트 정보와, 비율 정보에 기초하여, 촬영 화상에 있어서, 광고 영역의 배치 위치를 결정한다. 그 후, CPU(301)는, 처리를 S506으로 진행시킨다. 제3 실시 형태에 관한 화상 처리 시스템의 이것 이외의 구성 및 처리는, 다른 실시 형태에 관한 화상 처리 시스템의 구성 및 처리와 마찬가지이다.
이상과 같이, 제3 실시 형태에 있어서는, 화상 생성 장치(1200)는, 전체 화상에 대한 특정 오브젝트 화상의 비율에 기초하여 광고 영역의 배치 위치를 결정한다. 이 때문에, 예를 들어 도 8b에 도시한 가상 시점 화상(820)과 같이, 특정 오브젝트가 가상 시점을 향하여 이동하여, 특정 오브젝트 화상이 커진 경우에도, 특정 오브젝트 화상에 겹치지 않는 위치에 가상 광고 화상을 배치할 수 있다. 또한, 시점 줌에 대해서도, 유저가 조작하는 가상 시점 화상 내의 특정 오브젝트 화상에 겹치지 않는 위치에 가상 광고 화상을 배치할 수 있다.
(제4 실시 형태)
다음에, 제4 실시 형태에 관한 화상 처리 시스템에 대하여 설명한다. 도 14는 제4 실시 형태에 관한 화상 생성 장치(1400)의 기능 구성을 도시하는 도면이다. 화상 생성 장치(1400)는, 제1 실시 형태에 관한 화상 생성 장치(120)의 오브젝트 특정부(406), 광고 영역 결정부(407), 가상 광고 화상 생성부(409) 대신에, 광고 영역 특정부(1401), 광고 화상 변환부(1402), 화상 합성부(1403)를 갖고 있다.
광고 영역 특정부(1401)는, 가상 시점 화상 생성부(410)에 의해 생성된 가상 시점 화상에 광고 영역이 포함되는지 여부를 특정한다. 구체적으로는, 광고 영역 특정부(1401)는, 삼차원의 가상 시점 공간 내의 소정의 광고 영역을 가상 시점 정보에 기초하여, 이차원 투영 변환함으로써, 가상 시점 화상 내의 광고 영역을 특정한다. 또한, 가상 시점 공간에 있어서의 광고 영역의 위치, 사이즈 및 형상은, 미리 설정되어 있는 것으로 한다. 또한, 본 실시 형태에 있어서는, 광고 영역은 사각형으로 하고, 그 폭 및 높이가 사이즈 및 형상으로서 설정되어 있는 것으로 한다. 광고 영역 특정부(1401)는, 가상 시점 화상에 광고 영역이 포함되는 경우에는, 가상 시점 화상 전체에 대한 광고 영역의 위치, 폭 및 높이를 나타내는 광고 영역 정보를 생성한다. 또한, 가상 시점 공간에 설정되는 광고 영역은, 1개여도 되고 복수여도 된다. 또한, 다른 예로서는, 가상 시점에 따라서 광고 영역이 동적으로 설정되는 것으로 해도 된다.
또한, 광고 영역 특정부(1401)가 광고 영역을 특정하기 위한 처리는 실시 형태에 한정되는 것은 아니다. 다른 예로서는, 예를 들어 QR 코드(등록 상표)(Quick Response 코드)와 같은 소정의 패턴 오브젝트를 광고 영역에 배치해 둔다. 그리고, 광고 영역 특정부(1401)는, 가상 시점 화상 내에 소정의 패턴이 존재하는지 여부에 따라, 광고 영역을 특정하면 해도 된다. 광고 영역의 설정 방법과, 광고 영역의 특정 방법은, 실시 형태에 한정되는 것은 아니다.
광고 화상 변환부(1402)는, 광고 영역 특정부(1401)로부터 생성된 광고 영역 정보와, 광고 화상 기억부(408)에 기억되어 있는 광고 화상에 기초하여, 광고 영역 정보의 범위에 들어가도록, 광고 화상 사이즈를 변환하여, 변환 광고 화상을 생성한다. 또한, 본 실시 형태에 있어서는, 광고 화상의 폭과 높이를 포함하는 초기 사이즈가 미리 설정되어 있는 것으로 한다. 그리고, 광고 화상 변환부(1402)는, 광고 영역 특정부(1401)에서 생성된 광고 영역 정보의 폭과 높이에, 광고 화상의 사이즈가 들어가는 경우에는, 초기 사이즈의 광고 화상을 변환 광고 화상으로서 사용하는 것으로 한다. 한편, 광고 화상 변환부(1402)는, 광고 화상의 초기 사이즈가 광고 영역 정보에 표시되는 광고 영역에 들어가지 않는 경우에는, 광고 화상이 광고 영역 정보에 표시되는 광고 영역에 들어가도록 광고 화상을 축소한다.
또한, 다른 예로서는, 광고 화상 변환부(1402)는, 가상 시점의 삼차원 위치와, 광고 영역의 위치의 위치 관계에 기초하여, 광고 화상(가상 광고)의 크기(사이즈)를 결정해도 된다. 또한, 광고 영역에 따라서 광고 화상의 사이즈를 조정하기 위한 처리는 실시 형태에 한정되는 것은 아니다. 다른 예로서는, 화상 생성 장치(1400)는, 사이즈가 상이한 복수의 광고 화상을 미리 광고 화상 기억부(408)에 보유해 두고, 광고 영역 정보에 기초하여 광고 영역에 들어가는 사이즈의 광고 화상을 판독하는 것으로 해도 된다. 이와 같이, 광고 화상의 변환 방법은 실시 형태에 한정되는 것은 아니다.
화상 합성부(1403)는, 가상 시점 화상 생성부(410)에 있어서 생성된 가상 시점 화상과, 광고 화상 변환부(1402)에 있어서 생성된 변환 광고 화상을 합성하여 광고 합성 가상 시점 화상을 생성한다. 즉, 화상 합성부(1403)는, 가상 시점 화상의 광고 영역 정보에 기초하는 지정의 영역 상에, 광고 화상을 중첩함으로써 광고 합성 가상 시점 화상을 생성한다. 화상 합성부(1403)에 의해 생성된 광고 합성 가상 시점 화상은, 통신 처리부(401)에 있어서 전송 가능한 전송 신호로 변환되어, 단말 장치(130)에 송신된다.
도 15는 제4 실시 형태에 관한 화상 생성 장치(1400)에 의한 화상 처리를 설명하는 흐름도이다. 또한, 도 15에 도시한 각 처리 중, 도 5에 도시한 화상 처리의 각 처리와 동일한 처리에는 동일한 번호를 붙이고, 설명을 생략한다. S503의 처리 후, S1501에 있어서, 가상 시점 화상 생성부(410)는, 화상 취득부(405)가 취득한 특정 오브젝트 화상과 배경 화상에 기초하여, 가상 시점 화상을 생성한다. 다음에, S1502에 있어서, 광고 영역 특정부(1401)는, 가상 시점 화상에 있어서, 광고 영역의 특정을 행한다. 다음에, S1503에 있어서, 광고 화상 변환부(1402)는, 광고 영역 특정부(1401)에 의해 생성된 광고 영역 정보와, 광고 화상 기억부(408)에 기억되어 있는 광고 화상에 기초하여, 광고 화상의 사이즈를 변환하여, 변환 광고 화상을 얻는다. 광고 화상 변환부(1402)는, 광고 화상이 광고 영역 정보의 범위에 들어가도록, 광고 화상의 사이즈를 축소한다.
다음에, S1504에 있어서, 화상 합성부(1403)는, S1503에 있어서 얻어진 변환 광고 화상을, 가상 시점 화상의 지정 영역에 중첩(합성)함으로써, 광고가 배치된 광고 합성 가상 시점 화상을 생성한다. 다음에, S1505에 있어서, 통신 처리부(401)는, S1504에 있어서 얻어진 광고 합성 가상 시점 화상(표시 화상)을 단말 장치(130)에 송신(출력)한다. 이상으로, 화상 처리가 종료된다.
도 16 및 도 17은 광고 영역 특정 처리(S1502)의 설명도이다. 도 16에는, 가상 시점(600)과, 가상적인 촬영 범위(601)와, 특정 오브젝트(602)와, 광고 영역(1600)을 개념적으로 도시하고 있다. 도 17에는 도 16의 가상 시점(600)으로부터 얻어진 가상 시점 화상을 도시하고 있다. 예를 들어, 가상 시점(600)의 가상 시점 정보로부터 얻어진 가상 시점 화상에 있어서, 가상 시점 화상의 전체가 좌상단을 원점으로 하는 (0, 0) 내지 (1920, 1080)도트의 영역인 것으로 한다. 이 경우에 있어서, 가상 시점 공간으로부터 가상 시점 화상으로의 이차원 투영 변환에 의해, 위치(0, 100), 폭 700, 높이 300의 영역이 광고 영역(1700)으로서 특정된다.
도 18a, 도 18b는 광고 화상 변환 처리(S1503)와, 광고 합성 가상 시점 화상의 생성 처리(S1504)의 설명도이다. 도 18a에 도시한 바와 같이, 광고 화상(1800)은, 폭 720, 높이 360의 화상인 것으로 한다. S1502에 의해 특정된 광고 영역은, 도 17에 도시한 바와 같이 폭 700, 높이 300의 영역인 것으로 한다. 이 경우, 광고 화상 변환부(1402)는, 광고 화상의 종횡비를 유지한 채로, 광고 영역에 들어가는 사이즈로 축소한다. 구체적으로는, 폭 600, 높이 300의 변환 광고 화상을 생성한다. 그리고, 도 18b에 도시한 바와 같이, 가상 시점 화상의 위치(0, 100)에 변환 광고 화상(1810)을 합성함으로써, 광고 합성 가상 시점 화상(1820)을 생성한다.
또한, 본 실시 형태에서는, 화상 합성부(1403)는, 광고 영역의 중심을 기준으로 하여 광고 화상을 배치하는 것으로 하였지만, 광고 화상이 광고 영역 내에 배치되면 되고, 실시 형태에 한정되는 것은 아니다. 다른 예로서는, 화상 합성부(1403)는, 광고 영역의 좌상단 정점과 광고 화상의 좌상단 정점이 일치하도록 광고 화상을 배치하는 것으로 해도 된다. 또한, 광고 화상 변환부(1402)는, 광고 화상의 사이즈 변환에 있어서 반드시 종횡비를 유지할 필요는 없고, 종횡 중 어느 한쪽만 변환해도 되고, 또한 종횡 각각을 상이한 배율로 축소해도 된다.
이상과 같이, 제4 실시 형태에 관한 화상 생성 장치(1400)는, 가상 시점 화상 내에 포함되는 광고 영역에 가상 광고 화상을 배치한다. 보다 구체적으로는, 화상 생성 장치(120)는, 가상 시점 화상의 광고 영역의 위치, 크기에 기초하여, 광고 화상을 광고 영역에 들어가도록 변환하여 가상 시점 화상과 광고 화상을 합성하여 표시한다. 상기와 같은 구성에 의하면, 가상 시점 화상을 생성한 후에, 광고 화상을 부여하는 것이 가능해져, 보다 간이적인 구성으로 광고 화상을 부여하는 것이 가능해진다.
또한, 제2 실시 형태나 제3 실시 형태에서 설명한 방법을 제4 실시 형태에 적용해도 된다. 구체적으로는, 특정 오브젝트의 이동 방향이나, 가상 시점 화상 내에 있어서 특정 오브젝트의 화상이 차지하는 크기에 기초하여, 광고 화상을 변환해도 된다.
또한, 이차원의 가상 시점 화상 내에 있어서의 광고 화상의 크기를 직접 제어하는 방법에 한하지 않고, 삼차원 공간에 있어서의 광고 화상의 크기를 제어하고, 그 제어 결과에 기초하여 가상 시점 화상을 생성해도 된다. 예를 들어, 화상 생성 장치는, 삼차원 공간 내에 미리 정해진 광고 영역이나, 가상 시점 및 특정 오브젝트의 위치에 기초하여 결정된 광고 영역 중, 가상 시점의 시계에 포함되는 부분 영역(가상 시점 화상에 포함되는 부분)을 특정한다. 이 부분 영역의 특정은, 예를 들어 가상 시점의 삼차원 위치와, 광고 영역의 삼차원 위치에 기초하여 행해진다. 그리고, 화상 생성 장치는, 특정된 부분 영역에 광고 화상이 들어가도록, 광고 화상의 크기나 내용을 결정하여 당해 부분 영역에 배치한다. 그리고, 화상 생성 장치는, 촬영 화상과, 가상 시점 정보와, 삼차원 공간에 있어서의 광고 화상의 위치, 크기 및 내용에 기초하여, 가상 시점 화상을 생성해도 된다. 이와 같은 방법에 의하면, 예를 들어 광고 화상의 전체가 가상 시점 화상에 포함되도록 할 수 있어, 광고 화상의 일부분만 가상 시점 화상에 포함되는 경우보다도 광고 효과를 높일 수 있다.
또한, 화상 생성 장치는, 광고 화상의 사이즈에 한하지 않고, 광고 내용이 상이한 광고 화상을 미리 광고 화상 기억부(408)에 보유해 두고, 광고 영역 정보에 기초하여, 상이한 광고 화상을 판독하는 것으로 해도 된다. 여기서 광고 내용이란, 기업명 로고, 상품 로고, 상품 이미지, 로고 마크, 화상을 포함하는 광고 정보이며, 예를 들어 광고 영역이 작아질수록, 광고 정보가 적은 것을 판독하는 것으로 한다. 또한, 다른 예로서는, 화상 생성 장치는, 가상 시점의 삼차원 위치와, 광고 영역의 위치의 위치 관계에 기초하여, 가상 광고의 내용을 결정해도 된다.
이상의 각 실시 형태에서는, 광고 화상을 표시하는 광고 영역을 촬영 공간 내에 배치함으로써, 가상 시점 화상에 광고 화상을 합성하는 것으로 하였다. 단, 화상 생성 장치는, 촬영 장치(110)에 의한 촬영 화상에 포함되지 않는 가상 오브젝트를 가상 시점 화상에 합성하면 되고, 가상 오브젝트는 광고 화상에 한정되지 않는다. 합성되는 가상 오브젝트는 예를 들어, 촬영 대상의 시합의 도중 경과에 관한 정보를 나타내는 화상이나, 시합에 관한 통계 정보를 나타내는 화상, 인물 등의 피사체를 설명하는 문자나 화상, 및 당해 인물의 생체 정보를 나타내는 화상 등의 부가 정보여도 된다.
이상, 본 발명의 실시 형태의 일례에 대하여 상세하게 설명하였지만, 본 발명은 이러한 특정 실시 형태에 한정되는 것은 아니고, 특허 청구 범위에 기재된 본 발명의 요지의 범위 내에 있어서, 다양한 변형·변경이 가능하다.
(그 밖의 실시예)
본 발명은, 상술한 실시 형태의 하나 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 하나 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에 의해서도 실현 가능하다. 또한, 하나 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.
이 출원은 2016년 9월 14일에 출원된 일본 특허 출원 제2016-179529호 및 2017년 6월 26일에 출원된 일본 특허 출원 제2017-124110호로부터의 우선권을 주장하는 것이며, 그 내용을 인용하여 이 출원의 일부로 하는 것이다.
100 : 화상 처리 시스템
110 : 촬영 장치
120 : 화상 생성 장치
130 : 단말 장치

Claims (19)

  1. 복수의 카메라에 의해 각각 상이한 방향으로부터 촬영되는 특정 오브젝트의 삼차원 위치를 특정하는 제1 특정 수단과,
    상기 복수의 카메라에 의해 취득되는 촬영 화상에 기초하는 가상 시점 화상의 생성에 관한 가상 시점의 삼차원 위치를 특정하는 제2 특정 수단과,
    상기 가상 시점 화상 내에 표시시키는 가상 오브젝트를 배치하는 가상 오브젝트 영역의 위치를, 상기 제1 특정 수단에 의해 특정되는 상기 특정 오브젝트의 삼차원 위치와 상기 제2 특정 수단에 의해 특정되는 상기 가상 시점의 삼차원 위치에 기초하여 결정하는 결정 수단을 갖는 것을 특징으로 하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 결정 수단은, 상기 제1 특정 수단에 의해 특정되는 상기 가상 시점의 삼차원 위치와 상기 제2 특정 수단에 의해 특정되는 상기 특정 오브젝트의 삼차원 위치에 따라서 결정되는 상기 가상 시점 화상에 있어서의 상기 특정 오브젝트의 위치에 기초하여, 상기 가상 오브젝트 영역의 위치를 결정하는 것을 특징으로 하는, 화상 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 결정 수단은, 상기 특정 오브젝트의 화상과 상기 가상 오브젝트의 화상이 상기 가상 시점 화상에 있어서 겹치지 않는 위치를 상기 가상 오브젝트 영역의 위치로서 결정하는 것을 특징으로 하는, 화상 처리 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 결정 수단은, 상기 가상 오브젝트 영역의 삼차원 위치를 결정하고,
    상기 삼차원 위치는, 상기 복수의 카메라에 의해 촬영되는 공간에 대응하는 삼차원 좌표계에 의해 규정되는 것을 특징으로 하는, 화상 처리 장치.
  5. 제4항에 있어서,
    상기 결정 수단은, 상기 가상 시점의 삼차원 위치와 상기 특정 오브젝트의 삼차원 위치와의 거리가 제1 거리인 경우에는, 상기 가상 시점의 삼차원 위치와 상기 특정 오브젝트의 삼차원 위치와의 거리가 상기 제1 거리보다 긴 제2 거리인 경우보다도, 상기 가상 시점의 삼차원 위치와 상기 가상 오브젝트 영역의 삼차원 위치와의 거리가 멀어지도록, 상기 가상 오브젝트 영역의 삼차원 위치를 결정하는 것을 특징으로 하는, 화상 처리 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 특정 오브젝트의 이동 방향을 검출하는 검출 수단과,
    상기 검출 수단에 의해 검출된 상기 특정 오브젝트의 이동 방향에 기초하여, 상기 가상 오브젝트 영역의 위치 및 사이즈 중 적어도 한쪽을 변경하는 변경 수단을 갖는 것을 특징으로 하는, 화상 처리 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 촬영 화상에 포함되는 배경의 형상을 특정하는 형상 특정 수단을 갖고,
    상기 결정 수단은, 상기 제1 특정 수단에 의해 특정된 상기 가상 시점의 삼차원 위치와, 상기 제2 특정 수단에 의해 특정된 상기 특정 오브젝트의 삼차원 위치와, 상기 형상 특정 수단에 의해 특정된 상기 배경의 형상에 기초하여, 상기 가상 오브젝트 영역의 위치를 결정하는 것을 특징으로 하는, 화상 처리 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 결정 수단은, 상기 제1 특정 수단에 의해 특정되는 상기 가상 시점의 삼차원 위치와 상기 제2 특정 수단에 의해 특정되는 상기 특정 오브젝트의 삼차원 위치에 따라서 결정되는 상기 가상 시점 화상에 있어서의 상기 특정 오브젝트의 사이즈에 기초하여, 상기 가상 오브젝트 영역의 위치를 결정하는 것을 특징으로 하는, 화상 처리 장치.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 촬영 화상과 상기 가상 시점에 기초하여, 상기 가상 시점 화상을 생성하는 생성 수단을 갖고,
    상기 결정 수단은, 상기 생성 수단에 의해 생성되는 상기 가상 시점 화상 내에 있어서, 상기 가상 오브젝트를 배치하는 상기 가상 오브젝트 영역의 위치를 결정하는 것을 특징으로 하는, 화상 처리 장치.
  10. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 결정 수단은, 상기 가상 오브젝트 영역에 배치하는 상기 가상 오브젝트의 크기를, 상기 제1 특정 수단에 의해 특정된 상기 가상 시점의 삼차원 위치와 상기 가상 오브젝트 영역의 삼차원 위치의 관계에 기초하여 결정하는 것을 특징으로 하는, 화상 처리 장치.
  11. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 결정 수단은, 상기 가상 오브젝트 영역에 배치하는 상기 가상 오브젝트의 내용을, 상기 제1 특정 수단에 의해 특정된 상기 가상 시점의 삼차원 위치와 상기 가상 오브젝트 영역의 삼차원 위치의 관계에 기초하여 결정하는 것을 특징으로 하는, 화상 처리 장치.
  12. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 결정 수단은, 상기 가상 오브젝트 영역의 상기 가상 시점 화상에 있어서의 사이즈에 기초하여, 상기 가상 오브젝트 영역에 배치하는 상기 가상 오브젝트의 크기 및 내용 중 적어도 한쪽을 결정하는 것을 특징으로 하는, 화상 처리 장치.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 결정 수단은, 상기 가상 시점 화상 내에 광고를 표시시키기 위한 상기 가상 오브젝트 영역의 위치를 결정하는 것을 특징으로 하는, 화상 처리 장치.
  14. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 결정 수단은, 상기 복수의 카메라의 촬영 대상에 관한 부가 정보를 상기 가상 시점 화상 내에 표시시키기 위한 상기 가상 오브젝트 영역의 위치를 결정하는 것을 특징으로 하는, 화상 처리 장치.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 결정 수단에 의해 결정된 상기 가상 오브젝트 영역의 위치에 상기 가상 오브젝트가 표시되는 상기 가상 시점 화상을 출력하는 출력 수단을 더 갖는 것을 특징으로 하는, 화상 처리 장치.
  16. 복수의 카메라에 의해 각각 상이한 방향으로부터 촬영되는 특정 오브젝트의 삼차원 위치를 특정하는 제1 특정 스텝과,
    상기 복수의 카메라에 의해 취득되는 촬영 화상에 기초하는 가상 시점 화상의 생성에 관한 가상 시점의 삼차원 위치를 특정하는 제2 특정 스텝과,
    상기 가상 시점 화상 내에 표시시키는 가상 오브젝트를 배치하는 가상 오브젝트 영역의 위치를, 상기 제1 특정 스텝에 있어서 특정되는 상기 특정 오브젝트의 삼차원 위치와 상기 제2 특정 스텝에 있어서 특정되는 상기 가상 시점의 삼차원 위치에 기초하여 결정하는 결정 스텝을 포함하는 것을 특징으로 하는, 화상 생성 방법.
  17. 제16항에 있어서,
    상기 결정 스텝에 있어서는, 상기 제1 특정 스텝에 있어서 특정되는 상기 가상 시점의 삼차원 위치와 상기 제2 스텝에 있어서 특정되는 상기 특정 오브젝트의 삼차원 위치에 따라서 결정되는 상기 가상 시점 화상에 있어서의 상기 특정 오브젝트의 위치에 기초하여, 상기 가상 오브젝트 영역의 위치가 결정되는 것을 특징으로 하는, 화상 생성 방법.
  18. 제16항 또는 제17항에 있어서,
    상기 결정 스텝에 있어서는, 상기 특정 오브젝트의 화상과 상기 가상 오브젝트의 화상이 상기 가상 시점 화상에 있어서 겹치지 않는 위치가 상기 가상 오브젝트 영역의 위치로서 결정되는 것을 특징으로 하는, 화상 생성 방법.
  19. 컴퓨터를, 제1항 내지 제15항 중 어느 한 항에 기재된 화상 처리 장치의 각 수단으로서 동작시키기 위한, 프로그램.
KR1020197009810A 2016-09-14 2017-08-23 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램 KR102230416B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217007783A KR102382247B1 (ko) 2016-09-14 2017-08-23 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016179529 2016-09-14
JPJP-P-2016-179529 2016-09-14
JP2017124110A JP6472486B2 (ja) 2016-09-14 2017-06-26 画像処理装置、画像処理方法及びプログラム
JPJP-P-2017-124110 2017-06-26
PCT/JP2017/030092 WO2018051747A1 (ja) 2016-09-14 2017-08-23 画像処理装置、画像生成方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217007783A Division KR102382247B1 (ko) 2016-09-14 2017-08-23 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20190045317A true KR20190045317A (ko) 2019-05-02
KR102230416B1 KR102230416B1 (ko) 2021-03-23

Family

ID=61766456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009810A KR102230416B1 (ko) 2016-09-14 2017-08-23 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (2) US11089284B2 (ko)
EP (1) EP3514764B1 (ko)
JP (3) JP6472486B2 (ko)
KR (1) KR102230416B1 (ko)
CN (1) CN109716398B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6472486B2 (ja) * 2016-09-14 2019-02-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7164968B2 (ja) 2018-05-07 2022-11-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP7182915B2 (ja) * 2018-06-25 2022-12-05 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP7271095B2 (ja) * 2018-06-25 2023-05-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP7193938B2 (ja) * 2018-07-04 2022-12-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
CN112823528B (zh) * 2018-10-16 2023-12-15 索尼公司 信息处理装置、信息处理方法和信息处理程序
JP7297439B2 (ja) * 2018-12-19 2023-06-26 キヤノン株式会社 ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム
JP7296735B2 (ja) * 2019-01-23 2023-06-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN113647093A (zh) * 2019-04-12 2021-11-12 索尼集团公司 图像处理装置、3d模型生成方法和程序
JP6833925B2 (ja) * 2019-07-29 2021-02-24 株式会社スクウェア・エニックス 画像処理プログラム、画像処理装置及び画像処理方法
CN112714302B (zh) * 2019-10-25 2023-04-25 苏州苏大维格科技集团股份有限公司 裸眼3d图像的制作方法及装置
JP7467074B2 (ja) * 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022024780A1 (ja) * 2020-07-30 2022-02-03 ソニーグループ株式会社 情報処理装置、情報処理方法、映像配信方法及び情報処理システム
JP2022030985A (ja) * 2020-08-07 2022-02-18 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理システム
US11978177B2 (en) * 2020-09-25 2024-05-07 Intel Corporation Method and system of image processing of omnidirectional images with a viewpoint shift
JP2022090786A (ja) * 2020-12-08 2022-06-20 キヤノン株式会社 情報処理装置、画像生成装置、画像処理システム、情報処理方法、画像生成方法及びプログラム
WO2022181379A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
CN117197319B (zh) * 2023-11-07 2024-03-22 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014041259A (ja) 2012-08-22 2014-03-06 Yahoo Japan Corp 広告配信装置、広告配信方法および広告配信プログラム
JP2016066149A (ja) * 2014-09-24 2016-04-28 株式会社コロプラ 表示システム、表示方法及びプログラム
JP2016126425A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 自由視点画像生成装置、方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060105841A1 (en) 2004-11-18 2006-05-18 Double Fusion Ltd. Dynamic advertising system for interactive games
US8711176B2 (en) 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
WO2011052064A1 (ja) * 2009-10-30 2011-05-05 キヤノン株式会社 情報処理装置および方法
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
JP5567942B2 (ja) * 2010-08-30 2014-08-06 Ｋｄｄｉ株式会社 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム
JP2012128779A (ja) * 2010-12-17 2012-07-05 Panasonic Corp 仮想物体表示装置
GB2489454A (en) * 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
JP5145444B2 (ja) * 2011-06-27 2013-02-20 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
US20140340404A1 (en) 2011-12-16 2014-11-20 Thomson Licensing Method and apparatus for generating 3d free viewpoint video
JP5295416B1 (ja) * 2012-08-01 2013-09-18 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9142052B1 (en) * 2013-03-15 2015-09-22 Priceline.Com, Inc. Generating multiple digital images with changed aspect ratio
JP2015022589A (ja) 2013-07-19 2015-02-02 国立大学法人大阪大学 表示装置、表示方法、表示プログラム、及び、表示プログラムを記憶した情報記憶媒体
US10074182B2 (en) 2013-11-14 2018-09-11 Microsoft Technology Licensing, Llc Presenting markup in a scene using depth fading
US9990028B2 (en) * 2014-10-03 2018-06-05 Verizon Patent And Licensing Inc. System and method for providing live augmented reality content
WO2018032083A1 (en) 2016-08-17 2018-02-22 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
WO2018051747A1 (ja) 2016-09-14 2018-03-22 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム
JP6472486B2 (ja) 2016-09-14 2019-02-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014041259A (ja) 2012-08-22 2014-03-06 Yahoo Japan Corp 広告配信装置、広告配信方法および広告配信プログラム
JP2016066149A (ja) * 2014-09-24 2016-04-28 株式会社コロプラ 表示システム、表示方法及びプログラム
JP2016126425A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 自由視点画像生成装置、方法およびプログラム

Also Published As

Publication number Publication date
KR102230416B1 (ko) 2021-03-23
JP2018049591A (ja) 2018-03-29
EP3514764B1 (en) 2024-10-23
US20210337177A1 (en) 2021-10-28
US11089284B2 (en) 2021-08-10
US20190199997A1 (en) 2019-06-27
JP2020095729A (ja) 2020-06-18
JP6950013B2 (ja) 2021-10-13
JP6659187B2 (ja) 2020-03-04
JP6472486B2 (ja) 2019-02-20
CN109716398B (zh) 2023-11-17
JP2019067427A (ja) 2019-04-25
EP3514764A4 (en) 2020-03-18
EP3514764A1 (en) 2019-07-24
CN109716398A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
KR102230416B1 (ko) 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램
KR102382247B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP6918455B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2017033853A1 (ja) 情報処理装置および情報処理方法
JP7023696B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20200064176A (ko) 가상 시점 화상을 생성하는 시스템, 방법, 및 비일시적 컴퓨터 판독가능 기억 매체
JP2021192273A (ja) 情報処理装置、情報処理方法及びプログラム
JP7476375B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6403862B1 (ja) ３次元モデルの生成装置、生成方法及びプログラム
JP6812181B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2011035638A (ja) 仮想現実空間映像制作システム
JP6011567B2 (ja) 情報処理装置、その制御方法、及びプログラム
KR101752691B1 (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
KR102287939B1 (ko) 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법
JP7296735B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7080614B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP7182915B2 (ja) 画像生成装置、画像生成方法、及びプログラム
KR101807813B1 (ko) 동작 인식 서비스 제공 시스템 및 제공 방법
KR102145017B1 (ko) 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법
US20240163391A1 (en) Information processing apparatus
JP2023184358A (ja) 画像処理システム、画像処理システムの制御方法、及びプログラム
JP2022170264A (ja) 情報処理装置、情報処理方法およびプログラム
JP2008065684A (ja) 立体映像合成装置、形状データ生成方法およびそのプログラム
KR20180089764A (ko) 전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant