KR20230032893A - 화상처리장치, 화상처리방법 및 기억 매체 - Google Patents

화상처리장치, 화상처리방법 및 기억 매체 Download PDF

Info

Publication number
KR20230032893A
KR20230032893A KR1020220097628A KR20220097628A KR20230032893A KR 20230032893 A KR20230032893 A KR 20230032893A KR 1020220097628 A KR1020220097628 A KR 1020220097628A KR 20220097628 A KR20220097628 A KR 20220097628A KR 20230032893 A KR20230032893 A KR 20230032893A
Authority
KR
South Korea
Prior art keywords
image
foreground object
dimensional
data
image processing
Prior art date
Application number
KR1020220097628A
Other languages
English (en)
Inventor
카즈후미 오누마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20230032893A publication Critical patent/KR20230032893A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Abstract

이차원 화상에 포함되는 전경 오브젝트와 삼차원 컴퓨터 그래픽스 공간에 포함되는 배경 오브젝트가 서로 조화된 자연스러운 화상을 얻을 수 있게 한다. 특정한 시점에 대응하되 전경 오브젝트를 포함하는 이차원 화상과, 이차원 화상을 얻을 때의 조건을 규정하는 파라미터와, 이차원 화상에 포함되는 전경 오브젝트의 삼차원 위치 및 형상을 나타내는 위치 형상 데이터를 취득한다. 그리고, 배경 오브젝트를 포함하는 컴퓨터 그래픽스의 공간에 위치 형상 데이터에 근거하는 스크린을 배치하고, 이차원 화상에 포함되는 전경 오브젝트의 화상을 투영함으로써, 상기 전경 오브젝트와 상기 배경 오브젝트를 포함하는 화상이 생성된다.

Description

화상처리장치, 화상처리방법 및 기억 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}
본 개시는, 이차원 화상과 삼차원 컴퓨터 그래픽스를 합성하는 화상처리 기술에 관한 것이다.
소위 게임 엔진이라고 불리는, 삼차원 컴퓨터 그래픽스(3ＤＣＧ)를 실시간으로 렌더링 하는 비디오 게임 작성용 플랫폼이 있다. 최근, 이 게임 엔진의 고화질화 기술의 향상이 진행하고 있고, 실시간으로 사실적인 합성 영상에 의한 표현을 행할 수 있게 되고 있다(일본 특허공개 2018-074294호 공보를 참조). 이에 따라, 영상제작의 분야에 있어서도, 게임 엔진을 사용한 3ＤＣＧ제작이 활용되고 있다. 그 하나의 활용 방법으로서, 그 3ＤＣＧ제작은, 그린백(green back) 스튜디오에서 촬상한 이차원 동화상(2D영상)과 3ＤＣＧ를 실시간으로 합성한 영상을 생성 및 분배하는 스튜디오(일반적으로 "버츄얼 스튜디오"라고 불린다)에서 활용된다.
2D영상과 3ＤＣＧ와의 합성에 있어서는, 3ＤＣＧ공간상의 미리 결정된 위치에 스크린이 설치되고, 카메라로 촬상된 오브젝트의 화상을 해당 스크린에 순차로 투영하고 렌더링 함으로써 영상이 얻어진다. 이 때문에, 촬상중에 카메라(시점)를 크게 움직이거나, 오브젝트가 크게 이동하거나 하는 경우에, 스크린에 대한 위치 어긋남이나 ＣＧ로 작성된 배경과 위치 관계에 있어서 깊이 방향으로 부정합등이 일어나, 부자연스러운 화상이 종종 얻어진다.
화상처리장치는, 특정한 시점에 대응하되 전경 오브젝트를 포함하는 이차원 화상과, 상기 이차원 화상을 얻을 때의 조건을 규정하는 파라미터와, 상기 이차원 화상에 포함되는 상기 전경 오브젝트의 삼차원 위치 및 형상을 나타내는 위치 형상 데이터를, 취득하는 취득부; 및 배경 오브젝트를 포함하는 컴퓨터 그래픽스의 공간에 상기 위치 형상 데이터에 근거하여 스크린을 배치하고, 상기 이차원 화상에 포함되는 상기 전경 오브젝트의 화상을 상기 파라미터에 근거해 상기 스크린에 투영함으로써, 상기 전경 오브젝트와 상기 배경 오브젝트를 포함하는 화상을 생성하는 생성부를, 구비한다.
본 개시의 추가의 특징들은, 첨부도면을 참조하여 이하의 예시적 실시 형태들의 설명으로부터 명백해질 것이다.
도1은 가상 시점 화상을 생성하기 위한 화상처리 시스템의 구성의 일례를 도시한 도면;
도2는 화상처리장치의 하드웨어 구성의 일례를 도시한 도면;
도3은 제1 실시 형태에 따른 상기 화상처리장치의 내부구성의 일례를 도시한 도면;
도4는 합성부에 있어서의 처리의 흐름을 도시한 흐름도;
도5a는 배경 모델이 배치된 3ＤＣＧ공간의 일례를 도시한 도면, 도5b는 배경 모델이 배치된 3ＤＣＧ공간내에 스크린과 유사적인 그림자가 형성된 상태를 도시한 도면;
도6a는 크로마키 처리를 설명하는 도면, 도6b는 3ＤＣＧ공간상에 생성된 스크린에 오려내기 화상이 투영된 상태를 도시한 도면;
도7은 합성 화상의 일례를 도시한 도면;
도8a는 카메라가 크게 이동한 일례를 도시한 도면, 도8b는 3ＤＣＧ공간상에 생성된 스크린에 오려내기 화상이 투영된 상태를 도시한 도면;
도9a는 투영 시점 및 렌더링 시점을 촬상 시점에 맞추지 않은 일례를 도시한 도면, 도9b는 전경 오브젝트의 사이즈를 크게 했을 경우의 일례를 도시한 도면;
도10a는 스크린의 마스크 화상의 일례를 도시한 도면, 도10b는 마스크 화상으로부터 얻어진 오려내기 화상의 일례를 도시한 도면;
도11a는 변형 예에 따른 렌더링 화상의 일례를 도시한 도면, 도11b는 그 변형 예에 따른 합성 화상의 일례를 도시한 도면;
도12는 제2 실시 형태에 따른 가상 시점 화상 생성 시스템의 내부구성의 일례를 도시한 도면;
도13은 합성 화상의 일례를 도시한 도면이다.
이후, 첨부도면을 참조하여, 본 개시는 바람직한 실시 형태에 따라 상세히 설명한다. 아래의 실시 형태에 도시된 구성은 예에 지나지 않고, 본 개시는 개략적으로 도시된 구성에 한정되지 않는다.
[제1 실시 형태]
<시스템 구성>
도1은, 본 실시 형태에 따른, 가상 시점 화상을 생성하기 위한 화상처리 시스템의 구성의 일례를 도시한 도면이다. 화상처리 시스템(100)은, 촬상 장치(카메라)(110), 계측장치(120), 화상처리장치(130) 및 표시장치(140)를 가진다. 화상처리 시스템(100)에서는, 카메라(110)로 촬상한 영상을, 화상처리장치(130)에서 삼차원 컴퓨터 그래픽스에 합성하여 표시장치(140)에 표시한다.
카메라(110)는, 예를 들면 크로마키 촬영가능한 그린백이나 블루백의 스튜디오에서, 전경이 되는 연기자등의 오브젝트(이하, "전경 오브젝트"라고 부른다)를 시간적으로 연속해서 촬상하고, 얻어진 촬상 화상(동화상)을 출력한다. 카메라(110)는, 예를 들면, 시리얼 디지털 인터페이스(ＳＤＩ)로 대표되는 영상신호 인터페이스를 구비한 디지털 방식의 비디오카메라에 의해 실현된다. 카메라(110)는, 출력하는 영상신호에 타임 코드로 대표되는 시각 정보를 부가한 후 이 영상신호를 화상처리장치(130)에 송신한다. 이때, 카메라의 삼차원 위치(x, y, z), 자세(팬(pan), 틸트, 롤), 화각, 렌즈 왜곡, 초점거리, 해상도등을 규정하는, 촬상 파라미터들도 송신한다. 이 촬상 파라미터들은, 공개적으로 공지된 카메라 캘리브레이션을 행해서 미리 산출되고, 메모리 등에 기억된다. 예를 들면, 카메라의 삼차원 위치나 자세는, 카메라(110)에 마커를 설치하고, 그 마커를 촬상 공간상에 배치된 복수의 광학 센서로 검출함으로써, 취득가능하다. 또한, 카메라(110)가 크레인이나 로보트 암등에 부착된 경우에, 크레인이나 로보트 암의 위치 및 자세를 기초로 카메라(110)의 위치 및 자세를 구해도 좋다.
계측장치(120)는, 스튜디오 등의 현실의 촬상 공간에 존재하는 전경 오브젝트의 위치와 그의 대략적 형상을 측정한다. 본 실시 형태의 계측장치(120)는 촬상 기능을 가지고 있고, 복수의 방향으로부터 전경 오브젝트를 촬상해서 얻어진 복수의 화상을 해석함으로써 그의 위치와 대략적 형상을 측정한다. 예를 들면, 2개의 카메라를 사용함으로써, 마커를 사용하지 않고 실시간으로 인물등의 위치 및 자세등을 검출한다. 이로 인해, 촬상 공간에 있어서의 전경 오브젝트의 위치와 대략적 형상을 나타내는 데이터(이하, "위치 형상 데이터"라고 부른다)를 생성해 출력한다. 본 실시 형태에서는, 전경 오브젝트에 외접하는 직방체의 각 정점의 삼차원 위치(x, y, z) 및 해당 직방체의 각 변의 길이를 기술하는 위치 형상 데이터가 생성 및 출력되는 것이라고 가정한다. 단, 계측장치(120)의 구성은 상술한 예에 한정되지 않고, 무선LAN이나 Bluetooth를 사용한 로컬 위치 측위 시스템은 허용될 수도 있다. 또한, 인물 등에 센서를 부착하여서 GPS를 사용하여 삼차원 위치를 검출해도 좋다. 그 경우, 미리 조사해 둔 인물 등의 대강의 크기의 정보를 더해서, 위치 형상 데이터를 생성하면 좋다. 이때의 오브젝트 형상은 간단한 형상이어도 좋고, 해당 오브젝트에 외접하는 다면체는 허용될 수도 있다.
화상처리장치(130)는, 카메라(110)로 얻은 전경 오브젝트의 화상을 3ＤＣＧ공간에 투영하고, 그것을 촬상시와 같은 시점에서 렌더링 함으로써, 전경 오브젝트가 3ＤＣＧ공간에 존재할 것 같은 합성 화상을 생성한다. 화상처리장치(130)의 기능의 상세한 것은 후술한다.
표시장치(140)는, 예를 들면 액정 디스플레이 등이며, 화상처리장치(130)로부터 보내져 오는 화상 데이터(그래피컬 유저 인터페이스를 위한 ＵＩ화면의 데이터나 합성 화상의 데이터)를 취득하여 표시한다.
본 실시 형태에서는, 카메라(110)는 1대를 상정하고 있지만, 예를 들면 복수의 카메라(110)를 사용한 구성이어도 좋다. 예를 들면, 화상처리장치(130)도 카메라(110)와 같은 수만 가지고, 각각의 시스템에서 얻어진 합성 화상을 스위치기와 같은 장치로 바꾸어서 출력해도 좋다. 혹은, 복수의 카메라(110)로부터 각각 입력된 촬상 화상 중 3ＤＣＧ와의 합성에 사용하는 촬상 화상을 화상처리장치(130) 내부에서 바꾸어서 처리해도 좋다.
<하드웨어 구성에 대해서>
도2는, 화상처리장치(130)의 하드웨어 구성의 일례를 도시한 도면이다. 정보처리장치인 화상처리장치(130)는, ＣＰＵ(211), ＲＯＭ(212), ＲＡＭ(213), 보조 기억장치(214), 조작부(215), 통신I/F(216) 및 버스(217)를 가진다.
ＣＰＵ(211)는, ＲＯＭ(212) 또는 ＲＡＭ(213)에 격납되어 있는 컴퓨터 프로그램 및 데이터를 사용해서 화상처리장치(130)의 전체를 제어함으로써, 화상처리장치(130)의 각 기능을 실현한다. 또한, 화상처리장치(130)는, ＣＰＵ(211)와는 다른 전용의 하나 또는 복수의 하드웨어 혹은 ＧＰＵ(Graphics Processing Unit)를 가지고 있어도 좋다. 그리고, ＣＰＵ(211)에 의해 행해진 처리의 적어도 일부를 ＧＰＵ 혹은 전용의 하드웨어가 행하도록 해도 좋다. 전용의 하드웨어의 예들로서는, ＡＳＩＣ(특정용도 지향 집적회로), ＦＰＧＡ(필드 프로그래머블 게이트 어레이), 및 ＤＳＰ(디지털 신호 프로세서)등이 있다.
ＲＯＭ(212)은, 변경을 필요로 하지 않는 프로그램등을 격납한다. ＲＡＭ(213)은, 보조 기억장치(214)로부터 공급되는 프로그램이나 데이터, 및 통신I/F(216)를 통해 외부에서 공급되는 데이터 등을 일시적으로 기억한다. 보조 기억장치(214)는, 예를 들면 하드 디스크 드라이브 등으로 구성되어, 화상 데이터나 음성 데이터등의 여러 가지 종류의 데이터를 기억한다.
조작부(215)는, 예를 들면 키보드나 마우스 등으로 구성되어, 유저에 의한 조작을 받아서 각종의 지시를 ＣＰＵ(211)에 입력한다. ＣＰＵ(211)는, 표시장치(104)를 제어하는 표시 제어부, 및 조작부(215)를 제어하는 조작 제어부로서 동작한다. 통신I/F(216)는, 화상처리장치(130)의 외부의 장치와의 통신에 사용된다. 예를 들면, 화상처리장치(130)가 외부의 장치와 유선으로 접속될 경우에는, 통신용의 케이블이 통신I/F(216)에 접속된다. 화상처리장치(130)가 외부의 장치와 무선통신하는 기능을 가질 경우에는, 통신I/F(216)는 안테나를 구비한다.
버스(217)는, 화상처리장치(130)의 각 부를 접속하여 정보를 전달한다. 본 실시 형태에서는, 촬상 장치(110), 계측장치(120) 및 표시장치(140)를 외부장치로서 설치하고 있지만, 화상처리장치(130)의 기능부 중 1개로서 내재하는 형태로 각각 설치해도 좋다.
<화상처리장치의 내부구성>
도3은, 카메라(110)로 얻은 전경 오브젝트의 촬상 화상을 3ＤＣＧ에 합성하는 화상처리장치(130)의 내부구성의 일례를 도시한 도면이다. 화상처리장치(130)는, 각 기능부, 즉 데이터 취득부(301), 동기부(302), 합성부(303) 및 데이터 출력부(308)를 가진다. 그리고, 합성부(303)는, 배경보유부(304), 전처리부(305), 투영부(306) 및 렌더링부(307)를 가진다. 또한, 화상처리장치(130)는, 복수의 전자기기에 의해 구성되어도 좋다. 이하, 각 기능부에 대해서 설명한다.
데이터 취득부(301)는, 전경 오브젝트의 촬상 화상 데이터를 촬상 파라미터와 함께 카메라(110)로부터 수신하여 취득한다. 또한, 데이터 취득부(301)는, 전경 오브젝트의 위치 형상 데이터를 계측장치(120)로부터 취득한다. 데이터 취득부(301)가 취득한 데이터는, 동기부(302)에 입력된다. 촬상 화상 데이터와 위치 형상 데이터는, 서로 동기한 타이밍에서 취득되는 것이 바람직하지만 필수적이지 않다. 양쪽 데이터의 취득 주기(샘플링 주기)가 다른 경우, 예를 들면 취득된 데이터의 변동량에 근거해서 촬상 화상 데이터에 동기시킨 위치 형상 데이터를 별도로 생성해도 좋다. 촬상 파라미터는, 촬상 화상 데이터와 같은 타이밍에서 송신(또는 수신)되어도 좋거나, 다른 타이밍에서 송신(또는 수신)되어도 좋다. 또한, 촬상 파라미터는, 변경되었을 때에 송신(또는 수신)되어도 좋다. 이 경우에는, 송신(또는 수신)되는 데이터량을 저감할 수 있다. 촬상 파라미터의 송신(또는 수신)의 빈도, 주기, 프레임 레이트는, 촬상 화상 데이터 송신(또는 수신)의 빈도, 주기, 프레임 레이트보다 작아도 좋다.
동기부(302)는, 입력 데이터의 각각의 생성, 전송 및 취득의 타이밍의 차이로 인한 데이터간의 지연 시간을 조정한다. 구체적으로는, 각각의 데이터에 대하여 가변길이의 버퍼를 설치해 두고, 그 버퍼를 통해 동기시킨 각 데이터를 합성부(303)에 출력한다. 데이터간의 동기를 확립할 때는, 각각의 데이터에 부여되어 있는 시각 정보를 사용하고, 가장 입력이 느린 데이터에 따라 다른 데이터의 버퍼단(buffer stage)의 수를 변경함으로써, 출력 시각이 데이터간에 같도록 지연 시간을 조정한다.
합성부(303)는, 촬상 화상 데이터 및 전경 오브젝트의 위치 형상 데이터에 근거하여, 전경 오브젝트의 화상을 3ＤＣＧ공간에 투영하여서, 3ＤＣＧ공간에 전경 오브젝트가 존재하고 있는 것 같은 합성 화상을 생성한다. 합성부(303)의 상세에 대해서는 후술한다.
데이터 출력부(308)는, 합성부(303)에 의해 생성된 합성 화상의 데이터를, 표시장치(140)등의 외부장치에 출력한다.
이상이, 본 실시 형태에 따른 화상처리장치의 기능 구성이다. 본 실시 형태에서는, 촬상 화상 데이터, 촬상 파라미터, 위치 형상 데이터의 3개의 데이터간의 동기를 1개의 동기부(302)에 의해 조정하지만, 이러한 구성에 한정되지 않는다. 예를 들면, 촬상 장치(110) 및 계측장치(120) 각각에 내부 버퍼를 갖게 하고, 같은 타이밍에서 화상처리장치(130)에 데이터를 송신하는 구성이어도 좋다.
<합성부의 상세>
도3에 도시한 바와 같이, 합성부(303)는, 배경보유부(304), 전처리부(305), 투영부(306) 및 렌더링부(307)를 가진다. 도4의 흐름도를 참조하여, 합성부(303)의 기능의 상세에 대해서 설명한다. 도4의 흐름도에 도시된 일련의 처리는, ＣＰＵ(211)가, ＲＯＭ(212) 또는 보조 기억장치(214)등에 격납된 제어 프로그램을 판독하고, 그 프로그램을 ＲＡＭ(213)에 로딩하여, 실행함으로써, 실현된다. 이하의 설명에 있어서, 기호 "S"는 스텝을 의미한다.
동기부(302)로부터 상술의 각 데이터가 합성부(303)에 입력되는 경우에, 우선, S401에서, 렌더링부(307)가, 배경보유부(304)로부터 배경 오브젝트의 ＣＧ데이터를 판독하고, ＣＧ에 의한 배경 오브젝트를 3ＤＣＧ공간에 배치한다. 여기에서, 배경보유부(304)에 보유된 ＣＧ데이터는, 기둥과 비품이라고 한 3ＤＣＧ공간에 배치된 전경 오브젝트이외의 배경이 되는 오브젝트 각각의 삼차원 형상과 텍스쳐(색이나 질감등)를 나타내는 데이터다. ＣＧ데이터는, 3ＤＣＧ공간에 있어서의 삼차원 위치 정보를 가지고 있어도 좋다. 또한, ＣＧ데이터는, 실제의 공간에 삼차원 위치 정보를 가지고 있어도 좋다. 도5a는, ＣＧ의 배경 오브젝트가 배치된 3ＤＣＧ공간의 일례를 도시한 도면이며, 본 예에서는, 실선의 직방체로 나타낸 4개의 배경 오브젝트 501a∼501d가 3ＤＣＧ공간에 배치되어 있다. 3ＤＣＧ공간내의 어느 위치에 배경 오브젝트를 배치할지는, 배경 오브젝트마다 미리 정해져 있는 것이라고 가정한다. 다음의 S402∼S407의 각 처리는, 입력된 촬상 화상 데이터의 프레임 단위로 행해진다.
다음 S402에서는, 전처리부(305)가, 동기부(302)로부터 입력된 위치 형상 데이터에 근거하여, 처리 대상 프레임에 있어서의 전경 오브젝트의 화상을 투영하기 위한 스크린을 3ＤＣＧ공간내에 배치한다. 또한, 전처리부(305)는, 전경 오브젝트의 유사적인 그림자를 3ＤＣＧ공간내에 형성한다. 도5b는, 상술의 도5a에 도시된 3ＤＣＧ공간내에, 파선으로 나타낸 3개의 스크린 502a∼502c가 배치되고, 한층 더, 해칭으로 나타낸 유사적인 그림자 503a∼503c가 형성된 상태를 도시하고 있다. 본 실시 형태에서는, 스크린으로서, 전경 오브젝트에 외접하는 직방체에 대응하는 투명한 바운딩 박스를 3ＤＣＧ공간에 배치하고 있다. 스크린을 직방체로 표현하는 이유는, 삼차원 형상의 전경 오브젝트를 둘러싸는 가장 간단한 입체인 것에 따른다. 스크린을 이차원 평면으로서 배치한 경우에, 정면에서는 문제 없이 투영할 수 있지만, 측면이나 상면으로부터 투영하는 경우에 면이 형성되지 않으므로, 적절한 투영 상이 얻어지지 않는다. 이 때문에, 본 실시 형태에서는, 스크린을 직방체로서 배치한다. 스크린을 "투영시의 시점에 항상 대향하는 면"으로서 정의하는 것이 가능하지만, 예를 들면 전경 오브젝트가 인간과 같은 복잡한 형상을 하고 있을 경우, 보는 방향에 따라 그 면적이 크게 변하므로, 매번 계산을 행하는 것이 필요하다. 한편, 스크린이 직방체인 경우에, 해당 직방체의 각 점의 삼차원 위치를 나타내는 좌표(x, y, z)의 최대치와 최소치를 취함으로써, 그 중에 전경 오브젝트의 투영 상이 반드시 들어가므로, 더 이상 매번 계산을 행하는 것이 불필요하다. 또한, 상기 직방체는, 데이터량도 억제할 수 있고, 따라서 전송 등의 처리 부하를 감소시킬 수 있는 이점을 가진다. 또한, 스크린을 투명화하는 이유는, 합성 화상에 있어서 유저가 스크린을 시인할 수 없도록 하기 위해서다. 이러한 이유로 본 실시 형태에서는, 스크린으로서, 투명한 바운딩 박스를 이용한다. 그리고, 투영된 전경 오브젝트의 상이 접지하고 있는 것 같이 보이기 위해서는, 그림자의 표현이 중요하지만, 본 실시 형태의 위치 형상 데이터에는 전경 오브젝트의 상세한 형상이나 자세의 정보를 포함하지 않기 때문에, 광원에 근거하는 정확한 그림자의 표현이 곤란하다. 따라서, 간소한 형상의 유사적인 그림자를 묘화함으로써, 접지감의 향상을 꾀하고 있다. 구체적으로는, 위치 형상 데이터로 나타낸 대략적 형상과 크기에 대응한 반투명의 블랙 또는 그레이의 타원형을, 스크린으로서의 바운딩 박스의 저면부근에 묘화한다. 이로 인해, 유사적인 그림자가 전경 오브젝트의 이동과 연동하도록 유사적인 그림자가 표시되고, 따라서 3ＤＣＧ공간에 있어서 전경 오브젝트가 접지하고 있는 것 같은 자연스러운 합성 화상이 얻어진다. 이러한 유사적인 그림자는, 예를 들면 광원을 향해서 연장하는 그림자 등의 부자연스러워지는 것을 막도록, 스크린으로서의 바운딩 박스의 저면 부근에 광원에 근거하여 형성하는 것이 바람직하다. 또한, 가상적 광원의 위치에 따라, 바운딩 박스의 밖에 유사적인 그림자가 형성되어도 좋다. 예를 들면, 이것은, 배경 오브젝트 501d측에서 배경 오브젝트 501a측을 향해서 광이 사출하는 경우다. 또한, 배경 오브젝트에 대해서도 유사적인 그림자가 형성되어도 좋다.
다음의 S403에서는, 투영부(306)가, 처리 대상 프레임의 촬상 파라미터에 근거하여, 전경 오브젝트의 화상을 상술의 스크린에 투영할 때의 조건(투영 파라미터)을 설정한다. 구체적으로는, 투영을 행할 때의 시점, 자세 및 화각등을, 처리 대상 프레임이 촬상되었을 때의 조건으로 조정함으로써, 양자가 서로 일치하도록 설정한다.
그리고, S404에서, 투영부(306)는, 처리 대상 프레임의 화상을, S402에서 생성된 스크린에 투영한다. 이때, 스크린에는, 처리 대상 프레임의 화상에 대해 크로마키 처리를 행해서 얻어진, 전경 오브젝트에 대응하는 화상영역만을 오려내서 얻어진 부분 화상(오려내기 화상)이 투영된다. 도6a는 크로마키 처리를 설명하는 도다. 도6a의 예에서는, 인물 601∼603 각각에 대응하는 3개의 오려내기 화상이 처리 대상 프레임(600)으로부터 추출되게 된다. 도6b는, 3ＤＣＧ공간상에 생성된 각 스크린(도5b를 참조)에, 대응한 오려내기 화상이 각각 투영된 상태를 도시하고 있다. 이상과 같이, 스크린은 투과 처리되어 있기 때문에, 오려내기 화상을 투영한 후의 스크린의 여백이 유저에 의해 시인될 가능성이 없다.
다음의 S405에서는, 렌더링부(307)가, 처리 대상 프레임의 촬상 파라미터에 근거하여, 오려내기 화상이 투영된 3ＤＣＧ공간을 대상으로 삼아서 렌더링을 행할 때의 조건(렌더링 파라미터)을 설정한다. 상술의 도6b에 있어서, 시점 마크(610)가, 카메라(110)의 촬상 시점에 따라 설정된 렌더링 시점을 나타내고 있다. 즉, 렌더링 시점은, 그 위치, 자세 및 화각등이, 처리 대상 프레임이 촬상되었을 때의 카메라(110)와 일치하도록 설정되어 있다.
그리고, S406에서, 렌더링부(307)는, 전경 오브젝트의 오려내기 화상이 투명한 스크린에 투영된 상태의 3ＤＣＧ공간을 대상으로 삼은 렌더링 처리를, S405에서 설정된 렌더링 파라미터에 따라 행한다. 렌더링 처리에서는, 설정된 렌더링 시점으로부터 각 오브젝트까지의 거리에 근거하여, 렌더링 시점에 가까운 쪽의 색값(화소값)을 이용하는 처리가 화소단위로 행해진다. 예를 들면, 판명하고 있는 전경 오브젝트 및 배경 오브젝트의 삼차원 위치의 정보로부터, 렌더링 시점으로부터 각 오브젝트까지의 거리를 나타내는 딥스 화상을 우선 생성하고, 이것을 참조해서 합성 화상을 구성하는 화소의 값을 순차로 결정하는 처리가 행해진다. 이로 인해, 도7에 도시된 것 같은, 3ＤＣＧ공간상에서 예를 들면 전경 오브젝트보다 앞에 있는 배경 오브젝트는 전경 오브젝트 앞에 표시되는 등, 오브젝트간의 차폐 관계를 반영한 합성 화상(700)이 얻어지게 된다. 이렇게 해서, 실제의 삼차원 공간(촬상 공간)에 존재하는 전경 오브젝트가 3ＤＣＧ공간에 존재하는 것 같은 자연스러운 합성 화상이 얻어진다.
S407에서는, 영상생성의 정지의 지시가 이루어졌는지의 판정을 행한다. 영상생성의 정지의 지시가 이루어질 때까지, 처리를 S402에 되돌아가서, 입력된 처리 대상 프레임을 차례로 계속해서 처리한다.
이상이, 합성부(303)에 있어서의 처리의 내용이다. 합성부(303)는, 상술한 기능 구성으로 인해, 카메라(110)로 촬상한 전경 오브젝트의 화상을, 전경 오브젝트나 카메라(110)의 움직임에 추종시키면서 3ＤＣＧ에 고정밀도로 합성할 수 있다. 예를 들면, 도8a의 시점 마크(610')에 나타낸 바와 같이 카메라(110)가 연기자의 비스듬히 뒤의 방향으로 크게 이동한다고 가정한다. 이 경우, 도8b에 도시된 바와 같이, 3ＤＣＧ공간상의 스크린에, 이동후의 카메라(110)와 같은 시점에서 각 전경 오브젝트의 오려내기 화상 611', 612', 613'이 투영된다. 이렇게 해서, 카메라(110)나 오브젝트가 크게 이동해도, 오브젝트끼리의 차폐 관계 등을 정확히 나타내는 합성 화상을 얻을 수 있다.
<변형 예>
카메라(110)에 의한 전경 오브젝트의 촬상을, 크로마키 처리를 전제로서 소위 그린백이나 블루백의 환경에서 행하는 경우를 설명했지만, 그러한 환경하에서의 촬상은 필수적이지 않다. 예를 들면, 통상의 스튜디오에서 촬상을 행해서 얻어진 촬상 화상으로부터 오브젝트 인식 기술에 의해 연기자와 그 이외의 배경을 구별하고, 연기자에 대응하는 화상영역만을 오려내는 화상처리를 행하여서 얻어진 투영용 화상을 사용해도 좋다.
또한, 투영용의 스크린으로서, 전경 오브젝트에 외접하는 바운딩 박스를 이용하는 경우를 설명했지만, 스크린의 형상은 직방체의 형상에 한정되지 않는다. 예를 들면, 전경 오브젝트를 복수의 방향으로 촬상해서 얻은 화상을 활용해서 해당 전경 오브젝트의 자세를 추정하고, 추정된 자세를 나타내는 메시 모델을 생성하고, 전경 오브젝트의 자세에 맞는 삼차원 형상의 스크린을 이용해도 좋다. 이로 인해, 연기자에 대해서 그때마다의 자세를 모방한 마네킹과 같은 스크린을 3ＤＣＧ공간에 배치할 수 있다.
또한, 상술의 실시 형태에서는, 투영 시점 및 스크린의 좌표계(x, y, z)와, 배경 모델을 배치한 3ＤＣＧ공간의 좌표계(x', y', z')를 서로 일치시켜 있었지만, 이것은 본 실시 형태에 있어서 필수적인 조건이 아니다. 필요로 하는 것은, 전경 오브젝트와 촬상 시점과의 상대적인 위치 관계, 및, 스크린과 투영 시점과 렌더링 시점과의 상대적인 위치 관계가 서로 일치하는 것이다. 이것들 상대적인 위치 관계가 서로 일치하는 경우에는, 스크린, 투영 시점 및 렌더링 시점을 3ＤＣＧ공간상의 임의의 좌표에 이동시켜도 좋고, 그 자세를 변경해도 좋다. 또한, 스크린의 배율과 상대 거리의 배율을 함께 변경함으로써, 전경 오브젝트와 3ＤＣＧ공간과의 크기의 관계를 변경해도 좋다. 도9a는, 투영 시점 및 렌더링 시점을 촬상 시점으로부터 더 멀리 설정할 뿐만 아니라, 각 스크린을 배경 오브젝트의 앞에 배치했을 경우의 일례다. 도9b는, 각 스크린의 배율과 상대 거리의 배율을 함께 더욱 변경해서 전경 오브젝트의 크기를 크게 했을 경우의 일례다. 도9b의 경우, 좌표계 그 자체의 크기를 변경(예를 들면, 원래의 화상에서는 1cm가 실제의 공간의 1m에 상당할 경우, 화상상의 1cm가 실제의 공간의 50cm에 상당하도록, 좌표계를 변경)하므로, 투영 시점의 절대적인 거리는 증가한다. 이렇게, 전경 오브젝트가 이동한 것 같은 표현이나, 작아지거나 커지거나 하는 표현도 가능하다.
또한, 스크린에 전경 오브젝트의 오려내기 화상을 투영하고, 그것을 렌더링 하였지만, 반드시 이러한 처리순서에 한정되는 것은 아니다. 예를 들면, 렌더링 시점에서 보았을 경우의 차폐 관계등도 고려한, 예를 들면 도10a에 도시된 것 같은, 스크린의 마스크 화상을 취득하고; 그리고, 도6a의 촬상 화상에 대하여 도10a의 마스크 화상을 적용하고, 전경 오브젝트의 부분을 오려낸 도10b에 도시된 것 같은 오려내기 화상 1001 및 1002를 생성하고; 그리고, 도5a에 도시된 배경 오브젝트의 ＣＧ만이 배치된 3ＤＣＧ공간을 대상으로서 렌더링을 행해서 도11a에 도시된 렌더링 화상(1100)을 생성하고, 이 렌더링 화상(1100)에 도10b에 도시된 오려내기 화상 1001 및 1002를 중첩시키는 것으로, 도11b에 도시된 합성 화상(1101)을 얻어도 좋다. 단, 이 수법의 경우, 렌더링시에 전경 오브젝트의 삼차원 거리정보를 사용하지 않으므로, 피사계 심도를 정확하게 나타내는 것이나, 원경시의 안개등을 표현하는 것이 곤란하다. 따라서, 상기 실시 형태에서 설명한 수법쪽이, 보다 품질이 높은 합성 화상이 얻어진다.
이상과 같이, 본 실시 형태에 의하면, 카메라로 촬상한 전경 오브젝트의 2D영상과 ＣＧ로 작성된 배경이 서로 조화된, 자연스러운 합성 화상을 쉽게 얻을 수 있다.
[제2 실시 형태]
그 다음에, 3ＤＣＧ에 합성하는 이차원 화상으로서 가상 시점 화상을 사용하는 형태를, 제2 실시 형태로서 설명한다. 도12는, 화상처리장치(130)에 입력되는 가상 시점 화상을 생성하는 시스템의 구성의 일례를 도시한 도면이다.
도12에 도시된 것처럼, 본 실시 형태에서는, 가상 시점 화상 생성 시스템(1200)으로부터 출력되는 가상 시점 파라미터, 가상 시점 화상 및 전경 모델이 화상처리장치(130)에 입력된다. 즉, 본 실시 형태의 가상 시점 파라미터 및 가상 시점 화상이, 제1 실시 형태에 있어서 카메라(110)로부터 출력되는 촬상 파라미터 및 촬상 화상에 상당하고, 본 실시 형태의 전경 모델이 제1 실시 형태에 있어서 계측장치(120)로부터 출력되는 위치 형상 데이터에 상당한다. 이하, 제1 실시 형태와의 차분을 중심으로, 본 실시 형태에 대해서 설명한다.
가상 시점 화상 생성 시스템(1200)은, 복수의 촬상 장치(1201), 화상처리 서버(1202) 및 콘트롤러(1206)를 구비한다. 그리고, 화상처리 서버(1202)는, 삼차원 형상 추정부(1203), 소재 데이터 축적부(1204) 및 가상 시점 화상 생성부(1205)의 각 기능부를 가진다.
복수의 촬상 장치(1201)는, 전경 오브젝트를 둘러싸도록 배치되어, 복수의 방향에서 전경 오브젝트를 촬상한다. 또한, 상기 복수의 촬상 장치(1201)의 촬상 타이밍은, 개략적으로 도시되지 않은 타임 서버로부터의 동기 신호에 근거하여 동기되어 있다. 복수의 촬상 장치(1201)에 의해 복수의 다른 시점에서 촬상된 화상(이하, "복수시점 화상"이라고 부른다)의 데이터는, 각 촬상 장치의 위치/자세 및 광학특성등을 나타내는 촬상 파라미터와 함께 화상처리 서버(1202)에 보내져, 삼차원 형상 추정부(1203)에 입력된다.
삼차원 형상 추정부(1203)는, 입력된 복수시점 화상을 구성하는 촬상 화상 각각으로부터 전경 오브젝트의 실루엣을 추출한 후에, 시체적 교차법등을 사용해서 전경 오브젝트의 삼차원 형상을 나타내는 데이터(이하, "전경 모델"이라고 부른다)를 생성한다. 이 전경 모델에는, 촬상시에 있어서의 삼차원 위치를 나타내는 정보가 부여된다. 생성된 전경 모델은, 생성된 전경 모델의 소스인 복수시점 화상(촬상 파라미터를 포함한다)과 함께 소재 데이터 축적부(1204)에 보내진다.
소재 데이터 축적부(1204)는, 가상 시점 화상의 소재로서, 삼차원 형상 추정부(1203)로부터 입력된 전경 모델, 복수시점 화상 및 촬상 파라미터의 각 데이터를 보존/축적한다.
콘트롤러(1206)는, 촬상 공간에 있어서 임의의 위치에 가상적인 촬상 시점을 설정하기 위한 조이스틱이나, 초점거리나 화각등의 수치를 지정하기 위한 키보드등을 가지고, 그것들 구성요소를 통한 유저 입력에 근거하여, 가상 시점 파라미터를 생성한다. 여기에서, 가상 시점 파라미터에는, 가상 시점의 위치, 자세등을 나타내는 카메라의 외부 파라미터에 상당하는 정보, 초점거리나 화각 등의 카메라의 내부 파라미터에 상당하는 정보, 가상 시점 화상의 생성 대상이 되는 프레임을 특정하는 시각 정보 등을 포함한다. 생성된 가상 시점 파라미터는, 화상처리 서버(1202)에 보내져, 가상 시점 화상 생성부(1205)에 입력된다.
가상 시점 화상 생성부(1205)는, 입력된 가상 시점 파라미터에 포함되는 시각 정보에 근거하여, 소재 데이터 축적부(1204)로부터 해당하는 시각에 있어서의 전경 모델 및 촬상 화상의 데이터를 먼저 취득한다. 그리고, 취득한 전경 모델에 대하여, 가상 시점 화상 생성부(1205)는, 지정된 가상 시점에 따른 착색을 촬상 화상에 근거하여 행하고, 해당 가상 시점으로부터의 모습을 나타내는 가상 시점 화상을 생성한다. 생성된 가상 시점 화상의 데이터는, 생성에 사용한 가상 시점 파라미터 및 전경 모델과 함께 화상처리장치(130)에 출력된다.
<화상처리장치의 동작>
본 실시 형태의 화상처리장치(130)는, 제1 실시 형태의 카메라(110)에 의한 촬상 화상의 오려내기 화상을 대신하여, 화상처리 서버(1202)에 의해 생성된 가상 시점 화상의 오려내기 화상을 3ＤＣＧ에 합성한다. 이 때문에, 데이터 취득부(301)는, 가상 시점 파라미터에 포함되는 가상 시점의 위치/자세, 초점거리, 화각 등의 정보를, 제1 실시 형태의 촬상 파라미터로서 취급한다. 다시 말해, 데이터 취득부(301)는, 가상 시점을 카메라(110)로서, 가상 시점의 위치/자세나 화각등의 광학정보를 전술의 촬상 파라미터에 있어서의 카메라(110)의 위치/자세나 화각등의 광학정보로서 간주하고, 그 정보를 동기부(302)에 출력한다. 또한, 본 실시 형태의 데이터 취득부(301)는, 가상 시점 파라미터에 포함되거나 또는 가상 시점 화상에 매립된 시각 정보에 근거해서 각 프레임에 대응한 전경 모델을, 제1 실시 형태의 위치 형상 데이터로서 간주하고, 상기 전경 모델을 동기부(302)에 출력한다. 이때, 후단의 합성부(303)에서 처리가 행하기 쉽도록, 전경 모델의 형상을 간략화해서 데이터량을 삭감하는 처리를 행한 후에 상기 전경 모델을 출력해도 좋다. 형상 간략화 처리로서는, 예를 들면, 전경 모델이 나타내는 삼차원 형상에 외접하는 직방체(바운딩 박스)의 정보로 전경 모델을 변환하는 처리나, 삼차원 형상을 표현하는 점군이나 메시를 선별하는 처리가 생각된다. 포맷 변환등 데이터간의 정합성을 취하기 위한 처리가 필요에 따라서 행해지는 것은 말할 필요도 없다.
본 실시 형태의 동기부(302)는, 제1 실시 형태와 같이, 데이터 취득부(301)로부터 입력된 가상 시점 화상, 가상 시점 파라미터 및 전경 모델의 3개의 데이터간의 동기를 확립하여, 합성부(303)에 출력한다.
본 실시 형태의 합성부(303)는, 동기부(302)로부터 입력된 가상 시점 화상과 3ＤＣＧ를 합성한 합성 화상을 생성한다. 구체적으로는, 전처리부(305)는, 배경 오브젝트의 ＣＧ가 배치된 3ＤＣＧ공간에 투영용 스크린과 유사적인 그림자를 전경 모델에 근거해 생성한다(S401, S402). 다음에, 투영부(306)가, 가상 시점 파라미터에 따라 투영 파라미터를 설정해(S403), 가상 시점 화상으로부터 전경 오브젝트의 오려내기 화상을 생성하여, 스크린에 투영한다(S404). 그리고, 렌더링부(307)는, 가상 시점 파라미터에 따라 렌더링 파라미터를 설정해(S405), 가상 시점 화상의 오려내기 화상이 투영된 상태의 3ＤＣＧ공간을 대상으로서 삼은 렌더링 처리를, 소정의 프레임분 행한다(S406).
<변형 예>
본 실시 형태에서는, 가상 시점 화상, 가상 시점 파라미터 및 전경 모델의 3개의 데이터간의 동기를, 제1 실시 형태와 같이 화상처리장치(130)내에서 확립하고 있지만, 그 구성은 이것에 한정되지 않는다. 예를 들면, 그 데이터간의 동기를 가상 시점 화상 생성 시스템내에서 확립한 후에, 그 데이터를 예를 들면 압축 등을 행해서 1개의 파일로 통합하고 그 파일을 화상처리장치(130)에 송신하는 구성이어도 좋다. 이러한 구성의 경우, 화상처리장치(130)내의 동기부(302)는 더 이상 필요하지 않다. 그리고, 데이터 취득부(301)에서, 수신한 데이터 파일을 전개하고, 가상 시점 화상, 가상 시점 파라미터 및 전경 모델의 각 데이터를 취득하여 합성부(303)에 입력하면 좋다. 이러한 구성으로 인해, 화상처리장치측에서 더 이상 동기를 확립할 필요가 없고, 동시에, 데이터 전송의 번잡성을 해소하는 것이 가능하다.
또한, 본 실시 형태에서는, 데이터 취득부(301)가, 가상 시점 파라미터에 포함되거나 또는 가상 시점 화상에 매립된 시각 정보에 근거하여, 대응한 전경 모델을 취득했지만, 그 구성은 반드시 이것에 한정되는 것이 아니다. 예를 들면, 그 구성은, 화상처리 서버(1202)에 있어서, 가상 시점 화상 생성부(1205)가 소재 데이터 축적부(1204)로부터 취득한 전경 모델을, 상기 대응하는 가상 시점 화상의 프레임과 대응시킨 후에, 화상처리장치(130)에 송신하는 구성이어도 좋다. 이 경우, 화상처리장치(130)의 데이터 취득부(301)가, 그 시각 정보를 사용하지 않고 각 프레임에 대응하는 전경 모델을 취득할 수 있다.
또한, 본 실시 형태에서는, 데이터 취득부(301)가, 화상처리 서버(1202)로부터 입력된 전경 모델로부터 대략적 형상을 도출하는 간략화 처리를 행하지만, 이것에 한정되지 않는다. 예를 들면, 화상처리 서버(1202)측에서 간략화 처리까지를 행하고, 간략화된(즉, 데이터량이 삭감된) 전경 모델을 화상처리장치(130)에 입력하도록 해도 좋다. 예를 들면, 삼차원 형상 추정부(1203)에서 통상의 형상 추정을 행해서 전경 모델을 생성한 후, 한층 더, 해당 전경 모델로부터 대략적 형상을 도출하는 처리를 행해서, 간략화된 전경 모델을 생성한다. 그리고, 통상의 전경 모델에 더하여, 간략화된 전경 모델도 소재 데이터 축적부(1204)에 보존 및 축적하고, 화상처리장치(130)에는 간략화된 전경 모델을 송신한다. 이렇게 함으로써, 화상처리장치(130)측에 전경 모델에 대한 형상의 간략화 처리를 생략할 수 있고, 데이터 전송의 부하도 저감할 수 있다.
또한, 본 실시 형태에서는, 형상추정의 결과인 전경 모델로부터 점군 데이터를 선별하거나, 전경 모델을 바운딩 박스로 대체하는 등 해서 간략화된 형상을 얻는다고 설명했지만, 형상의 간략화는 이것들에 한정되지 않는다. 예를 들면, 그 구성은, 형상추정 결과로부터, 메시 모델이나 심도화상, 자세 정보등을 생성하고, 이것들을 활용해서 간략화된 형상을 얻는 구성이어도 좋다. 또한, 형상추정 결과를 소정의 높이의 간격으로 분할하고, 해당 분할된 부분 각각의 바운딩 박스를 생성하고, 그것들의 집합을 간략화된 형상으로 하여도 좋다.
또한, 유사적인 그림자를 상술의 자세정보를 사용해서 생성해도 좋다. 예를 들면, 연기자의 자세정보로부터 얻은 전술의 인형 스크린의 저면에, 연기자의 간략화된 형상에 따라 그림자를 투영해도 좋다. 이로 인해, 연기자등의 움직임에 따라 유사적인 그림자를 표현할 수 있다. 또한, 추정 결과인 전경 모델이 나타내는 삼차원 형상 중 마루의 면에 가까운 부분(예를 들면, 마루의 면보다 위의 30cm의 영역)의 위치 형상 데이터를 별도로 취득하고, 이것을 사용해서 유사적인 그림자를 묘화해도 좋다. 이 수법으로, 실제의 전경 오브젝트의 실루엣을 파악할 수 없는 바운딩 박스와 같은 간략화된 형상 데이터로부터이여도, 예를 들면 도13에 도시된 합성 화상(1300)과 같이, 연기자의 발부근에만 유사적인 그림자(1301)를 생성할 수 있다. 또한, 이 수법의 경우, 전경 오브젝트의 자세를 검출할 필요가 없기 때문에, 처리량이 적은 이점도 있다.
본 실시 형태에 의하면, 실제의 카메라 위치에 의해 제한되지 않는 가상적인 카메라 시점으로부터의 모습을 나타내는 2D영상과 ＣＧ로 작성된 배경이 서로 조화된 자연스러운 합성 화상을 쉽게 얻을 수 있다. 또한, 가상 시점 화상을 생성할 때의 소재 데이터를 합성에도 활용하므로, 효율이 높다. 게다가, 데이터간의 동기를 확립하고 전경 오브젝트의 삼차원 위치를 취득하는 정밀도를 보다 쉽게 향상할 수 있으므로, 고품질 합성이 가능하게 된다.
[그 밖의 실시 형태]
또한, 본 개시의 실시 형태(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시 형태(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시 형태(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 특정 용도 지향 집적회로(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령을 판독하고 실행하여 상기 실시 형태(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시 형태(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령을 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령을, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 개시의 기술에 의하면, 이차원 화상에 포함되는 전경 오브젝트와 삼차원 컴퓨터 그래픽스 공간에 포함되는 배경 오브젝트가 서로 조화된 자연스러운 합성 화상을 얻을 수 있다.
본 개시는 예시적 실시 형태들을 참조하여 기재하였지만, 그 개시는 상기 개시된 예시적 실시 형태들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (18)

  1. 특정한 시점에 대응하되 전경 오브젝트를 포함하는 이차원 화상과, 상기 이차원 화상을 얻을 때의 조건을 규정하는 파라미터와, 상기 이차원 화상에 포함되는 상기 전경 오브젝트의 삼차원 위치 및 형상을 나타내는 위치 형상 데이터를, 취득하는 취득부; 및
    배경 오브젝트를 포함하는 컴퓨터 그래픽스의 공간에 상기 위치 형상 데이터에 근거하여 스크린을 배치하고, 상기 이차원 화상에 포함되는 상기 전경 오브젝트의 화상을 상기 파라미터에 근거해 상기 스크린에 투영함으로써, 상기 전경 오브젝트와 상기 배경 오브젝트를 포함하는 화상을 생성하는 생성부를 포함하는, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 스크린은 삼차원 형상인, 화상처리장치.
  3. 제 2 항에 있어서,
    상기 스크린은 투명한 바운딩 박스인, 화상처리장치.
  4. 제 1 항에 있어서,
    상기 위치 형상 데이터는, 상기 전경 오브젝트에 외접하는 직방체의 각 정점의 삼차원 위치 및 해당 직방체의 각 변의 길이를 기술하는 데이터인, 화상처리장치.
  5. 제 1 항에 있어서,
    상기 생성부는, 상기 컴퓨터 그래픽스의 삼차원 공간에, 상기 전경 오브젝트의 유사적인 그림자를 상기 위치 형상 데이터에 근거하여 형성함으로써, 상기 전경 오브젝트와 상기 배경 오브젝트를 포함하는 화상을 생성하는, 화상처리장치.
  6. 제 5 항에 있어서,
    상기 유사적인 그림자는 반투명의 블랙 또는 그레이의 타원형인, 화상처리장치.
  7. 제 1 항에 있어서,
    상기 생성부는, 상기 파라미터에 근거해 설정된 시점으로부터 각 전경 오브젝트까지의 거리에 근거하여 각 화소의 색을 결정하는 렌더링에 의해, 상기 전경 오브젝트와 상기 배경 오브젝트를 포함하는 화상을 생성하는, 화상처리장치.
  8. 제 7 항에 있어서,
    상기 생성부는,
    상기 투영을 행할 때의 조건을, 상기 파라미터에 의해 규정되는 상기 이차원 화상을 얻을 때의 조건에 따라 설정하고,
    상기 렌더링을 행할 때의 조건을, 상기 파라미터에 의해 규정되는 상기 이차원 화상을 얻을 때의 조건에 따라 설정하는, 화상처리장치.
  9. 제 1 항에 있어서,
    상기 특정의 시점에 대응한 상기 이차원 화상은 동화상을 구성하는 프레임이고,
    상기 화상처리장치는, 상기 위치 형상 데이터의 취득 주기와 상기 동화상을 구성하는 프레임의 취득 주기가 다른 경우, 상기 동화상의 각 프레임에 동기시킨 위치 형상 데이터를 생성하는 동기부를 더 포함하는, 화상처리장치.
  10. 제 9 항에 있어서,
    상기 동기부는, 상기 동화상 및 상기 위치 형상 데이터 각각을 위한 버퍼를 가지고, 각 버퍼에 있어서의 버퍼단의 수를 변경함으로써, 데이터간의 동기를 확립하는, 화상처리장치.
  11. 제 10 항에 있어서,
    상기 동기부는, 가장 입력이 느린 데이터에 따라 다른 데이터의 버퍼단의 수를 변경함으로써 출력 시각이 데이터간에 같도록, 지연 시간을 조정하는, 화상처리장치.
  12. 제 1 항에 있어서,
    상기 특정의 시점에 대응한 상기 이차원 화상은 동화상을 구성하는 프레임이고,
    상기 취득부는, 상기 위치 형상 데이터를, 상기 동화상을 구성하는 프레임과 동기한 타이밍에서 취득하는, 화상처리장치.
  13. 제 1 항에 있어서,
    상기 특정의 시점에 대응한 상기 이차원 화상은, 촬상 장치에 의해 얻어진 촬상 화상이고,
    상기 파라미터는, 상기 촬상 장치에 의해 상기 오브젝트를 촬상했을 때의 조건을 나타내는 촬상 파라미터인, 화상처리장치.
  14. 제 13 항에 있어서,
    상기 전경 오브젝트의 화상은, 상기 촬상 화상에 대하여 크로마키 처리를 행해서 얻어진 화상인, 화상처리장치.
  15. 제 1 항에 있어서,
    상기 특정의 시점에 대응한 상기 이차원 화상은, 촬상 장치에 의해 상기 오브젝트를 복수의 시점에서 촬상해서 얻어진 복수의 촬상 화상에 근거해 생성된, 상기 복수의 시점과는 다른 가상 시점으로부터의 모습을 나타내는 가상 시점 화상이고,
    상기 파라미터는, 상기 가상 시점 화상을 생성했을 때의 조건을 나타내는 가상 시점 파라미터인, 화상처리장치.
  16. 제 15 항에 있어서,
    상기 취득부는, 상기 복수의 촬상 화상을 사용해서 생성된 상기 오브젝트의 삼차원 형상을 나타내는 데이터에 근거해서 상기 오브젝트의 위치 형상 데이터를 취득하는, 화상처리장치.
  17. 특정한 시점에 대응하되 전경 오브젝트를 포함하는 이차원 화상과, 상기 이차원 화상을 얻을 때의 조건을 규정하는 파라미터와, 상기 이차원 화상에 포함되는 상기 전경 오브젝트의 삼차원 위치 및 형상을 나타내는 위치 형상 데이터를, 취득하는 스텝; 및
    배경 오브젝트를 포함하는 컴퓨터 그래픽스의 공간에 상기 위치 형상 데이터에 근거하여 스크린을 배치하고, 상기 이차원 화상에 포함되는 상기 전경 오브젝트의 화상을 상기 파라미터에 근거해 상기 스크린에 투영함으로써, 상기 전경 오브젝트와 상기 배경 오브젝트를 포함하는 화상을 생성하는 스텝을 포함하는, 화상처리방법.
  18. 컴퓨터에 청구항 17에 따른 화상처리방법을 행하게 하는 프로그램을 기억하는 컴퓨터 판독 가능한 기억 매체.
KR1020220097628A 2021-08-30 2022-08-05 화상처리장치, 화상처리방법 및 기억 매체 KR20230032893A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2021-139991 2021-08-30
JP2021139991A JP2023033975A (ja) 2021-08-30 2021-08-30 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
KR20230032893A true KR20230032893A (ko) 2023-03-07

Family

ID=82932341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220097628A KR20230032893A (ko) 2021-08-30 2022-08-05 화상처리장치, 화상처리방법 및 기억 매체

Country Status (6)

Country Link
US (1) US20230062973A1 (ko)
EP (1) EP4140552A1 (ko)
JP (1) JP2023033975A (ko)
KR (1) KR20230032893A (ko)
CN (1) CN115733936A (ko)
BR (1) BR102022015085A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021149526A1 (ko) * 2020-01-23 2021-07-29
US11842444B2 (en) * 2021-06-02 2023-12-12 Streem, Llc Visualization of camera location in a real-time synchronized 3D mesh

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6853013B2 (ja) 2016-10-26 2021-03-31 グリー株式会社 情報処理システム、情報処理方法、および情報処理プログラム
JP7051457B2 (ja) * 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
CN115733936A (zh) 2023-03-03
BR102022015085A2 (pt) 2023-03-07
EP4140552A1 (en) 2023-03-01
US20230062973A1 (en) 2023-03-02
JP2023033975A (ja) 2023-03-13

Similar Documents

Publication Publication Date Title
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
US11410269B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
CN108537881B (zh) 一种人脸模型处理方法及其设备、存储介质
JP7003994B2 (ja) 画像処理装置および方法
KR20230032893A (ko) 화상처리장치, 화상처리방법 및 기억 매체
JP7197451B2 (ja) 画像処理装置、方法及びプログラム
CN108648225B (zh) 目标图像获取系统与方法
CN108683902B (zh) 目标图像获取系统与方法
KR20190062102A (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
US20230281912A1 (en) Method and system for generating a target image from plural multi-plane images
JP6403862B1 (ja) ３次元モデルの生成装置、生成方法及びプログラム
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
CN109407824B (zh) 人体模型的同步运动方法与装置
JPWO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
US11682234B2 (en) Texture map generation using multi-viewpoint color images
EP3723365A1 (en) Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium
CA3155612A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
WO2019193696A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
JP2002083286A (ja) アバタ生成方法、装置及びそのプログラムを記録した記録媒体
JP7446320B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
JP2022184354A (ja) 画像処理装置、画像処理方法及びプログラム
JP5865092B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019193698A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium