KR102387891B1

KR102387891B1 - 화상 처리장치, 화상 처리장치의 제어방법, 및 컴퓨터 판독가능한 기억매체

Info

Publication number: KR102387891B1
Application number: KR1020190046449A
Authority: KR
Inventors: 야스후미 타카마
Original assignee: 캐논 가부시끼가이샤
Priority date: 2018-05-07
Filing date: 2019-04-22
Publication date: 2022-04-18
Also published as: EP3567550A1; CN110460835A; US20190340777A1; RU2019112674A; RU2735382C2; US11189041B2; BR102019007720A2; EP3567550B1; JP2019197279A; CN110460835B; JP7164968B2; RU2019112674A3; KR20190128110A

Abstract

화상 처리장치는, 복수의 촬상장치에 의한 촬영에 근거한 화상을 취득하도록 구성된 화상 취득부와, 복수의 촬상장치가 향하는 소정의 위치를 나타내는 정보를 취득하도록 구성된 위치 취득부와, 상기 위치 취득부에 의해 취득되는 정보에 근거하여, 오브젝트의 3차원 형상을 추정하는 영역을 설정하도록 구성된 영역 설정부와, 상기 영역 설정부에 의해 설정되는 상기 영역에 있어서, 상기 화상 취득부에 의해 취득된 화상에 근거하여 상기 오브젝트의 3차원 형상을 추정하도록 구성된 추정부를 구비한다.

Description

화상 처리장치, 화상 처리장치의 제어방법, 및 컴퓨터 판독가능한 기억매체{IMAGE PROCESSING APPARATUS, CONTROL METHOD OF IMAGE PROCESSING APPARATUS, AND COMPUTER-READABLE STORAGE MEDIUM}

본 개시내용은, 화상 처리장치, 화상 처리장치의 제어방법 및 기억매체에 관한 것으로, 특히, 피사체를 복수의 방향에서 촬영하여 얻어진 화상과 가상 시점 정보에 근거하여, 가상 시점 화상을 생성하는 기술에 관한 것이다.

축구나 농구의 하이라이트 씬을 다양한 각도에서 시청할 수 있는 가상 시점 화상의 생성 기술이 주목받고 있다. 일본국 특개 2010-134546호 공보에는, 복수의 카메라를 다른 위치에 설치해서 다시점에서 피사체(오브젝트)를 촬영하고, 해당 촬영에 의해 얻어진 다시점 화상을 사용해서 피사체의 3차원 형상을 추정하는 방법과, 가상 시점 화상을 생성하는 방법이 제안되어 있다.

복수의 카메라에 의한 촬영 화상에 근거하여 가상 시점 화상을 생성할 경우에, 카메라와 오브젝트의 배치에 따라서는, 형상의 정밀도가 낮은 오브젝트를 포함하는 가상 시점 화상이 생성될 경우가 있다. 예를 들면, 축구의 시합을 촬영할 경우에, 복수의 카메라가 향하는 위치를 한쪽의 골 부근으로 설정한 경우, 다른 쪽의 골 부근의 오브젝트를 화각 내에 포함하는 카메라 수가 적어진다. 이 경우에, 일본국 특개 2010-134546호 공보에 기재된 기술을 사용하면, 다른 쪽의 골 부근의 오브젝트의 형상 추정 정밀도가 저하한다. 가상 시점 화상이 형상의 정밀도가 낮은 오브젝트를 포함하면, 가상 시점 화상을 보는 시청자에게 위화감을 주어 버릴 우려가 있다.

본 개시내용은, 상기한 과제를 감안하여 이루어진 것으로서, 형상의 정밀도가 낮은 오브젝트를 포함하는 가상 시점 화상이 생성될 우려를 저감하는 기술을 제공한다.

본 개시내용의 일면에 따르면, 복수의 촬상장치에 의한 촬영에 근거한 화상을 취득하도록 구성된 화상 취득부와, 복수의 촬상장치가 향하는 소정의 위치를 나타내는 정보를 취득하도록 구성된 위치 취득부와, 상기 위치 취득부에 의해 취득되는 정보에 근거하여, 오브젝트의 3차원 형상을 추정하는 영역을 설정하도록 구성된 영역 설정부와, 상기 영역 설정부에 의해 설정되는 상기 영역에 있어서, 상기 화상 취득부에 의해 취득된 화상에 근거하여 상기 오브젝트의 3차원 형상을 추정하도록 구성된 추정부를 구비한 화상 처리장치가 제공된다.

본 개시내용의 일면에 따르면, 복수의 촬상장치에 의한 촬영에 근거한 화상을 취득하는 단계와, 복수의 촬상장치가 향하는 소정의 위치를 나타내는 정보를 취득하는 단계와, 취득되는 정보에 근거하여, 오브젝트의 3차원 형상을 추정하는 영역을 설정하는 단계와, 설정되는 상기 영역에 있어서, 취득된 화상에 근거하여 상기 오브젝트의 3차원 형상을 추정하는 단계를 포함하는 화상 처리장치의 제어방법이 제공된다.

본 개시내용의 일면에 따르면, 복수의 촬상장치에 의한 촬영에 근거한 화상을 취득하는 단계와, 복수의 촬상장치가 향하는 소정의 위치를 나타내는 정보를 취득하는 단계와, 취득되는 정보에 근거하여, 오브젝트의 3차원 형상을 추정하는 영역을 설정하는 단계와, 설정되는 상기 영역에 있어서, 취득된 화상에 근거하여 상기 오브젝트의 3차원 형상을 추정하는 단계를 포함하는 화상 처리장치의 제어방법의 각 단계를 컴퓨터에 실행시키기 위한 컴퓨터 프로그램을 기억하는 컴퓨터 판독가능한 기억매체가 제공된다.

본 개시내용의 또 다른 특징은 (첨부도면을 참조하여 주어지는) 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.

도1은 일 실시형태에 따른 화상처리 시스템 구성의 일례를 도시한 블록도이다.
도2는 일 실시형태에 따른 화상 처리장치가 실시하는 처리의 절차를 나타내는 흐름도다.
도3은 일 실시형태에 따른 복수의 카메라를 배치하는 예를 나타낸 모식도다.
도4는 일 실시형태에 따른 형상 추정 영역의 일례를 나타낸 모식도다.
도5는 일 실시형태에 따른 스텝 S220의 처리의 상세한 절차를 나타내는 흐름도다.
도6은 일 실시형태에 따른 형상 추정 영역의 설정 방법에 관한 모식도다.
도7은 일 실시형태에 따른 화상 처리장치의 하드웨어 구성의 일례를 도시한 도면이다.

이하, 첨부도면을 참조하여 본 개시내용의 실시형태를 더욱 상세히 설명한다. 이때, 본 실시형태에서 설명하는 구성요소들의 상대적인 배치, 수식 및 수치는 달리 구체적으로 언급하지 않는 한 본 개시내용의 보호범위를 제한하는 것이 아니라는 점에 주목하기 바란다.

본실시형태에서는, 소정의 위치(주시점)를 향한 복수의 촬영장치(카메라)의 촬영에 의해 취득된 화상으로부터 가상 시점 화상을 생성할 때에, 형상 추정의 대상이 되는 영역을 설정하고, 그 영역 내의 피사체(오브젝트)의 3차원 형상을 추정하고, 이 영역의 피사체를 포함하는 가상 시점 화상을 생성하는 예를 설명한다. 구체적으로는, 오브젝트를 포함하는 촬영 대상 영역을 복수의 카메라에서 촬영함으로써 얻어지는 화상을 취득한다. 복수의 카메라가 향하는 주시점의 위치를 나타내는 정보를 취득한다. 3차원 공간에 있어서의 오브젝트를 표시시키는 오브젝트 표시 영역을 주시점의 위치를 나타내는 취득된 정보에 근거하여 설정한다. 설정되는 오브젝트 표시 영역에 포함되는 오브젝트가 표시되는 가상 시점 화상을, 취득되는 화상에 근거하여 생성한다.

[시스템 구성]

도1은, 본 실시형태에 따른 화상처리 시스템의 구성 예를 나타내는 블록도이다. 본 실시형태에 따른 화상처리 시스템은, 촬영장치(카메라)(1), 화상 처리장치(2), 및 표시장치(3)를 포함한다. 카메라(1)는 1대 이상의 카메라로 구성된다. 화상 처리장치(2)는, 카메라(1)에 의해 촬영된 화상과 각 카메라의 파라미터를 취득하여, 피사체의 3차원 형상을 추정한다. 그리고, 화상 처리장치(2)는 가상 시점 화상을 생성하고, 그 화상을 표시장치(3)에 송신한다. 표시장치(3)는, 수신한 가상 시점 화상을 디스플레이 등에 출력한다.

[화상 처리장치의 기능 구성]

도1에 나타낸 것과 같이, 화상 처리장치(2)는, 카메라 정보 취득부(110), 용도 설정부(120), 주시점 취득부(125), 형상 추정 영역 설정부(130), 형상 추정부(140), 및 가상 시점 화상 생성부(150)를 구비하고 있다. 각 처리부의 기능은, 도7을 참조하여 후술하는 CPU(1001)이 R0M(1002)이나 RAM(1003)으로부터 판독한 컴퓨터 프로그램을 실시함으로써 실현된다.

카메라 정보 취득부(110)는, 카메라(1)로부터, 카메라(1)를 구성하고 있는 각 카메라의 카메라 정보를 취득하고, 취득한 카메라 정보를 형상 추정부(140)에 출력한다. 또한, 각 카메라에 의해 촬영된 화상도 형상 추정부(140)에 입력된다. 용도 설정부(120)는, 후술하는 키보드 등의 입력장치(1006)를 사용한 유저 조작에 의해, 형상 추정 결과의 용도 정보를 설정하고, 설정한 용도 정보를 형상 추정 영역 설정부(130)에 출력한다. 주시점 취득부(125)는, 주시해야 할 점을 나타내는 주시점의 정보를 산출해서 취득한다. 형상 추정 영역 설정부(130)는, 주시점의 정보와 용도 정보에 따라 형상 추정 영역 정보를 설정하고, 이 설정한 형상 추정 영역 정보를 형상 추정부(140)에 출력한다.

형상 추정부(140)는, 형상 추정 영역 내의 피사체의 3차원 형상을 추정하고, 추정한 3차원 형상의 정보(3차원 형상 데이터)를 가상 시점 화상 생성부(150)에 출력한다. 가상 시점 화상 생성부(150)는, 마우스 등의 입력장치(1006)를 사용한 유저 조작에 의해 입력된 가상 시점의 정보, 카메라 정보 취득부(110)에 의해 취득된 카메라 정보와, 추정한 3차원 형상의 정보를 사용해서 가상 시점 화상을 생성한다. 그리고, 생성한 가상 시점 화상은 표시장치(3)에 출력된다. 표시장치(3)는 수신한 가상 시점 화상을 디스플레이 등의 표시 화면에 출력한다.

[화상 처리장치의 하드웨어 구성]

여기에서, 도7을 참조하여, 본 개시내용의 일 실시형태에 따른 화상 처리장치의 하드웨어 구성의 일례를 설명한다. 화상 처리장치(2)는, CPU(1001), R0M(1002), RAM(1003), 기억장치(1004), 버스(1005)를 구비하고, 입력장치(1006) 및 표시장치(3)에 접속되어 있다.

CPU(1001)은, 본 실시형태에 따른 화상 처리장치(2)의 상기한 기능 블록에 의한 각종 동작을 제어한다. 그 제어 내용은, 후술하는 R0M(1002)이나 RAM(1003) 상의 프로그램에 의해 지시된다. 또한, CPU(1001)은, 복수의 컴퓨터 프로그램을 병렬로 동작시킬 수도 있다. R0M(1002)은, CPU(1001)에 의한 제어의 절차를 기억하는 데이터와 컴퓨터 프로그램을 격납하고 있다. RAM(1003)은, CPU(1001)이 처리하기 위한 제어 프로그램을 격납하는 동시에, CPU(1001)이 각종 제어를 실행할 때의 다양한 데이터의 작업 영역을 제공한다. R0M(1002)이나 RAM(1003) 등의 기록매체에 격납된 프로그램 코드의 기능은, CPU(1001)이 판독해서 실행함으로써 실현된다. 기록매체의 종류는 한정되지 않는다.

기억장치(1004)는, 다양한 데이터 등을 기억할 수 있다. 기억장치(1004)는, 하드디스크, 플로피디스크, 광디스크, 자기디스크, 광자기디스크, 자기테이프, 불휘발성의 메모리 카드 등의 기록매체와, 해당 기록매체를 구동해서 정보를 기록하는 드라이브를 갖는다. 보관된 컴퓨터 프로그램과 데이터는 키보드 등의 지시나, 각종 컴퓨터 프로그램의 지시에 따라, 필요할 때에 RAM(1003) 위에 로드된다.

버스(1005)는, 각 구성요소에 접속되어 있는 데이터버스 등이며, 각 구성요소 사이의 통신을 실현하고, 정보의 교환을 고속으로 실현한다. 입력장치(1006)는, 유저에 의한 각종 입력 환경을 제공한다. 키보드나 마우스 등이 각종 입력 조작 환경을 제공하는 것으로서 생각되지만, 터치패널, 스타일러스 펜 등을 사용해도 된다. 표시장치(3)는, 액정 디스플레이 등으로 구성되고, 각종 입력 조작의 상태와 그것에 따른 계산 결과를 유저에 대하여 표시한다. 이때, 이상 서술한 구성은 일례이며, 이 구성이 상기한 구성에 한정되는 것은 아니다.

[처리]

이어서, 도2의 흐름도를 참조하면서, 본 실시형태에 따른 화상 처리장치(2)가 실시하는 처리의 절차를 설명한다. 본 흐름도에서는, 스텝 S210은 카메라(1)로부터 각 카메라의 카메라 정보를 취득하는 스텝이다. 스텝 S220은 피사체의 형상을 추정하는 영역을 설정하는 스텝이다. 스텝 S230은 설정한 영역 내의 피사체의 형상을 추정하는 스텝이다. 스텝 S240은 형상 추정 결과, 카메라 정보와 화상을 사용해서 가상 시점 화상을 생성하는 스텝이다. 이하에 상세한 절차를 설명한다.

<S210>

스텝 S210에 있어서, 카메라 정보 취득부(110)는, 카메라(1)로부터 카메라 정보로서, 각 카메라에서 촬영한 화상과, 각 카메라의 카메라 정보로서의 외부 파라미터 및 내부 파라미터를 취득한다. 여기에서, 외부 파라미터는 카메라의 위치와 자세의 정보이다. 내부 파라미터는 카메라의 초점거리와 화상 중심의 정보다.

도3은 본 실시형태에 따른 카메라(1)의 배치 예를 나타낸 것이다. 본 실시형태에서, 복수대의 카메라(310)가 경기장(320)을 둘러싸도록 배치된다. 단, 촬영 대상, 카메라 배치와 카메라 대수는 이것에 한정되지 않는다. 카메라(10은 1대 이상의 카메라(310)로 구성되고, 각 카메라는 주시점(330)을 관찰하도록 설정된다. 본 실시형태에 따른 처리는 적어도 1대의 카메라를 필요로 한다. 그러나, 카메라 대수에 상한은 없다. 또한, 다른 주시점과 그것을 관찰하도록 구성된 카메라를 더 늘려도 된다. 즉, 촬영 대상의 장소에 설치되는 복수의 카메라(1)는, 어떤 주시점을 향하는 카메라 군과, 다른 주시점을 향하는 카메라 군을 포함하고 있어도 된다.

본실시형태에서는, 세계좌표계(340)의 x축은 경기장(320)의 긴 변 방향에 평행하고, y축은 짧은 변 방향에 평행하고, z축은 xy 평면에 수직하다. 경기장(320)의 실제의 사이즈는, 긴 변 방향의 길이, 짧은 변 방향의 길이와, 수직방향의 높이를, 예를 들면, 유저가 마우스나 키보드 등의 입력장치에 의해 미리 수동으로 입력함으로써 설정할 수 있다.

<S220>

스텝 S220에 있어서, 형상 추정 영역 설정부(130)는, 피사체의 3차원 형상의 추정 대상이 되는 형상 추정 영역을 설정한다. 이하, 도4를 참조해서 형상 추정 영역(410)에 대해 설명한다. 형상 추정 영역(410)은 세계좌표계(340)로 표현한 주시점(330)의 위치에 근거하여 설정되어 피사체의의3차원 형상을 추정하는 3차원의 영역이다. 예를 들면, 주시점(330)으로부터 소정의 거리 범위를 형상 추정 영역(410)으로서 설정한다. 형상 추정 영역(410)을 주시점(330)으로부터의 거리로 표시한 경우, 이것은 xy평면에서 나누어진 반구형의 형상이 된다. 단, 도4에 있어서는, 형상 추정 영역(410)은 2차원으로 표시되어 있다. 주시점은, 복수의 카메라 각각이 향하는 위치다. 복수의 카메라의 적어도 한개의 카메라의 초점맞춤 위치가 주시점에 근거하여 설정되어 있어도 된다. 예를 들면, 카메라의 초점맞춤 위치는, 주시점의 위치에 설정되거나, 주시점의 위치로부터 소정의 거리만큼 떨어진 위치에 설정되어 있어도 된다. 또한, 각 카메라의 광축은 주시점의 위치에서 교차하거나, 교차하지 않아도 된다.

이때, 형상은 이것에 한정되지 않는다. 예를 들면, 직방체의 대각 위의 2개 정점을 입력하여, 주시점(330)의 위치를 중심으로 한 직방체 형상을 갖는 공간으로서 형상 추정 영역을 설정해도 된다. 또한, 주시점(330)의 위치를 중심으로 하는 예에 형상이 한정되는 것은 아니고, 주시점(330)의 위치를 둘러싸는 직방체 형상을 갖는 공간으로서 형상 추정 영역을 설정해도 된다. 이와 달리, 허프(Hough)변환과 같은 선을 검출하는 화상처리 수법에 의해, 경기장의 선과 이들 선의 교점을 검출하고, 직방체 형상을 갖는 형상 추정 영역의 저면을 설정해도 된다. 이 경우, 형상 추정 영역의 높이 정보는, 가상 시점 화상 생성 대상인 스포츠에 근거하여 유저가 임의로 설정해도 된다. 후술하는 스텝 S230에 있어서의 형상 추정 처리에서는, 형상 추정 영역(410) 내의 피사체의 형상이 추정된다. 주시점이 복수 존재하는 경우에는, 형상 추정 영역이 주시점마다 설정된다.

여기에서, 도5의 흐름도를 참조하여, 스텝 S220의 형상 추정 영역을 설정하는 처리에 대해서 상세하게 설명한다. 이때, 여기에서 설명하는 형상 추정 영역의 설정 처리는, 주시점(330)을 중심으로 하는 형상 추정 영역을 설정할 경우의 처리이며, 설정되는 형상 추정 영역의 형상 등 따라 이하의 설정 처리가 적절히 변경된다. 또한, 유저가 형상 추정 영역을 지정할 경우에는, 형상 추정 영역 설정부(130)는, 유저 조작에 의해 입력된 정보에 근거하여 형상 추정 영역을 설정한다.

<S2200>

스텝 S2200에 있어서, 용도 설정부(120)는, 유저가 입력한 용도 정보를 취득한다. 용도는, 예를 들면, 가상 시점 화상 생성 또는 선수 운동 해석이다.

<S2210>

스텝 S2210에 있어서, 형상 추정 영역 설정부(130)는 3차원 공간을 복수의 복셀로 분할한다. 이때, 용도 설정부(120)에 의해 설정된 용도 정보가 나타내는 용도가 가상 시점 화상 생성일 경우, 피사체를 고해상도로 표시할 수 있도록 복셀이 미소한 사이즈로 설정된다. 한편, 용도가 선수 운동 해석일 경우, 피사체의 위치를 추정할 수 있는 정도로 복셀을 거칠게 설정한다. 즉, 용도에 따라, 3차원 공간을 구성하고 피사체의 3차원 형상의 추정에 사용되는 복셀의 사이즈를 변경한다. 용도가 가상 시점 화상의 생성인 경우에, 다른 용도(예를 들면, 운동 해석)에 비해, 공간을 구성하는 복셀을 미세하게 설정한다.

<S2220>

스텝 S2220에 있어서, 형상 추정 영역 설정부(130)는, 용도 설정부(120)에 의해 설정된 용도 정보가 나타내는 용도가 가상 시점 화상 생성인지 아닌지를 판정한다. 용도가 가상 시점 화상 생성일 경우(스텝 S2220에서 YES), 스텝 S2230으로 처리를 진행한다. 한편, 용도가 가상 시점 화상 생성이 아니고, 예를 들면, 선수 운동 해석일 경우(스텝 S2220에서 NO), 스텝 S2231로 처리를 진행한다.

<S2230>

스텝 S2230에 있어서, 주시점 취득부(125)는, 형상 추정의 대상이 되는 복셀을 설정하기 위해서, 주시점(330)의 위치(좌표)의 정보를 취득한다. 주시점(330)의 좌표는 세계좌표계(340)로 표시되고, 경기장(320)의 평면 위(z=0)에 배치되는 것으로 가정한다. 주시점의 좌표는, 카메라(1)에 포함된 한 개의 카메라의 외부 파라미터로부터 산출할 수 있는 카메라의 시선 벡터와 z=0인 평면의 교점을 산출함으로써 얻어진다. 복수의 주시점이 존재하는 경우, 이 주시점을 관찰하는 카메라를 구성하는 한개의 카메라에 있어서, 같은 방법으로 각각의 주시점의 좌표를 추정할 수 있다.

<S2240>

다음에, 스텝 S2240에 있어서, 형상 추정 영역 설정부(130)는, 스텝 S2230에서 취득한 주시점(330)의 위치(좌표)에 근거하여, 오브젝트의 형상을 추정하는 영역(형상 추정 영역)을 설정한다. 구체적으로는, 전체 복셀을 주사하고, 각 복셀의 주시점(330)과 대표점(예를 들면, 각 복셀의 중심점) 사이의 3차원 거리(630)를 산출한다. 그리고, 미리 설정한 임계값과 이 3차원 거리를 비교한다. 3차원 거리가 임계값 이하이면, 형상 추정 영역으로서 이 복셀값을 1로 설정한다. 복수의 주시점이 존재할 경우, 주시점마다 ID를 설정하고, 각 복셀과 각 주시점의 거리를 산출한다. 가장 가까운 주시점과의 거리가 임계값 이하일 경우, 이 주시점의 ID를 복셀값으로 설정한다.

<S2250>

스텝 S2250에 있어서, 형상 추정 영역 설정부(130)는, 전체 복셀에 대해 형상 추정 영역의 판정을 완료하였는지 아닌지를 판정한다. 판정이 완료했을 경우, 형상 추정 영역의 설정 처리를 종료하고, 도2의 스텝 S230으로 처리를 진행한다. 한편, 미판정의 복셀이 남아 있는 경우, 스텝 S2240으로 처리를 되돌린다.

도6에 나타낸 것과 같이, 입력된 경기장(320)의 사이즈에 의해 정의된 3차원 공간(610)을 균일한 사이즈(해상도)를 갖는 복셀(620)로 충전하고, 각 복셀값을 0으로 설정한다. 본 실시형태에 있어서, 0은 형상 추정 영역 외에 대해 설정되고, 1은 제1 주시점의 형상 추정 영역에 대해 설정되고, 2는 제2 주시점의 형상 추정 영역에 대해 설정된다. 주시점의 수에 따라, 각 주시점의 형상 추정 영역을 식별할 수 있도록 복셀값을 설정한다. 복셀의 실세계의 사이즈는, 경기장의 사이즈와 마찬가지로, 유저가 미리 설정한다.

<S2231>

스텝 S2231에 있어서, 형상 추정 영역 설정부(130)는, 스텝 S2210에서 설정한 전체 복셀을 형상 추정 대상으로 설정하기 위해서, 전체 복셀의 값을 1로 설정하고, 형상 추정 영역 설정 처리를 종료하고, 도2의 스텝 S230으로 진행한다.

<S230>

도2의 스텝 S230으로 처리가 되돌아온다. 스텝 S230에 있어서, 형상 추정부(140)는, 형상 추정 영역 설정부(130)에 의해 설정한 형상 추정 영역 내의 피사체의 3차원 형상을 추정한다. 이하, 형상 추정부(140)에 의한 형상 추정 처리에 대해 설명한다.

우선, 카메라 정보 취득부(110)에서 취득한 화상에 대해서 피사체의 실루엣 화상을 생성한다. 실루엣 화상은, 피사체를 촬영하여 얻어진 촬영 화상으로부터, 배경 화상과의 차분을 산출하고, 임계값 이상인 화소를 실루엣(전경 영역)으로 정의하는 배경차분법 등의 일반적인 수법으로 생성할 수 있다. 본실시형태에서는, 전경 영역의 화소값은 1이고, 배경 영역의 화소값은 0이다.

다음에, 실루엣 화상과 카메라 정보를 사용하여, 피사체의 형상 정보를 추정한다. 3차원 형상을 추정하기 위해서, 스텝 S220에서 형상 추정 영역으로서 설정된 복셀을, 각 카메라의 카메라 파라미터를 사용해서, 각 카메라 화상 좌표로 변환한다. 변환후의 좌표에 있어서의 실루엣 화상의 화소값이 1인 카메라의 대수를 계수한다. 이 수가 설정한 값 이상이면, 이 복셀을 피사체의 형상으로 판정한다. 이 판정을 형상 추정 영역 내의 전체 복셀에 대해서 실시함으로써, 이 형상 추정 영역 내의 피사체의 3차원 형상을 추정한다. 이 처리의 결과, 피사체의 3차원 형상을 표현한 볼륨 데이터가 얻어진다.

이때, 주시점이 복수 존재하는 경우에는, 우선, 각 복셀값에 설정된 주시점의 ID에 근거하여, 이 주시점을 관찰하는 카메라의 정보를 취득한다. 그리고, 이 카메라에 포함된 각 카메라의 화상 좌표로 각복셀의 좌표를 변환하고, 눈에 보이는 카메라의 대수를 계수한다. 카메라의 대수가 설정한 임계값 이상이면, 이 복셀은 피사체의 형상으로 판정된다. 마찬가지로 전체 복셀에 대해서 이 처리를 반복하면, 복수의 주시점이 설정된 경우에도, 피사체의 3차원 형상을 형상 추정 영역에 근거하여 추정할 수 있다.

<S240>

스텝 S240에 있어서, 가상 시점 화상 생성부(150)는, 스텝 S230에서 추정한 형상 정보(3차원의 복셀 집합)를 채색하고, 이 형성 정보를 가상 시점의 화상 평면 위에 사영해서 피사체 영역의 전경 화상을 생성하는 처리를 행한다. 더구나, 가상 시점 화상 생성부(150)는, 가상 시점에서의 배경 화상을 생성하는 처리를 더 실행한다. 생성한 배경 화상에 전경 화상을 중첩함으로써, 가상 시점 화상을 생성한다. 생성한 가상 시점 화상은 표시장치(3)에 송신한다. 이때, 가상 시점은, 유저가 지정하거나, 장치에 의해 자동적으로 지정되어도 된다.

이때, 운동 해석을 행할 경우, 스텝 S240에서는, 가상 시점 화상의 생성이 아니고, 운동 해석을 행하게 된다.

[전경 화상의 생성]

우선, 가상 시점 화상의 전경 화상을 생성하기 위해서, 촬영에 사용한 카메라의 화상을 사용하여, 스텝 S230에서 추정한 피사체의 3차원 형상을 구성하는 복셀의 색을 산출한다. 우선, 각 복셀이 어느 카메라로부터 보이는지를 판정한다. 이때, 복수의 주시점이 설정되어 있을 경우, 복셀값으로서 설정되어 있는 주시점의 ID에 근거하여, 주시점을 관찰하고 있는 카메라를 구성하는 카메라에 있어서, 어느 카메라가 주시점을 보는지를 판정한다. 복셀을 보고 있는 카메라에서 가상 시점에 가까운 카메라를 선택하고, 최근방의 카메라에 이 복셀을 사영한다.

사영된 복셀에 가장 가까운 화소의 색을 취득하고, 그것을 이 복셀의 색으로 설정한다. 이 처리를 각 복셀에 대해 반복함으로써, 복셀을 착색할 수 있다. 착색된 복셀을 기지의 CG 렌더링 수법에 의해 렌더링함으로써, 스텝 S230에서 설정한 형상 추정 영역(410) 내의 피사체가 표시되는 전경 화상을 생성한다.

이때, 스텝 S2210에서 설정한 전체 복셀을 처리 대상으로 사용하여 피사체의 3차원 형상을 추정하고, 그 결과를 사용하여, 각 복셀이 형상 추정 영역 내에 놓이는지 아닌지를 판정하면서 렌더링할 때, 마찬가지로 가상 시점 화상의 전경 화상을 생성할 수 있다. 즉, 피사체의 3차원 형상은 전체 복셀을 대상으로 사용하여 추정하지만, 렌더링 및 표시의 대상은 설정된 표시 대상 영역 내의 복셀에 한정해도 된다. 이 판정은, 피사체의 3차원 형상을 구성하는 각 복셀의 주시점(330)과 대표점의 거리를 산출함으로써 행해질 수 있다. 또한, 어떤 피사체의 3차원 형상의 전체 또는 일부(예를 들면, 무게중심)가 설정 영역 내에 포함되는지를 판정해도 된다. 포함될 경우에는 그 피사체의 3차원 형상의 전체를 표시의 대상으로 설정한다. 그렇지 않을 경우에는, 그 피사체의 3차원 형상의 전체를 표시의 대상에서 제외하여도 된다.

형상 추정 영역(410) 내 뿐만 아니라, 형상 추정 영역 외의 복셀에 대해서도 착색처리를 실시하여, 경기장 전체의 가상 시점 화상을 생성해도 된다.

또한, 형상 추정부(140)는, 형상 추정 영역 외의 피사체의 3차원 형상을, 형상 추정 영역 내의 피사체의 3차원 형상의 해상도보다도 낮은 해상도에서 더 추정해도 된다. 즉, 형상 추정 영역 외를 포함하는 전체 영역의 피사체를 3차원 형상의 추정의 후보로 설정하면서, 형상 추정 영역 내의 피사체의 3차원 형상의 추정을 우선해서 행해도 된다. 그리고, 가상 시점 화상 생성부(150)는, 형상 추정 영역 내의 피사체의 3차원 형상과, 형상 추정 영역 외의 피사체의 추정된 3차원 형상에 근거하여, 가상 시점 화상을 생성해도 된다. 예를 들면, 형상 추정 영역 내와 형상 추정 영역 외 사이에서 복셀의 사이즈(해상도) 또는 착색할 복셀의 솎아냄 방법을 변경해도 된다. 구체적으로는, 형상 추정 영역 내의 모든 복셀에 대해 착색 처리를 실시한다. 형상 추정 영역 외의 복셀에 대해서는, 예를 들면 인접하는 8개의 복셀을 1개의 복셀로 간주해서 착색 처리를 실시한다. 이에 따라, 가상 시점 화상의 생성 시간을 단축할 수 있다. 더구나, 이 경우, 형상 추정 영역 외의 왜곡된 피사체 화상을 블러(blur)하여 그것을 눈에 띄지 않게 하는 효과를 얻을 수 있다. 또한, 촬영 대상의 영역 전체를, 우선해서 형상 추정을 행하는 형상 추정 영역과, 시스템 처리부하나 처리 시간이 너무 많지 않을 때 형상 추정의 대상이 되는 형상 추정 후보의 영역과, 형상 추정의 대상이 되지 않는 비형상 추정 영역으로 분할해도 된다.

[배경 화상의 생성]

다음에, 가상 시점 화상의 배경 화상을 생성한다. 우선, 배경 3D 모델(배경의 3차원 형상 데이터)에 있어서, 경기장의 4개의 모서리의 정점을 취득한다. 배경 3D 모델로서, 미리 작성되어 시스템 내에 보존해 둔 CG 모델을 사용한다. 4개의 정점을, 가상 시점에 가까운 2대의 카메라(카메라 1 및 카메라 2로 부른다)와 가상 시점의 카메라 좌표계에 사영한다. 가상 시점과 카메라 1 사이와, 가상 시점과 카메라 2 사이의 대응점을 사용하여, 가상 시점과 카메라 1 사이의 사영 행렬 1과, 가상 시점과 카메라 2 사이의 사영 행렬 2를 산출한다. 가상 시점의 배경 화상의 각 화소값을 산출하기 위해서, 각 화소의 좌표를 사영 행렬 1과 사영 행렬 2를 사용하여 배경 화상에 사영하고, 이들 점의 화소값을 취득한다. 얻어진 2개의 화소값의 평균을 산출함으로써 배경 화상의 화소값으로 사용한다.

이렇게 하여 얻어진 가상 시점 화상의 배경 화상 위에, 생성한 전경 화상을 중첩함으로써, 가상 시점 화상을 생성한다. 즉, 생성되는 가상 시점 화상은, 촬영 대상 영역 전체의 배경 화상에, 형상 추정 영역 내의 오브젝트의 전경 화상이 합성된 화상이 된다. 단, 생성되는 배경 화상의 범위도 형상 추정 영역에 한정되어도 된다. 또한, 가상 시점 화상을 생성하는 방법은 이 방법에 한정되지 않고, 다른 방법을 사용해도 된다.

이상에서 설명한 바와 같이, 본 실시형태에 따르면, 피사체의 3차원 형상 추정의 영역을 주시점의 위치에 근거하여 한정할 수 있다. 한정된 형상 추정 영역 내의 피사체의 3차원 형상을 추정하고, 가상 시점 화상을 생성함으로써, 왜곡된 피사체 화상이 표시되어 버리는 것을 막을 수 있다. 더구나, 왜곡된 피사체 형상이 부하가 걸리는 전경 화상 생성 처리에 포함되지 않기 때문에, 처리부하를 경감하는 효과가 얻어질 수 있다.

스텝 S2220에 의해 용도마다 형상 추정 영역을 전환함으로써, 각각의 목적에 적절한 화상이나 피사체의 3차원 형상을 생성할 수 있다.

이때, 본 실시형태에서는, 카메라(1)로부터 화상이나 카메라 정보를 취득한다. 그러나, 본 개시내용은 이것에 한정되지 않고, 화상이나 카메라 정보가 임시로 기억장치에 격납되고 처리를 행해도 된다. 본 실시형태에서는, 화상을 표시장치(3)에 출력해서 표시를 행한다. 그러나, 본 개시내용은 이것에 한정되지 않고, 예를 들면, 기억장치를 접속해서 화상을 보존하거나, 프린터에 접속해서 정지 화상으로서 화상을 인쇄해도 된다. 또한, 형상 추정 영역의 설정도 이것에 한정되지 않고, 저면의 형상이나 3차원의 형상을 유저(미도시)가 임의로 생성하게 함으로써 행해도 된다. 이때, 주시점은 평면 상 이외에도 설정할 수 있다. 예를 들면, 링 등의 경기에서는, 공중에 주시점을 설정해도 된다.

이때, 본 실시형태에서는, 용도마다 형상 추정 영역을 전환하는 예를 설명하였다. 그러나, 용도 설정부(120)를 생략하고, 고정 형상 추정 영역을 사용해도 된다. 예를 들면, 용도를 "가상 시점 화상 생성" 만으로 한정하고, 형상 추정 영역의 위치, 형상 등을 고정해도 된다. 이것은, 예를 들어, 이들 정보를 형상 추정 영역 설정부(130)의 불휘발성의 메모리에 기록해 두는 것 등에 의해 실현할 수 있다.

본 개시내용에 따르면, 형상의 정밀도가 낮은 오브젝트를 포함하는 가상 시점 화상이 생성될 우려를 저감할 수 있다.

기타 실시형태

본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)^TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.

본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims

복수의 촬상장치에 의한 촬영에 근거한 화상을 취득하도록 구성된 화상 취득부와,
복수의 촬상장치가 향하는 특정한 위치를 나타내는 위치 정보를 취득하도록 구성된 위치 취득부와,
오브젝트의 3차원 형상의 추정 결과의 용도를 나타내는 용도 정보를 취득하도록 구성된 용도 정보 취득부와,
상기 위치 취득부에 의해 취득되는 상기 위치 정보 및 상기 용도 정보 취득부에 의해 취득되는 상기 용도 정보에 근거하여, 상기 오브젝트의 상기 3차원 형상을 추정하는 영역을 설정하도록 구성된 영역 설정부와,
상기 영역 설정부에 의해 설정되는 상기 영역에 있어서, 상기 화상 취득부에 의해 취득된 화상에 근거하여 상기 오브젝트의 3차원 형상을 추정하도록 구성된 추정부를 구비한 화상 처리장치.
제 1항에 있어서,
상기 영역 설정부는, 상기 특정한 위치로부터 소정의 거리 범위를 상기 영역으로서 설정하는 화상 처리장치.
제 1항에 있어서,
상기 영역 설정부는, 상기 특정한 위치를 중심으로 한 직방체 형상을 갖는 공간을 상기 영역으로서 설정하는 화상 처리장치.
제 1항에 있어서,
상기 영역 설정부는, 복수의 상기 특정한 위치가 존재할 경우, 특정한 위치마다 상기 영역을 설정하는 화상 처리장치.
삭제
삭제
제 1항에 있어서,
상기 영역 설정부는, 상기 용도 정보 취득부에 의해 취득되는 용도 정보에 근거하여 상기 영역의 크기를 설정하는 화상 처리장치.
제 7항에 있어서,
상기 영역 설정부는, 상기 용도 정보 취득부에 의해 취득되는 용도 정보가 나타내는 용도가 지정된 시점에 근거하는 화상의 생성인 경우에, 용도가 지정된 시점에 근거한 화상의 생성이 아닌 경우보다도 사이즈를 작게 설정하는 화상 처리장치.
제 1항에 있어서,
상기 영역 설정부는, 상기 용도 정보 취득부에 의해 취득되는 용도 정보에 따라, 3차원 공간을 구성하며 상기 오브젝트의 3차원 형상의 추정에 사용되는 복셀의 사이즈를 변경하는 화상 처리장치.
제 9항에 있어서,
상기 영역 설정부는, 상기 용도 정보 취득부에 의해 취득되는 용도 정보가 나타내는 용도가 지정된 시점에 근거하는 화상의 생성인 경우에는, 용도가 지정된 시점에 근거하는 화상의 생성이 아닌 경우보다도 작은 사이즈로 복셀의 사이즈를 설정하는 화상 처리장치.
제 1항에 있어서,
상기 추정부는, 상기 영역 설정부에 의해 설정된 상기 영역 외의 오브젝트의 3차원 형상을, 상기 영역 설정부에 의해 설정된 상기 영역 내의 상기 오브젝트의 상기 3차원 형상의 해상도보다도 낮은 해상도에서 추정할 수 있는 화상 처리장치.
제 11항에 있어서,
상기 추정부에 의해 추정된 3차원 형상에 근거하여, 지정된 시점에 근거한 화상을 생성하도록 구성된 생성부를 더 구비하고,
상기 생성부는, 상기 영역 설정부에 의해 설정된 상기 영역 내의 오브젝트의 3차원 형상과 상기 영역 설정부에 의해 설정된 상기 영역 외의 오브젝트의 3차원 형상에 근거하여, 상기 지정된 시점에 근거한 화상을 생성하는 화상 처리장치.
제 1항에 있어서,
상기 추정부에 의해 추정된 3차원 형상에 근거하여, 지정된 시점에 근거한 화상을 생성하도록 구성된 생성부를 더 구비한 화상 처리장치.
복수의 촬상장치에 의한 촬영에 근거한 화상을 취득하는 단계와,
복수의 촬상장치가 향하는 특정한 위치를 나타내는 위치 정보를 취득하는 단계와,
오브젝트의 3차원 형상의 추정 결과의 용도를 나타내는 용도 정보를 취득하는 단계와,
취득되는 상기 위치 정보 및 상기 용도 정보에 근거하여, 상기 오브젝트의 상기 3차원 형상을 추정하는 영역을 설정하는 단계와,
설정되는 상기 영역에 있어서, 취득된 화상에 근거하여 상기 오브젝트의 3차원 형상을 추정하는 단계를 포함하는 화상 처리장치의 제어방법.
복수의 촬상장치에 의한 촬영에 근거한 화상을 취득하는 단계와,
복수의 촬상장치가 향하는 특정한 위치를 나타내는 위치 정보를 취득하는 단계와,
오브젝트의 3차원 형상의 추정 결과의 용도를 나타내는 용도 정보를 취득하는 단계와,
취득되는 상기 위치 정보 및 상기 용도 정보에 근거하여, 상기 오브젝트의 상기 3차원 형상을 추정하는 영역을 설정하는 단계와,
설정되는 상기 영역에 있어서, 취득된 화상에 근거하여 상기 오브젝트의 3차원 형상을 추정하는 단계를 포함하는 화상 처리장치의 제어방법의 각 단계를 컴퓨터에 실행시키기 위한 컴퓨터 프로그램을 기억하는 컴퓨터 판독가능한 기억매체.
제 7항에 있어서,
제1 용도가 지정된 가상 시점에 근거하는 가상 시점 화상의 생성이고 제2 용도가 상기 가상 시점 화상의 생성이 아닌 경우에, 제1 용도에 대한 설정 영역의 크기는 제2 용도에 대한 설정 영역의 크기보다도 작고, 제1 용도에 대한 설정 영역에 대응하는 3차원 공간을 구성하는 엘리먼트(element)의 크기는 제2 용도에 대한 설정 영역에 대응하는 3차원 공간을 구성하는 엘리먼트(element)의 크기보다도 작은, 화상 처리장치.
복수의 촬상장치에 의한 촬영에 근거한 화상을 취득하도록 구성된 화상 취득부와,
복수의 촬상장치가 향하는 특정한 위치를 나타내는 위치 정보를 취득하도록 구성된 위치 취득부와,
상기 위치 취득부에 의해 취득되는 상기 위치 정보에 근거하여, 오브젝트의 3차원 형상을 추정하는 영역을 설정하도록 구성된 영역 설정부와,
상기 영역 설정부에 의해 설정되는 상기 영역에 있어서, 상기 화상 취득부에 의해 취득된 화상에 근거하여 상기 오브젝트의 3차원 형상을 추정하도록 구성되고, 상기 영역 설정부에 의해 설정된 상기 영역 외의 오브젝트의 3차원 형상을, 상기 영역 설정부에 의해 설정된 상기 영역 내의 상기 오브젝트의 상기 3차원 형상의 해상도보다도 낮은 해상도에서 추정하도록 구성된 추정부를 구비한 화상 처리장치.
제 17항에 있어서,
상기 추정부에 의해 추정된 3차원 형상에 근거하여, 지정된 시점에 근거한 화상을 생성하도록 구성된 생성부를 더 구비하고,
상기 생성부는, 상기 영역 설정부에 의해 설정된 상기 영역 내의 오브젝트의 3차원 형상과 상기 영역 설정부에 의해 설정된 상기 영역 외의 오브젝트의 3차원 형상에 근거하여, 상기 지정된 시점에 근거한 화상을 생성하는 화상 처리장치.