KR102214263B1 - 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체 - Google Patents

화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체 Download PDF

Info

Publication number
KR102214263B1
KR102214263B1 KR1020197022798A KR20197022798A KR102214263B1 KR 102214263 B1 KR102214263 B1 KR 102214263B1 KR 1020197022798 A KR1020197022798 A KR 1020197022798A KR 20197022798 A KR20197022798 A KR 20197022798A KR 102214263 B1 KR102214263 B1 KR 102214263B1
Authority
KR
South Korea
Prior art keywords
image
viewpoint
pixel
value
display
Prior art date
Application number
KR1020197022798A
Other languages
English (en)
Other versions
KR20190103296A (ko
Inventor
마사카즈 스즈오키
유키 가라사와
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20190103296A publication Critical patent/KR20190103296A/ko
Application granted granted Critical
Publication of KR102214263B1 publication Critical patent/KR102214263B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

표시 대상의 오브젝트(24)를 포함하는 공간에 대해, 기준 시점(28a 내지 28e)을 설정하고, 각 기준 시점으로부터 본 공간의 화상을 기준 화상으로서 작성해 둔다. 한편, 가상 카메라(30)로부터의 표시 화상의 각 화소값을 결정할 때, 대상 화소가 나타내는 오브젝트(24) 상의 포인트(26)가 상으로서 나타나 있는 기준 화상을 선택하고, 그 화소의 값을, 기준 시점(28a, 28b)과 가상 카메라(30)의 위치 관계 등에 기초하는 규칙으로 합성한다.

Description

화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체
본 발명은, 시점에 따른 표시 화상을 생성하는 화상 생성 장치 및 화상 생성 방법에 관한 것이다.
대상 공간을 자유로운 시점으로부터 감상할 수 있는 화상 표시 시스템이 보급되고 있다. 예를 들어 헤드 마운트 디스플레이에 파노라마 영상을 표시하고, 헤드 마운트 디스플레이를 장착한 유저가 헤드부를 회전시키면 시선 방향에 따른 파노라마 화상이 표시되도록 한 시스템이 개발되어 있다. 헤드 마운트 디스플레이를 이용함으로써, 영상에 대한 몰입감을 높이거나, 게임 등의 애플리케이션의 조작성을 향상시키거나 할 수도 있다. 또한, 헤드 마운트 디스플레이를 장착한 유저가 물리적으로 이동함으로써 영상으로서 표시된 공간 내를 가상적으로 돌아다닐 수 있는 워크 스루 시스템도 개발되어 있다.
표시 장치의 종류에 상관없이, 자유 시점에 대응하는 화상 표시 기술에 있어서는, 시점의 움직임에 대한 표시의 변화에 높은 응답성이 요구된다. 한편, 화상 세계의 임장감을 높이기 위해서는, 해상도를 높게 하거나 복잡한 계산을 실시하거나 할 필요가 발생하여, 화상 처리의 부하가 증대된다. 그 때문에 시점의 이동에 대해 표시가 따라가지 못해, 결과로서 임장감이 손상되어 버리는 경우도 있을 수 있다.
본 발명은 이러한 과제를 감안하여 이루어진 것이며, 그 목적은, 시점에 대한 화상 표시의 응답성과 화질을 양립시킬 수 있는 기술을 제공하는 것에 있다.
상기 과제를 해결하기 위해, 본 발명의 어떤 양태는 화상 생성 장치에 관한 것이다. 이 화상 생성 장치는, 표시 대상의 오브젝트를 포함하는 공간을 소정의 기준 시점으로부터 보았을 때의 상을 나타내는 기준 화상의 데이터를 저장하는 기준 화상 데이터 기억부와, 시점에 관한 정보를 취득하는 시점 정보 취득부와, 공간을 시점으로부터 보았을 때의 오브젝트의 상의 위치 및 형상을 표시 화상의 평면에 나타내는 사영부와, 표시 화상에 있어서 오브젝트의 상을 구성하는 화소의 값을, 기준 화상에 있어서의 동일한 상을 나타내는 화소의 값을 사용하여 결정하는 화소값 결정부와, 표시 화상의 데이터를 출력하는 출력부를 구비한 것을 특징으로 한다.
여기에서 「소정의 기준 시점」이란, 상기 공간에 1개 이상의 소정수, 소정의 위치 좌표 또는 소정의 분포 규칙으로 설정되는 시점이며, 개수나 위치는, 고정이어도 공간 내에서 발생하는 변화 등에 따라서 시간 변화시켜도 된다.
본 발명의 다른 양태는, 화상 생성 방법에 관한 것이다. 이 화상 생성 방법은, 표시 대상의 오브젝트를 포함하는 공간을 나타내는 표시 화상을 생성하는 화상 생성 방법이며, 시점에 관한 정보를 취득하는 스텝과, 공간을 상기 시점으로부터 보았을 때의 오브젝트의 상의 위치 및 형상을 표시 화상의 평면에 나타내는 스텝과, 공간을 소정의 기준 시점으로부터 보았을 때의 상을 나타내는 기준 화상의 데이터를 저장하는 메모리로부터 당해 기준 화상의 데이터를 판독하고, 표시 화상에 있어서 오브젝트의 상을 구성하는 화소의 값을, 기준 화상에 있어서의 동일한 상을 나타내는 화소의 값을 사용하여 결정하는 스텝과, 표시 화상의 데이터를 출력하는 스텝을 포함하는 것을 특징으로 한다.
또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 데이터 구조, 기록 매체 등의 사이에서 변환한 것도 또한, 본 발명의 양태로서 유효하다.
본 발명에 따르면, 시점에 대한 화상 표시의 응답성과 화질을 양립시킬 수 있다.
도 1은 본 실시 형태의 헤드 마운트 디스플레이의 외관예를 도시하는 도면이다.
도 2는 본 실시 형태의 정보 처리 시스템의 구성도이다.
도 3은 본 실시 형태의 화상 생성 장치가 헤드 마운트 디스플레이에 표시시키는 화상 세계의 예를 설명하기 위한 도면이다.
도 4는 본 실시 형태의 정보 처리 장치의 내부 회로 구성을 도시하는 도면이다.
도 5는 본 실시 형태에 있어서의 화상 생성 장치의 기능 블록을 도시하는 도면이다.
도 6은 본 실시 형태에 있어서의, 기준 화상의 데이터를 생성하는 장치의 기능 블록을 도시하는 도면이다.
도 7은 본 실시 형태에 있어서의 기준 시점의 설정예를 도시하는 도면이다.
도 8은 본 실시 형태에 있어서의 화소값 결정부가, 표시 화상의 화소값의 결정에 사용하는 기준 화상을 선택하는 방법을 설명하기 위한 도면이다.
도 9는 본 실시 형태에 있어서의 화소값 결정부가, 표시 화상의 화소값을 결정하는 방법을 설명하기 위한 도면이다.
도 10은 본 실시 형태에 있어서 화상 생성 장치가 시점에 따른 표시 화상을 생성하는 처리 수순을 설명하는 흐름도이다.
본 실시 형태는 기본적으로, 유저의 시점에 따른 시야에서 화상을 표시한다. 그 한에 있어서 화상을 표시시키는 장치의 종류는 특별히 한정되지 않고, 웨어러블 디스플레이, 평판형 디스플레이, 프로젝터 등 중 어느 것이어도 되지만, 여기에서는 웨어러블 디스플레이 중 헤드 마운트 디스플레이를 예로 들어 설명한다.
웨어러블 디스플레이의 경우, 유저의 시선은 내장하는 모션 센서에 의해 대략 추정할 수 있다. 그 밖의 표시 장치의 경우, 유저가 모션 센서를 헤드부에 장착하거나, 주시점 검출 장치를 사용하여 적외선의 반사를 검출하거나 함으로써 시선을 검출할 수 있다. 혹은 유저의 헤드부에 마커를 장착시키고, 그 모습을 촬영한 화상을 해석함으로써 시선을 추정해도 되고, 그것들 기술 중 어느 것을 조합해도 된다.
도 1은 헤드 마운트 디스플레이(100)의 외관예를 도시한다. 헤드 마운트 디스플레이(100)는, 본체부(110), 전두부 접촉부(120), 및 측두부 접촉부(130)를 포함한다. 헤드 마운트 디스플레이(100)는, 유저의 헤드부에 장착하여 디스플레이에 표시되는 정지 화상이나 동화상 등을 감상하고, 헤드폰으로부터 출력되는 음성이나 음악 등을 듣기 위한 표시 장치이다. 헤드 마운트 디스플레이(100)에 내장 또는 외장된 모션 센서에 의해, 헤드 마운트 디스플레이(100)를 장착한 유저의 헤드부의 회전각이나 기울기와 같은 자세 정보를 계측할 수 있다.
헤드 마운트 디스플레이(100)는, 「웨어러블 디스플레이 장치」의 일례이다. 웨어러블 디스플레이 장치에는, 협의의 헤드 마운트 디스플레이(100)에 한하지 않고, 안경, 안경형 디스플레이, 안경형 카메라, 헤드폰, 헤드셋(마이크가 장착된 헤드폰), 이어폰, 귀걸이, 귀걸이 카메라, 모자, 카메라가 장착된 모자, 헤어밴드 등 임의의 장착 가능한 디스플레이 장치가 포함된다.
도 2는 본 실시 형태에 관한 정보 처리 시스템의 구성도이다. 헤드 마운트 디스플레이(100)는, 무선 통신 또는 USB 등의 주변 기기를 접속하는 인터페이스(205)에 의해 화상 생성 장치(200)에 접속된다. 화상 생성 장치(200)는, 또한 네트워크를 통해 서버에 접속되어도 된다. 그 경우, 서버는, 복수의 유저가 네트워크를 통해 참가할 수 있는 게임 등의 온라인 애플리케이션을 화상 생성 장치(200)에 제공해도 된다.
화상 생성 장치(200)는, 헤드 마운트 디스플레이(100)를 장착한 유저의 헤드부의 위치나 자세에 기초하여 시점의 위치나 시선의 방향을 특정하고, 그것에 따른 시야가 되도록 표시 화상을 생성하여 헤드 마운트 디스플레이(100)에 출력한다. 이 한에 있어서 화상을 표시하는 목적은 다양해도 된다. 예를 들어 화상 생성 장치(200)는, 전자 게임을 진척시키면서 게임의 무대인 가상 세계를 표시 화상으로서 생성해도 되고, 가상 세계가 실세계인지에 상관없이 관상용으로서 정지 화상 또는 동화상을 표시시켜도 된다. 표시 장치를 헤드 마운트 디스플레이로 한 경우, 시점을 중심으로 넓은 각도 범위에서 파노라마 화상을 표시할 수 있도록 하면, 표시 세계에 몰입한 상태를 연출할 수도 있다.
도 3은 본 실시 형태에서 화상 생성 장치(200)가 헤드 마운트 디스플레이(100)에 표시시키는 화상 세계의 예를 설명하기 위한 도면이다. 이 예에서는 유저(12)가 가상 공간인 방에 있는 상태를 만들어 내고 있다. 가상 공간을 정의하는 월드 좌표계에는 도시한 바와 같이, 벽, 바닥, 창, 테이블, 테이블 상의 물건 등의 오브젝트를 배치하고 있다. 화상 생성 장치(200)는 당해 월드 좌표계에, 유저(12)의 시점의 위치나 시선의 방향에 따라서 뷰 스크린(14)을 정의하고, 거기에 오브젝트의 상을 사영함으로써 표시 화상을 묘화한다.
유저(12)의 시점의 위치나 시선의 방향(이후, 이들을 포괄적으로 「시점」이라 칭하는 경우가 있음)을 소정의 레이트로 취득하고, 이것에 따라서 뷰 스크린(14)의 위치나 방향을 변화시키면, 유저의 시점에 대응하는 시야에서 화상을 표시시킬 수 있다. 시차를 갖는 스테레오 화상을 생성하고, 헤드 마운트 디스플레이(100)에 있어서 좌우의 눈의 앞에 표시시키면, 가상 공간을 입체시시킬 수도 있다. 이에 의해 유저(12)는, 마치 표시 세계의 방 안에 몰입되어 있는 듯한 가상 현실을 체험할 수 있다. 또한 도시한 예에서는 표시 대상을, 컴퓨터 그래픽스를 전제로 하는 가상 세계로 하였지만, 파노라마 사진 등 실세계의 촬영 화상으로 하거나, 그것과 가상 세계를 조합하거나 해도 된다.
이와 같은 표시에 임장감을 갖게 하기 위해서는, 표시 대상의 공간에서 발생하는 물리 현상을 가능한 한 정확하게 반영시키는 것이 바람직하다. 예를 들어 오브젝트 표면에서의 확산 반사나 경면 반사, 환경광 등, 눈에 도달하는 다양한 광의 전파를 정확하게 계산함으로써, 시점의 움직임에 의한 오브젝트 표면의 색감이나 휘도의 변화를 보다 리얼하게 표현할 수 있다. 이것을 실현하는 대표적인 방법이 레이 트레이싱이다. 그러나, 유저에 의한 자유 시점을 허용하는 환경에서는 특히, 그와 같은 물리 계산을 고정밀도로 행함으로써, 표시까지에 간과할 수 없는 레이턴시가 발생하는 것이 생각된다.
따라서 본 실시 형태에서는, 특정 시점으로부터 본 화상을 미리 취득해 두고, 임의의 시점에 대한 표시 화상의 화소값의 결정에 이용한다. 즉 표시 화상에 상으로서 나타나는 오브젝트의 색을, 미리 취득해 둔 화상의 대응하는 개소로부터 추출함으로써 결정한다. 이후, 사전의 화상 취득에 있어서 설정하는 시점을 「기준 시점」, 기준 시점으로부터 본 사전에 취득하는 화상을 「기준 화상」이라 칭한다. 표시 화상의 묘화에 사용하는 데이터의 일부를, 기준 화상으로서 사전에 취득해 둠으로써, 시점의 이동으로부터 표시까지의 레이턴시를 억제할 수 있다. 또한 기준 화상의 취득에 대해서는 기본적으로 시간적인 제약이 없기 때문에, 레이 트레이싱 등의 물리 계산을, 시간을 들여 고정밀도로 행할 수 있다.
기준 시점을, 표시 시의 시점에 상정되는 가동 범위에 분산시켜 복수개 설정하고, 각각에 대하여 기준 화상을 준비해 두면, 복수의 시점으로부터 본 동일한 오브젝트의 색감을 가미하여, 표시 시의 시점에 따른 오브젝트를 보다 고정밀도로 표현할 수 있다. 보다 구체적으로는, 표시 시의 시점이 기준 시점의 하나와 일치하고 있을 때, 당해 기준 시점에 대응하는 기준 화상의 화소값을 그대로 채용할 수 있다. 표시 시의 시점이 복수의 기준 시점 사이에 있을 때, 당해 복수의 기준 시점에 대응하는 기준 화상의 화소값을 합성함으로써, 표시 화상의 화소값을 결정한다.
도 4는 화상 생성 장치(200)의 내부 회로 구성을 도시하고 있다. 화상 생성 장치(200)는, CPU(Central Processing Unit)(222), GPU(Graphics Processing Unit)(224), 메인 메모리(226)를 포함한다. 이들 각 부는, 버스(230)를 통해 서로 접속되어 있다. 버스(230)에는 또한 입출력 인터페이스(228)가 접속되어 있다.
입출력 인터페이스(228)에는, USB나 IEEE1394 등의 주변 기기 인터페이스나, 유선 또는 무선 LAN의 네트워크 인터페이스를 포함하는 통신부(232), 하드디스크 드라이브나 불휘발성 메모리 등의 기억부(234), 헤드 마운트 디스플레이(100) 등의 표시 장치로 데이터를 출력하는 출력부(236), 헤드 마운트 디스플레이(100)로부터 데이터를 입력하는 입력부(238), 자기 디스크, 광 디스크 또는 반도체 메모리 등의 리무버블 기록 매체를 구동하는 기록 매체 구동부(240)가 접속된다.
CPU(222)는, 기억부(234)에 기억되어 있는 오퍼레이팅 시스템을 실행함으로써 화상 생성 장치(200)의 전체를 제어한다. CPU(222)는 또한, 리무버블 기록 매체로부터 판독되어 메인 메모리(226)에 로드되거나, 혹은 통신부(232)를 통해 다운로드된 각종 프로그램을 실행한다. GPU(224)는, 지오메트리 엔진의 기능과 렌더링 프로세서의 기능을 갖고, CPU(222)로부터의 묘화 명령에 따라서 묘화 처리를 행하여, 표시 화상을 도시하지 않은 프레임 버퍼에 저장한다. 그리고 프레임 버퍼에 저장된 표시 화상을 비디오 신호로 변환하여 출력부(236)에 출력한다. 메인 메모리(226)는 RAM(Random Access Memory)에 의해 구성되며, 처리에 필요한 프로그램이나 데이터를 기억한다.
도 5는 본 실시 형태에 있어서의 화상 생성 장치(200)의 기능 블록을 도시하고 있다. 화상 생성 장치(200)는 상술한 바와 같이, 전자 게임을 진척시키거나 서버와 통신하거나 하는 일반적인 정보 처리를 행해도 되지만, 도 5에서는 특히, 시점에 따른 표시 화상의 데이터를 생성하는 기능에 주목하여 나타내고 있다. 또한 도 5에서 도시된 화상 생성 장치(200)의 기능 중 적어도 일부를, 헤드 마운트 디스플레이(100)에 실장해도 된다. 혹은, 화상 생성 장치(200)의 적어도 일부의 기능을, 네트워크를 통해 화상 생성 장치(200)에 접속된 서버에 실장해도 된다.
또한 도 5 및 후술하는 도 6에 도시한 기능 블록은, 하드웨어적으로는, 도 4에 도시한 CPU, GPU, 각종 메모리 등의 구성으로 실현할 수 있고, 소프트웨어적으로는, 기록 매체 등으로부터 메모리에 로드한, 데이터 입력 기능, 데이터 유지 기능, 화상 처리 기능, 통신 기능 등의 여러 기능을 발휘하는 프로그램으로 실현된다. 따라서, 이들 기능 블록이 하드웨어만, 소프트웨어만, 또는 그것들의 조합에 의해 다양한 형태로 실현할 수 있다는 것은 당업자에게는 이해되는 바이며, 어느 것에 한정되는 것은 아니다.
화상 생성 장치(200)는, 유저의 시점에 관한 정보를 취득하는 시점 정보 취득부(260), 표시 대상의 오브젝트를 포함하는 공간을 구축하는 공간 구축부(262), 뷰 스크린에 오브젝트를 사영하는 사영부(264), 오브젝트의 상을 구성하는 화소의 값을 결정하고 표시 화상을 완성시키는 화소값 결정부(266), 표시 화상의 데이터를 헤드 마운트 디스플레이(100)에 출력하는 출력부(268)를 구비한다. 화상 생성 장치(200)는 또한, 공간의 구축에 필요한 오브젝트 모델에 관한 데이터를 기억하는 오브젝트 모델 기억부(254), 및 기준 화상의 데이터를 기억하는 기준 화상 데이터 기억부(256)를 구비한다.
시점 정보 취득부(260)는, 도 4의 입력부(238), CPU(222) 등으로 구성되며, 유저의 시점의 위치나 시선의 방향을 소정의 레이트로 취득한다. 예를 들어 헤드 마운트 디스플레이(100)에 내장된 가속도 센서의 출력값을 축차적으로 취득하고, 그것에 의해 헤드부의 자세를 취득한다. 또한 헤드 마운트 디스플레이(100)의 외부에 도시하지 않은 발광 마커를 마련하고, 그 촬영 화상을 도시하지 않은 촬상 장치로부터 취득함으로써, 실공간에서의 헤드부의 위치를 취득한다.
혹은 헤드 마운트 디스플레이(100)측에, 유저의 시야에 대응하는 화상을 촬영하는 도시하지 않은 촬상 장치를 마련하고, SLAM(Simultaneous Localization and Mapping) 등의 기술에 의해 헤드부의 위치나 자세를 취득해도 된다. 이와 같이 헤드부의 위치나 자세를 취득할 수 있으면, 유저의 시점의 위치 및 시선의 방향은 대략 특정할 수 있다. 유저의 시점에 관한 정보를 취득하는 방법은, 헤드 마운트 디스플레이(100)를 이용하는 경우에 한하지 않고 다양하게 생각되는 것은 당업자에게는 이해되는 바이다.
공간 구축부(262)는, 도 4의 CPU(222), GPU(224), 메인 메모리(226) 등으로 구성되며, 표시 대상의 오브젝트가 존재하는 공간의 형상 모델을 구축한다. 도 3에서 도시한 예에서는, 실내를 나타내는 벽, 바닥, 창, 테이블, 테이블 상의 물건 등의 오브젝트를, 가상 공간을 정의하는 월드 좌표계에 배치한다. 개개의 오브젝트의 형상에 관한 정보는 오브젝트 모델 기억부(254)로부터 판독한다. 공간 구축부(262)가 구축하는 공간은 고정으로 해도 되고 게임 등의 진척에 따라서 변화시켜도 된다.
여기서 공간 구축부(262)는, 오브젝트의 형상, 위치, 자세를 결정하면 되고, 일반적인 컴퓨터 그래픽스에 있어서의 서피스 모델에 기초하는 모델링의 방법을 이용할 수 있다. 사영부(264)는, 도 4의 GPU(224), 메인 메모리(226) 등으로 구성되며, 시점 정보 취득부(260)가 취득한 시점의 정보에 따라서 뷰 스크린을 설정한다. 즉 헤드부의 위치나 안면이 향하는 방향에 대응시켜 스크린 좌표를 설정함으로써, 유저의 위치나 향하는 방향에 따른 시야에서 표시 대상의 공간이 스크린 평면에 묘화되도록 한다.
사영부(264)는 또한, 공간 구축부(262)가 구축한 공간 내의 오브젝트를 뷰 스크린에 사영한다. 이 처리도, 폴리곤 등의 메쉬를 투시 변환하는 일반적인 컴퓨터 그래픽스의 방법을 이용할 수 있다. 화소값 결정부(266)는 도 4의 GPU(224), 메인 메모리(226) 등으로 구성되며, 뷰 스크린에 사영되어 이루어지는 오브젝트의 상을 구성하는 화소의 값을 결정한다. 이때 상술한 바와 같이 기준 화상의 데이터를 기준 화상 데이터 기억부(256)로부터 판독하고, 동일한 오브젝트 상의 포인트를 나타내는 화소의 값을 추출하여 이용한다.
예를 들어 실제의 시점의 주위의 기준 시점에 대해 생성된 기준 화상으로부터 대응하는 화소를 특정하고, 실제의 시점과 기준 시점의 거리나 각도에 기초하는 가중치로 평균함으로써, 표시 화상의 화소값으로 한다. 레이 트레이싱 등에 의해 시간을 들여 정확하게 기준 화상을 생성해 둠으로써, 운용 시에는, 대응하는 화소값을 판독하여 가중 평균한다는 부하가 가벼운 계산으로, 레이 트레이싱을 한 경우에 가까운 고정밀한 화상 표현을 실현할 수 있다.
기준 시점은, 유저의 시점의 가동 범위를 망라하도록 분포시키는 것이 바람직하다. 또한 기준 화상은, 레이 트레이싱에 의해 묘화된 그래픽스 화상에 한하지 않고, 사전에 기준 시점으로부터 실공간을 촬영한 화상 등이어도 된다. 이 경우, 공간 구축부(262)는 촬영 대상이 된 실공간의 형상 모델을 구축하고, 사영부(264)는 표시 시의 시점에 따른 뷰 스크린에 당해 형상 모델을 사영한다. 혹은 표시 시의 시점에 따른 시야에서 촬영 대상의 오브젝트의 상의 위치를 결정할 수 있으면, 공간 구축부(262)와 사영부(264)의 처리를 생략할 수도 있다.
또한 표시 화상을 입체시시키는 경우, 사영부(264) 및 화소값 결정부(266)는, 좌안 및 우안의 시점에 대해 각각 처리를 행해도 된다. 출력부(268)는, 도 4의 CPU(222), 메인 메모리(226), 출력부(236) 등으로 구성되며, 화소값 결정부(266)가 화소값을 결정하여 완성시킨 표시 화상의 데이터를, 헤드 마운트 디스플레이(100)에 소정의 레이트로 송출한다. 입체시를 위해 스테레오 화상을 생성한 경우, 출력부(268)는 그것들을 좌우로 연결한 화상을 표시 화상으로서 생성하여 출력한다. 렌즈를 통해 표시 화상을 감상하는 구성의 헤드 마운트 디스플레이(100)의 경우, 출력부(268)는, 당해 렌즈에 의한 왜곡을 고려한 보정을 표시 화상에 실시해도 된다.
도 6은 묘화 처리에 의해 기준 화상을 생성하는 경우에, 기준 화상의 데이터를 생성하는 장치의 기능 블록을 도시하고 있다. 기준 화상 생성 장치(300)는, 도 5의 화상 생성 장치(200)의 일부로 해도 되고, 도 5의 기준 화상 데이터 기억부(256)에 저장하는 데이터를 생성하는 장치로서 독립적으로 마련해도 된다. 또한 생성된 기준 화상의 데이터와, 생성에 사용한 오브젝트 모델을 포함하는 전자 콘텐츠로서 기록 매체 등에 저장해 두고, 운용 시에 화상 생성 장치(200)에 있어서의 메인 메모리에 로드할 수 있도록 해도 된다. 기준 화상 생성 장치(300)의 내부 회로 구성은, 도 4에서 도시한 화상 생성 장치(200)의 내부 회로 구성과 마찬가지여도 된다.
기준 화상 생성 장치(300)는, 기준 시점을 설정하는 기준 시점 설정부(310), 표시 대상의 오브젝트를 포함하는 공간을 구축하는 공간 구축부(316), 구축된 공간에 기초하여 기준 시점별로 기준 화상의 데이터를 생성하는 기준 화상 데이터 생성부(318), 공간의 구축에 필요한 오브젝트 모델에 관한 데이터를 기억하는 오브젝트 모델 기억부(314), 및 생성한 기준 화상의 데이터를 저장하는 기준 화상 데이터 기억부(320)를 구비한다.
기준 시점 설정부(310)는, 입력부(238), CPU(222), 메인 메모리(226) 등으로 구성되며, 표시 대상의 공간에 있어서의 기준 시점의 위치 좌표를 설정한다. 적합하게는, 상술한 바와 같이 유저가 취할 수 있는 시점의 범위를 망라하도록 복수의 기준 시점을 분포시킨다. 이와 같은 범위나 기준 시점의 수의 적정값은, 표시 대상의 공간의 구성, 표시의 목적, 표시에 요구되는 정밀도, 화상 생성 장치(200)의 처리 성능 등에 따라 상이하다. 이 때문에 기준 시점 설정부(310)는, 기준 시점의 위치 좌표에 관한 유저의 입력을 접수하도록 해도 된다.
공간 구축부(316)는, CPU(222), GPU(224), 메인 메모리(226) 등으로 구성되며, 표시 대상의 오브젝트가 존재하는 공간의 형상 모델을 구축한다. 이 기능은 도 5에서 도시한 공간 구축부(262)의 기능과 대응한다. 한편, 도 6의 기준 화상 생성 장치(300)에서는, 레이 트레이싱 등에 의해 오브젝트의 상을 정확하게 묘화하기 위해, 오브젝트의 색이나 재질을 가미한 솔리드 모델에 기초하는 모델링 방법을 사용한다. 그를 위해 오브젝트 모델 기억부(314)에는, 색이나 재질 등의 정보를 포함하는 오브젝트의 모델 데이터를 저장해 둔다.
기준 화상 데이터 생성부(318)는, CPU(222), GPU(224), 메인 메모리(226) 등으로 구성되며, 기준 화상 생성부(322) 및 뎁스 화상 생성부(324)를 포함한다. 기준 화상 생성부(322)는, 기준 시점 설정부(310)가 설정한 기준 시점별로, 당해 기준 시점으로부터 보이는 표시 대상의 오브젝트를 묘화한다. 적합하게는 등장방형 도법 등에 의한 360°의 파노라마 화상으로서 기준 화상을 준비해 둠으로써, 표시 시의 시점도 전방위로 자유롭게 변화시킬 수 있다. 또한 광선의 전파에 대하여 시간을 들여 계산함으로써, 각 기준 시점에 있어서의 보이는 방식을 기준 화상에 정확하게 나타내는 것이 바람직하다.
뎁스 화상 생성부(324)는, 기준 화상 생성부(322)가 생성한 기준 화상에 대응하는 뎁스 화상을 생성한다. 즉 기준 화상의 각 화소가 나타내는 오브젝트의, 뷰 스크린으로부터의 거리(뎁스값)를 구하고, 그것을 화소값으로서 부여함으로써 뎁스 화상을 생성한다. 또한 기준 화상을 360°의 파노라마 화상으로 한 경우, 뷰 스크린은 구면이 되기 때문에, 뎁스값은 당해 구면의 법선 방향에 있어서의 오브젝트까지의 거리가 된다. 생성된 뎁스 화상은, 표시 화상의 화소값을 결정할 때 사용하는 기준 화상의 선택에 이용된다. 기준 화상 데이터 생성부(318)는, 이와 같이 생성한 기준 화상과 뎁스 화상의 데이터를, 기준 시점의 위치 좌표와 대응지어 기준 화상 데이터 기억부(320)에 저장한다.
도 7은 기준 시점의 설정예를 도시하고 있다. 이 예에서는 유저(12)가 섰을 때의 눈의 높이의 수평면(20a)과, 앉았을 때의 눈의 높이의 수평면(20b)의 각각에, 검정색 동그라미로 나타내는 바와 같이 복수개의 기준 시점을 설정하고 있다. 일례로서 수평면(20a)은 바닥으로부터 1.4m, 수평면(20b)은 바닥으로부터 1.0m 등이다. 또한 유저의 표준 위치(홈 포지션)를 중심으로 하는 좌우 방향(도면의 X축 방향) 및 전후 방향(도면의 Y축 방향)으로, 표시 내용에 따른 이동 범위를 상정하고, 수평면(20a, 20b) 상의 대응하는 직사각형 영역에 기준 시점을 분포시킨다.
이 예에서는, 직사각형 영역을 X축 방향, Y축 방향으로 각각 4등분하는 격자의 교점에 1개 걸러 기준 시점을 배치하고 있다. 또한 상하의 수평면(20a, 20b)에서 기준 시점이 겹치지 않도록 어긋나게 하여 배치하고 있다. 결과로서 도 7에 도시한 예에서는, 위의 수평면(20a)에 있어서 13점, 아래의 수평면(20b)에 있어서 12점의, 합계 25점의 기준 시점이 설정되어 있다.
단 기준 시점의 분포를 이것에 한정한다는 취지는 아니며, 수직면 등도 포함시킨 복수의 평면 상에 분포시켜도 되고, 구면 등의 곡면 상에 분포시켜도 된다. 또한 분포를 균등하게 하지 않고, 유저가 있을 확률이 높은 범위에는 다른 것보다 높은 밀도로 기준 시점을 분포시켜도 된다. 또한 표시 대상의 오브젝트를 이동시키거나 변형시키는 움직임을 연출하는 경우, 기준 시점도 그것에 따라서 이동시켜도 된다. 이 경우, 각 기준 시점에 대한 기준 화상은 당해 움직임을 반영하는 동화상의 데이터가 된다.
또한, 특정 오브젝트에 대해 그것을 둘러싸도록 복수의 기준 시점을 설정하여 전용의 기준 화상을 준비해 두고, 당해 오브젝트를 포함하는 공간 전체의 표시 화상 생성 시에 합성하도록 해도 된다. 이 경우, 화상 생성 장치(200)는, 당해 오브젝트의 메쉬를 다른 것과 마찬가지로 뷰 스크린에 사영한 후, 화소값의 결정에는 별도로 준비한, 당해 오브젝트 전용의 기준 화상을 사용한다. 이와 같이 함으로써, 중요한 오브젝트나 접근하여 보일 가능성이 높은 오브젝트 등에 대하여 보다 상세하게 표현하거나, 특정 오브젝트만을 이동시키거나 변형시키는 것을, 기준 화상 데이터의 양을 증대시키지 않고 실현할 수 있다.
도 8은 화상 생성 장치(200)의 화소값 결정부(266)가, 표시 화상의 화소값의 결정에 사용하는 기준 화상을 선택하는 방법을 설명하기 위한 도면이다. 도 8은 오브젝트(24)를 포함하는 표시 대상의 공간을 부감한 상태를 도시하고 있다. 이 공간에 있어서, 5개의 기준 시점(28a 내지 28e)이 설정되고, 각각에 대해 기준 화상의 데이터가 생성되어 있는 것으로 한다. 도 8에 있어서 기준 시점(28a 내지 28e)을 중심으로 하는 원은, 전천구의 파노라마 화상으로서 준비한 기준 화상의 스크린면을 모식적으로 도시하고 있다.
화상 표시 시의 유저의 시점이 가상 카메라(30)의 위치에 있는 것으로 하면, 사영부(264)는 당해 가상 카메라(30)에 대응하도록 뷰 스크린을 결정하고, 오브젝트(24)의 모델 형상을 사영한다. 그 결과, 표시 화상에 있어서의 화소와 오브젝트(24)의 표면 상의 위치의 대응 관계가 판명된다. 그리고, 예를 들어 오브젝트(24)의 표면의 포인트(26)의 상을 나타내는 화소의 값을 결정하는 경우, 화소값 결정부(266)는 먼저, 당해 포인트(26)가 상으로서 표시되어 있는 기준 화상을 특정한다.
월드 좌표계에 있어서의 각 기준 시점(28a 내지 28e)과 포인트(26)의 위치 좌표는 기지이기 때문에, 그것들의 거리는 용이하게 구해진다. 도면에서는 그 거리를, 각 기준 시점(28a 내지 28e)과 포인트(26)를 연결하는 선분의 길이로 나타내고 있다. 또한 포인트(26)를 각 기준 시점의 뷰 스크린에 역사영하면, 각 기준 화상에 있어서 포인트(26)의 상이 나타나야 할 화소의 위치도 특정할 수 있다. 한편, 기준 시점의 위치에 따라서는, 포인트(26)가 오브젝트의 이면측이 되거나 앞에 어떤 오브젝트에 은폐되어 있거나 하여, 기준 화상의 당해 위치에 그 상이 나타나지 않는 경우가 있다.
따라서 화소값 결정부(266)는, 각 기준 화상에 대응하는 뎁스 화상을 확인한다. 뎁스 화상의 화소값은, 대응하는 기준 화상에 상으로서 나타나는 오브젝트의, 스크린면으로부터의 거리를 나타내고 있다. 따라서, 기준 시점으로부터 포인트(26)까지의 거리와, 뎁스 화상에 있어서의 포인트(26)의 상이 나타나야 할 화소의 뎁스값을 비교함으로써, 당해 상이 포인트(26)의 상인지 여부를 판정한다.
예를 들어 기준 시점(28c)으로부터 포인트(26)로의 시선 상에는, 오브젝트(24)의 이면측 포인트(32)가 있기 때문에, 대응하는 기준 화상에 있어서의 포인트(26)의 상이 나타나야 할 화소는, 실제로는 포인트(32)의 상을 나타내고 있다. 따라서 대응하는 뎁스 화상의 화소가 나타내는 값은 포인트(32)까지의 거리이며, 기준 시점(28c)을 시점으로 하는 값으로 환산한 거리 Dc는, 좌표값으로부터 계산되는 포인트(26)까지의 거리 dc보다 명백하게 작아진다. 따라서 뎁스 화상으로부터 얻어지는 거리 Dc와 좌표값으로부터 얻어지는 포인트(26)까지의 거리 dc의 차가 역치 이상일 때, 포인트(26)를 나타내는 화소값의 계산으로부터 당해 기준 화상을 제외한다.
마찬가지로, 기준 시점(28d, 28e)의 뎁스 화상으로부터 얻어지는 대응하는 화소의 오브젝트까지의 거리 Dd, De는, 각 기준 시점(28d, 28e)으로부터 포인트(26)까지의 거리와 역치 이상의 차가 있는 것으로서 계산으로부터 제외된다. 한편, 기준 시점(28a, 28b)의 뎁스 화상으로부터 얻어지는 대응하는 화소의 오브젝트까지의 거리 Da, Db는, 각 기준 시점(28a, 28b)으로부터 포인트(26)까지의 거리와 대략 동일한 것이 역치 판정에 의해 특정할 수 있다. 화소값 결정부(266)는, 이와 같이 뎁스값을 사용한 스크리닝을 행함으로써, 표시 화상의 화소별로, 화소값의 산출에 사용하는 기준 화상을 선택한다.
도 8에서는 5개의 기준 시점을 예시하고 있지만, 실제로는 도 7에서 도시한 바와 같이 분포시킨 기준 시점 모두에 대하여, 뎁스값을 사용한 비교를 행한다. 이것에 의해 정밀도가 높은 표시 화상을 묘화할 수 있다. 한편, 표시 화상의 모든 화소에 대하여, 25정도의 뎁스 화상 및 기준 화상을 참조하는 것은, 장치의 처리 성능에 따라서는 간과할 수 없는 부하를 만들어 내는 것도 생각할 수 있다. 따라서 화소값의 결정에 사용하는 기준 화상을 상술한 바와 같이 선택하는 데 앞서, 소정의 기준에 의해 선택 후보로 하는 기준 화상을 압축해도 된다. 예를 들어 가상 카메라(30)로부터 소정의 범위 내에 존재하는 기준 시점을 추출하고, 그것들로부터의 기준 화상에 한정하여 뎁스값을 사용한 선택 처리를 실시한다.
이때, 추출하는 기준 시점의 상한을 10개, 20개 등으로 설정해 두고, 그와 같은 상한에 들어가도록, 추출 대상의 범위를 조정하거나, 랜덤 혹은 소정의 규칙에 기초하여 취사 선택하거나 해도 된다. 또한 표시 화상 상의 영역에 따라, 추출하는 기준 시점의 수를 상이하게 해도 된다. 예를 들어 헤드 마운트 디스플레이를 사용하여 가상 현실을 실현하는 경우, 표시 화상의 중심 영역은 유저의 시선이 향하는 방향과 일치하기 때문에, 주변 영역보다 높은 정밀도로의 묘화가 바람직하다.
따라서 표시 화상의 중심으로부터 소정 범위 내에 있는 화소에 대해서는, 어느 정도 많은 기준 시점(기준 화상)을 선택 후보로 하는 한편, 그것보다 외측에 있는 화소에 대해서는, 선택 후보의 수를 저감시킨다. 일례로서 중심 영역은 20개 정도, 주변 영역은 10개 정도의 기준 화상을 선택 후보로 하는 것이 생각된다. 단 영역수는 2개에 한하지 않고, 3영역 이상으로 해도 된다. 또한 표시 화상 중심으로부터의 거리에 의존한 구분에 한하지 않고, 주목되는 오브젝트의 상의 영역 등에 의해 동적으로 구분하는 것도 생각된다. 이와 같이, 오브젝트의 상이 찍혀 있는지 여부 이외의 요인에 기초하여, 참조하는 기준 화상의 수를 제어함으로써, 장치의 처리 성능이나 표시에 요구되는 정밀도, 표시의 내용 등을 고려한 최적의 조건에서의 표시 화상 묘화가 가능해진다.
도 9는 화소값 결정부(266)가 표시 화상의 화소값을 결정하는 방법을 설명하기 위한 도면이다. 도 8에 도시한 바와 같이, 기준 시점(28a, 28b)의 기준 화상에, 오브젝트(24)의 포인트(26)의 상이 나타나 있음이 판명된 것으로 한다. 화소값 결정부(266)는 기본적으로, 그것들 기준 화상에 있어서의 포인트(26)의 상의 화소값을 블렌드함으로써, 실제의 시점에 대응하는 표시 화상에 있어서의 포인트(26)의 상의 화소값을 결정한다.
여기서, 포인트(26)의 상의, 기준 시점(28a, 28b)의 기준 화상에 있어서의 화소값(컬러값)을 각각 c1, c2라 하면, 표시 화상에 있어서의 화소값 C를 다음과 같이 계산한다.
C=w1·c1+w2·c2
여기서 계수 w1, w2는 w1+w2=1의 관계를 갖는 가중치, 즉 기준 화상의 기여율을 나타내고, 기준 시점(28a, 28b)과, 실제의 시점을 나타내는 가상 카메라(30)의 위치 관계에 기초하여 결정한다. 예를 들어 가상 카메라(30)로부터 기준 시점까지의 거리가 가까울수록 큰 계수로 함으로써 기여율을 크게 한다.
이 경우, 가상 카메라(30)로부터 기준 시점(28a, 28b)까지의 거리를 Δa, Δb라 하고, sum=1/Δa2+1/Δb2으로 하면, 가중 계수를 다음과 같은 함수로 하는 것이 생각된다.
w1=(1/Δa2)/sum
w2=(1/Δb2)/sum
상기 식을, 사용하는 기준 화상의 수를 N, 기준 시점의 식별 번호를 i(1≤i≤N), 가상 카메라(30)로부터 i번째의 기준 시점까지의 거리를 Δi, 각 기준 화상에 있어서의 대응하는 화소값을 ci, 가중 계수를 wi로 하여 일반화하면 다음과 같이 된다. 단 계산식을 이것에 한정한다는 취지는 아니다.
Figure 112019079378930-pct00001
또한 상기 식에 있어서 Δi가 0인 경우, 즉 가상 카메라(30)가 어느 기준 시점과 일치하는 경우에는, 대응하는 기준 화상의 화소값에 대한 가중 계수를 1, 다른 기준 화상의 화소값에 대한 가중 계수를 0으로 한다. 이에 의해, 당해 시점에 대해 고정밀도로 작성해 둔 기준 화상을, 그대로 표시 화상에 반영시킬 수 있다.
또한, 가중 계수의 산출에 사용하는 파라미터는 가상 카메라로부터 기준 시점까지의 거리에 한정되지 않는다. 예를 들어 가상 카메라(30)로부터 포인트(26)로의 시선 벡터 Vr에 대한, 각 기준 시점으로부터 포인트(26)로의 시선 벡터 Va, Vb가 이루는 각도 θa, θb(0≤θa, θb≤90°)에 기초해도 된다. 예를 들어 벡터 Va 및 Vb와 벡터 Vr의 내적 (Va·Vr), (Vb·Vr)을 사용하여, 가중 계수를 다음과 같이 산출한다.
w1=(Va·Vr)/((Va·Vr)+(Vb·Vr))
w2=(Vb·Vr)/((Va·Vr)+(Vb·Vr))
이 식을, 상술과 마찬가지로, 사용하는 기준 화상의 수를 N으로 하고, 기준 시점 i로부터 포인트(26)로의 시선 벡터를 Vi, 가중 계수를 wi로 하여 일반화하면 다음과 같이 된다.
Figure 112019079378930-pct00002
어쨌든 포인트(26)에 대한 상태가 가상 카메라(30)에 가까운 기준 시점일수록 큰 가중 계수가 되는 산출 규칙을 도입하면, 구체적인 계산식은 특별히 한정되지 않는다. 거리 및 각도의 양쪽으로부터 다각적으로 「상태의 근접」을 평가하여 가중 계수를 결정해도 된다. 또한 오브젝트(24)의, 포인트(26)에 있어서의 표면 형상을 가미해도 된다. 오브젝트로부터의 반사광의 휘도는 일반적으로 표면의 경사(법선)에 기초하는 각도 의존성을 갖는다. 따라서, 포인트(26)에 있어서의 법선 벡터와 가상 카메라(30)로부터의 시선 벡터 Vr이 이루는 각도와, 당해 법선 벡터와 각 기준 시점으로부터의 시선 벡터 Va, Vb가 이루는 각도를 비교하고, 그 차가 작을수록 가중 계수를 크게 해도 된다.
또한, 가중 계수를 산출하는 함수 자체를, 오브젝트(24)의 재질이나 색 등의 속성에 따라 전환해도 된다. 예를 들어 경면 반사 성분이 지배적인 재질의 경우, 강한 지향성을 갖고, 시선 벡터의 각도에 따라 관측되는 색이 크게 변화된다. 한편, 확산 반사 성분이 지배적인 재질의 경우, 시선 벡터의 각도에 대한 색의 변화가 그다지 크지 않다. 따라서, 전자의 경우에는 가상 카메라(30)로부터 포인트(26)로의 시선 벡터 Vr에 가까운 시선 벡터를 갖는 기준 시점일수록 가중 계수를 크게 하는 함수를 사용하고, 후자의 경우에는, 모든 기준 시점에 대해 가중 계수를 동일하게 하거나, 경면 반사 성분이 지배적인 경우와 비교하여 각도 의존성이 작아지는 함수를 사용하거나 해도 된다.
또한 동일한 이유로부터, 확산 반사 성분이 지배적인 재질의 경우, 표시 화상의 화소값 C의 결정에 사용하는 기준 화상을 씨닝하거나, 실제의 시선 벡터 Vr에 소정값 이상, 가까운 각도의 시선 벡터를 갖는 기준 화상만을 사용하거나 하여 그 수 자체를 감소시켜, 계산의 부하를 억제해도 된다. 이와 같이, 화소값 C의 결정 규칙을 오브젝트의 속성에 따라 상이하게 하는 경우, 기준 화상 데이터 기억부(256)에는, 기준 화상의 상별로, 그것이 나타내는 오브젝트의 재질 등, 속성을 나타내는 데이터를 대응지어 저장해 둔다.
이상 설명한 양태에 의해, 오브젝트의 표면 형상이나 재질을 가미하여, 경면 반사에 의한 광의 지향성 등을 보다 정확하게 표시 화상에 반영시킬 수 있다. 또한 가중 계수의 결정에는, 오브젝트의 형상에 기초하는 계산, 속성에 기초하는 계산, 가상 카메라로부터 기준 시점까지의 거리에 기초하는 계산, 각 시선 벡터가 이루는 각도에 기초하는 계산 중 어느 2개 이상을 조합해도 된다.
다음에, 지금까지 설명한 구성에 의해 실현할 수 있는 화상 생성 장치의 동작에 대하여 설명한다. 도 10은 화상 생성 장치(200)가 시점에 따른 표시 화상을 생성하는 처리 수순을 설명하는 흐름도이다. 이 흐름도는 유저 조작에 의해 애플리케이션 등이 개시되어 초기 화상이 표시됨과 함께, 시점의 이동을 접수하는 상태가 되었을 때 개시된다. 상술한 바와 같이 도시하는 표시 처리와 병행하여 전자 게임 등 각종 정보 처리가 이루어져도 된다. 먼저 공간 구축부(262)는, 표시 대상의 오브젝트가 존재하는 3차원 공간을 월드 좌표계에 구축한다(S10).
한편, 시점 정보 취득부(260)는, 유저 헤드부의 위치나 자세에 기초하여, 그 시점에서의 시점의 위치나 시선의 방향을 특정한다(S12). 다음에 사영부(264)는, 시점에 대한 뷰 스크린을 설정하고, 표시 대상의 공간에 존재하는 오브젝트를 사영한다(S14). 상술한 바와 같이 이 처리에서는, 3차원 모델을 형성하는 폴리곤 메쉬의 정점을 투시 변환하는 등 표면 형상만을 고려하면 된다. 다음에 화소값 결정부(266)는, 그와 같이 사영된 메쉬 내부의 화소 중 대상 화소를 하나 설정하고(S16), 그 화소값의 결정에 사용하는 기준 화상을 선택한다(S18).
즉 상술한 바와 같이, 대상 화소가 나타내는 오브젝트 상의 포인트가 상으로서 나타나 있는 기준 화상을, 각 기준 화상의 뎁스 화상에 기초하여 결정한다. 그리고 화소값 결정부(266)는 그것들 기준 화상의 기준 시점과, 실제의 시점에 대응하는 가상 카메라의 위치 관계나 오브젝트의 형상, 재질 등에 기초하여 가중 계수를 결정한 후, 각 기준 화상의 대응하는 화소값을 가중 평균하거나 하여 대상 화소의 값을 결정한다(S20). 또한 기준 화상의 화소값으로부터 대상 화소의 화소값을 도출하는 계산은, 가중 평균 이외에 통계 처리나 보간 처리로서 다양하게 생각되는 것은 당업자에게는 이해되는 바이다.
S18, S20의 처리를, 뷰 스크린 상의 모든 화소에 대하여 반복한다(S22의 "아니오", S16). 모든 화소의 화소값을 결정하면(S22의 "예"), 출력부(268)는 당해 데이터를 표시 화상의 데이터로서 헤드 마운트 디스플레이(100)에 출력한다(S24). 또한 좌안용, 우안용 표시 화상을 생성하는 경우에는, 각각에 대하여 S16 내지 S22의 처리를 실시함과 함께 적절히 연결하여 출력한다. 표시를 종료시킬 필요가 없으면, 다음 시점 정보를 취득한 후에 표시 화상의 생성, 출력 처리를 반복한다(S26의 "아니오", S12 내지 S24). 표시 처리를 종료시킬 필요가 발생하면 모든 처리를 종료시킨다(S26의 "예").
또한 도 10의 예에서는 모든 화소에 대하여 기준 화상을 사용하여 화소값을 결정하였지만, 표시 화상 상의 영역이나 시점의 위치에 따라 묘화 방법을 전환해도 된다. 예를 들어 시점 이동에 의한 광이나 색감의 변화를 필요로 하지 않는 오브젝트의 상에 대해서는, 종래의 텍스처 맵핑을 행하는 것만이어도 된다. 또한 지향성이 높은 반사광 등, 국소적인 시점에서만 관측되는 상태는, 주위의 기준 화상으로부터는 완전히 표현할 수 없는 경우가 있다. 기본적으로는 기준 시점을 증가시킴으로써 묘화의 정밀도를 향상시킬 수 있지만, 해당하는 범위에 시점이 들어갔을 때만 레이 트레이싱에 의한 묘화로 전환함으로써, 기준 화상으로서 준비하는 데이터의 양을 억제할 수 있다.
이상 설명한 본 실시 형태에 따르면, 임의의 시점으로부터의 화상을 표시하는 기술에 있어서, 미리 설정된 기준 시점에 대한 화상의 데이터를 준비해 둔다. 그리고 표시 화상의 묘화 시에, 준비해 둔 기준 화상으로부터 동일한 오브젝트를 나타내는 화소의 값을 취득함으로써, 표시 화상의 화소값을 결정한다. 화소값의 산출에는, 실제의 시점과 기준 시점의 위치 관계나 오브젝트의 속성에 기초하는 규칙을 도입한다. 기준 화상은 시점에 따른 표시와는 다른 타이밍에 시간을 들여 생성할 수 있기 때문에, 고품질의 것을 준비할 수 있다. 표시 시에는 이 고품질의 화상으로부터 값을 가져 옴으로써, 시간을 들이지 않고 고품질의 화상을 제시할 수 있다.
또한 실제의 시점에 상정되는 이동 범위에 기준 시점을 복수, 설정하여 기준 화상을 준비하고, 그것들의 화소값을, 시점의 위치 관계나 오브젝트의 속성에 기초하여 합성함으로써, 임의의 시점에 대하여 안정적인 정밀도로 표시 화상을 묘화할 수 있다. 예를 들어 어떤 기준 시점의 위치로부터 다른 기준 시점의 위치로 시점이 이동하는 경우, 전자에 대응하는 기준 화상으로부터 후자에 대응하는 기준 화상까지, 매끄럽게 색감을 변화시킬 수 있다. 또한 기준 화상을, 각 기준 시점을 중심으로 하는 전천구의 파노라마 화상으로 함으로써, 시점의 위치나 방향에 높은 자유도를 갖게 할 수 있다. 결과로서 고품질의 화상을 임의의 시점에 대해 응답성 좋게 표시할 수 있어, 보다 임장감이 있는 화상 표현을 실현할 수 있다.
이상, 본 발명을 실시 형태를 기초로 설명하였다. 실시 형태는 예시이며, 그것들의 각 구성 요소나 각 처리 프로세스의 조합에 다양한 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.
이상과 같이 본 발명은, 화상 생성 장치, 표시 장치, 화상 재생 장치, 게임 장치, 퍼스널 컴퓨터 등 각종 정보 처리 장치나, 그것들을 포함하는 정보 처리 시스템 등에 이용 가능하다.
100 : 헤드 마운트 디스플레이
200 : 화상 생성 장치
222 : CPU
224 : GPU
226 : 메인 메모리
236 : 출력부
238 : 입력부
254 : 오브젝트 모델 기억부
256 : 기준 화상 데이터 기억부
260 : 시점 정보 취득부
262 : 공간 구축부
264 : 사영부
266 : 화소값 결정부
268 : 출력부
300 : 기준 화상 생성 장치
310 : 기준 시점 설정부
314 : 오브젝트 모델 기억부
316 : 공간 구축부
318 : 기준 화상 데이터 생성부
320 : 기준 화상 데이터 기억부
322 : 기준 화상 생성부
324 : 뎁스 화상 생성부

Claims (15)

  1. 오브젝트의 3차원 모델에 의해 구축되는 공간을 소정의 각 기준 시점으로부터 보았을 때의 상을 각각 나타내는 복수의 기준 화상의 데이터를 저장하는 기준 화상 데이터 기억부와,
    상기 공간의 유저-특정 위치에서의 시점에 관한 정보를 취득하는 시점 정보 취득부와,
    상기 공간을 상기 시점으로부터 보았을 때의 상기 오브젝트의 상의 위치 및 형상을 표시 화상의 평면에 나타내는 사영부와,
    상기 표시 화상에 있어서 상기 오브젝트의 상을 구성하는 화소의 값을, 상기 기준 화상에 있어서의 동일한 상을 나타내는 화소의 값을 사용하여 결정하는 화소값 결정부와,
    상기 표시 화상의 데이터를 출력하는 출력부
    를 구비하고,
    상기 공간에 있어서의 상기 기준 시점의 공간적인 분포는, 다른 범위보다 상기 유저-특정 위치가 위치할 확률이 더 높은 범위에서, 더 높은 밀도를 갖는 것을 특징으로 하는 화상 생성 장치.
  2. 제1항에 있어서,
    상기 기준 화상 데이터 기억부는, 복수의 상기 기준 시점에 대한 복수의 상기 기준 화상의 데이터를 저장하고,
    상기 화소값 결정부는, 복수의 상기 기준 화상에 있어서의 화소의 값을 사용하여, 상기 오브젝트의 상을 구성하는 화소의 값을 결정하는 것을 특징으로 하는 화상 생성 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 화소값 결정부는, 상기 시점 정보 취득부가 취득한 시점과 상기 기준 시점의 위치 관계에 기초하는 규칙으로, 상기 오브젝트의 상을 구성하는 화소의 값을 구하는 것을 특징으로 하는 화상 생성 장치.
  4. 제3항에 있어서,
    상기 화소값 결정부는 추가로, 상기 표시 화상에 있어서 값을 결정하는 대상의 화소가 나타내는 오브젝트 표면의 법선 벡터에 기초하는 규칙으로, 상기 화소의 값을 구하는 것을 특징으로 하는 화상 생성 장치.
  5. 제2항에 있어서,
    상기 화소값 결정부는, 상기 표시 화상에 있어서 값을 결정하는 대상의 화소가 나타내는 오브젝트의 재질에 기초하는 규칙으로, 상기 화소의 값을 구하는 것을 특징으로 하는 화상 생성 장치.
  6. 제1항, 제2항 및 제5항 중 어느 한 항에 있어서,
    상기 기준 화상 데이터 기억부는, 상기 기준 화상 중 하나에 대응하는 뎁스 화상의 데이터를 더 저장하고,
    상기 화소값 결정부는, 상기 기준 시점 중 하나로부터, 상기 표시 화상에 있어서 값을 결정하는 대상의 화소가 나타내는 오브젝트 상의 위치까지의 거리와, 상기 뎁스 화상에 있어서의 대응하는 화소가 나타내는 뎁스값의 비교에 의해, 화소의 값의 결정에 사용하는 상기 기준 화상을 선택하는 것을 특징으로 하는 화상 생성 장치.
  7. 제6항에 있어서,
    상기 화소값 결정부는, 화소의 값의 결정에 사용하는 후보가 되는 기준 화상의 수를, 당해 화소가 속하는 상기 표시 화상 상의 영역에 따라 상이하게 하는 것을 특징으로 하는 화상 생성 장치.
  8. 제1항, 제2항 및 제5항 중 어느 한 항에 있어서,
    상기 기준 화상 데이터 기억부는, 상이한 높이의 복수의 수평면 상에 소정의 규칙으로 분포시킨 복수의 상기 기준 시점에 대한 상기 기준 화상의 데이터를 저장하는 것을 특징으로 하는 화상 생성 장치.
  9. 제1항, 제2항 및 제5항 중 어느 한 항에 있어서,
    상기 화소값 결정부는, 상기 시점 정보 취득부가 취득한 시점의 범위에 따라, 상기 표시 화상의 화소의 값의 결정에 상기 기준 화상 중 하나를 사용할지 여부를 전환하는 것을 특징으로 하는 화상 생성 장치.
  10. 제1항, 제2항 및 제5항 중 어느 한 항에 있어서,
    상기 화소값 결정부는, 상기 오브젝트에 따라, 그 상을 구성하는 화소의 값의 결정에 상기 기준 화상 중 하나를 사용할지 여부를 전환하는 것을 특징으로 하는 화상 생성 장치.
  11. 제1항, 제2항 및 제5항 중 어느 한 항에 있어서,
    상기 기준 화상 데이터 기억부는, 특정 오브젝트를 소정의 기준 시점으로부터 보았을 때의 상을 나타내는 전용의 기준 화상의 데이터를 더 저장하고,
    상기 화소값 결정부는, 상기 표시 화상에 있어서의 상기 특정 오브젝트의 상을 구성하는 화소의 값을, 상기 전용의 기준 화상에 있어서의 화소의 값을 사용하여 결정하는 것을 특징으로 하는 화상 생성 장치.
  12. 제1항, 제2항 및 제5항 중 어느 한 항에 있어서,
    상기 기준 시점의 설정을 접수하고, 당해 기준 시점으로부터 보았을 때의 상기 공간의 상을 나타내는 기준 화상의 데이터를 생성하여 상기 기준 화상 데이터 기억부에 저장하는 기준 화상 생성 장치를 더 구비한 것을 특징으로 하는 화상 생성 장치.
  13. 오브젝트의 3차원 모델에 의해 구축되는 공간을 나타내는 표시 화상을 생성하는 화상 생성 방법이며,
    상기 공간의 유저-특정 위치에서의 시점에 관한 정보를 취득하는 스텝과,
    상기 공간을 상기 시점으로부터 보았을 때의 상기 오브젝트의 상의 위치 및 형상을 표시 화상의 평면에 나타내는 스텝과,
    상기 공간을 소정의 각 기준 시점으로부터 보았을 때의 상을 각각 나타내는 복수의 기준 화상의 데이터를 저장하는 메모리로부터 당해 기준 화상의 데이터를 판독하고, 상기 표시 화상에 있어서 상기 오브젝트의 상을 구성하는 화소의 값을, 상기 기준 화상에 있어서의 동일한 상을 나타내는 화소의 값을 사용하여 결정하는 스텝과,
    상기 표시 화상의 데이터를 출력하는 스텝
    을 포함하고,
    상기 공간에 있어서의 상기 기준 시점의 공간적인 분포는, 다른 범위보다 상기 유저-특정 위치가 위치할 확률이 더 높은 범위에서, 더 높은 밀도를 갖는 것을 특징으로 하는 화상 생성 방법.
  14. 오브젝트의 3차원 모델에 의해 구축되는 공간을 나타내는 표시 화상을 생성하는 컴퓨터에,
    상기 공간의 유저-특정 위치에서의 시점에 관한 정보를 취득하는 기능과,
    상기 공간을 상기 시점으로부터 보았을 때의 상기 오브젝트의 상의 위치 및 형상을 표시 화상의 평면에 나타내는 기능과,
    상기 공간을 소정의 각 기준 시점으로부터 보았을 때의 상을 각각 나타내는 복수의 기준 화상의 데이터를 저장하는 메모리로부터 당해 기준 화상의 데이터를 판독하고, 상기 표시 화상에 있어서 상기 오브젝트의 상을 구성하는 화소의 값을, 상기 기준 화상에 있어서의 동일한 상을 나타내는 화소의 값을 사용하여 결정하는 기능과,
    상기 표시 화상의 데이터를 출력하는 기능
    을 실현시키고,
    상기 공간에 있어서의 상기 기준 시점의 공간적인 분포는, 다른 범위보다 상기 유저-특정 위치가 위치할 확률이 더 높은 범위에서, 더 높은 밀도를 갖는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체에 저장된 컴퓨터 프로그램.
  15. 삭제
KR1020197022798A 2017-02-17 2018-02-09 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체 KR102214263B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-028488 2017-02-17
JP2017028488A JP6824579B2 (ja) 2017-02-17 2017-02-17 画像生成装置および画像生成方法
PCT/JP2018/004582 WO2018151038A1 (ja) 2017-02-17 2018-02-09 画像生成装置および画像生成方法

Publications (2)

Publication Number Publication Date
KR20190103296A KR20190103296A (ko) 2019-09-04
KR102214263B1 true KR102214263B1 (ko) 2021-02-09

Family

ID=63170323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197022798A KR102214263B1 (ko) 2017-02-17 2018-02-09 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체

Country Status (6)

Country Link
US (1) US11120613B2 (ko)
EP (1) EP3584766A4 (ko)
JP (1) JP6824579B2 (ko)
KR (1) KR102214263B1 (ko)
CN (1) CN110291564B (ko)
WO (1) WO2018151038A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464278B (zh) * 2017-09-01 2020-01-24 叠境数字科技（上海）有限公司 全视向的球体光场渲染方法
JP7153264B2 (ja) * 2018-08-02 2022-10-14 三菱重工業株式会社 画像解析システム、画像解析方法及び画像解析プログラム
JP7249755B2 (ja) 2018-10-26 2023-03-31 キヤノン株式会社 画像処理システムおよびその制御方法、プログラム
JP7267764B2 (ja) * 2019-02-08 2023-05-02 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP6611143B1 (ja) * 2019-03-08 2019-11-27 アビームコンサルティング株式会社 画像表示方法、画像表示システム、プログラム
JP7408298B2 (ja) 2019-06-03 2024-01-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7038683B2 (ja) * 2019-07-25 2022-03-18 Kddi株式会社 合成装置、方法及びプログラム
JP7552616B2 (ja) 2019-12-09 2024-09-18 ソニーグループ株式会社 情報処理装置および方法、プログラム、並びに、情報処理システム
JP2022021544A (ja) * 2020-07-22 2022-02-03 キヤノン株式会社 投影装置、投影装置の制御方法、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US20100254627A1 (en) * 2009-04-03 2010-10-07 Kddi Corporation Image processing apparatus and c0mputer program
KR101066550B1 (ko) 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
KR101203243B1 (ko) * 2004-06-28 2012-11-20 마이크로소프트 코포레이션 상호작용적 시점 비디오 시스템 및 프로세스
US20160042551A1 (en) * 2014-08-08 2016-02-11 Imagination Technologies Limited Surface normal estimation for use in rendering an image
US20160335792A1 (en) 2015-05-14 2016-11-17 Qualcomm Incorporated Three-dimensional model generation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0684585B1 (en) * 1994-04-22 2003-02-05 Canon Kabushiki Kaisha Image forming method and apparatus
JPH0877356A (ja) * 1994-09-09 1996-03-22 Fujitsu Ltd 三次元多眼画像の処理方法及び処理装置
JP2002042158A (ja) * 2000-07-28 2002-02-08 Toshiba Corp 画像合成装置および画像合成方法およびプログラムを記録した媒体
CN100576934C (zh) * 2008-07-03 2009-12-30 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
JP5361758B2 (ja) * 2010-02-12 2013-12-04 日本電信電話株式会社 画像生成方法、画像生成装置、及びプログラム
CN101867813B (zh) * 2010-04-23 2012-05-09 南京邮电大学 面向交互式应用的多视点视频编码方法
CN102625127B (zh) * 2012-03-24 2014-07-23 山东大学 一种适于3d电视虚拟视点生成的优化方法
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
KR20160118363A (ko) * 2014-03-20 2016-10-11 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 장치 및 방법, 화상 복호 장치 및 방법, 및 이들의 프로그램
CN104661013B (zh) * 2015-01-27 2016-08-17 宁波大学 一种基于空间加权的虚拟视点绘制方法
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101203243B1 (ko) * 2004-06-28 2012-11-20 마이크로소프트 코포레이션 상호작용적 시점 비디오 시스템 및 프로세스
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
KR101066550B1 (ko) 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
US20100254627A1 (en) * 2009-04-03 2010-10-07 Kddi Corporation Image processing apparatus and c0mputer program
US20160042551A1 (en) * 2014-08-08 2016-02-11 Imagination Technologies Limited Surface normal estimation for use in rendering an image
US20160335792A1 (en) 2015-05-14 2016-11-17 Qualcomm Incorporated Three-dimensional model generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌1(Kaname Tomite 등, IEEE, 2002.12.10)

Also Published As

Publication number Publication date
EP3584766A1 (en) 2019-12-25
KR20190103296A (ko) 2019-09-04
JP6824579B2 (ja) 2021-02-03
EP3584766A4 (en) 2020-12-30
JP2018133063A (ja) 2018-08-23
US11120613B2 (en) 2021-09-14
US20190340807A1 (en) 2019-11-07
WO2018151038A1 (ja) 2018-08-23
CN110291564A (zh) 2019-09-27
CN110291564B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
KR102214263B1 (ko) 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체
JP7212519B2 (ja) 画像生成装置および画像を生成する方法
JP6934957B2 (ja) 画像生成装置、基準画像データ生成装置、画像生成方法、および基準画像データ生成方法
JP6980031B2 (ja) 画像生成装置および画像生成方法
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
US11315309B2 (en) Determining pixel values using reference images
JP6310898B2 (ja) 画像処理装置、情報処理装置、および画像処理方法
US20220270205A1 (en) Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
JP7358448B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
JPWO2012147363A1 (ja) 画像生成装置
WO2019163031A1 (ja) 画像処理装置および画像処理方法
JPWO2020170456A1 (ja) 表示装置および画像表示方法
JP2021028853A (ja) 電子コンテンツのデータ構造
JP2020027555A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2023079623A1 (ja) 画像表示システム、画像送信装置、表示制御装置、および画像表示方法
WO2024209668A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant