KR20150107747A

KR20150107747A - 영상 생성 장치, 영상 생성 프로그램, 및 영상 생성 방법

Info

Publication number: KR20150107747A
Application number: KR1020157018950A
Authority: KR
Inventors: 미츠오 하야시
Original assignee: 미츠오 하야시
Priority date: 2013-01-16
Filing date: 2013-01-16
Publication date: 2015-09-23
Also published as: JPWO2014111968A1; JP5980960B2; KR102045413B1; US10249340B2; US20180075880A1; US9824721B2; WO2014111968A1; US20150364157A1

Abstract

전방위 화상의 작화의 재현에 있어서, 둘러보기에 의한 몰입감을 효과적으로 유지하면서, 운필의 모양을 알기 쉽게 제시하는 영상의 자동적인 생성을 실현하는 것을 목적으로 한다. 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시킨다. 시선 정보 간의 프레임수를 일정한 것으로 한다. 시선 정보 A로부터 B를 거쳐 C로 시선을 이동시킬 때, 「A와 B와의 중앙의 프레임」으로부터 「B와 C와의 중앙의 프레임」까지의 범위에는, B에 대응하는 스트로크 정보군을 재생한다.

Description

영상 생성 장치, 영상 생성 프로그램, 및 영상 생성 방법{VIDEO GENERATION DEVICE, VIDEO GENERATION PROGRAM, AND VIDEO GENERATION METHOD}

본 발명은, 전방위(全方位) 화상 편집 장치를 사용한 작화(作畵)의 모양을 재현한 메이킹 영상을 생성하는 영상 생성 장치, 영상 생성 프로그램, 및 영상 생성 방법에 관한 것이다.

예를 들면, 본 출원인에 의한 선원(특허 문헌 1 참조)에 기재된 전방위 화상 편집 장치(이하, 단지 「전방위 화상 편집 장치」라고 기재)를 사용할 때, 작화자(作畵者)는 시선(視線) 변경과 드로잉(drawing)의 수순을 반복함으로써, 전방위 화상을 완성시킨다. 스트로크의 정중앙에 시선 이동이 행해지지 않고, 하나의 시선에서 어느 정도 연속하여 스트로크가 행해진다. 그리고, 「전방위 화상」이란, 작업자의 전방위를 덮는 배경으로 둘러본(looking around) 화상을 말한다.

여기서, 종래의 회화에 의한 메이킹 영상을 자동적으로 생성하는 방법으로서, 작업 화면을 녹화하는 방법이나, 스트로크 정보를 기록하는 방법 등을 들 수 있다.

작업 화면을 녹화하는 방법은, 작업에 사용하는 그래피컬 유저 인터페이스(GUI;Graphical User Interface)의 조작이나, 작업에 따른 작품 화상의 확대 표시나 회전 표시 등도 그대로 재현되므로, 운필(運筆)뿐아니라 전체의 작업 수순을 명확하게 제시하는 영상이 생성 가능하다. 그리고, 실제의 작업 시간에 대하여 메이킹 영상의 시간을 짧게 하기 위해, 재생 속도를 올리는 방법이 종종 취급된다. 예를 들면, 60분간의 작업의 모양을 6배속으로 함으로써 재생 시간을 10분간에 수용할 수 있다.

한편, 스트로크 정보를 기록하는 방법은, 작품의 전체 상(像)을 항상 표시시키면서 운필을 제시하는 영상이 생성 가능하고, 또한 완성시키는 작품 화상에 관한 운필 이외의 불필요한 정보는 일체 표시하게 하지 않는 것도 가능하다. 그리고, 실제의 작업 시간에 대하여 메이킹 영상의 시간을 짧게 하기 위해, 운필 이외의 시간을 생략하는 방법이 종종 취급된다. 예를 들면, 선의 종점(終点)으로부터 다음의 시점(始点)으로 펜을 옮기는 시간, 아무것도 조작하지 않는 시간 등을 재현시키지 않음으로써 재생 시간을 단축할 수 있다.

그런데, 전방위 화상을 일반적인 평면의 디스플레이(예를 들면, 액정 디스플레이)로 표시 가능한 2차원의 영상으로서 생성하는 유효한 방법 중 하나로서 「둘러보기 영상」을 들 수 있다.

둘러보기 영상은, 어안(魚眼) 렌즈의 화상이나 파노라마 화상과 상이하고, 일반적으로 익숙한 자연스러운 영상이며, 항상 어떠한 방향을 향한 상태로서 표현된다. 즉, 전방위 화상에 있어서 모든 방향을 나타내기 위해서는, 시선을 이동시키는 것을 필요로 한다.

이와 같은 둘러보기 영상은, 시선 이동이 스무스하면(자연스러우면) 몰입감을 효과적으로 유지할 수 있다. 이것은, 실사(實寫) 촬영에서 사용하는 카메라, 및 컴퓨터 그래픽스로 사용하는 가상 카메라 등에 있어서 카메라 워크(work), 예를 들면, 팬, 틸트(tilt), 줌이 스무스할 것이 요구되는 점과 같다.

국제공개 제WO/2012/147303호 공보

그러나, 종래 방법에서는 스트로크의 정중앙에 시선 이동이 행해지지 않는다. 그러므로, 예를 들면, 하나의 시선에 대한 스트로크수가 방대한 경우, 둘러보기가 행해지지 않는 시간이 길어지게 된다. 반대로, 하나의 시선에 대한 스트로크수가 적은 경우나 존재하지 않을 경우에는, 둘러보기가 과잉으로 행해져, 감상자가 어지러움을 느끼게 된다.

또한, 작화의 작업에서의 시선 이동은, 스무스하게 행하는 것이 본래의 목적이 아니고, 새로운 시선에서의 스트로크를 위해 행하는 것이 목적이므로, 이것을 그대로 재현한 결과로서 둘러보기가 왜곡되어 버리는 경우가 대부분이다.

본 발명은 전술한 바와 같은 기술적인 문제점을 해결하기 위해 이루어진 것으로, 전방위 화상의 작화의 재현에 있어서, 둘러보기에 의한 몰입감을 효과적으로 유지하면서, 운필의 모양을 알기 쉽게 제시하는 영상의 자동적인 생성을 실현하는 것을 목적으로 한다.

본 발명의 제1 태양(態樣)에 관한 영상 생성 장치는, 영상 생성 프로그램을 기억하는 기억부와, 상기 기억부에 기억된 영상 생성 프로그램을 실행함으로써, 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하도록 제어하는 중앙 제어부를 구비한 것을 특징으로 한다.

본 발명의 제2 태양에 관한 영상 생성 장치는, 영상 생성 프로그램을 기억하는 기억부와, 상기 영상 생성 프로그램을 실행함으로써, 재현 시퀀스가 가지는 유효한 시선 정보를 추출하고, 상기 추출된 시선 정보에 관한 프레임을 선택하고, 상기 선택된 프레임에 관한 스트로크 정보를 추출하고, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위 화상을 갱신하고, 상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고, 이 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화(描畵)하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내도록(writing out) 제어하는 중앙 제어부를 구비한 것을 특징으로 한다.

본 발명의 제3 태양에 관한 영상 생성 프로그램은, 컴퓨터를, 기억부에 기억된 영상 생성 프로그램을 실행함으로써, 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하도록 제어하는 중앙 제어부로서 기능하게 하는 것을 특징으로 한다.

본 발명의 제4 태양에 관한 영상 생성 프로그램은, 컴퓨터를, 기억부에 기억된 영상 생성 프로그램을 실행하는 수순과, 재현 시퀀스가 가지는 유효한 시선 정보를 추출하는 수순과, 상기 추출된 시선 정보에 관한 프레임을 선택하는 수순과, 상기 선택된 프레임에 관한 스트로크 정보를 추출하는 수순과, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위 화상을 갱신하는 수순과, 상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고, 이 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내는 수순을 실행하도록 제어하는 중앙 제어부로서 기능하게 하는 것을 특징으로 한다.

본 발명의 제5 태양에 관한 영상 생성 방법은, 중앙 제어부가, 기억부에 기억된 영상 생성 프로그램을 실행함으로써, 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하는 것을 특징으로 한다.

본 발명의 제6 태양에 관한 영상 생성 방법은, 중앙 제어부가, 기억부에 기억된 영상 생성 프로그램을 실행하는 수순과, 재현 시퀀스가 가지는 유효한 시선 정보를 추출하는 수순과, 상기 추출된 시선 정보에 관한 프레임을 선택하는 수순과, 상기 선택된 프레임에 관한 스트로크 정보를 추출하는 수순과, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위 화상을 갱신하는 수순과, 상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고, 이 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내는 수순을 실행하는 것을 특징으로 한다.

본 발명에 의하면, 전방위 화상의 작화의 재현에 있어서, 둘러보기에 의한 몰입감을 효과적으로 유지하면서, 운필의 모양을 알기 쉽게 제시하는 영상의 자동적인 생성을 실현하는 영상 생성 장치, 영상 생성 프로그램, 및 영상 생성 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시형태에 관한 영상 생성 장치의 구성을 나타낸 도면이다.
도 2는 영상 생성에 사용하는 메인 메모리의 메모리 맵을 나타낸 도면이다.
도 3의 (a) 및 (b)는 재현 시퀀스에 기록되어 있는 정보의 종류와 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시형태에 관한 영상 생성 프로그램 전체의 처리의 흐름을 나타낸 플로우차트이다.
도 5는 재현 시퀀스의 일례를 나타낸 도면이다.
도 6은 재현 시퀀스를 그룹으로 나누는 개념을 나타낸 도면이다.
도 7은 재현 시퀀스의 관련짓기 개념을 나타낸 도면이다.
도 8은 재현 시퀀스 및 재생 프레임을 시계열로 배치한 예를 나타낸 도면이다.
도 9의 (a) 및 (b)는 영상 생성예(작화의 모양, 영상 생성의 모양)를 나타낸 도면이다.

이하, 본 발명의 영상 생성 장치, 영상 생성 프로그램, 및 영상 생성 방법에 관한 바람직한 실시형태에 대하여 도면을 참조하면서 설명한다. 그리고, 본 발명의 영상 생성 장치, 영상 생성 프로그램, 및 영상 생성 방법은, 이하의 기술(記述)에 한정되는 것이 아니고, 본 발명의 요지를 벗어나지 않는 범위에 있어서, 적절히 변경 가능하다. 이하에, 상세하게 설명한다.

도 1에는 본 발명의 일 실시형태에 관한 영상 생성 장치의 구성을 나타내고 설명한다.

상기 도 1에 나타낸 바와 같이, 영상 생성 장치(1)는, 퍼스널 컴퓨터(10)와, 표시 장치(20), 영상 파라미터 입력 장치(30) 등으로 이루어진다.

퍼스널 컴퓨터(10)는, 멀티태스크 대응 프로세서 등으로 이루어지는 중앙 제어부(11)와, 일시 기억 장치로서의 RAM(Random Access Memory) 등으로 이루어지는 메인 메모리(12), 그래픽 카드 등의 화상 제어부(13), 입출력 제어부(14), 내장(內藏) 불휘발성 기억 매체(15), 미디어 읽고쓰기(reading and writing) 인터페이스(16)를 포함한다.

화상 제어부(13)는, 비디오 메모리(13a)도 구비하고 있다. 비디오 메모리(13a)란, 퍼스널 컴퓨터(10) 본체의 메인 메모리(12)와 동일하게, 일시적으로 데이터를 보존하는 장소이며, 그래픽 카드에 대하여 존재하는 메모리는 VRAM(Video RAM)이라고도 한다. 화면에 3D 그래픽 화상을 표시하는 경우, 이 때 필요로 하는 데이터량은 커진다. 화상 제어부(13)에 의해 처리를 끝낸 데이터는 비디오 메모리(13a)에 보존되어 수시로 사용되어 간다. 비디오 메모리(13a)의 용량이 많을수록, 미세한 3D 그래픽 화상이라도, 스무스하게 불량도 없이 표시할 수 있게 된다. 그리고, 최근에는 VRAM의 고속화가 진행되어, GDDR(Graphics DDR)이라는 고속 처리 전용(專用)의 메모리 규격도 등장하여, 3차원 그래픽스 묘화에서의 막대한 데이터의 고속 전송이 실현되고 있다.

표시 장치(20)는, 액정 디스플레이로 대표되는, 화상을 표시할 수 있는 장치이다. 영상 파라미터 입력 장치(30)는, 둘러보기 영상 출력 데이터(41)에 관한 조정(예를 들면, 시선 정보나 재생 속도, 화질의 조정 등)을 사용자가 임의로 지정 가능하게 하는 장치이며, 즉 마우스나 터치 패널, 펜 태블릿으로 대표되는, 좌표 입력 및/또는 버튼 입력이 가능한 장치, 및 키보드로 대표되는, 키 입력이 가능한 장치이다.

프로그램 데이터(50)나 방위 화소 대응시키기 데이터(42), 시퀀스 입력 데이터(40)는 미디어 읽고쓰기 인터페이스(16)를 통하여 퍼스널 컴퓨터(10)에 입력되고, 둘러보기 영상 출력 데이터(41)는 미디어 읽고쓰기 인터페이스(16)를 통하여 퍼스널 컴퓨터(10)로부터 외부로 출력된다.

프로그램 데이터(50)란, 본 발명이 동작 가능한 소프트웨어이다. 후술하는 영상 생성 프로그램의 데이터 등이 이에 해당한다.

방위 화소 대응시키기 데이터(42)란, 방위와 화소의 위치를 서로 대응시키는 테이블 또는 함수이다. 다각형(polygon) 모델을 사용하는 경우에는, 다각형 모델 데이터가 이에 상당하고, 3차원 형상의 오브젝트로 된다. 방위 화상 대응시키기 데이터(42)는, 프로그램 데이터(50)에 부수(付隋)되어도 되고, 외부에서 정의된 데이터를 읽어들여도 된다.

시퀀스 입력 데이터(40)는, 소프트웨어가 취급하는 데이터이며, 전방위 화상 편집 장치에 있어서의 작화의 조작이 순차적으로 기록된 데이터이며, 후술하는 재현 시퀀스로서 사용한다. 입력된 데이터는 메인 메모리(12)에 일시 기억된다. 둘러보기 영상 출력 데이터(41)는, 소프트웨어가 취급하는 화상군이며, 연속된 화상, 즉 영상 데이터로서 출력된다.

방위 화소 대응시키기 데이터(42) 및 프로그램 데이터(50)는, 도시하지 않은 외부 기억 매체로부터 읽어들여도 되고, 통신 네트워크를 통하여 도시하지 않은 외부 컴퓨터로부터 도시하지 않은 통신 제어부에 의해 수신하고, 입출력 제어부(14)를 통하여 내장 불휘발성 기억 매체(15)에 입력해도 된다. 둘러보기 영상 출력 데이터(41)는, 도시하지 않은 외부 기억 매체에 기입해도 되고, 통신 네트워크를 통하여 도시하지 않은 외부 컴퓨터에 송신해도 된다.

도 2에는 영상 생성에 사용하는 메인 메모리(12)의 메모리 맵을 나타내고 있다.

각 화상은, 불투명도를 가지는 색 정보(a: 알파, r: 적, g: 녹, b: 청)를 2차원적인 배열로서 가진다. 「알파」란, 불투명도 정보를 나타내고 있다. 퍼스널 컴퓨터에서는 1개의 픽셀의 색 정보를, 24비트(1색에 대해 8비트, 적·녹·청의 3색으로 8×3= 24비트)라는 단위로 기록하고 있다. 8비트에서는, 256 단계의 기록을 행할 수 있다. 알파를 가지는 PNG(32비트 PNG; 32bit Portable Network Graphics)에서는 색 정보 외에, 각 픽셀의 불투명도도 8비트의 256 단계로 기록할 수 있다. 알파값이 제로로 완전한 투명, 255로 완전한 불투명인 것을 의미한다.

전방위 화상 관련 정보란, 전방위 화상 편집 장치에 있어서의 작화자 및 본 발명에서의 감상자의 전방위를 덮는 배경(즉 전방위 화상)을 나타내기 위한 정보이다. 동 도면은 특히 다각형 모델을 이용하는 경우의 예이다. 다각형 정상점(頂点)은, 3차원 공간 좌표(x:수평, y:수직, z:안길이)와 2차원 텍스처 좌표(u:수평, v:수직)를 가진다. 다각형면은, 삼각형을 나타내기 위해 다각형 정상점으로의 참조를 3개, 텍스처 화상에의 참조를 레이어 개수분만큼 가진다. 다각형 모델은, 3차원 형상을 나타내기 위해 다각형 정상점과 다각형면을 각각 배열로서 가지게 된다. 1개의 레이어가 가지는 텍스처군의 구조가 어느 레이어에 대해서도 동일한 경우, 텍스처 화상에의 참조는, 레이어 내의 상대적인 참조를 1개로 해도 된다.

스크린 화상이란, 전방위 화상을 좌표 변환에 의해 2차원 좌표 평면 상에 투영하고, 표시 장치(20)에 의해 작화자에 제시하는 화상, 또는 둘러보기 영상 출력 데이터(41)로서 출력하는 1프레임분의 화상이다. 본 발명에 있어서는, 주로 전방위 화상의 갱신의 과정을 스크린 화상에 투영하고, 감상자에게 제시한다.

드로잉이란, 전방위 화상 편집 장치에 있어서 주로 포인팅 디바이스를 사용하여 2차원(평면)의 화상에 대하여 도형이나 선 등을 그려 넣는 작업이다. 드로잉 화상(드로잉용 화상)이란, 작화자가 실제로 드로잉을 행하는 대상으로 하는 2차원(평면)의 화상이다. 드로잉 화상은, 스크린 화상과는 다른 기억영역에 있고, 스크린 화상과 같은 좌표계이며, 드로잉 개시 전에는 완전히 투명한 상태로 한다. 드로잉을 행한 개소(箇所)는 불투명도 정보 및 색 정보를 갱신한다. 이것은, 즉 작화자가 스크린 화상에 중첩되어 있는 투명한 층에 드로잉을 행하는 것과 같다. 드로잉의 방법으로서, 프리핸드, 직선, 곡선, 직사각형, 원, 화상의 붙이기 등을 들 수 있다. 드로잉의 속성은, 방법이 선의 경우에는 폭이나 색, 방법이 도형의 경우에는 빈틈없이 칠한 모양 등을 생각할 수 있다. 본 발명에 있어서는, 드로잉은 후술하는 재현 시퀀스에 의해 자동적으로 행해진다.

그리고, 드로잉 화상은 드로잉의 내용을 전방위 화상에 반영시킬 때까지의 일시적인 화상이기도 하며, 필요에 따라 사용하면 된다. 예를 들면, 작화에 있어서 드로잉 종료 전에 다시 시선 변경 모드로 돌아오는(시선을 수정하는) 것을 필요로 하지 않고, 드로잉 내용을 즉시 전방위 화상에 반영하는 것을 작화 룰로 하는 경우, 드로잉 화상을 사용하지 않는 것도 가능하다.

재현 시퀀스란, 전방위 화상 편집 장치에 있어서의 작화의 조작이 정보로서 순차적으로 기록된 데이터이며, 본 발명에 있어서는 전방위 화상의 갱신에 사용된다.

이하, 도 3에는 재현 시퀀스에 기록되어 있는 정보의 종류와 구조를 나타내고 상세하게 설명한다.

재현 시퀀스의 요소로 되는 정보는 적어도 2종류 있고, 주로 시선 정보와 스트로크 정보이다.

시선 정보는, 주로 시선 각도(요우각(yaw angle), 피치각, 롤각) 및 시야각을 가진다. 이 외에, 시선 정보로서 시프트량(수평 시프트, 수직 시프트)을 가져 도 된다. 시프트란, 화상을 평행 이동하는 방법이며, 예를 들면, 전방위 화상 편집 장치를 사용한 원근감의 표현에 있어서, 먼 곳으로부터 수평선에 걸친 지면이나, 가까이에 있는 높은 건축물의 상부 등을, 시야각을 크게 하지 않고 상세하게 표현할 수 있다.

스트로크 정보는, 드로잉 속성 및/또는 드로잉 종료 플래그(flag)를 가진다.

스트로크 정보가 가지는 드로잉 속성은, 드로잉의 방법이 직선인 경우를 예로 들어, 시점 좌표와 종점 좌표(x:수평 픽셀, y:수직 픽셀), 색 정보(a:알파, r:적, g:녹, b:청), 선의 폭을 가진다. 그리고, 곡선이나 프리핸드를 표현하는 경우도, 짧은 직선을 복수 사용함으로써 근사(近似)할 수 있다.

스트로크 정보가 가지는 드로잉 종료 플래그는, 드로잉 종료 처리(즉, 지금까지 그려 넣어진 드로잉 화상을 전방위 화상에 묘화하고, 드로잉 화상을 클리어하는 처리)를 행할 것인지를 판단하기 위한 플래그이다.

전방위 화상 편집 장치에 있어서, 드로잉은 원칙적으로 어떤 방향을 향한 상태에서 행해진다. 즉, 재현 시퀀스에 포함되는 스트로크 정보는, 각각 어느 하나의 시선 정보에 관련되어 있는 것으로 된다.

다음에, 도 4의 플로우차트를 참조하여, 본 발명의 일 실시형태에 관한 영상 생성 프로그램 전체의 처리의 흐름을 나타내어 설명한다.

그리고, 동 도면은 드로잉 화상을 사용하는 경우를 예로 들고, 스트로크 정보를 추출한 후, 드로잉 화상을 갱신하는 처리와 전방위 화상을 갱신하는 처리로 나누어져 있다. 또한, 마찬가지로 스크린 화상에 묘화하는 처리에 대해서도 마찬가지로 나누어져 있다.

또한, 동 도면은 레이어의 개념을 포함하고 있지 않지만, 레이어를 사용하는 경우에는 전방위 화상 및 드로잉 화상을 스크린 화상에 묘화하는 순서 등에 주의한다.

처리를 개시하면, 먼저 재현 시퀀스가 가지는 모든 유효한 시선 정보를 추출 완료하였는지의 여부를 판단한다(스텝 S1). 여기서는, 아직 추출 완료되어 있지 않으므로, No로 분기하고, 다음의 유효한 시선 정보를 추출한다(스텝 S2).

이어서, 추출된 시선 정보에 관한 모든 프레임을 선택 완료하였는지의 여부를 판단한다(스텝 S3). 여기서는, 아직 선택 완료되어 있지 않으므로, No로 분기하고, 다음의 프레임을 선택한다(스텝 S4).

이어서, 선택 프레임에 관한 모든 스트로크 정보를 추출 완료하였는지의 여부를 판단한다(스텝 S5). 여기서, 아직 추출 완료되어 있지 않은 경우에는, No로 분기하고, 다음의 스트로크 정보를 추출한다(스텝 S6). 단, 선택 프레임에 관한 스트로크 정보가 존재하지 않을 경우, 그대로 추출 완료로 하고, 스텝 S5를 Yes로 분기하고, 스텝 S12로 진행한다.

이어서, 스트로크 정보가 드로잉 속성을 포함하고 있는지의 여부를 판단한다(스텝 S7). 여기서, 포함하고 있는 경우에는, Yes로 분기하고, 드로잉 속성을 기초로 드로잉 화상을 갱신하고(스텝 S8), 스텝 S9으로 진행한다. 한편, 포함하지 않을 경우에는, 그대로 스텝 S9으로 진행한다.

이어서, 스트로크 정보가 드로잉 종료 플래그를 포함하고 있는지의 여부를 판단한다(스텝 S9). 여기서, 포함하고 있는 경우에는, Yes로 분기하고, 추출된 시선 정보를 기초로 드로잉 화상을 전방위 화상에 묘화하고(스텝 S10), 드로잉 화상을 클리어 하고(스텝 S11), 스텝 S5로 돌아온다.

그리고, 다시, 선택 프레임에 관한 모든 스트로크 정보를 추출 완료하였는지의 여부를 판단한다(스텝 S5). 여기서, 추출 완료하고 있는 경우에는, Yes로 분기하고, 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고(스텝 S12), 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화하고(스텝 S13), 보간 생성된 시선 정보 및 추출된 시선 정보를 기초로 드로잉 화상을 스크린 화상에 묘화하고(스텝 S14), 스크린 화상을 선택 프레임의 화상으로서 써내고(스텝 S15), 스텝 S3로 돌아온다. 그리고, 「선택 프레임의 화상으로서 써냄」이란, 감상자에게 제시하기 위한 화상을 생성하는 처리이다.

이어서, 다시, 추출된 시선 정보에 관한 모든 프레임을 선택 완료하였는지의 여부를 판단한다(스텝 S3). 여기서, 선택 완료한 것으로 판단한 경우에는, Yes로 분기하고, 스텝 S1으로 돌아온다. 스텝 S1에서는, 다시, 재현 시퀀스가 가지는 모든 유효한 시선 정보를 추출 완료하였는지의 여부가 판단되고(스텝 S1), 추출 완료하고 있지 않으면 전술한 바와 같은 스텝 S1 내지 S15의 처리가 반복된다. 그리고, 추출 완료되면, 본 처리를 종료하게 된다.

이하, 상기 처리에 대하여 보다 구체적으로 설명한다.

도 5에는 재현 시퀀스의 일례를 나타내어 설명한다.

동 도면은 번호를 0∼41로 하는 합계 42개의 요소(要素)를 가지는 재현 시퀀스의 예이다. 재현 시퀀스의 요소의 종류로서, 시선 정보는 「■」, 드로잉 속성을 가지는 스트로크 정보는 「▲」, 드로잉 종료 플래그를 가지는 스트로크 정보는 「△」로 나타내고 있다.

설명을 용이하게 하기 위해, 이 예 및 이후의 예에서는, 재현 시퀀스의 베이스로 된 전방위 화상 편집 장치에 있어서의 작화의 룰로서, 시선의 변경의 직전에 드로잉 종료가 행해지는 것을 전제로 하고 있다.

도 6에는, 전술한 재현 시퀀스를 그룹으로 나누는 개념을 나타낸다.

동 도면은 1개의 그룹을 1개의 행으로 나타내고 있다. 드로잉 종료 플래그를 가지는 스트로크 정보를 그룹의 말미로 한다. 그리고, 시선 정보가 존재하지 않는 그룹이 있는 경우, 그 그룹을 직전의 그룹에 결합하면 된다.

도 7에는, 재현 시퀀스의 관련짓기의 개념을 나타낸다.

전술한 그룹화된 재현 시퀀스에 대하여, 관련짓기를 행한다.

먼저, 데이터의 관련짓기에 앞서, 시선 정보가 복수 존재하고 있는 그룹에 대하여, 그룹 내의 최후의 시선 정보를 유효한 시선 정보로 간주한다. 유효로 간주되지 않은 시선 정보는 파기한다. 이로써, 각 그룹의 시선 정보를 정확하게 사용할 수 있게 되는 동시에, 관련된 스트로크 정보가 1개도 없는 시선 정보를 필요하지 않도록 할 수 있다.

데이터의 관련짓기 개념을 나타낸다. 시선 정보군을 V로 나타내고, 첨자 j의 시선 정보를 V[j]로 나타낸다. 즉, 시선 정보군(V)의 첨자는 그룹 번호이기도 하다. 스트로크 정보군을 S로 나타내고, 첨자 i의 스트로크 정보를 S[i]로 나타낸다. 시선 정보 V[j]에 관련된 스트로크 선두 위치 리스트를 p로 나타내고, 첨자 j의 시선 정보 V[j]에 관련된 스트로크 정보의 선두 위치를 p[j]로 나타낸다. 즉, 첨자 j의 시선 정보 V[j]에 관련된 선두의 스트로크 정보를 S[p[j]]로 나타낸다.

여기서, 시선 정보 V[j]에 관련된 스트로크 정보군은, 첨자가 p[j] 이상 p[j＋1] 미만인 각 스트로크 정보(즉 S[p[j]＋0], S[p[j]＋1], S[p[j]＋2], …, S[p[j＋1]―1])로 되므로, 첨자 j의 시선 정보 V[j]에 관련된 스트로크 정보의 총수는 p[j＋1]―p[j]에 의해 구할 수 있다.

이상이 재현 시퀀스의 관련짓기의 예이지만, 하나의 시선 정보와, 그에 관련된 스트로크 정보군을 그룹화하는 방법이면, 다른 방법을 이용하여 관련짓기를 행해도 된다. 이 때, 재현 시퀀스의 베이스로 되는 전방위 화상 편집 장치에 있어서의 작화의 룰에 적합한 방법이 요구된다.

스트로크의 재생을 일시 정지시켜 둘러보는 것만을 행하는 기간을 설정하도록 한 경우에는, 관련된 스트로크 정보가 1개도 없는 시선 정보를 임의로 삽입해도 된다.

도 8에는, 재현 시퀀스 및 재생 프레임을 시계열로 배치한 예를 나타낸다.

동 도면의 예는, 전술한 시선 정보 및 스트로크 정보, 또한 영상 생성을 위한 재생 프레임에 대하여, 이들의 관계를 시계열로 나타내고 있다.

작화에 사용한 시선 정보는, 전술한 예를 기초로 V[0]∼V[3]의 합계 4개로 한다. 각 시선 정보 간의 시간은 등간격(等間隔)으로 되도록 한다. 하나의 시선 정보에 관련된 각 정보의 모임을 그룹으로 한다. 예를 들면, V[0]에 관련된 그룹 번호는 0이다. 그룹의 경계선은, 인접하는 2개의 시선 정보의 중앙 부근으로 한다.

재생 프레임수는 예로서 시선 정보 1개당(즉, 1그룹당) 10프레임, 합계 40프레임으로 한다. 즉,

V[0]에 관련된 프레임 번호를 0∼9

V[1]에 관련된 프레임 번호를 10∼19

V[2]에 관련된 프레임 번호를 20∼29

V[3]에 관련된 프레임 번호를 30∼39로 한다.

각각의 프레임 간의 시간은 등간격으로 되도록 하고, 또한 시선 정보의 시각이, 그에 관련된 프레임군의 중앙 부근으로 되도록 한다.

예를 들면, V[1]의 시각이, 프레임 번호 10과 프레임 번호 20과의 중앙(즉 프레임 번호 15)의 시각으로 되도록, 각 프레임(즉 프레임 번호 10∼19)의 시각을 조정한다. 이 경우, 프레임 번호 10의 시각은 V[0]과 V[1]과의 중심 시각으로 된다. 이와 같이, 1그룹당의 프레임수(및 시선 정보 간의 프레임수)는 일정한 것이 바람직하다. 단, 일정한 프레임수란, 실제로는 수 프레임(1∼2 프레임 정도)의 오차를 허용해도 된다(만일, 전체로 50프레임의 영상을 4그룹으로 생성하려는 경우, 각 그룹의 프레임수는 12 또는 13으로 된다).

각 그룹에서의 스트로크 정보군에 대해서는, 전술한 예를 기초로

V[0]에 관련된 스트로크 정보군을 S[0]∼S[4]의 합계 5개

V[1]에 관련된 스트로크 정보군을 S[5]∼S[17]의 합계 13개

V[2]에 관련된 스트로크 정보군을 S[18]∼S[26]의 합계 9개

V[3]에 관련된 스트로크 정보군을 S[27]∼S[31]의 합계 5개로 한다.

이 때, 스트로크 선두 위치 p의 내용은, p[0]=0, p[1]=5, p[2]=18, p[3]=27, p[4]=32로 된다. 그리고, p[4]의 값은 스트로크 정보의 최후의 첨자(31)에 1을 부가한 것이며, 즉 종단(終端)의 데이터 V[3]에 있어서 스트로크 정보 총수를 구하기 위해 사용한다.

각 스트로크 정보 간의 시간은 등간격으로 되도록 하고, 또한 시선 정보의 시각이, 그에 관련된 스트로크 정보군의 중앙 부근으로 되도록 한다.

예를 들면, V[0]의 시각이, S[0]과 S[5]와의 중앙의 시각으로 되도록, 각 스트로크 정보(S[0]∼S[4])의 시각을 조정한다.

그룹 내의 스트로크 정보의 수는, 전체 그룹 공통으로 된다고는 할 수 없는 것에 유의(留意)해야 한다. 이것은, 스트로크 정보 간의 시간은 전체를 통해 등간격으로는 한정되지 않고, 스트로크의 재생 속도가 반드시 일정하지 않은 것을 의미한다.

이상의 데이터를 사용하여, 각각의 프레임에 대하여 화상을 생성한다.

여기서, 예로서 프레임 번호 13의 화상을 생성하는 흐름을 설명한다. 프레임 번호 0∼12의 화상은 이미 생성되어 있는 것으로 한다.

먼저, 프레임에 표시하는 전방위 화상 및/또는 드로잉 화상에 스트로크를 반영하기 위해, 직전의 프레임의 시각보다 후, 또한 현재의 프레임의 시각 이하의 범위에 있는 스트로크 정보(군), 즉 S[8]∼S[9]를 사용하는 것으로 한다.

스트로크를 기입하는 경우(특히, 전방위 화상을 갱신하는 경우)의 시선 정보는, 프레임 번호 13이 관련되어 있는 그룹(즉 그룹 번호 1)의 시선 정보이므로 V[1]이다.

그리고, 이미 S[0]∼S[7]을 사용하는 스트로크는 선행하여 전방위 화상 및 드로잉 화상에 반영되어 있을 것이므로, 이에 부가하여 S[8]∼S[9]의 스트로크가 반영되게 된다.

이어서, 프레임에 전방위 화상 및 드로잉 화상을 표시하기 위한 새로운 시선을 구한다. 프레임에 시각이 가까운 4개의 시선 정보를 사용하여, 곡선의 보간방법(補間方法) 중 하나인 Catmull―Rom 보간(補間)에 의해 산출한다.

즉, CatmullRom(V[―1], V[0], V[1], V[2], (10―5)÷10)를 요우각, 피치각, 롤각, 및 시야각의 각각에 대하여 산출하여 보간한다. 단, V[―1]은 존재하지 않으므로, 대신에 데이터의 선단인 V[0]을 사용하고, CatmullRom(V[0], V[0], V[1], V[2], (10―5)÷10)를 산출한다. 곡선의 보간방법을 이용함으로써, 시선 이동이 곡선적이며 스무스하게 되어, 시선의 급격한 방향 전환을 방지할 수 있다.

이상과 같이 준비된 전방위 화상 및 드로잉 화상 및 시선을 사용하여, 프레임의 화상을 생성한다.

도 9에는 영상 생성예(작화의 모양, 영상 생성의 모양)를 나타낸다.

전술한 예를 구체적으로 나타낸다. 도 9는 복수의 직사각형을 다양한 방향으로 그린 경우의 영상 생성예이다. 여기서는, 전방위 화상 편집 장치에 있어서, 작화자는 정면에 직사각형을 1개 그리고, 바로 밑을 향해 직사각형을 3개 그리고, 정면 오른쪽을 향해 직사각형을 2개 그리고, 배면에 직사각형을 1개 그린 것으로 한다.

드로잉의 방법은 모두 직선으로 하고, 1개의 직사각형에 대하여, 드로잉 속성을 가진 스트로크 정보를 4개 사용하고 있다. 시선의 이동 직전에는, 드로잉 종료 플래그를 가진 스트로크 정보를 1개 사용하고 있다.

생성되는 영상은 작화 시의 시선(단, 파기된 시선을 제외함, 이후 마찬가지임)을 순차적으로 지나면서 스무스하게 시선이 이동한다.

작화 시의 시선과 동등한 시선을 지나는 프레임(예를 들면, 프레임 번호 5)일 때, 그 시선 정보가 포함되는 그룹의 스트로크는 절반 정도 완료하고 있다. 작화 시의 시선과 그 다음 시선의 중앙 부근을 지나는 프레임(예를 들면, 프레임 번호 10)일 때 그룹이 전환되고, 다음 그룹의 스트로크가 개시한다.

여기서, 본 발명에는 이하가 포함된다.

본 발명의 제1 태양에 따르면, 영상 생성 프로그램[프로그램 데이터(50)]을 기억하는 기억부인 메인 메모리(12)와, 상기 기억부에 기억된 영상 생성 프로그램을 실행함으로써, 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하도록 제어하는 중앙 제어부(11)를 구비하는 영상 생성 장치가 제공된다.

본 발명의 제2 태양에 따르면, 영상 생성 프로그램[프로그램 데이터(50)]를 기억하는 기억부로서의 메인 메모리(12)와, 상기 영상 생성 프로그램을 실행함으로써, 재현 시퀀스가 가지는 유효한 시선 정보를 추출하고, 상기 추출된 시선 정보에 관한 프레임을 선택하고, 상기 선택된 프레임에 관한 스트로크 정보를 추출하고, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위 화상을 갱신하고, 상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고, 이 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내도록 제어하는 중앙 제어부(11)를 포함하는 것을 특징으로 하는 영상 생성 장치가 제공된다.

본 발명의 제3 태양에 따르면, 컴퓨터(10)를, 기억부로서의 메인 메모리(12)에 기억된 영상 생성 프로그램[프로그램 데이터(50)]을 실행함으로써, 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하도록 제어하는 중앙 제어부(11)로서 기능하게 하는 것을 특징으로 하는 영상 생성 프로그램이 제공된다.

본 발명의 제4 태양에 따르면, 컴퓨터(10)를, 기억부로서의 메인 메모리(12)에 기억된 영상 생성 프로그램[프로그램 데이터(50)]을 실행하는 수순과, 재현 시퀀스가 가지는 유효한 시선 정보를 추출하는 수순과, 상기 추출된 시선 정보에 관한 프레임을 선택하는 수순과, 상기 선택된 프레임에 관한 스트로크 정보를 추출하는 수순과, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위 화상을 갱신하는 수순과, 상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고, 이 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내는 수순을 실행하도록 제어하는 중앙 제어부(11)로서 기능하게 하는 것을 특징으로 하는 영상 생성 프로그램이 제공된다.

본 발명의 제5 태양에 따르면, 중앙 제어부(11)가, 기억부로서의 메인 메모리(12)에 기억된 영상 생성 프로그램[프로그램 데이터(50)]을 실행함으로써, 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하는 것을 특징으로 하는 영상 생성 방법이 제공된다.

본 발명의 제6 태양에 따르면, 중앙 제어부(11)가, 기억부로서의 메인 메모리(12)에 기억된 영상 생성 프로그램[프로그램 데이터(50)]을 실행하는 수순과, 재현 시퀀스가 가지는 유효한 시선 정보를 추출하는 수순과, 상기 추출된 시선 정보에 관한 프레임을 선택하는 수순과, 상기 선택된 프레임에 관한 스트로크 정보를 추출하는 수순과, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위 화상을 갱신하는 수순과, 상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고, 이 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내는 수순을 실행하는 것을 특징으로 하는 영상 생성 방법이 제공된다.

이와 같이 본 발명은, 전방위 화상이 갱신되는 모양(즉, 스트로크의 모양)을 높은 확률로 관찰할 수 있는 영상을 생성하므로, 운필의 모양을 알기 쉽게 제시할 수 있다.

또한, 본 발명은, 작화자에 의한 조작을 기억한 데이터를 사용하여 자동적으로 영상을 생성하므로, 영상 생성에 관한 작업의 부담을 경감할 수 있다.

전술한 바와 같이, 스트로크의 재생 속도는 반드시 일정하지 않다. 단, 스트로크의 재생 속도의 변화는, 시선의 이동 속도의 변화 정도로는 몰입감에 영향을 주지 않을 것으로 생각된다. 즉, 본 발명은, 스트로크의 재생 속도의 변화를 허용함으로써, 스무스한 시선 이동을 가능하게 하고, 둘러보기에 의한 몰입감을 효과적으로 유지하는 효과를 기대할 수 있다.

1; 영상 생성 장치
10; 퍼스널 컴퓨터
11; 중앙 제어부
12; 메인 메모리
13; 화상 제어부
13a; 비디오 메모리
14; 입출력 제어부
15; 내장 불휘발성 기억 매체
16; 미디어 읽고쓰기 인터페이스
20; 표시 장치
30; 영상 파라미터 입력 장치
40; 시퀀스 입력 데이터
41; 둘러보기 영상 출력 데이터
42; 방위 화소 대응시키기 데이터
50; 프로그램 데이터

Claims

영상 생성 프로그램을 기억하는 기억부; 및
상기 기억부에 기억된 영상 생성 프로그램을 실행함으로써, 시선(視線) 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하도록 제어하는 중앙 제어부;
를 포함하는 영상 생성 장치.
영상 생성 프로그램을 기억하는 기억부; 및
상기 영상 생성 프로그램을 실행함으로써,
재현 시퀀스가 가지는 유효한 시선 정보를 추출하고,
상기 추출된 시선 정보에 관한 프레임을 선택하고,
상기 선택된 프레임에 관한 스트로크 정보를 추출하고,
상기 스트로크 정보가 드로잉(drawing) 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위(全方位) 화상을 갱신하고,
상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간(補間) 생성하고, 상기 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화(描畵)하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내도록(writing out) 제어하는 중앙 제어부;
를 포함하는 영상 생성 장치.
제2항에 있어서,
상기 재현 시퀀스는, 시선 정보와 스트로크 정보를 포함하고,
상기 시선 정보는 시선 각도나 시야각의 정보를 포함하고,
상기 스트로크 정보는 드로잉 속성을 포함하는, 영상 생성 장치.
제3항에 있어서,
상기 드로잉 속성은, 시점(始点) 좌표, 종점(終点) 좌표, 색 정보, 선의 폭의 정보 중 적어도 어느 하나를 포함하는, 영상 생성 장치.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 스트로크 정보는 드로잉 종료 플래그(flag)를 포함하고,
상기 중앙 제어부는, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성을 기초로 드로잉 화상을 갱신하고, 상기 스트로크 정보가 드로잉 종료 플래그를 포함하고 있는 경우에는, 상기 시선 정보를 기초로 상기 드로잉 화상을 전방위 화상에 묘화하고, 상기 보간 생성된 시선 정보 및 추출된 시선 정보를 기초로 드로잉 화상을 스크린 화상에 묘화하는, 영상 생성 장치.
컴퓨터를,
기억부에 기억된 영상 생성 프로그램을 실행함으로써, 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하도록 제어하는 중앙 제어부로서 기능하게 하는, 영상 생성 프로그램.
컴퓨터를,
기억부에 기억된 영상 생성 프로그램을 실행하는 수순;
재현 시퀀스가 구비하는 유효한 시선 정보를 추출하는 수순;
상기 추출된 시선 정보에 관한 프레임을 선택하는 수순;
상기 선택된 프레임에 관한 스트로크 정보를 추출하는 수순;
상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위 화상을 갱신하는 수순; 및
상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고, 상기 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내는 수순;
을 실행하도록 제어하는 중앙 제어부로서 기능하게 하는, 영상 생성 프로그램.
제7항에 있어서,
상기 재현 시퀀스는, 시선 정보와 스트로크 정보를 포함하고,
상기 시선 정보는 시선 각도나 시야각의 정보를 포함하고,
상기 스트로크 정보는 드로잉 속성을 포함하는, 영상 생성 프로그램.
제8항에 있어서,
상기 드로잉 속성은, 시점 좌표, 종점 좌표, 색 정보, 선의 폭의 정보 중 적어도 어느 하나를 포함하는, 영상 생성 프로그램.
제7항 내지 제9항 중 어느 한 항에 있어서,
상기 스트로크 정보는 드로잉 종료 플래그를 포함하고,
상기 중앙 제어부는, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성을 기초로 드로잉 화상을 갱신하고, 상기 스트로크 정보가 드로잉 종료 플래그를 포함하고 있는 경우에는, 상기 시선 정보를 기초로 상기 드로잉 화상을 전방위 화상에 묘화하고, 상기 보간 생성된 시선 정보 및 추출된 시선 정보를 기초로 드로잉 화상을 스크린 화상에 묘화하는, 영상 생성 프로그램.
중앙 제어부가, 기억부에 기억된 영상 생성 프로그램을 실행함으로써, 시선 정보 및 스트로크 정보군이 기록된 재현 시퀀스로부터, 유효한 시선 정보에 관하여 스트로크 정보군을 대응시키고, 시선 정보 간의 프레임수를 일정하게 하고, 제1 시선으로부터 제2 시선을 거쳐 제3 시선으로 시선을 이동시킬 때는, 상기 제1 및 제2 중앙의 프레임으로부터 상기 제2 및 제3 중앙의 프레임까지의 범위에는, 상기 제2 시선에 대응하는 스트로크 정보군을 재생하는, 영상 생성 방법.
중앙 제어부가,
기억부에 기억된 영상 생성 프로그램을 실행하는 수순;
재현 시퀀스가 가지는 유효한 시선 정보를 추출하는 수순;
상기 추출된 시선 정보에 관한 프레임을 선택하는 수순;
상기 선택된 프레임에 관한 스트로크 정보를 추출하는 수순;
상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성 및 상기 시선 정보를 기초로 전방위 화상을 갱신하는 수순; 및
상기 선택된 프레임에 관한 모든 스트로크 정보를 추출 완료하면, 상기 추출된 시선 정보 및 근방의 시선 정보 및 추출된 프레임의 위치를 기초로 새로운 시선 정보를 보간 생성하고, 상기 보간 생성된 시선 정보를 기초로 전방위 화상을 스크린 화상에 묘화하고, 상기 스크린 화상을 선택 프레임의 화상으로서 써내는 수순;
을 실행하는, 영상 생성 방법.
제12항에 있어서,
상기 재현 시퀀스는, 시선 정보와 스트로크 정보를 포함하고,
상기 시선 정보는 시선 각도나 시야각의 정보를 포함하고,
상기 스트로크 정보는 드로잉 속성을 포함하는, 영상 생성 방법.
제13항에 있어서,
상기 드로잉 속성은, 시점 좌표, 종점 좌표, 색 정보, 선의 폭의 정보 중 적어도 어느 하나를 포함하는, 영상 생성 방법.
제12항 내지 제14항 중 어느 한 항에 있어서,
상기 스트로크 정보는 드로잉 종료 플래그를 포함하고,
상기 중앙 제어부는, 상기 스트로크 정보가 드로잉 속성을 포함하고 있는 경우에는, 상기 드로잉 속성을 기초로 드로잉 화상을 갱신하고, 상기 스트로크 정보가 드로잉 종료 플래그를 포함하고 있는 경우에는, 상기 시선 정보를 기초로 상기 드로잉 화상을 전방위 화상에 묘화하고, 상기 보간 생성된 시선 정보 및 추출된 시선 정보를 기초로 드로잉 화상을 스크린 화상에 묘화하는, 영상 생성 방법.