KR20120102071A - 표시 제어 장치, 표시 제어 방법, 프로그램 - Google Patents

표시 제어 장치, 표시 제어 방법, 프로그램 Download PDF

Info

Publication number
KR20120102071A
KR20120102071A KR1020127014824A KR20127014824A KR20120102071A KR 20120102071 A KR20120102071 A KR 20120102071A KR 1020127014824 A KR1020127014824 A KR 1020127014824A KR 20127014824 A KR20127014824 A KR 20127014824A KR 20120102071 A KR20120102071 A KR 20120102071A
Authority
KR
South Korea
Prior art keywords
image data
display
frame
frame image
recording
Prior art date
Application number
KR1020127014824A
Other languages
English (en)
Inventor
데쯔지 오가따
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120102071A publication Critical patent/KR20120102071A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3623—Training appliances or apparatus for special sports for golf for driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 동작 추이 화상으로서 합성 처리된 프레임 화상을 사용한 다양한 재생 표시를 실현할 수 있도록 하는 표시 제어 장치, 표시 제어 방법, 프로그램에 관한 것이다. 프레임 화상 데이터의 입력마다 차례로 화상 합성 처리를 행하여 생성된 각 합성 화상 데이터로서, 각 프레임 화상 데이터의 움직임 피사체 화상이 차례로 소정의 방향으로 나열하여 배치되어 가는 동화상 표시가 실행 가능하게 되는 각 합성 화상 데이터가, 일련의 기록 프레임 화상 데이터로서 기록 매체에 기록되어 있고, 각 기록 프레임 화상 데이터가 재생 가능하게 된다. 그리고 터치 패널 등의 조작 입력부의 조작에 따라, 일련의 기록 프레임 화상 데이터 중에서의 재생해야 할 프레임 위치를 판정하고, 판정한 프레임 위치의 기록 프레임 화상 데이터의 재생을 실행시키도록 한다. 이에 의해 동작 추이 동화상 중에서, 유저가 보고자 하는 장면을 용이하게 볼 수 있도록 한다.

Description

표시 제어 장치, 표시 제어 방법, 프로그램{DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM}
본 발명은 표시 제어 장치, 표시 제어 방법, 프로그램에 관한 것으로, 특히 피사체의 동작 추이를 표현하는 화상을 표시하는 기술에 관한 것이다.
예를 들면 스포츠의 포메이션 확인 등의 용도로, 도 34에 도시한 바와 같은 「동작 추이 화상」이 사용된다.
동작 추이 화상은 동작을 행하는 사람 또는 물건(움직임 피사체)을 임의의 특징적인 시간(키 프레임)으로 잘라내고, 그것을 공간적으로 나열함으로써 동작의 추이를 용이하게 인식할 수 있다. 이것은 움직임 피사체가 공간적으로 이동하지 않더라도, 공간적으로 이동시킨 화상을 억지로 생성하는 데 특징이 있다. 일반적으로는 그림을 그리는 것에 의해 실현되지만, 사진을 수작업으로 오려내서 나열함으로써 실현되기도 한다.
특허문헌 1 : 일본 특허 제3449993호 공보 특허문헌 2 : 일본 특허 공개 제2004-180259호 공보 특허문헌 3 : 일본 특허 공개 제2007-259477호 공보 특허문헌 4 : 일본 특허 공개 제2002-359777호 공보
종래, 이러한 동작 추이 화상을 자동으로 생성하는 경우, 비디오 카메라의 영상이나 사진기의 연사 등으로 얻어진 복수 프레임의 화상 중에서, 처리 대상으로 하는 키 프레임의 화상을 골라낸다. 그리고 또한 키 프레임 중에서 대상 피사체의 부분을 잘라내고, 그것을 나열하는 등의 방법으로 행하고 있다.
그러나 종래의 동작 추이 화상에서는, 동작 범위의 확대와 동작 추이의 충분한 표현성의 양립이 어렵다고 하는 문제가 있었다.
예를 들면 도 34는, 골프의 스윙을 행하는 사람을 비디오 카메라로 촬상한 동화상 데이터로부터 골라낸 키 프레임 FK1 ~ FK20을 사용하여 동작 추이 화상을 생성한 예이다.
1개의 합성 화상으로서, 이 도 34와 같이 다수의 키 프레임 화상을 합성하면, 당연히 각 키 프레임 화상을 나열할 때 1장의 잘라내기폭 wa는 좁아지지 않을 수 없다.
그러면 움직임 피사체의 동작 범위를 커버할 수 없게 되어 버려, 목적인 움직임 피사체가 일부 잘려나가 버린다. 예를 들면 도 34의 각 화상을 보면 알 수 있듯이, 스윙 과정의 타이밍에 따라서는, 골프 클럽의 선단 부분 등이 누락된 화상으로 되어 있다. 이것은 시각적으로도 바람직하지 못한 동시에, 폼 체크 등의 용도를 고려하더라도 적절하지 못하다.
여기서, 움직임 피사체(예를 들면 스윙하고 있는 사람과 골프 클럽)의 일부가 누락되지 않도록 하기 위해서는, 잘라내기폭을 넓게 할 필요가 있다.
도 35는 잘라내기폭 wb로서 나타낸 바와 같이, 1개의 키 프레임 화상으로부터의 잘라내기폭을 넓게 한 예이지만, 이 경우, 1 화상으로서 나열할 수 있는 키 프레임 화상의 수가 적어진다. 예를 들면 도 35는, 도 34의 20개의 키 프레임 FK1 ~ FK20으로부터 8개의 키 프레임 FK1, FK4, FK7, FK10, FK11, FK14, FK17, FK20을 추출하여 생성한 동작 추이 화상을 나타내고 있다.
이 경우, 각 키 프레임 화상에 대해서 보면, 움직임 피사체(스윙하고 있는 사람과 골프 클럽)의 일부가 누락되지 않도록 할 수 있다. 그러나, 1장의 화상 위에 나열할 수 있는 키 프레임수가 줄어들게 되어, 원활하게 움직임을 표현하는 동작 추이 화상이 되기 어렵다. 즉 폼 체크 등으로서의 동작 추이를 충분히 미세하게 표현할 수 없다.
이 도 34, 도 35의 예와 같이, 움직임 피사체의 동작 범위를 모두 커버하려고 잘라내기폭을 넓게 하면, 생성되는 최종 화상 내에 존재하는 키 프레임수가 적어져서 동작 추이의 표현성이 부족하다. 반대로 잘라내기폭을 좁게 하면 키 프레임수를 늘려서 시간적으로 미세하게 움직임 피사체를 표현할 수 있지만, 움직임 피사체의 동작 범위를 커버할 수 없게 되어 버려, 목적인 움직임 피사체가 일부 잘려나가 버린다고 하는 문제가 있다.
또한, 이러한 동작 추이 화상은, 종래는 복수의 키 프레임을 단순하게 나열하여 화상 합성함으로써, 동작 추이를 표현하는 정지 화상이 되는 것이지만, 보다 시각 효과가 높은 동화상적인 동작 추이 화상을 실현하는 것도 요망되고 있다.
그리고, 그러한 동작 추이 화상을 생성하고, 기록한 경우, 동작 추이 화상에 대해서, 촬상 후에 유저에게 있어서 알기 쉽고 또한 조작성이 좋은 형태로, 재생하여 확인할 수 있도록 하면 적합하다.
따라서 본 발명에서는, 동작 추이 화상으로서, 다수의 프레임 화상을 사용하여 충분한 동작 표현을 가능하게 한 합성 화상 데이터를 기록한 경우에, 그 동작 추이 화상의 재생으로서, 간이한 조작으로 다양한 재생을 실현할 수 있도록 하는 것을 목적으로 한다.
본 발명의 표시 제어 장치는, 프레임 화상 데이터의 입력마다 차례로 화상 합성 처리를 행하여 생성된 각 합성 화상 데이터로서, 각 프레임 화상 데이터의 움직임 피사체 화상이 차례로 소정의 방향으로 나열하여 배치되어 가는 동화상 표시가 실행 가능하게 되는 각 합성 화상 데이터가, 일련의 기록 프레임 화상 데이터로서 기록되어 있는 기록 매체로부터, 상기 기록 프레임 화상 데이터의 재생 처리를 행하는 재생 처리부와, 유저 지시에 따라, 상기 일련의 기록 프레임 화상 데이터 중에서의 재생해야 할 프레임 위치를 판정하고, 상기 재생 처리부에 판정한 프레임 위치의 기록 프레임 화상 데이터의 재생을 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 표시 제어부를 구비한다.
그 경우, 상기 표시 제어부는, 상기 유저 지시로서 검지되는 드래그 조작(예를 들면 터치 패널 위를 손가락으로 덧그리는 조작)에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 상기 재생 처리부에 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행한다.
예를 들면 상기 표시 제어부는, 상기 유저 지시로서 검지되는 단위 시간마다의 드래그 조작량 및 드래그 조작 방향에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때 상기 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정하고, 상기 개시 프레임 위치로부터 상기 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로, 상기 재생 처리부에 재생시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행한다.
또한 상기 표시 제어부는, 상기 유저 지시로서 검지되는 플릭 조작(예를 들면 터치 패널 위를 손가락으로 튕기는 조작)에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 상기 재생 처리부에 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행한다.
예를 들면 상기 표시 제어부는, 상기 유저 지시로서 검지되는 플릭 조작 속도 및 플릭 조작 방향에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때 상기 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정하고, 상기 개시 프레임 위치로부터 상기 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로, 상기 재생 처리부에 재생시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행한다.
또한 상기 표시 제어부는, 상기 유저 지시로서 검지되는 포인트 조작(예를 들면 터치 패널 상의 임의의 위치에 닿는 조작)에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 상기 재생 처리부에 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행한다.
예를 들면 상기 표시 제어부는, 상기 유저 지시로서 검지되는 포인트 조작의 위치에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때 상기 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정하고, 상기 개시 프레임 위치로부터 상기 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로, 상기 재생 처리부에 재생시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행한다.
본 발명의 표시 제어 방법은, 프레임 화상 데이터의 입력마다 차례로 화상 합성 처리를 행하여 생성된 각 합성 화상 데이터로서, 각 프레임 화상 데이터의 움직임 피사체 화상이 차례로 소정의 방향으로 나열하여 배치되어 가는 동화상 표시가 실행 가능하게 되는 각 합성 화상 데이터가, 일련의 기록 프레임 화상 데이터로서 기록되어 있는 기록 매체로부터, 임의의 기록 프레임 화상 데이터가 판독되어 재생 표시되고 있을 때, 그 재생 표시에 대한 조작 입력을 검지하는 단계와, 검지된 상기 조작 입력에 따라, 상기 일련의 기록 프레임 화상 데이터 중에서의 재생해야 할 프레임 위치를 판정하고, 판정한 프레임 위치의 기록 프레임 화상 데이터의 재생 제어를 행하는 단계를 구비한다.
본 발명의 프로그램은, 상기 각 단계를 연산 처리 장치에 실행시키는 프로그램이다.
이러한 본 발명에서는, 우선 재생 대상으로서의 기록 매체의 존재가 전제가 된다. 기록 매체에는, 프레임 화상 데이터의 입력마다 차례로 화상 합성 처리를 행하여 생성된 각 합성 화상 데이터로서, 각 프레임 화상 데이터의 움직임 피사체 화상이 차례로 소정의 방향으로 나열하여 배치되어 가는 동화상 표시가 실행 가능하게 되는 각 합성 화상 데이터가, 일련의 기록 프레임 화상 데이터로서 기록되고 있다.
각 합성 화상 데이터는, 예를 들면 다음과 같은 것이다.
우선, 원래의 프레임 화상 데이터란, 동화상을 구성하는 각 프레임의 하나이거나, 예를 들면 연사 촬상된 정지 화상의 1장1장의 화상 등이다. 즉 1장의 화상을 구성하는 화상 데이터를 넓게 나타내는 것으로 한다.
이러한 입력되는 복수의 프레임 화상 데이터에 대하여 화상 합성 처리를 행하여 동작 추이 화상을 생성할 때, 프레임 화상 데이터에 대해서, 화상 내의 움직임 피사체 레이어와 배경 레이어를 분리하는 처리를 행한다. 그리고, 프레임 화상 데이터가 입력된 각 시점에 있어서, 그 시점에서 기존의 합성 화상 데이터에, 입력된 최신 프레임 화상 데이터를 합성해 간다. 이때, 1개의 프레임에 대한 폭을 짧게 함으로써, 다수의 움직임 피사체 화상을 나열할 수 있지만, 그 경우에 최신 프레임 화상 데이터의 움직임 피사체와, 그 이전의 프레임 화상 데이터의 움직임 피사체가 겹치는 부분이 발생한다. 따라서, 입력된 최신 프레임 화상 데이터의 움직임 피사체 레이어를 제1로 우선하고, 또한 전회 이전의 화상 합성 처리에 관한 프레임 화상 데이터의 움직임 피사체 레이어를 제2로 우선한 레이어 화상 합성 처리를 행하도록 한다. 이에 의해 움직임 피사체의 일부가 이전의 프레임의 움직임 피사체 위에 겹치는 상태로 합성 화상이 생성된다.
이와 같이 생성되는 합성 화상 데이터를, 일련의 기록 프레임 화상 데이터로서 기록 매체에 기록한다.
그리고, 재생 시에는, 각 합성 화상 데이터(기록 프레임 화상 데이터)를 동화상의 각 프레임으로서 재생하고, 표시시킴으로써, 합성 과정을 알 수 있는 동화상 표시나, 합성 과정의 임의의 단계의 정지 화상 표시 등을 실행할 수 있다. 또한 이때, 드래그 조작, 플릭 조작, 포인트 조작 등에 대응함으로써 유저에게, 합성 과정의 각 단계에 있어서의 보고자 하는 장면을 용이하게 제시할 수 있도록 한다.
또한, 본 발명의 다른 측면에서 본 표시 제어 장치는, 표시 화면의 표시 내용을 제어하는 표시 제어 장치에 있어서, 미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시됨과 함께, 상기 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록 상기 표시 내용을 제어하고, 또한 유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 표시 제어하는 제어 신호를 생성하는 제어 신호 생성부와, 상기 제어 신호를 상기 표시 화면의 표시 내용을 제어하도록 출력하는 제어 신호 출력부를 구비한다.
본 발명의 다른 측면에서 본 표시 제어 방법은, 표시 화면의 표시 내용을 제어하는 표시 제어 방법에 있어서, 미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시됨과 함께, 상기 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록, 상기 표시 내용을 제어하고, 유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 표시 제어하는 표시 제어 방법이다.
또한 본 발명의 다른 측면의 프로그램은, 상기 각 단계를 연산 처리 장치에 실행시키는 프로그램이다.
이 경우, 미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시되는 표시 화면의 표시 내용이란, 다수의 움직임 피사체를 나열한 표시를 말한다.
그리고 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록 상기 표시 내용을 제어한다. 예를 들면 동일 인물 등으로서의 동일한 움직임 피사체의 각 시점에서의 상태(예를 들면 골프 스윙 과정의 각 상태)의 화상이, 표시 상에서 시계열 순서로 나열하여 표시되도록 한다.
또한, 유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 표시 제어한다. 즉, 표시 중인 상태와 서로 다른 시점에서의 동일한 움직임 피사체를 표시시킬 때는, 그 각 움직임 피사체 화상의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시시키도록 한다.
본 발명에 따르면, 동작 추이 화상으로서의 각 단계의 합성 화상 데이터를 재생함으로써, 화상의 합성 과정을 동적으로 표시하는 것이 가능하게 됨과 함께, 합성 과정에 있어서의 유저가 보고자 하는 단계에서의 재생 화상을, 유저에게 있어서 용이한 조작으로 제공할 수 있다.
특히 재생 시에, 동화상의 시간축 상의 위치와, 터치 패널 등에 의한 공간축 상의 위치를 관련지음으로써, 보다 직감적인 조작이 가능하게 된다.
도 1은 본 발명의 표시 제어 장치를 포함하는 실시 형태의 화상 처리 장치의 블록도이다.
도 2는 실시 형태의 동작 추이 화상의 생성 처리의 설명도이다.
도 3은 실시 형태의 레이어 분리 처리의 설명도이다.
도 4는 실시 형태의 입력 화상의 영역 설정예의 설명도이다.
도 5는 실시 형태의 추이 동작 유효 영역 및 잔존 배경 영역의 설명도이다.
도 6은 실시 형태의 동작 추이 동화상의 설명도이다.
도 7은 실시 형태의 동작 추이 동화상의 설명도이다.
도 8은 실시 형태의 동작 추이 동화상의 설명도이다.
도 9는 실시 형태의 동작 추이 동화상의 설명도이다.
도 10은 실시 형태의 동작 추이 동화상의 설명도이다.
도 11은 실시 형태의 동작 추이 동화상의 설명도이다.
도 12는 실시 형태의 동작 추이 동화상의 설명도이다.
도 13은 실시 형태의 동작 추이 동화상의 설명도이다.
도 14는 실시 형태의 동작 추이 동화상의 설명도이다.
도 15는 실시 형태의 동작 추이 동화상의 최종 프레임의 설명도이다.
도 16은 실시 형태의 합성 화상 생성 및 기록 처리예의 플로우차트이다.
도 17은 실시 형태의 프로세스 판정 처리의 플로우차트이다.
도 18은 실시 형태의 합성 처리에 사용하는 화상 데이터의 설명도이다.
도 19는 실시 형태의 프로세스 P2, P3의 설명도이다.
도 20은 실시 형태의 프로세스 P4의 설명도이다.
도 21은 실시 형태의 프로세스 P5의 설명도이다.
도 22는 실시 형태의 프로세스 P6의 설명도이다.
도 23은 실시 형태의 기록, 표시되는 화상 프레임의 설명도이다.
도 24는 실시 형태의 드래그 조작의 설명도이다.
도 25는 실시 형태의 드래그 조작의 설명도이다.
도 26은 실시 형태의 드래그 조작의 설명도이다.
도 27은 실시 형태의 드래그 조작의 설명도이다.
도 28은 실시 형태의 드래그 조작의 각 경우의 설명도이다.
도 29는 실시 형태의 드래그 조작 대응 처리의 플로우차트이다.
도 30은 실시 형태의 플릭 조작의 설명도이다.
도 31은 실시 형태의 플릭 조작 대응 처리의 플로우차트이다.
도 32는 실시 형태의 포인트 조작의 설명도이다.
도 33은 실시 형태의 포인트 조작 대응 처리의 플로우차트이다.
도 34는 종래의 합성 화상의 설명도이다.
도 35는 종래의 합성 화상의 설명도이다.
이하, 본 발명의 실시 형태를 다음의 순서로 설명한다.
[1. 화상 처리 장치의 구성]
[2. 동작 추이 화상의 생성, 기록 처리예]
[3. 동작 추이 화상의 재생 표시 처리예]
<3-1: 드래그 조작>
<3-2: 플릭 조작>
<3-3: 포인트 조작>
<3-4: 다른 조작예>
[4. 표시 처리]
[5. 프로그램]
[1. 화상 처리 장치의 구성]
도 1은 실시 형태의 화상 처리 장치(1)의 구성예를 나타내고 있다.
이 화상 처리 장치(1)는, 동작 추이 화상으로서의 화상 합성 처리를 행하는 장치로 하고 있으며, 또한 화상 기록 재생부(40)로서, 동작 추이 화상의 기록이나 재생, 표시를 행하는 장치부(표시 제어 장치부)도 갖는 것으로 하고 있다.
도 1에는 본 예의 화상 처리 장치(1)의 구성으로서, 입력 화상 선택부(2), 레이어 처리부(3), 화상 출력부(4), 합성 화상 갱신 유지부(5), 화상 입력부(10), 움직임 피사체 정보 생성부(11), 움직임 피사체 정보 입력부(12), 화상 기록 재생부(40)를 나타내고 있다.
이들 각 부는 반드시 동일 하우징 내의 구성 부위로 되는 것은 아니다. 특히 화상 입력부(10), 움직임 피사체 정보 생성부(11), 움직임 피사체 정보 입력부(12), 출력 디바이스(40)는 별체의 구성 부위로 하는 것을 생각할 수 있다. 또한 움직임 피사체 정보 생성부(11)와 움직임 피사체 정보 입력부(12)에 대해서는 한쪽만 설치해도 된다.
또한, 화상 기록 재생부(40)는 별체의 기록, 재생, 표시 기기로서 구성되는 것도 당연히 상정된다.
또한 입력 화상 선택부(2), 레이어 처리부(3), 화상 출력부(4), 합성 화상 갱신 유지부(5)에 대해서는, 각각이 하드웨어 블록으로서 구성되어도 되지만, 마이크로 컴퓨터 등의 연산 처리 장치에 있어서, 소프트웨어 프로그램에 의해 실현되는 기능 블록으로서 실현할 수도 있다.
이 화상 처리 장치(1)는, 예를 들면 촬상 장치(비디오 카메라 등)나 영상 재생 장치 등의 기기의 내부에 설치되어도 되고, 1개의 화상 처리 전용 기기로서 구성되어도 된다. 또한 퍼스널 컴퓨터 등에 있어서 소프트웨어 및 하드웨어의 연계에 의해 실현되는 화상 처리 기능을 실행하는 것으로서 구성되어도 된다.
화상 입력부(10)에서는, 생성하는 동작 추이 화상(정지 화상 또는 동화상)의 바탕이 되는 프레임 화상 데이터군의 입력을 행한다.
프레임 화상 데이터란, 동화상을 구성하는 각 프레임의 하나이거나, 예를 들면 연사 촬상된 정지 화상의 1장1장의 화상 등이다. 즉 1장의 화상을 구성하는 화상 데이터를 넓게 나타내는 것으로서, 「프레임 화상 데이터」라는 용어를 사용한다.
이 화상 입력부(10)는, 상기 화상 처리 장치(1)가 촬상 장치에 탑재되는 것이면, 렌즈계나 수광 소자, 화상 신호 처리를 행하여 촬상 화상 신호를 얻는 일련의 촬상계 부위에 상당하게 된다.
또한 외부의 촬상 장치에서 얻어진 촬상 화상을 캡쳐하는 것이면, 화상 입력부(10)는, 외부 기기로부터 전송, 송신, 다운로드 등으로 되어 오는 화상 신호의 수신 처리계로 되기도 한다. 예를 들면 방송파에 대한 튜너부나, USB(Universal Serial Bus) 인터페이스 등의 외부 기기 인터페이스부, 더 나아가 유선 또는 무선의 네트워크 통신부 등이 상정된다.
또한, 촬상 화상 데이터 등의 화상 신호가 메모리 카드(고체 메모리), 광 디스크 등의 기록 매체에 기록되어 있는 경우에는, 화상 입력부(10)는 이들 기록 매체에 대하여 재생을 행하는 재생계 부위 또는 재생 프로그램으로서 실현된다.
화상 입력부(10)에 의해, 동화상으로서의 각 프레임 화상 데이터나, 정지 화상 연사 촬상 등에 의해 얻어진 복수의 프레임 화상 데이터가 입력되고, 화상 입력부(10)는 이들 프레임 화상 데이터를 입력 화상 선택부(2) 및 움직임 피사체 정보 생성부(11)에 공급한다.
또한, 화상 입력부(10)는 전처리를 행하기도 한다. 동화상의 파일을 수취한 경우에 각 프레임에 전개하거나, 인터레이스 화상을 수취한 경우에 프로그레시브화를 행하는 등 처리에 필요한 형태로 적절한 변환을 행한다. 또한, 확대 축소를 행하기도 한다.
움직임 피사체 정보 생성부(11)는 화상 입력부(10)로부터 수취한 원화상군(프레임 화상 데이터군)이나 다른 외부 정보(심도 정보 등)를 사용하여, 움직임 피사체 정보를 생성한다.
움직임 피사체 정보란, 적어도 입력된 프레임 화상 데이터 중, 어느 부분이 움직임 피사체이며, 어느 부분이 배경인지를 판별하는 것이 가능한 정보이다.
움직임 피사체 정보 생성부(11)는, 입력된 각각의 프레임 화상 데이터에 대응하는 움직임 피사체 정보를 생성하고, 입력 화상 선택부(2)에 공급한다.
움직임 피사체 정보는, 움직임 피사체 화상으로서 표현되기도 하며, 이 경우에는 각 화소가 움직임 피사체인지, 배경인지를 화소값으로서 나타낸다. 또한, 각 동일 피사체의 장소를 나타내는 정보를 식이나 벡터로 나타내는 경우도 있다.
움직임 피사체 정보 생성부(11)는, 움직임 피사체와 배경의 분리 외에, 복수의 움직임 피사체가 존재하는 경우, 각각을 분리하고, 또한 심도별로 분리하기도 한다. 이 경우, 움직임 피사체 정보를 화상으로 나타낼 때는 움직임 피사체인지 배경인지의 2치 화상이 아닌, 각 화소가 어느 심도에 있는지를 나타내는 다치 화상(또는 다채널 화상)이 된다.
또한, 움직임 피사체 정보의 생성은 본 예의 화상 처리 장치(1)의 장치 내가 아니어도 되고, 다른 장치나 프로그램으로 생성된 움직임 피사체 정보를 수취할 수도 있다. 움직임 피사체 정보 입력부(12)는, 화상 입력부(10)에서 입력되는 각 프레임 화상 데이터에 대한 움직임 피사체 정보를 외부로부터 수취하는 부위로서 나타내고 있다. 움직임 피사체 정보 입력부(12)는 입력된 각각의 프레임 화상 데이터에 대응하는 움직임 피사체 정보를 외부로부터 입력하고, 입력 화상 선택부(2)에 공급한다.
또한 따라서, 움직임 피사체 정보 생성부(11)와 움직임 피사체 정보 입력부(12)는, 적어도 한쪽이 설치되면 된다. 단, 움직임 피사체 정보 생성부(11)에서 생성되는 움직임 피사체 정보와, 움직임 피사체 정보 입력부(12)에서 입력되는 움직임 피사체 정보를 병용할 수도 있고, 그 의미에서, 움직임 피사체 정보 생성부(11)와 움직임 피사체 정보 입력부(12)가 양쪽 모두 설치되는 것도 유용하다.
입력 화상 선택부(2)는, 화상 입력부(10)로부터 차례로 공급되는 프레임 화상 데이터에 대해서, 동작 추이 화상의 생성을 위한 처리를 행한다. 즉 레이어 처리부(3)에서의 합성 처리에 사용하는 필요한 화상 데이터를 선택하고, 적절한 화상의 조합을 레이어 처리부(3)에 출력한다. 또한 입력 화상 선택부(2)는, 레이어 처리부(3)에 출력하는 프레임 화상 데이터에 대응하는 움직임 피사체 정보나, 합성을 위한 좌표 정보 등 합성 처리에 필요한 정보를 레이어 처리부(3)에 출력한다.
도 1에서는, 입력 화상 선택부(2) 내에 키 프레임 판정부(21)와 좌표 계산부(22)를 나타내고 있다. 키 프레임 판정부(21)는 키 프레임의 판정 처리나, 그에 기초하는 레이어 처리부(3)에 출력하는 프레임 화상 데이터의 선정을 행한다. 또한 좌표 계산부(22)는 합성 처리를 위한 좌표 계산을 행한다.
키 프레임이란, 동작 추이 화상으로서의 최종 출력 화상(동화상의 경우에는 최종 프레임 화상)에 있어서, 동작 추이의 궤적으로서 동일한 정지 화상에 남겨지는 시간축이 서로 다른 복수의 화상이다. 예를 들면 시간적으로 연속하는 프레임 화상 데이터군 중에서, 적절한 단위 시간당 등간격으로 촬상된 프레임이 키 프레임으로 되는 것이 일반적으로 상정되지만, 반드시 등간격의 시간일 필요는 없고, 촬상 대상의 동작 추이를 시인하는 데 적합한 간격으로 변화시키기도 한다.
키 프레임 판정부(21)는, 화상 입력부(10)로부터 차례로 공급되는 프레임 화상 데이터 중에서, 키 프레임이 되는 프레임 화상 데이터를 선정하는 처리를 행한다.
동작 추이 동화상을 생성하는 경우에는, 입력된 전체 프레임 화상 데이터를 레이어 처리부(3)의 처리에 제공하지만, 키 프레임인지의 여부에 따라, 레이어 처리부(3)에서의 합성 화상의 취급이 서로 달라지게 된다.
도 2에, 키 프레임에 대하여 나타내고 있다. 도 2의 (a)는 입력 화상 선택부(2)에 입력되는 화상 데이터를 모식적으로 도시하고 있다. 예를 들면 동화상 데이터로서, 도면의 F1, F2, F3…이, 각각 1개의 프레임 화상 데이터를 나타내고 있는 것으로 한다.
입력 화상 선택부(2)는 이러한 동화상으로서 시간적으로 연속하는 프레임으로부터 키 프레임을 선택한다. 일례로서, 5프레임 간격의 프레임을 키 프레임으로 하기로 한 경우, ○를 붙인 프레임 F1, F6, F11, F16, F21…이 키 프레임이 된다. 도 2의 (b)에는 이들 각 키 프레임의 화상 내용을 도형으로 나타내고 있다.
동작 추이 동화상을 생성하는 경우에는 키 프레임 이외의 프레임 화상 데이터(예를 들면 F2, F3 등)도 합성 처리에 사용한다.
단, 합성 과정에서는 키 프레임을 남긴 지금까지의 합성 화상 데이터에 대하여 새로운 프레임 화상 데이터를 합성하게 된다.
도 2의 (c)에서는, 동작 추이 동화상의 최종 프레임의 화상예를 나타내고 있지만, 키 프레임만을 남긴 합성 화상 데이터에 대하여 새로운 프레임 화상 데이터를 합성해 감으로써, 최종 프레임에서는 키 프레임의 화상이 거의 등간격으로 나열한 것 같은 화상 내용이 된다. 상세하게는 후술한다.
레이어 처리부(3)는 레이어 분리부(31), 레이어 가공부(32), 레이어 합성부(33)를 구비하고, 동작 추이 화상의 생성 처리를 행한다.
레이어 분리부(31)는 움직임 피사체 정보를 사용하여, 입력된 프레임 화상 데이터의 레이어 분리를 행한다. 레이어란, 1개의 프레임 화상 데이터에 대해서, 움직임 피사체 부분과 배경 부분 등으로 분리시킨 각각을 말한다. 레이어 분리부(31)는 레이어 합성을 행하는 해당 범위를, 예를 들면 움직임 피사체 정보를 바탕으로 입력 화상과 전회 키 프레임 화상을 배경과 움직임 피사체로 분리하여 각 레이어의 화상을 생성한다. 복수의 움직임 피사체가 존재하고, 그들의 심도를 알 수 있는 경우에는 각각의 움직임 피사체의 수＋배경의 수의 레이어로 분리한다.
도 3의 (a)는 입력 화상(임의의 1개의 프레임 화상 데이터)과, 그 프레임 화상 데이터에 대한 움직임 피사체 정보를 나타내고 있다.
상술한 바와 같이 입력 화상 선택부(2)는, 화상 입력부(10)로부터 차례로 공급되는 프레임 화상 데이터 F1, F2, F3…을 레이어 처리부(3)에 출력한다.
또한, 입력 화상 선택부(2)에는 움직임 피사체 정보 생성부(11) 또는 움직임 피사체 정보 입력부(12)로부터, 각 프레임 화상 데이터에 대응한 움직임 피사체 정보가 공급되어 있다. 입력 화상 선택부(2)는 프레임 화상 데이터를 레이어 처리부(3)에 공급할 때는, 그 프레임 화상 데이터에 대응하는 움직임 피사체 정보도 레이어 처리부(3)에 공급한다.
도 3의 (a)의 상단 및 하단에 나타내는 것은, 그와 같이 하여 레이어 처리부(3)에 공급되는 프레임 화상 데이터와, 그 움직임 피사체 정보이다. 여기에서는 움직임 피사체 정보는, 2치의 값으로 표현되고 있는 것으로 하고 있다. 즉 움직임 피사체가 되는 화소에 대하여 「1」, 움직임 피사체 이외의 배경으로 되어 있는 화소에 대하여 「0」 등으로 한 정보이다. 도 3의 (a) 하단에는 백색 윤곽 부분이 「1」 즉 움직임 피사체를 나타내고, 검은색 부분은 「0」 즉 배경을 나타내는 것으로 하고 있다.
레이어 분리부(31)는, 이러한 움직임 피사체 정보를 사용하여, 입력된 프레임 화상 데이터를 레이어 분리한다.
도 3의 (b)에는, 분리 후의 움직임 피사체 레이어와 배경 레이어를 나타내고 있다. 도 3의 (b) 상단의 움직임 피사체 레이어는, 도 3의 (a)의 입력 화상 중에서 움직임 피사체 부분(즉 움직임 피사체 정보=「 1」의 화소만)을 골라낸 화상이 된다.
또한 도 3의 (b) 하단의 배경 레이어는, 도 3의 (a)의 입력 화상 중에서 배경 부분(즉 움직임 피사체 정보=「0」의 화소만)을 골라낸 화상이 된다.
또한, 복수의 움직임 피사체가 존재하는 경우를 상정하고, 3치 이상의 다치의 움직임 피사체 정보를 사용하도록 할 수도 있다. 이 경우, 움직임 피사체 정보 생성부(11) 또는 움직임 피사체 정보 입력부(12)에서는, 복수의 움직임 피사체의 심도(화상 상에서의 깊이 방향의 전후 관계)에 따라서 서로 다른 값으로 한 움직임 피사체 정보를 생성(또는 취득)한다.
그러한 경우에는, 레이어 분리부(31)는 움직임 피사체의 수+배경의 수의 레이어로 분리할 수 있다.
레이어 가공부(32)는 분리된 각 레이어의 잘라내기, 확대 축소, 좌표 이동등의 가공을 행한다. 즉 레이어 분리된 각 레이어에 대하여 다양한 처리를 행하고, 합성할 수 있는 형태로 가공한다. 레이어 가공부(32)가 행하는 처리는 「확대 축소」 「회전」 「평행 이동」 등, 기하학적인 연산이 행해지는 경우가 많지만, 동작 부분의 강조 등의 화상 처리가 행해지기도 한다. 확대 축소는 키 프레임의 매수, 출력 화상 크기 등에 의해 결정된다.
레이어 가공부(32)는 레이어 분리된 각 레이어에 대하여 다양한 처리를 행하고, 합성할 수 있는 형태로 가공하는 것이지만, 동작 추이 화상은 통상, 입력된 프레임 화상 데이터의 전체 영역을 대상으로 하는 것은 아니고, 일부를 잘라내는 형태로 행해진다.
또한, 움직임 피사체가 유효해지는 범위와, 최종 화상에 남겨지는 배경의 영역도 서로 다르다.
입력되는 프레임 화상 데이터로서의 화상의 폭과 높이를 (Wimg, Himg), 추이 동작 유효 영역의 폭과 높이를 (Wmov, Hmov), 잔존 배경 영역의 폭과 높이를 (Wback, Hback)으로 하면, 예를 들면 도 4의 (a), (b), (c)와 같은 영역 형태가 상정된다. 또한, 도 4의 (a), (b), (c)는 각각 일례이며, 이들에 한정되지 않는다.
도 4의 (a), (b), (c)에 도시하는 추이 동작 유효 영역이란, 주된 움직임 피사체를 잘라내는 범위가 된다. 또한 잔존 배경 영역이란, 합성 처리에 있어서 배경 화상으로서 사용하는 영역이다.
이들의 추이 동작 유효 영역의 값 (Wmov, Hmov)나 잔존 배경 영역의 값 (Wback, Hback)은 피사체의 추이 방향, 즉 동작 추이 화상으로서 표현할 때 화상이 시간적으로 진행해 가는 방향에 따라, 폭이 동일해지거나 높이가 동일해진다.
도 6 내지 도 15에서 후술하는 동작 추이 화상과 같이, 각 움직임 피사체 화상을 가로 방향으로 추이시키는 경우에는, 도 4의 (b)의 예와 같이 높이 (Hmov, Hback)이 원래의 프레임 화상 데이터의 높이 (Himg)와 동일한 값으로 하는 것이 적합한 경우가 많다.
또한, 각 움직임 피사체 화상을 세로 방향으로 추이시키는 경우에는, 도 4의 (c)의 예와 같이 폭 (Wmov, Wback)이 원래의 프레임 화상 데이터의 폭 (Wimg)와 동일한 값으로 하는 것이 적합한 경우가 많다.
스포츠의 폼 확인 등, 동작 대상이 인물이며, 또한 서있는 경우에는 가로 추이가 되는 경우가 많고, 유도의 굳히기 등이 대상인 경우에는 세로 추이가 될 가능성이 높다. 이와 같이 추이 방향과, 그에 수반하는 각 화상의 크기는 촬상 대상에 강하게 의존한다.
도 5는 실제의 프레임 화상 데이터에 대한, 도 4의 (b)의 예에 의한, 추이 동작 유효 영역과 잔존 배경 영역의 설정예를 나타내고 있다.
도 5의 (a)는 원래의 입력된 프레임 화상 데이터로서, 예를 들면 프레임 화상 데이터의 크기는 VGA(640×480)인 것으로 한다. 추이 동작 유효 영역과 잔존 배경 영역의 중심은 입력 화상인 프레임 화상 데이터의 중심과 일치하는 것으로 한다.
추이 동작 유효 영역은, 도 5의 (b)와 같이, 폭 Wmov=320, 높이 Hmov=480의 영역으로 한다.
잔존 배경 영역은, 도 5의 (c)와 같이, 폭 Wback=160, 높이 Hback=480의 영역으로 한다.
물론 이것은 일례에 지나지 않고, 실제로는 피사체의 크기나, 움직임에 따라서 적절한 설정이 되고, 합성 처리에 사용하는 화상이 골라내어지면 된다.
레이어 합성부(33)는 가공된 레이어나 전회 이전의 합성 화상을 사용한 합성 처리를 행한다. 즉 레이어 가공부(32)에 의해 가공된 화상, 전회 이전의 합성 화상, 움직임 피사체 정보 등을 바탕으로, 출력하는 화상의 합성을 행한다. 여기에서 말하는 합성이란 움직임 피사체 정보를 바탕으로, 어느 레이어의 화소를 출력 화상에 반영할지의 판정을 행하고, 출력 화상을 생성하게 된다. 단일 레이어의 화소로부터 선택하기도 하지만, 복수 레이어의 화소를 혼합하여 출력하는 경우도 있다.
본 예의 레이어 합성부(33)에 의한 처리로서는, 프레임 화상 데이터의 입력에 따라, 화상 합성 처리를 행하여 합성 화상 데이터를 생성한다. 이때, 프레임 화상 데이터가 입력된 시점에 있어서의 기존의 합성 화상 데이터의 일부 영역에 대하여 레이어 화상 합성 처리를 행한다. 이 경우, 입력된 최신 프레임 화상 데이터의 움직임 피사체 레이어를 제1로 우선하고, 전회 이전의 화상 합성 처리에 관한 프레임 화상 데이터의 움직임 피사체 레이어를 제2로 우선한다.
구체적인 처리예에 대해서는 후술한다.
화상 출력부(4)는 레이어 처리부(3)에서 합성된 합성 화상을 화상 기록 재생부(40)에 출력한다.
여기에서는 화상 기록 재생부(40)는 기록 매체로의 기록 동작, 재생 동작, 표시 동작을 행하는 부위로서의 예로 나타내고 있다.
화상 출력부(4)는 프레임 화상 데이터의 입력마다 레이어 처리부(3)에서 생성되는 합성 화상 데이터를, 기록 매체에 기록하는 기록용 프레임 화상 데이터로서 차례로 화상 기록 재생부(40)에 출력한다.
또한 화상 출력부(4)는, 또한 프레임 화상 데이터의 입력마다 레이어 처리부(3)에서 생성되는 합성 화상 데이터를, 표시부(45) 상에서 동작 추이 동화상으로서 표시시키기 위하여 차례로, 화상 기록 재생부(40)에 출력한다.
또한, 화상 기록 재생부(40) 이외에도, 화상 출력부(4)에 의한 합성 화상 데이터의 구체적인 출력처에 대해서는, 다른 표시 장치로의 출력, 다른 기록 기기로의 출력, 네트워크 출력 등, 시스템 형태에 따라 다양하게 생각할 수 있다.
또한 화상 출력부(4)는, 금회의 합성 처리에 관한 프레임 화상 데이터가 키 프레임의 경우에, 금회의 합성 화상 데이터를, 다음의 처리 시에 기존의 전회의 합성 화상 데이터로서 사용할 수 있도록 하기 위해서, 합성 화상 갱신 유지부(5)에 출력하여 갱신 기억시킨다. 한편, 금회의 합성 처리에 관한 프레임 화상 데이터가 비키 프레임인 경우에는, 금회의 합성 화상 데이터는, 다음회의 처리 시에, 기존의 전회의 합성 화상 데이터로서는 사용하지 않기 때문에, 합성 화상 갱신 유지부(5)에 출력하지 않는다.
합성 화상 갱신 유지부(5)는, 동작 추이 화상의 생성 과정에 있어서, 각 시점의 합성 화상 데이터를 유지한다.
예를 들면 동작 추이 화상 생성 시에는, 화상 출력부(4)로부터 출력되는 각 시점의 합성 화상을 갱신하면서 유지해 간다. 예를 들면 전회, 전전회 등으로서, 합성 처리 과정에서 필요로 하는 과거의 합성 화상 데이터를 갱신하면서 유지한다. 또한, 각 합성 화상의 생성 시의 키 프레임의 정보나, 키 프레임의 움직임 피사체 정보 등도 기억 유지한다.
화상 기록 재생부(40)는 사용자 인터페이스 제어부(UI 제어부)(41), 기록 재생 처리부(42), 기록 매체 구동부(43), 표시 드라이버(44), 표시부(45), 터치 패널(46)을 갖는다.
UI 제어부(41)는 예를 들면 마이크로 컴퓨터로 형성된다. 이 UI 제어부(41)는 화상 기록 재생부(40) 내의 각 부를 제어하고, 화상 출력부(4)로부터 공급되는 합성 화상 데이터의 기록 매체로의 기록 동작이나 표시 동작을 실행시킨다. 또한 기록 매체로부터의 재생 동작이나 재생한 합성 화상 데이터의 표시 동작을 실행시킨다.
또한, 화상 출력부(4)로부터 화상 기록 재생부(40)에 공급되고, 기록 매체에 기록되는 합성 화상 데이터로서의 각 프레임 화상 데이터는, 상기 입력 화상 선택부(2)가 입력하는 원래의 프레임 화상 데이터와 구별하는 의미에서, 「기록 프레임 화상 데이터」라고도 한다.
기록 재생 처리부(42)는, UI 제어부(41)의 제어에 기초하여, 기록 프레임 화상 데이터의 기록을 위한 처리, 예를 들면 압축 처리, 에러 정정 코드 부가, 기록 데이터 형성을 위한 인코드 등을 행한다. 또한 기록 재생 처리부(42)는, 기록 매체 구동부(43)를 제어하고, 기록 매체에 대한 기록 구동을 실행시킨다.
또한 기록 재생 처리부(42)는, UI 제어부(41)의 제어에 기초하여, 기록 매체로부터의 기록 프레임 화상 데이터의 재생 처리를 행한다. 즉 기록 매체 구동부(43)를 제어하고, 기록 매체로부터의 데이터 판독을 실행시킨다. 그리고 판독된 기록 프레임 화상 데이터에 대해서, 소정의 디코드 처리, 에러 정정 처리 등을 행하고, 동화상의 각 프레임을 형성하는 기록 프레임 화상 데이터를 재생한다. 그리고 기록 프레임 화상 데이터를 표시 재생을 위해, 표시 드라이버(44)에 공급한다.
기록 매체 구동부(43)는 기록 매체에 대하여 기록 재생 구동을 행하는 부위이다. 기록 매체로서는 광 디스크, 자기 디스크, 홀로그램 디스크, 고체 메모리를 내장한 메모리 카드, 하드 디스크, 고체 메모리 등, 각종의 것이 상정된다.
예를 들면 광 디스크가 사용되는 경우, 기록 매체 구동부(43)는 광 픽업이나 스핀들 기구, 서보 기구 등을 구비한 디스크 구동부로서 형성된다. 즉, 채용되는 기록 매체에 따라서 정보의 기입/판독을 행하는 부위가 되면 된다.
표시부(45)는 액정 패널, 유기 EL 패널 등의 디스플레이 디바이스이다.
표시 드라이버(44)는 UI 제어부(41)의 제어에 기초하여, 표시부(45)에 대하여 영상 표시를 실행시킨다.
이 표시 드라이버(44)는 상기 레이어 처리부(3)에서의 합성 처리 실행 시에, 화상 출력부(4)로부터 공급되는 합성 화상 데이터를 표시부(45)에 표시시키는 처리를 행한다.
또한 상기 기록 재생 처리부(42), 기록 매체 구동부(43)의 동작에 의해 재생이 행해질 때는, 그 재생된 기록 프레임 화상 데이터를, 표시부(45)에 표시시키는 처리를 행한다.
터치 패널(46)은 표시부(45)의 화면 상에 형성되고, 유저 조작에 기여한다. 유저는 표시부(45)에서의 표시 내용에 따라, 터치 패널(46)을 사용하여 후술하는 조작(드래그 조작, 플릭 조작, 포인트 조작 등)을 행할 수 있다.
터치 패널(46)에 의한 조작 정보(유저에 의한 터치 위치 등의 정보)는 UI 제어부(41)에 공급된다. UI 제어부(41)는 터치 위치 등의 조작 정보와, 그 때의 표시 내용에 따라, 기록 재생 처리부(42)에 필요한 재생 동작을 실행시킨다.
[2. 동작 추이 화상의 생성, 기록 처리예]
이러한 화상 처리 장치(1)에 있어서, 주로 입력 화상 선택부(2), 레이어 처리부(3), 화상 출력부(4), 합성 화상 갱신 유지부(5)에 의해 실행되는 동작 추이 화상의 생성 처리예를 설명한다.
여기에서는, 도 6 내지 도 15와 같은 동작 추이 동화상을 생성하는 경우를 예로 들어, 도 16 내지 도 22에 의해 구체적인 처리예를 설명한다.
우선 본 예의 화상 처리 장치(1)에서 생성되는 동작 추이 동화상에 대하여 설명한다.
상술한 바와 같이 입력되는 프레임 화상 데이터로부터는, 키 프레임이 선정되지만, 합성 처리는 키 프레임 이외의 프레임도 사용한다. 단, 새로운 프레임 화상 데이터를 합성하는 대상으로서의 기존의 합성 화상 데이터는 키 프레임만이 반영된 화상이다.
이하의 도 6 내지 도 15의 예에서는, 키 프레임은 도 2의 (a)와 같이 선정되는 것으로 한다.
도 6은 최초의 프레임 화상 데이터(예를 들면 키 프레임) F1이 입력되었을 때의 합성 화상 데이터를 나타내고 있다. 또한, 도 6 내지 도 15에 있어서는, 키 프레임이 된 프레임 화상 데이터에 대해서는 (K)를 붙이고 있다.
다음으로 2번째의, 키 프레임이 아닌 프레임 화상 데이터 F2(이하, 키 프레임이 아닌 프레임 화상 데이터를 「비키 프레임」이라 함)가 입력되었을 때의 합성 화상 데이터를 도 7에 도시하였다. 이 경우, 키 프레임 F1에 대하여 소정량 어긋나게 한 화소 범위에 비키 프레임 F2를 합성한다. 또한, 움직임 피사체가 겹친 부분에 대해서는, 항상 최신 프레임의 움직임 피사체 화상이 우선된다.
합성은 기존의 합성 화상 데이터에, 입력된 프레임 화상 데이터를 합성한다는 방법을 채용한다. 이 비키 프레임 F2를 합성하는 시점에서의 기존의 합성 화상 데이터란, 도 6과 같은 합성 화상 데이터이다.
다음으로 3번째의 비키 프레임 F3이 입력되었을 때의 합성 화상 데이터를 도 8에 도시하였다. 이 경우, 도 7의 비키 프레임 F2에 대하여 소정량 어긋나게 한 화소 범위에 비키 프레임 F3을 합성한다.
여기서 합성 처리는, 상기와 같이 기존의 합성 화상 데이터에, 입력된 프레임 화상 데이터를 합성한다는 방법을 채용하지만, 비키 프레임이 입력되었을 때의 합성 화상 데이터는, 기존의 합성 화상 데이터로서 사용되지 않는다.
따라서, 이 비키 프레임 F3이 입력되었을 때도, 기존의 합성 화상 데이터는 도 6의 합성 화상 데이터 그대로이다.
즉 전회의 비키 프레임 F2는 합성에 사용되지 않고, 그 시점에서의 기존의 합성 화상 데이터에 대하여 비키 프레임 F3이 합성되기 때문에, 도면과 같이 프레임 화상 데이터 F1, F3의 움직임 피사체가 표현되는 화상이 된다.
도시하지 않지만, 4번째의 비키 프레임 F4가 입력되었을 때는, 마찬가지로 하여 키 프레임 F1+비키 프레임 F4의 합성 화상 데이터가 생성되고, 또한 5번째의 비키 프레임 F5가 입력되었을 때는, 마찬가지로 키 프레임 F1+비키 프레임 F5의 합성 화상 데이터가 생성된다. 즉, 모두 그 시점에서 기존의 합성 화상 데이터에 대하여 입력된 프레임 화상 데이터가 합성된다.
키 프레임 F6이 입력되었을 때도, 기존의 합성 화상 데이터에 대하여 합성되는 것은 마찬가지이다.
도 9는 2번째의 키 프레임 F6이 입력되었을 때의 합성 화상 데이터이지만, 기존의 합성 화상 데이터(이 경우에는 키 프레임 F1만)에 대하여 키 프레임 F6이 합성된다.
단 이 시점에서, 이 도 9의 합성 화상 데이터도, 기존의 합성 화상 데이터로서 보존된다.
합성에 사용하는 기존의 합성 화상 데이터로서는, 직전의 키 프레임 입력 시의 합성 화상 데이터(전회 합성 화상 데이터)뿐만 아니라, 또한 그 전의 키 프레임 입력 시의 합성 화상 데이터(전전회 합성 화상 데이터)를 사용해도 된다.
예를 들면 후술하는 구체적인 처리예에서는, 전회 합성 화상 데이터와 전전회 합성 화상 데이터를 사용하기 때문에, 여기에서도 전회 합성 화상 데이터와 전전회 합성 화상 데이터를 사용하는 것으로서 설명한다.
또한, 기존의 합성 화상 데이터를 사용하는 것은, 레이어 합성 시에, 각 화소에 대하여 우선 순위를 붙여서 합성하기 위함이지만, 그 의미에서 움직임 피사체의 겹치는 부분이 어느 정도의 범위가 되는지에 따라, 과거로 거슬러 올라간 합성 화상 데이터의 사용 범위를 설정하면 된다. 예를 들면, 전전전회 합성 화상 데이터, 전전전전회 합성 화상 데이터 등을 합성 처리에 사용하는 예도 생각할 수 있다.
이 도 9의 합성 화상 데이터가 생성된 후에는 기존의 합성 화상 데이터로서, 전회 합성 화상 데이터(도 9의 합성 화상)와, 전전회 합성 화상 데이터(도 6의 합성 화상)가 합성 화상 갱신 유지부(5)에 유지되고, 그 후의 합성 처리에 사용된다.
다음으로 비키 프레임 F7이 입력되었을 때의 합성 화상 데이터를 도 10에 도시한다. 이 경우도 기존의 합성 화상 데이터에 비키 프레임 F7의 화상이 합성됨으로써, 도면과 같은 키 프레임 F1, F6의 화상과 비키 프레임 F7의 화상에 의한 합성 화상이 생성된다.
또한 비키 프레임 F8이 입력되었을 때의 합성 화상 데이터를 도 11에 도시한다. 이 경우도 기존의 합성 화상 데이터에 비키 프레임 F8의 화상이 합성됨으로써, 도면과 같은 키 프레임 F1, F6의 화상과 비키 프레임 F8의 화상에 의한 합성 화상이 생성된다.
그 후에 비키 프레임 F9, F10이 입력되었을 때도 마찬가지이다.
도 12는 3번째의 키 프레임 F11이 입력되었을 때의 합성 화상 데이터이지만, 기존의 합성 화상 데이터에 대하여 키 프레임 F6이 합성된다.
단 이 시점에서, 이 도 12의 합성 화상 데이터도, 기존의 합성 화상 데이터로서 보존된다. 그리고 이 시점에서, 기존의 합성 화상 데이터로서, 전회 합성 화상 데이터는 도 12의 합성 화상에, 전전회 합성 화상 데이터는 도 9의 합성 화상에 갱신되어 유지된다.
이 도 6 내지 도 12와 같이, 입력되는 프레임 화상 데이터(키 프레임 및 비키 프레임)에 대해서, 차례로 합성 처리가 되어 가고, 각 시점에서 각각 도시와 같은 합성 화상 데이터가 얻어진다. 예를 들면 이들 합성 화상 데이터가, 각각 동화상을 구성하는 1프레임으로서 출력되어 간다. 또한, 이후 마찬가지로 프레임 화상 데이터의 입력마다 합성 화상 데이터가 생성되고, 도 13… 도 14… 도 15와 같이 동화상 출력이 진행되어 간다.
즉, 각 키 프레임의 피사체 화상을 남기면서, 비키 프레임을 포함하여 각 프레임의 피사체 화상이 합성되어 가고, 각 시점에서 그 합성 화상 데이터가 출력된다.
이에 의해, 골프 스윙 등의 동작 추이를 나타내는 동화상, 즉 동작 추이 동화상이 출력되게 된다.
이러한 동작 추이 동화상을 생성하는 처리를 예로 들어, 동작 추이 화상의 생성 처리예를 도 16 이후에 설명해간다.
도 16은 동작 추이 동화상을 생성할 때의, 입력 화상 선택부(2), 레이어 처리부(3), 화상 출력부(4), 합성 화상 갱신 유지부(5)에 의해 실행되는 처리를 나타내고 있다.
스텝 F101 ~ F105는 입력 화상 선택부(2)의 처리가 된다.
상술한 바와 같이 입력 화상 선택부(2)에는, 화상 입력부(10)로부터 시간적으로 연속하는 프레임 화상 데이터가 공급된다.
입력 화상 선택부(2)는 1장의 프레임 화상 데이터가 공급될 때마다 스텝 F102에서, 그 프레임 화상 데이터와, 움직임 피사체 정보 생성부(11)(또는 움직임 피사체 정보 입력부(12))로부터 프레임 화상 데이터에 대응하는 움직임 피사체 정보를 캡쳐하는 처리를 행한다.
또한, 스텝 F101의 판단은, 동작 추이 동화상을 생성하는 일련의 프레임 화상 데이터의 캡쳐, 즉 화상 입력부(10)로부터의 공급이 종료되었는지의 여부의 판단이다. 즉 동작 추이 동화상으로서 반영시키는 소정수의 프레임 화상 데이터의 입력이 완료될 때까지는, 스텝 F101에서 F102로 진행하게 된다.
입력 화상 선택부(2)는, 스텝 F102에서 프레임 화상 데이터 및 움직임 피사체 정보를 캡쳐하면, 스텝 F103에서, 상기 프레임 화상 데이터를 키 프레임으로 할 지의 여부를 선정한다. 예를 들면 도 2와 같이 키 프레임 선정을 행한다고 하면, 1번째, 6번째, 11번째…와 같은 5프레임 간격의 프레임을 키 프레임으로 한다.
또한, 상술한 바와 같이, 키 프레임은 반드시 등간격으로 설정할 필요는 없다. 예를 들면 도 6 내지 도 15에서 도시한 바와 같은 골프 스윙의 화상의 경우, 볼에의 임팩트 순간의 전후에는, 미세한 간격으로 키 프레임을 설정하는 등의 방법도 취할 수 있다.
입력된 프레임 화상 데이터에 대하여 키 프레임 판정을 행하면, 입력 화상 선택부(2)는 스텝 F104에서, 합성 화상 갱신 유지부(5)로부터, 그 시점에서 기존의 전회 합성 화상 데이터 및 전전회 합성 화상 데이터를 캡쳐한다.
또한, 최초의 키 프레임이 된 프레임 화상 데이터에 대한 합성 처리가 행해질 때까지는, 전회 합성 화상 데이터, 전전회 합성 화상 데이터는 존재하지 않는다. 또한, 2번째의 키 프레임이 된 프레임 화상 데이터에 대한 합성 처리가 행해질 때까지는 전전회 합성 화상 데이터는 존재하지 않는다. 스텝 F104에서는, 그 시점에서 전회 합성 화상 데이터, 전전회 합성 화상 데이터가 합성 화상 갱신 유지부(5)에 보존되어 있으면, 그것을 캡쳐한다는 처리가 된다.
스텝 F105에서는, 입력 화상 선택부(2)는 금회의 프레임 화상 데이터(키 프레임 또는 비키 프레임)를 합성 화상에 반영시키는 화소 위치의 좌표 계산 처리를 행한다. 즉 최종적인 합성 화상의 사이즈(동작 추이 동화상의 사이즈) 중에서, 금회의 프레임 화상 데이터를 끼워맞추는 화소 범위의 산출 처리이다.
입력 화상 선택부(2)는, 이 스텝 F105에서 산출한 좌표와, 금회의 프레임 화상 데이터 및 움직임 피사체 정보와, 전회 합성 화상 데이터와, 전전회 합성 화상 데이터를, 레이어 처리부(3)에 출력한다.
레이어 처리부(3)는, 스텝 F106에서 프로세스 판정 처리를 행한다.
프로세스 판정이란, 효율적인 합성 처리를 행하기 위해서, 합성 처리를 행하는 범위에서의 화소마다(또는 열마다, 또는 행마다), 어떤 합성 처리 프로세스를 실행할지를 판정하는 처리이다.
또한, 상기 도 6 내지 도 15와 같이, 피사체 화상이 가로 방향으로 추이해 가는 동작 추이 동화상을 생성하는 경우에는, 프로세스 판정 처리는, 화소마다 또는 열마다 행하면 된다. 한편, 도시하지 않지만, 피사체 화상이 상하 방향으로 추이해 가는 동작 추이 동화상을 생성하는 경우에는, 프로세스 판정 처리는, 화소마다 또는 행마다 행하면 된다. 이하에는, 도 6 내지 도 15의 예에 맞추어, 열마다 프로세스 판정을 행한다는 예에 기초하여 설명한다.
스텝 F106에서 행해지는 프로세스 판정 처리를 도 17에 도시하였다.
본 예에서는, 합성 처리에는, 금회의 프레임 화상 데이터와, 전회 합성 화상 데이터와, 전전회 합성 화상 데이터를 사용한다. 기존의 2개의 합성 화상 데이터를 사용하는 경우, 판정하는 프로세스수는 6개(프로세스 P1 내지 P6)가 된다. 만약 전전전회 합성 화상 데이터 등, 사용하는 합성 화상 데이터가 증가하는 경우에는, 프로세스수는 증가한다.
또한, 합성 처리에서는, 전회 합성 화상 데이터에 포함되는 전회 키 프레임의 범위의 정보 및 움직임 피사체 정보나, 전전회 합성 화상 데이터에 포함되는 전전회 키 프레임의 범위의 정보 및 그 움직임 피사체 정보를 사용한다. 이들에 대해서는, 전회 합성 화상 데이터, 전전회 합성 화상 데이터에 부수되어 합성 화상 갱신 유지부(5)에 보존되고, 상기 스텝 F102에서 판독되는 것으로 하면 된다.
도 17의 프로세스 판정 처리는, 주목열(상기와 같이 행의 경우도 있음)마다 행해진다.
프로세스 판정을 행하는 각 열이란, 예를 들면 도 13의 시점에서 말하면, A1 내지 A7의 범위의 각 열이 된다.
이 범위에서 화소 일렬(도 13의 경우에는 합성 화상 데이터의 상단의 화소 일렬)을 각각 주목열로 하여 프로세스 판정을 행한다.
레이어 처리부(3)는 우선 스텝 F201에서, 1열을 주목열로 하고, 그 화소 위치(합성 화상 데이터 내에서의 좌표 위치)를 취득한다.
그리고 스텝 F202에서는, 주목열의 위치가 전회 합성 화상 데이터의 범위 내인지의 여부를 판별한다. 전회 합성 화상 데이터의 범위란, 도 13의 A3 영역 내지 A7 영역의 범위이다.
주목열이 전회 합성 화상 데이터의 범위 내가 아니면, 레이어 처리부(3)는 스텝 F203으로 진행하고, 주목열이 금회의 추이 동작 유효 영역 내인지의 여부를 판별한다. 금회의 추이 동작 유효 영역이란, 금회 입력된 프레임 화상 데이터(키 프레임 또는 비키 프레임)의 추이 동작 유효 영역(도 5의 (b) 참조)이며, 도 13의 A2 영역 내지 A5 영역의 범위이다.
레이어 처리부(3)는 스텝 F203에서, 주목열이 금회의 추이 동작 유효 영역 내가 아니라고 판단한 경우에는, 상기 주목열에 대해서는, 프로세스 P1을 적용한다고 판정한다. 이것은 주목열이 도 13의 A1 영역 내가 되는 경우이다.
또한 레이어 처리부(3)는 스텝 F203에서, 주목열이 금회의 추이 동작 유효 영역 내라고 판단한 경우에는, 상기 주목열에 대해서는, 프로세스 P2를 적용한다고 판정한다. 이것은 주목열이 도 13의 A2 영역 내가 되는 경우이다.
또한 스텝 F202에서, 주목열이 전회 합성 화상 데이터의 범위 내라고 판정했을 때는 레이어 처리부(3)는 스텝 F204로 진행하고, 주목열이 금회의 추이 동작 유효 영역 내인지의 여부를 판별한다. 그리고, 이 스텝 F204에서, 주목열이 금회의 추이 동작 유효 영역 내가 아니라고 판별한 경우에는, 상기 주목열에 대해서는, 프로세스 P3을 적용한다고 판정한다. 이것은 주목열이 도 13의 A6 및 A7 영역 내가 되는 경우이다.
또한 스텝 F204에서, 주목열이 금회의 추이 동작 유효 영역 내라고 판별한 경우에는, 레이어 처리부(3)는 스텝 F205로 진행하고, 주목열이 뒤 영역의 범위 내인지의 여부를 판별한다. 뒤 영역이란, 추이 동작 유효 영역 내에서, 도 5의 (b)에 도시한 바와 같이, 동작 추이 화상의 진행 방향 A(왼쪽에서 오른쪽으로 이행하는 경우)에 대하여 후측으로서 도 5의 (c)의 잔존 배경 영역에 포함되지 않는 영역이다. 또한, 동작 추이가 오른쪽에서 왼쪽으로 이행하는 화상의 경우에는, 추이 동작 유효 영역 내에서의 우측의 영역이 된다. 또한, 동작 추이가 위에서 아래로 이행하는 화상의 경우에는, 추이 동작 유효 영역 내에서의 상측의 영역이 된다.
도 13의 예로 말하면, A5 영역 내의 열이, 뒤 영역 내라고 판정된다.
스텝 F205에서, 주목열이 뒤 영역에 해당한다고 판별한 경우에는, 레이어 처리부(3)는, 그 주목열에 대해서는, 프로세스 P4를 적용한다고 판정한다. 이것은 주목열이 도 13의 A5 영역 내가 되는 경우이다.
스텝 F205에서 뒤 영역의 범위가 아니다고 판별한 경우에는, 레이어 처리부(3)는 스텝 F206으로 진행하고, 주목열이 전전회 합성 화상 데이터의 범위 내인지의 여부를 판별한다. 전전회 합성 화상 데이터의 범위 내란, 도 13의 A4 영역 내지 A7 영역의 범위이다.
주목열이 전전회 합성 화상 데이터의 범위 내가 아니라고 판정한 경우, 레이어 처리부(3)는 상기 주목열에 대해서는, 프로세스 P5를 적용한다고 판정한다. 이것은 주목열이 도 13의 A3 영역 내가 되는 경우이다.
또한 스텝 F206에서 주목열이 전전회 합성 화상 데이터의 범위 내라고 판정한 경우, 레이어 처리부(3)는, 그 주목열에 대해서는, 프로세스 P6을 적용한다고 판정한다. 이것은 주목열이 도 13의 A6 영역 내가 되는 경우이다.
레이어 처리부(3)는, 도 16의 스텝 F106에서, 임의의 1열의 주목열에 대해서, 이상의 도 17의 프로세스 판정을 행할 때마다, 스텝 F107의 합성 처리를 행한다. 스텝 F107은 프로세스 판정 결과에 따라, 합성 결과의 화상으로서, 상기 주목열의 화소의 합성을 행하는 처리가 되고, 필요에 따라 레이어 분리, 가공, 합성이 행해진다.
그리고, 스텝 F108, F109에 대해서는 후술하지만, 스텝 F110에서 금회 입력된 현재의 프레임 화상 데이터에 대하여 처리가 종료했다고 판단될 때까지, 스텝 F106 내지 F109의 처리를 반복한다. 즉, 프로세스 판정 처리를 열단위로 행한다고 한 경우, 전체 열에 대하여 프로세스 판정 및 합성 처리를 행할 때까지 반복하게 된다.
프로세스 판정 결과에 따른 주목열에 대한 합성 처리를 각각 설명해 간다.
우선, 도 18에 합성 처리에 사용하는 화상 데이터를 나타낸다.
도 18의 (a)는 스텝 F102에서 금회 입력된 입력 화상(프레임 화상 데이터)의 추이 동작 유효 영역을 나타내고 있다.
도 18의 (b)는 금회의 시점에서 기존의 전회 합성 화상 데이터를 나타내고 있다.
도 18의 (c)는 금회의 시점에서 기존의 전전회 합성 화상 데이터를 나타내고 있다.
또한, 이들은 도 13의 시점에 있어서의 입력 화상, 전회 합성 화상 데이터, 전전회 합성 화상 데이터의 예로 하고 있다.
프로세스 P1은, 묘화를 행하지 않는 처리가 된다.
따라서 주목열이 프로세스 P1이라고 판정된 경우에는, 스텝 F107에서는, 특히 화소를 합성 결과에 반영시킨다고 하는 합성 처리는 행하지 않는다.
프로세스 P1이 적용되는 열은, 도 13의 A1 영역의 각 열이며, 따라서 A1 영역은 모두 묘화되지 않는다.
프로세스 P2는 금회의 프레임 화상 데이터의 추이 동작 유효 영역으로부터 화소 데이터를 카피하는 처리가 된다.
프로세스 P2가 적용되는 열은, 도 13의 A2 영역의 각 열이다. 이 A2 영역은 전회 합성 화상 데이터(및 전전회 합성 화상 데이터)와는 중복하지 않는 영역이 된다. 따라서, 금회의 입력 화상의 화소를 그대로 반영시키면 된다.
A2 영역에 상당하는 화소란, 도 19의 (a)에 도시한 바와 같이, 입력 화상의 추이 동작 유효 영역에서 사선부로 나타내는 각 열의 화소가 된다.
이 각 열의 화소에 대해서는, 그대로 도 13의 A2 영역의 화소로서 카피한다.
프로세스 P3은 전회 합성 화상 데이터로부터 화소 데이터를 카피하는 처리가 된다.
프로세스 P3이 적용되는 열은, 도 13의 A6 영역 및 A7 영역의 각 열이다. 이 A6 영역 및 A7 영역은, 금회 입력된 프레임 화상 데이터의 추이 동작 유효 영역과는 중복하지 않는 영역이 된다. 따라서, 전회 합성 화상 데이터의 화소를 그대로 반영시키면 된다.
A6 영역 및 A7 영역에 상당하는 화소란, 도 19의 (b)에 도시한 바와 같이, 전회 합성 화상 데이터에 있어서 사선부로 나타내는 각 열의 화소가 된다.
이 전회 합성 화상 데이터의 각 열의 화소에 대해서는, 그대로 도 13의 A6 영역 및 A7 영역의 화소로서 카피한다.
프로세스 P4는 전회 합성 화상 데이터 상에 금회의 프레임 화상 데이터의 움직임 피사체 화상(움직임 피사체 레이어)의 화소 데이터를 카피하는 처리가 된다.
프로세스 P4가 적용되는 열은, 도 13의 A5 영역의 각 열이다. 이 A5 영역은, 금회 입력된 프레임 화상 데이터의 뒤 영역이 된다. 이 영역은, 금회의 프레임 화상 데이터의 움직임 피사체만이, 전회 합성 화상 데이터에 겹쳐서 표시되도록 한다.
도 20의 상단에는, 입력 화상의 움직임 피사체 화상을 나타내고 있다. 이것은 입력된 프레임 화상 데이터에 대하여 도 3에서 설명한 레이어 분리를 행한 후의, 움직임 피사체 레이어가 된다. 즉 레이어 처리부(3)는, 레이어 분리부(31)의 기능에 의해, 금회 입력된 프레임 화상 데이터에 대하여 움직임 피사체 정보를 사용하여 레이어 분리를 행하고, 도시하는 움직임 피사체만의 화상(배경이 없는 화상)을 생성한다.
그리고, 이 도 20의 움직임 피사체 화상 중에서, 사선부가, 뒤 영역에 상당한다. 이 뒤 영역에 해당하는 각 열의 화소에 있어서, 움직임 피사체 화상을 구성하는 화소만을, 도 20 하단에 나타내는 전회 합성 화상 데이터의 A5 영역 상당 부분(사선부)에 전사한다.
이와 같이 전회 합성 화상 데이터 상에, 금회의 프레임 화상 데이터의 뒤 영역의 움직임 피사체 화소가 전사된 상태가, 도 13의 A5 영역의 합성 화상 데이터로서 반영된다.
프로세스 P5는 금회 입력된 프레임 화상 데이터의 움직임 피사체 화상과, 전회 키 프레임의 움직임 피사체 화상과, 금회 입력된 프레임 화상 데이터의 배경 화상의 3개의 레이어를 합성하는 처리가 된다.
프로세스 P5가 적용되는 열은, 도 13의 A3 영역의 각 열이다. 이 A3 영역은, 금회 입력된 프레임 화상 데이터의 추이 동작 유효 영역과, 전회 합성 화상 데이터가 겹치는 부분이다. 그 때문에, 도 21에 도시하는 우선 순위로 3개의 레이어를 합성한다.
도 21의 (a)는 입력 화상의 움직임 피사체 화상(움직임 피사체 레이어)을 나타내고 있다. 또한 도 21의 (c)는 입력 화상의 배경 화상(잔존 배경 레이어)을 나타내고 있다.
레이어 처리부(3)는 레이어 분리부(31)의 기능에 의해, 상기 프로세스 P4의 경우와 마찬가지로, 입력된 프레임 화상 데이터에 대하여 도 3에서 설명한 레이어 분리를 행하고, 이들 움직임 피사체 화상과 배경 화상을 얻는다.
또한 도 21의 (b)는 전회 합성 화상 데이터가 생성되었을 때의 키 프레임, 즉 전회 키 프레임의 움직임 피사체 화상(움직임 피사체 레이어)을 나타내고 있다. 또한, 전회 키 프레임 화상은 전회 합성 화상 데이터에 포함되지만, 전회 키 프레임의 움직임 피사체 화상의 추출은, 전회 키 프레임에 대응하는 움직임 피사체 정보를 사용하여 추출할 수 있다.
이 도 21의 (a), (b), (c)에 있어서, 도 13의 합성 후의 화상 상에서의 영역 A3에 상당하는 부분에는 사선이 그려져 있다.
프로세스 P5의 합성 처리에서는, 도 21의 (a), (b), (c)의 사선부의 열의 화소에 대해서, 도시한 바와 같이, 입력 화상의 움직임 피사체 화상을 제1 우선, 전회 키 프레임의 움직임 피사체 화상을 제2 우선, 입력 화상의 배경 화상을 제3 우선으로 하여 레이어 합성한다.
즉, 도 21의 (a)의 사선부에서 움직임 피사체를 구성하는 화소는, 그것이 최우선된다. 도 21의 (a)의 사선부에서 움직임 피사체를 구성하는 화소 이외의 부분은, 도 21의 (b)의 사선부에 있어서, 움직임 피사체를 구성하는 화소가 있으면, 그 화소가 끼워맞추어진다. 이들 이외의 화소 부분은, 도 21의 (c)의 배경 화상을 구성하는 화소가 끼워맞추어진다.
그리고 이와 같이 3레이어의 화소가 합성된 상태가, 도 13의 A3 영역의 합성 화상 데이터로서 반영된다.
프로세스 P6은, 금회 입력된 프레임 화상 데이터의 움직임 피사체 화상과, 전회 키 프레임의 움직임 피사체 화상과, 전전회 합성 화상 데이터의 움직임 피사체 화상과, 금회 입력된 프레임 화상 데이터의 배경 화상의 4개의 레이어를 합성하는 처리가 된다.
프로세스 P6이 적용되는 열은, 도 13의 A4 영역의 각 열이다. 이 A4 영역은 금회 입력된 프레임 화상 데이터의 추이 동작 유효 영역과, 전회 합성 화상 데이터 및 전전회 합성 화상 데이터가 겹치는 부분이다. 그 때문에, 도 22에 도시하는 우선 순위로 4개의 레이어를 합성한다.
도 22의 (a)는 입력 화상의 움직임 피사체 화상(움직임 피사체 레이어)을 나타내고 있다. 또한 도 22의 (d)는 입력 화상의 배경 화상(잔존 배경 레이어)을 나타내고 있다.
또한 도 22의 (b)는 전회 합성 화상 데이터가 생성되었을 때의 키 프레임, 즉 전회 키 프레임의 움직임 피사체 화상(움직임 피사체 레이어)을 나타내고 있다.
또한 도 22의 (c)는 전전회 합성 화상 데이터가 생성되었을 때의 키 프레임, 즉 전전회 키 프레임의 움직임 피사체 화상(움직임 피사체 레이어)을 나타내고 있다.
레이어 처리부(3)는, 레이어 분리부(31)의 기능에 의해, 상기 프로세스 P4의 경우와 마찬가지로, 입력된 프레임 화상 데이터에 대하여 도 3에서 설명한 레이어 분리를 행하고, 이들 움직임 피사체 화상과 배경 화상을 얻는다. 또한, 전회 합성 화상 데이터, 전전회 합성 화상 데이터로부터, 각각 움직임 피사체 정보를 사용하여 전회 키 프레임의 움직임 피사체 화상, 전전회 키 프레임의 움직임 피사체 화상을 추출한다.
이 도 22의 (a), (b), (c), (d)에 있어서, 도 13의 합성 후의 화상 상에서의 영역 A4에 상당하는 부분에는 사선이 그려져 있다.
프로세스 P6의 합성 처리에서는, 도 22의 (a), (b), (c), (d)의 사선부의 열의 화소에 대해서, 도시한 바와 같이, 입력 화상의 움직임 피사체 화상을 제1 우선, 전회 키 프레임의 움직임 피사체 화상을 제2 우선, 전전회 키 프레임의 움직임 피사체 화상을 제3 우선, 입력 화상의 배경 화상을 제4 우선으로 하여 레이어 합성한다.
즉, 도 22의 (a)의 사선부에서 움직임 피사체를 구성하는 화소는, 그것이 최우선된다. 도 22의 (a)의 사선부에서 움직임 피사체를 구성하는 화소 이외의 부분은, 도 22의 (b)의 사선부에 있어서, 움직임 피사체를 구성하는 화소가 있으면, 그 화소가 끼워맞추어진다. 또한 도 22의 (a), (b)에서 움직임 피사체를 구성하는 화소가 아닌 부분으로서 도 22의 (c)의 사선부에 있어서 움직임 피사체를 구성하는 화소가 있으면, 그 화소가 끼워맞추어진다. 이들 이외의 화소 부분은, 도 22의 (d)의 배경 화상을 구성하는 화소가 끼워맞추어진다.
그리고 이와 같이 4레이어의 화소가 합성된 상태가, 도 13의 A4 영역의 합성 화상 데이터로서 반영된다.
프로세스 P1 내지 P6의 합성 처리는 이상과 같이 행해진다.
도 16의 스텝 F107에서는, 스텝 F106에서의 프로세스 판정 결과에 따라, 주목열의 처리로서 상기 프로세스 P1 내지 P6 중 어느 하나가 실행된다.
또한, 열 단위가 아니라, 화소 단위로 스텝 F106 내지 F109의 처리를 반복해도 된다.
그리고, 합성 처리 대상의 모든 열(모든 화소)에 대해서, 어느 한쪽의 프로세스의 처리가 행해진 시점에서, 예를 들면 도 13과 같은 합성 화상 데이터가 완성하게 된다.
그 시점에서 도 16의 처리는 스텝 F110에서 F111로 진행한다.
스텝 F111에서는, 레이어 처리부(3)는 합성 화상 데이터를 화상 출력부(4)에 공급한다. 화상 출력부(4)는 공급된 합성 화상 데이터를, 동작 추이 동화상을 구성하는 1개의 프레임으로서 화상 기록 재생부(40)에 출력한다.
또한, 화상 출력부(4)는 합성 처리에 요하는 시간이나, 화상 입력부(10)로부터의 프레임 화상 데이터의 입력 간격 등에 따라서 또는 천천히 추이하는 동화상을 표현하기 위해서 등에 따라, 1장의 합성 화상 데이터를, 동작 추이 동화상을 구성하는 복수의 프레임으로서 연속하여 출력하도록 해도 된다.
스텝 F112에서는, 금회 처리한 프레임 화상 데이터가 키 프레임이었는지의 여부로 처리를 분기한다. 즉 스텝 F103에서의 판정 결과에 따라 처리를 분기한다.
금회 입력된 프레임 화상 데이터가 키 프레임이었던 경우에는, 스텝 F113에서, 금회 생성된 합성 화상 데이터를, 이후의 처리에서 전회 합성 화상 데이터로서 사용하기 위해서, 합성 화상 갱신 유지부(5)에 보존하는 처리를 행한다.
합성 화상 갱신 유지부(5)는, 그 시점에서 유지하고 있는 전회 합성 화상 데이터를, 전전회 합성 화상 데이터로 하고, 새롭게 금회 화상 출력부(4)로부터 공급되는 합성 화상 데이터를 전회 합성 화상 데이터로 하여 유지한다. 또한, 키 프레임의 움직임 피사체 정보 등도 부수하여 기억한다.
그리고 스텝 F101로 되돌아가서, 다음의 프레임 화상 데이터의 처리로 이행한다.
이상의 스텝 F101 ~ F113의 처리가, 프레임 화상 데이터 입력마다 반복되는 과정에서, 도 6 내지 도 15에 도시한 바와 같은 동작 추이 동화상이 출력된다.
즉 스텝 F111에서의 화상 출력부(4)에 의한 합성 화상 데이터의 출력에 의해, 화상 기록 재생부(40)는 기록 처리 및 표시 처리를 행한다.
우선, 프레임 화상 데이터가 입력되고, 화상 합성이 행해질 때마다 스텝 F111에서 합성 화상 데이터가 동화상을 구성하는 1 프레임으로서 화상 기록 재생부(40)의 표시 드라이버(44)에 출력된다.
표시 드라이버(44)는 이 합성 화상 데이터를 동화상의 1 프레임으로서, 표시부(45)에 표시시킨다. 이 결과, 표시부(45)에는, 도 6 내지 도 15에 도시한 바와 같은 동작 추이 동화상이 표시 출력되게 된다.
즉 합성 처리의 과정이 그대로 표시된다.
또한, 스텝 F111에서의 출력에 의해, 각 합성 화상 데이터가 기록된다.
즉, 화상 출력부(4)로부터의 합성 화상 데이터는, 기록 재생 처리부(42)에 대하여 기록 프레임 화상 데이터로서 공급된다.
기록 재생 처리부(42)는, 이 각 기록 프레임 화상 데이터를, 동작 추이 동화상을 구성하는 각 프레임으로서 처리를 행하고, 기록 매체 구동부(43)의 동작을 제어하고, 일련의 동화상 데이터로서 기록 매체에 기록시켜 간다.
도 23에서 기록 재생 처리부(42)의 처리에 의해 기록 매체에 기록되는 기록 프레임 화상 데이터를 설명한다.
도 23의 (a)는 입력 화상 선택부(2)에 입력되는 원래의 프레임 화상 데이터 F1, F2…를 모식적으로 도시하고 있다.
상술한 처리에서, 프레임 F1, F2, F3…이 각각 입력된 시점에서, 각각 합성 처리가 행해지고, 도 23의 (b)에 도시하는 각 합성 화상 데이터 (rF1, rF2…)가 생성된다.
이 도 23의 (b)의 각 합성 화상 데이터가, 예를 들면 도 6 내지 도 15와 같은 1 프레임의 화상 데이터이다.
이 합성 화상 데이터가, 기록 프레임 화상 데이터 rF1, rF2, rF3…로서 기록 매체에 기록되어 간다. 따라서, 동작 추이 동화상으로서의 일련의 동화상을 형성하는 각 프레임이 보존되게 된다.
또한, 이 도 23의 (b)에서 알 수 있듯이, 키 프레임의 합성 시의 합성 화상 데이터뿐만 아니라, 비키 프레임의 합성 시의 합성 화상 데이터도, 기록 프레임 화상 데이터의 하나로서 기록된다.
스텝 F101에서, 전체 프레임 캡쳐 종료라고 판단되면, 처리는 스텝 F114로 진행하고, 합성 처리가 종료됨과 함께, 화상 출력부(4)는, 합성 화상 데이터의 출력을 종료한다. 또는, 표시부(45)에서는, 예를 들면 도 15와 같은 최종 프레임의 합성 화상 데이터를, 계속해서 출력해도 된다. 즉, 표시부(14) 상에서는, 도 6 내지 도 15의 동작 추이 동화상이 완료되어 최후의 도 15의 화상이 계속되는 상태가 된다.
또한 이 시점에서는, 지금까지의 모든 합성 화상 데이터가, 기록 프레임 화상 데이터로서 기록 매체에 기록된 상태가 된다.
이상의 처리에 의하면, 동작 추이 화상의 자동 생성에 있어서, 동작 가능 범위의 확대에 의한 움직임 피사체의 정확한 표현과, 다수의 움직임 피사체를 나열함으로써 얻어지는 시간 방향으로 세밀한 동작 추이의 표현의 양립을 실현할 수 있다.
특히 레이어 합성에 의해, 각 움직임 피사체 화상이, 예를 들면 골프 클럽의 선단 등이 누락되지 않고 또렷이 표현되고, 게다가 다수의 움직임 피사체 화상을 나열할 수 있어, 시간적으로 미세한 간격으로 동작 추이를 표현할 수 있다.
이에 의해, 자신의 스포츠의 포메이션이나, 야생 동물이 복잡한 움직임, 실험실에 있어서의 자연 현상 등을 간단하고, 또한 매우 이해하기 쉽게 확인할 수 있게 된다. 또한 화상 데이터의 오려붙이기 등의 수작업을 필요로 하지 않으므로 유저 부담도 매우 적어 유용성이 높다.
또한, 동작 추이 동화상을 생성하고, 표시 출력할 수 있다. 그리고 이 동작 추이 동화상은, 각 시점의 합성 화상 데이터를 동화상으로서 출력함으로써, 시각 효과가 높아, 동작의 추이를 이해하기 쉽게 파악할 수 있게 된다.
또한, 각 시점의 합성 화상 데이터를 동작 추이 동화상을 위한 기록 프레임 화상 데이터로서 기록 매체에 기록해 둠으로써, 나중에서의 시점에서의 재생에 의해 화상의 합성 과정을 동적으로 표시하는 것이 가능해지고, 합성되는 각각의 영상의 관련성이 유저에게 이해하기 쉽게 전달된다.
특히 후술하는 드래그 조작, 플릭 조작, 포인트 조작으로서 예를 설명한 바와 같이, 유저에게 있어서 직감적으로 이해하기 쉬운 조작으로, 동작 추이 동화상의 재생이나, 각 동작 단계의 화상 재생을 행하는 것이 가능하게 된다.
또한 상기의 생성 처리예에서는, 프로세스 판정에 기초하여 합성 처리를 행함으로써, 효율적인 처리가 실현된다. 즉 3레이어, 4레이어의 레이어 합성을 수반하는 프로세스 P5, P6에서의 합성 처리는, 비교적 처리 부담이 큰 처리가 되지만, 이들이 필요한 화소 영역으로만 실행된다. 그리고 레이어 합성이 불필요한 영역에서는 프로세스 P1, P2, P3 등의 단순한 카피 처리로 대응할 수 있다. 이에 의해 처리의 효율화, 처리 부담의 저감이 도모된다.
여기서 도 16에 있어서의, 스텝 F108, F109의 처리에 대하여 설명한다.
스텝 F109의 카피 처리란, 예를 들면 도 14의 시점에서, 상단의 마지막 움직임 피사체를 하단의 최초의 움직임 피사체로 하여 카피하는 처리를 말한다.
도 14에 도시한 바와 같이, 합성 화상 데이터의 상단의 우측 단부(왼쪽에서 오른쪽으로 이행하는 경우)의 소정 범위를 하단 카피 범위로 설정해 둔다.
그리고, 레이어 처리부(3)는 프로세스 판정을 행하고, 합성 화상 데이터에 합성한 각 열에 대해서, 스텝 F108에서는, 그 열(또는 화소)이 하단 카피 범위(즉 상단의 마지막 영역)에 해당하는지의 여부를 판별한다. 하단 카피 범위에 해당한 경우에는, 스텝 F109에서, 그 열의 화소를 하단의 대응 위치에 카피해간다.
이 처리를 행함으로써, 도 14와 같이, 상단에 있어서의 하단 카피 범위의 화상이 합성될 때는 동시에 하단에도 동일한 화상이 합성된다.
동작 추이 동화상의 표시 상에는, 도 14의 상단의 마지막 움직임 피사체와, 하단의 최초의 움직임 피사체는, 동일한 화상이 동시에 나타나게 된다.
이러한 처리를 행함으로써, 하단 카피 범위의 움직임 피사체도, 일부가 도중에 끊기지 않고, 또렷이 표현되게 된다. 즉 피사체의 상태에 따라서는, 상단의 마지막 화상의 위치가 도중에 끊어져 버리는 경우도 있지만, 그러한 피사체도 하단에 적절하게 표시된다. 또한 이에 의해, 상단의 동작 추이와, 하단의 동작 추이가, 보기 쉽게 이행하게 된다.
또한, 이러한 스텝 F108, F109의 처리는, 도 6 내지 도 15의 예와 같이, 동작 추이 화상을 화면 상에서 복수단에 표시하는 경우에만 필요한 처리이다.
예를 들면 가로로 긴 화상으로서, 가로 방향으로 모두 나열해 가는(2단 이상으로 하지 않음) 합성 처리를 행해도 되지만, 그 경우에는, 스텝 F108, F109의 처리는 불필요하다.
상기 처리를 행하는 본 실시 형태의 화상 처리 장치(1)는, 연속 정지 화상 또는 동화상을 촬상할 수 있는 촬상 장치에 의해 촬상된 복수의 프레임 화상 데이터를 취득할 수 있는 것이면 된다. 예를 들면 촬상 장치에 내장해도 되고, 촬상된 복수의 프레임 화상 데이터를 재생하는 재생 장치에 내장되어도 된다. 더 나아가 촬상된 복수의 프레임 화상 데이터를 수신/전송 입력되는 기기에 내장되어도 된다.
따라서, 예를 들면 휴대 전화기, PDA(Personal Digital Assistant), 퍼스널 컴퓨터, 비디오 재생 장치, 비디오 편집 장치 등에 널리 적용할 수 있다.
[3. 동작 추이 화상의 재생 표시 처리예]
<3-1: 드래그 조작>
상기한 바와 같이 동작 추이 화상을 구성하는 합성 화상 데이터(기록 프레임 화상 데이터)는 합성 처리 시에 기록 매체에 기록된다.
이 기록 매체에 기록된 기록 프레임 화상 데이터를 재생 표시함으로써, 유저는 합성 처리 후의 시점에서도 임의로 동작 추이 화상을 동화상으로서 볼 수 있다.
즉, 도시하지 않은 조작부, 또는 표시 내용에 따른 터치 패널(46)로부터의 유저의 재생 조작에 의해, 동작 추이 동화상의 재생이 지시된 경우, UI 제어부(41)는 기록 재생 처리부(42)에 재생 처리를 지시한다.
그러면, 기록 재생 처리부(42)에서는 기록 매체에 기록한 도 23의 (b)와 같은 기록 프레임 화상 데이터 rF1, rF2…를 기록 매체 구동부(43)에 판독시키고, 재생 처리를 행하여 표시 드라이버(44)에 공급한다.
표시 드라이버(44)는, 공급된 각 기록 프레임 화상 데이터 rF1, rF2…를 차례로 표시부(45)에 표시시켜 간다.
그러면 도 6 내지 도 15에 도시한 바와 같은 동작 추이 동화상이, 표시부(45)에 표시된다.
이에 의해, 유저는 간단히 도 15와 같은 동작 추이 화상으로서의 정지 화상뿐만 아니라, 도 6 내지 도 15가 동화상으로서, 스윙 폼 등의 화상을 임의의 시점에서 볼 수 있다.
본 예에서는, 이러한 동작 추이 동화상의 재생뿐만 아니라, 유저가 보고자 하는 단계의 화상을 용이하게 볼 수 있게 한다.
예를 들면 도 6 내지 도 15의 동작 추이 동화상을 재생시킨 경우, UI 제어부(41)는, 일련의 기록 프레임 화상 데이터 rF1, rF2…를 동화상으로서 재생시키면, 도 15의 최종 프레임의 기록 프레임 화상 데이터 rF(z)를 계속해서 표시 출력시킨다.
여기서, 도 15와 같은 최종 프레임의 기록 프레임 화상 데이터 rF(z)는 키 프레임만이 거의 등간격으로 나열한 화상이다.
유저에게 있어서는, 키 프레임과 키 프레임 사이(즉 비키 프레임의 화상)도 다시 보고자 하는 경우도 있다.
따라서 본 예에서는, 유저가 터치 패널(46)을 사용한 조작에 의해, 보고자 하는 단계의 화상을 용이하게 볼 수 있도록 한다.
우선, 그 조작 방법으로서 드래그 조작의 예를 설명한다.
도 24는 최종 프레임의 기록 프레임 화상 데이터 rF93이 표시되어 있는 상태를 나타내고 있다.
또한, 이 기록 프레임 화상 데이터 rF93은, 도시와 같이 원래의 프레임 화상 데이터로서의 키 프레임 F1, F6, F11, … F93이 합성된 합성 화상 데이터이다. 상기 합성 처리로 말하자면, 원래의 프레임 화상 데이터 F93이 입력되었을 때 행해진, 그 시점에서의 기존의 합성 화상 데이터(키 프레임 F1 ~ F88의 합성 화상)와, 프레임 F93의 합성 처리에 의한 것이다.
이 합성 화상 데이터는 기록 프레임 화상 데이터 rF93으로서 기록 매체에 기록되어 있다.
그리고 이 도 24는, 예를 들면 유저가 동작 추이 동화상을 재생시키고, 동화상 재생 완료 후에, 최종 프레임인 이 기록 프레임 화상 데이터 rF93이 계속해서 표시 출력되고 있는 상태이다.
여기서, 파선 프레임으로 나타내는 영역 AN은 표시되고 있는 가운데에서의 최신 프레임 화상 데이터 F93의 영역으로 하고 있다.
또한, 이 경우의 「최신 프레임 화상 데이터」란, 표시 상에서의, 합성 전의 원래의 프레임 화상 데이터 중에서, 가장 시간축 상에서 후방이 되는 프레임 화상 데이터를 말한다. 여기에서는, 어디까지나 표시되고 있는 재생 화상은, 합성 화상 데이터인 기록 프레임 화상 데이터 rF93이지만, 「최신 프레임 화상 데이터」의 영역 AN이란, 원래의 프레임 화상 데이터 F93으로부터의 움직임 피사체나 배경 화상이 배치된 영역이다.
일례로서, 최신 프레임 화상 데이터의 영역 AN이란, 예를 들면 도 13의 경우에서의 금회의 프레임의 추이 동작 유효 영역(A2 ~ A5)의 범위로 해도 된다. 또는 움직임 피사체가 주로 위치하는 영역 A3, A4의 범위 등으로서 설정해도 된다.
이때, 터치 패널(46)에 대한 조작으로서, 도면과 같이 유저가 표시 화면 상을 손가락으로 영역 AN 내로부터 좌측 방향으로 덧그려 가는 것 같은 드래그 조작 drk를 행했다고 하자.
그러면, 도 25와 같이, 드래그 조작 drk에 따라, 재생 화상이 변화한다. 즉, 드래그 조작의 종단부 위치에 따른 재생 화상이 출력되도록 한다.
이 예에서는, 드래그 조작의 종단부 위치는, 원래의 프레임 화상 데이터 F58에 대응하는 위치였다고 하면, 이 원래의 프레임 화상 데이터 F58의 합성 시의 합성 화상 데이터(기록 프레임 화상 데이터 rF58)까지가 재생된다.
즉, 기록 프레임 화상 데이터 rF93의 계속 출력의 상태로부터, 드래그 조작에 수반하여, 기록 프레임 화상 데이터 rF92→rF91→rF90→…으로 시간축 상, 역방향으로 각 프레임이 재생된다. 소위 리버스 재생 화면이 손가락의 가압 위치의 이동에 따라서 실행된다. 그리고, 유저가 드래그 조작을 종료시킨 위치가, 예를 들면 기록 프레임 화상 데이터 rF58의 대응 위치이면, 상기 리버스 재생이 도 25의 상태에서 종료하고, 도 25의 기록 프레임 화상 데이터 rF58의 출력이 계속된다. 즉 표시 상은 정지 화상 상태가 된다.
또한 계속해서 유저가, 도 25의 표시에 대하여 그 표시 상태에서의 최신 프레임 화상 데이터의 영역으로부터 드래그 조작을 행한다고 한다. 도 26과 같이, 원래의 프레임 화상 데이터 F58의 영역이 최신 프레임 화상 데이터의 영역 AN이 된다.
이 영역 AN 내에 손가락을 대고, 조금만 우측 방향으로 드래그 조작 drk를 행했다고 하자.
그 드래그 조작의 종단부 위치가, 원래의 프레임 화상 데이터 F59에 대응하는 위치였다고 하면, 도 27과 같이, 원래의 프레임 화상 데이터 F59의 입력 시의 합성 화상 데이터인 기록 프레임 화상 데이터 rF59가 재생된다. 즉, 통상 방향으로 동화상의 1코마 진행하는 재생이 된다.
예를 들면 이 도 24 내지 도 27의 예와 같이, 유저는 드래그 조작에 의해, 동작 추이 화상 중에서의 보고자 하는 단계의 화상을 용이하게 재생시킬 수 있다.
즉 드래그 조작 중은, 손가락으로 덧그려가는 속도에 따라서 순방향 또는 역방향의 동화상 재생을 볼 수 있으며, 드래그 조작을 종료하면, 그 종료 위치에 대응하는 정지 화상을 볼 수 있다.
또한, 상기 예에 있어서의 원래의 프레임 화상 데이터 F58, F59는 비키 프레임이다. 도 23에서 설명한 바와 같이, 키 프레임 입력 시의 합성 화상 데이터뿐만 아니라, 비키 프레임의 입력 시의 합성 화상 데이터도, 각각 구 구별없이 일련의 동화상을 구성하는 기록 프레임 화상 데이터로서 기록된다. 따라서, 재생 시에는 원래의 프레임 화상 데이터가 키 프레임이었던 것인지의 여부는 관계없는 것이 된다.
바꾸어 말하면, 이와 같이 키 프레임, 비키 프레임의 구별없이, 합성 화상 데이터를 기록해 둠으로써, 원래의 모든 프레임 화상 데이터의 각 단계의 화상을, 유저는 임의로 볼 수 있게 된다.
드래그 조작에 따른 표시 변화를 도 28에 통합한다.
도 28의 (a)와 같이, 유저가 표시 상에서 최신 프레임 화상 데이터의 영역 AN 내에서 우측 방향으로 드래그 조작 drk를 행함으로써, 조작 결과로서, 그 드래그 조작의 종단부 위치에 대응하는 프레임까지가 재생 표시된다. 화면 상에서는, 움직임 피사체의 화상이 전개되어 가는 이미지로서 시인된다.
도 28의 (b)와 같이, 유저가 표시 상에서 최신 프레임 화상 데이터의 영역 AN 내로부터 좌측 방향으로 드래그 조작 drk를 행함으로써, 조작 결과로서, 그 드래그 조작의 종단부 위치에 대응하는 프레임까지가 리버스 재생 표시된다. 화면 상에서는, 움직임 피사체의 화상이 접혀져 가는 이미지로서 시인된다.
한편, 도 28의 (c)는 유저가 표시 내에서의 최신 프레임 화상 데이터의 영역 AN 이외의 부분에서 드래그 조작 drk를 행한 경우를 나타내고 있다. 이 경우에는, 일례로서, 드래그 조작을 무효로 하고, 표시 상에서의 재생 화상은 변화시키지 않기로 하는 것을 생각할 수 있다.
단, 물론, 이러한 경우에도, 예를 들면 드래그 조작의 종단부 위치까지의 각 기록 프레임 화상 데이터의 재생을 행한다는 처리예도 생각할 수 있다.
이상과 같은 드래그 조작에 따른 재생 제어예로서의 처리를 설명한다.
이하에 설명하는 처리는 UI 제어부(41)가 터치 패널(46)의 입력에 따라서 기록 재생 처리부(42) 등을 제어하는 처리가 된다.
UI 제어부(41)는 터치 패널(41)에 의해 검지되는 드래그 조작에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 실행시킨다.
또한, 표시 상의 위치(터치 패널 상의 위치)와, 프레임 위치의 대응 관계는 다음과 같이 파악한다.
여기에서는 도 24와 같은 화면 상 2단의 표시가 아닌, 도 28과 같이 화면 상은 1단으로 모두 가로 방향으로 나열하는 동작 추이 동화상으로서 설명한다.
그 경우, 표시부(45)의 화면 상(터치 패널(46) 상)의 가로 방향의 좌표로서 x좌표를 생각한다.
일련의 원래의 프레임 화상 데이터에 대해서, n번째의 프레임 Fn의 x좌표를,
Figure pct00001
으로 한다. 또한, 그 역변환 함수를,
Figure pct00002
로 한다.
이 터치 패널(64) 상의 x좌표와, 프레임 넘버 n의 함수를 사용함으로써 드래그 조작의 이동량에 따라, 재생해야 할 기록 프레임 화상 데이터를 판정할 수 있다.
또한 도 23의 설명에서 알 수 있듯이, 원래의 프레임 화상 데이터 「F1」의 위치에 대응하여 재생 대상이 되는 기록 프레임 화상 데이터는 「rF1」이다. 마찬가지로 원래의 프레임 화상 데이터 「F2」의 위치에 대응하여 재생 대상이 되는 기록 프레임 화상 데이터는 「rF2」이다. 이 후의 각 프레임도 마찬가지이다.
그리고 상기 함수는 다음과 같이 생각한다.
예를 들면 도 23의 (c)의 기록 프레임 화상 데이터 rF4는, 원래의 프레임 화상 데이터 F4에 대응하고, 원래의 프레임 화상 데이터 F4의 기록 프레임 화상 데이터 rF4 내에서의 묘화 위치의 x좌표값=w라 하자.
이 경우, x좌표값=w, 프레임 넘버 n=4이므로,
Figure pct00003
가 된다.
그리고 얻어지는 프레임 넘버 「4」란, 원래의 프레임 화상 데이터 F4의 프레임 넘버이지만, 이것이 재생 대상의 프레임 넘버로서, 기록 프레임 화상 데이터 rF4를 나타내는 것이 된다.
또한, 도 24와 같은 상하 2단의 동작 추이 화상일 때는 세로 방향의 y좌표를 사용하여 함수 처리해도 되지만, 하단은 그대로 상단의 계속으로서 x좌표가 진행한다고 하면, 상기를 함수를 그대로 적용할 수 있다. 예를 들면 상단은 x좌표가 0 ~ n, 하단의 x좌표가 n+1 ~ m으로 하여, 0 ~ m의 x좌표를 설정한 경우이다. 이 경우, 터치 패널(46) 상의 y좌표는, 간단히 상단인지 하단인지를 판별하는 것으로만 사용하면 된다.
도 29에 드래그 조작 대응 처리로서의 UI 제어부(41)의 처리예를 나타낸다.
임의의 기록 프레임 화상 데이터 rFm을 재생시키고 있을 때, 터치 패널(46)에 의한 조작이 검지된 경우, UI 제어부(41)는 스텝 F401에서, 우선 최초로 드래그 개시 위치로서의 x좌표값 x1을 취득한다. 즉, 최초에 터치 패널(46)에 대하여 유저가 닿은 위치를 드래그 개시 위치로 하고, 그 x좌표값을 검출한다.
스텝 F402에서는, UI 제어부(41)는 상기 드래그 개시 위치 x1이, 그 시점의 표시 내용에 있어서의 최신 프레임 화상 데이터의 영역 AN 내인지의 여부를 판정한다.
도 28의 (c)에 도시한 바와 같이, 드래그 개시 위치 x1이 영역 AN의 범위가 아니면, 금회의 드래그 조작은 무효인 것으로 하기 때문에, 그 경우에는 스텝 F402로부터 도 29의 드래그 조작 대응 처리를 종료한다.
한편, 드래그 개시 위치 x1이 영역 AN 내이면 스텝 F403 ~ F405의 처리를 행한다.
UI 제어부(41)는 스텝 F403에서는, 드래그 조작의 경과 위치 x2를 취득한다. 즉, 유저가 드래그 개시 위치 x1로부터 손가락을 어긋나게 해감으로써 이동한 터치 패널 가압 위치로서의, 이 시점의 터치 위치의 x좌표값이다.
스텝 F404에서는 UI 제어부(41)는, 묘화하는 프레임 위치의 연산을 행한다.
이 경우 드래그 이동량 Δx로서,
Figure pct00004
의 계산을 행한다.
또한, 도 28의 (a)와 같이 우측 방향으로의 드래그 조작의 경우, 드래그 이동량 Δx는 플러스값이 되고, 도 28의 (b)와 같이 좌측 방향으로의 드래그 조작의 경우, 드래그 이동량 Δx는 마이너스값이 되는 것으로 한다.(동작 추이가 왼쪽에서 오른쪽으로 진행하고, 또한 x좌표값이 예를 들면 화면 좌측 단부를 0으로 하여 오른쪽으로 플러스값으로 진행한다고 한 경우)
즉 드래그 이동량 Δx의 플러스 마이너스는, 드래그 방향을 나타내는 것이 되고, 이 경우의 드래그 이동량 Δx는 드래그 이동량과 드래그 방향을 맞추어서 나타내는 값이 된다.
그리고 n=Fx(x1+Δx)의 함수 연산에 의해, 프레임 넘버 n을 얻는다.
프레임 넘버 n의 기록 프레임 화상 데이터 rFn까지가, 단위 시간의 드래그 조작에 따라서 재생해야 할 프레임이 된다.
따라서 UI 제어부(41)는, 스텝 F405에서, 기록 재생 처리부(42) 및 표시 드라이버(44)를 제어하여 프레임 묘화를 실행시킨다.
즉 드래그 개시 시점에 표시 중인 임의의 기록 프레임 화상 데이터 rFm으로부터, 프레임 넘버 n의 기록 프레임 화상 데이터 rFn까지를 재생시킨다.
이 경우, rFm＜rFn이면, 기록 재생 처리부(42)는 기록 프레임 화상 데이터 rFm→rF(m+1)→rF(m+2)…rFN의 순서대로 각 기록 프레임 화상 데이터를 기록 매체로부터 판독하는 처리를 행하고, 표시 드라이버(44)에 공급한다. 표시 드라이버(44)는 공급된 기록 프레임 화상 데이터 rFm ~ rFN을 차례로 표시부(45)에 표시시킨다.
이에 의해 도 28의 (a)와 같은 표시가 실행된다.
또한, rFm＞rFn이면, 기록 재생 처리부(42)는, 기록 프레임 화상 데이터 rFm→rF(m-1)→rF(m-2)…rFN의 순서대로 각 기록 프레임 화상 데이터를 기록 매체로부터 판독하는 처리를 행하고, 표시 드라이버(44)에 공급한다. 표시 드라이버(44)는 공급된 기록 프레임 화상 데이터 rFm ~ rFN을 차례로 표시부(45)에 표시시킨다.
이에 의해 도 28의 (b)와 같은 표시가 실행된다.
UI 제어부(41)는 스텝 F406에서는, 유저가 손가락을 뗐는지의 여부, 즉 드래그 조작이 종료되었는지의 여부를 판별한다.
드래그 조작이 종료되어 있으면, 처리를 종료한다. 이 경우, UI 제어부(41)는, 기록 재생 처리부(42) 및 표시 드라이버(44)에는, 이후, 드래그 종료 시점에서의 프레임 화상 데이터 rFn을 계속 출력시키도록 지시한다.
한편, 드래그 조작이 계속되고 있으면, 스텝 F407에서 x2의 값을 x1에 대입한다. 즉 그 시점에서의 경과 위치 x2를, 다음의 단위 시간에서의 드래그 개시 위치 x1을 간주하도록 한다. 그리고 다시 스텝 F403으로 되돌아가서 마찬가지의 스텝 F403 ~ F405의 처리를 행한다. 따라서, 이어서 계속되고 있는 드래그 조작에 따른 재생이 행해진다.
이와 같이 단위 시간마다 스텝 F403 ~ F405의 처리가 행해짐으로써, 유저의 드래그 조작으로서의 계속된 손가락의 움직임에 따라, 도 28의 (a), (b)와 같이 화상이 전개되거나 또는 접혀져 간다.
즉 UI 제어부(41)는, 단위 시간마다 터치 패널(41)에 의해 검지되는 드래그 조작량 및 드래그 조작 방향을 검출한다. 그리고 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때, 그 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정한다. 그리고 개시 프레임 위치로부터 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로 재생시키게 된다.
이러한 드래그 대응 처리에 의해, 동작 추이 화상으로서의 각 단계의 합성 화상 데이터를 재생함으로써 화상의 합성 과정을 동적으로 표시하는 것이 가능하게 됨과 함께, 합성 과정에 있어서의 유저가 보고자 하는 단계에서의 재생 화상을, 유저에게 있어서 용이한 조작으로 제공할 수 있다.
특히 동화상의 시간축 상의 위치와, 터치 패널에 의한 공간축 상의 위치를 관련지음으로써, 보다 직감적인 조작이 가능하게 된다.
또한, 도 29의 스텝 F402의 판단을 없애고, 영역 AN 이외에서의 드래그 조작이라도, 그것을 무효로 하지 않고, 드래그 조작량 및 방향에 따라서 상기 재생 처리를 행하도록 해도 된다. 그 경우에는, 드래그 개시 위치 x1을, 그 시점의 영역 AN의 위치로 하는 것을 생각할 수 있다.
<3-2: 플릭 조작>
다음으로, 다른 조작예로서 플릭 조작을 설명한다.
플릭 조작이란, 유저가 터치 패널(46) 상을 손가락으로 튕기는 것 같은 조작이다.
도 30에 플릭 조작에 따른 재생 형태를 나타낸다.
도 30의 (a)와 같이, 유저가 표시 상에서 최신 프레임 화상 데이터의 영역 AN 내로부터 우측 방향으로 플릭 조작을 행했다고 하자. 즉 도 30의 (b)와 같이 영역 AN 내를 우측 방향으로 손가락으로 튕겼다고 하자.
이 경우, 조작 결과로서, 그 플릭 조작에 따라서 소정의 프레임까지가 재생 표시된다. 화면 상에서는, 움직임 피사체의 화상이 전개되어 가는 이미지로서 시인된다.
또한 도 30의 (c)와 같이, 유저가 표시 상에서 최신 프레임 화상 데이터의 영역 AN 내로부터 좌측 방향으로 플릭 조작을 행한 경우에는, 그 플릭 조작에 따라서 소정의 프레임까지가 리버스 재생 표시된다. 화면 상에서는 움직임 피사체의 화상이 접혀져 가는 이미지로서 시인된다.
또한, 도시하지 않았지만, 유저가 표시 내에서의 최신 프레임 화상 데이터의 영역 AN 이외의 부분에서 플릭 조작을 행한 경우에는, 일례로서, 플릭 조작을 무효로 하고, 표시 상에서의 재생 화상은 변화시키지 않기로 하는 것을 생각할 수 있다.
단, 물론, 이러한 경우에도, 플릭 조작에 따라서 각 기록 프레임 화상 데이터의 재생을 행한다는 처리예도 생각할 수 있다.
UI 제어부(41)는 이와 같이, 터치 패널(46)에 의해 검지되는 플릭 조작에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 실행시키는 제어를 행한다.
UI 제어부(41)에 의한 플릭 조작 대응 처리의 예를 도 31에 도시하였다.
임의의 기록 프레임 화상 데이터 rFm을 재생시키고 있을 때, 터치 패널(46)에 의한 조작이 검지된 경우, UI 제어부(41)는 스텝 F501에서, 플릭 조작 위치로서의 x좌표값 x1을 취득한다. 즉, 최초에 터치 패널(46)에 대하여 유저가 닿은 위치를 플릭 조작 위치로 하고, 그 x좌표값을 검출한다.
스텝 F502에서는, UI 제어부(41)는, 상기 플릭 조작 위치 x1이, 그 시점의 표시 내용에 있어서의 최신 프레임 화상 데이터의 영역 AN 내인지의 여부를 판정한다.
플릭 조작 위치 x1이 영역 AN의 범위가 아니면, 금회의 플릭 조작은 무효인 것으로 하고, 스텝 F502로부터 도 31의 플릭 조작 대응 처리를 종료한다.
한편, 플릭 조작 위치 x1이 영역 AN 내이면 스텝 F503으로 진행한다.
UI 제어부(41)는 스텝 F503에서는, 플릭 조작의 속도 Vd를 취득한다. 예를 들면 플릭 조작 시의, 임의의 단위 시간에서의 가압 위치의 x좌표가 미소한 변화량에 의해, 플릭 속도 Vd를 산출한다.
또한, 플릭 방향이 우측 방향(도 30의 (a)의 예의 경우)이면, 플릭 속도 Vd는 플러스값이 되도록 한다. 또한 플릭 방향이 좌측 방향(도 30의 (c)의 예의 경우)이면, 플릭 속도 Vd는 마이너스값이 되도록 한다.
다음으로 스텝 F504에서 UI 제어부(41)는, 플릭 속도 Vd에 따라, 변위 거리 Δx를 산출한다. 여기에서 말하는 변위 거리 Δx는, 재생시키는 프레임수에 상당한다.
예를 들면 플릭 속도 Vd의 절대값에 대하여 프레임수를 대응시켜둔다. 예를 들면 플릭 속도가 빠를수록 다수의 프레임수에 상당하는 변위 거리 Δx가 되는 것 같은 선형 함수 또는 비선형 함수를 설정해 둔다.
즉 유저가 빠르게 손가락으로 튕긴 경우에는, 다수의 프레임이 재생되고, 천천히 손가락으로 튕긴 경우에는 소수의 프레임이 재생되도록 하는 것이다.
우측 방향으로 빠르게 튕긴 경우, 변위 거리 Δx의 값은 플러스값이고 큰 값이 된다.
우측 방향으로 천천히 튕긴 경우, 변위 거리 Δx의 값은 플러스값이고 작은 값이 된다.
좌측 방향으로 빠르게 튕긴 경우, 변위 거리 Δx의 값은 마이너스값이고 절대값이 큰 값이 된다.
좌측 방향으로 천천히 튕긴 경우, 변위 거리 Δx의 값은 마이너스값이고 절대값이 작은 값이 된다.
스텝 F505에서는, UI 제어부(41)는 n=Fx(x1+Δx)의 함수 연산에 의해, 프레임 넘버 n을 얻는다.
프레임 넘버 n의 기록 프레임 화상 데이터 rFn까지가, 금회의 플릭 조작에 따라서 재생해야 할 프레임이 된다.
따라서 UI 제어부(41)는, 스텝 F506에서, 기록 재생 처리부(42) 및 표시 드라이버(44)를 제어하여 프레임 묘화를 실행시킨다.
즉 현재 표시 중인 임의의 기록 프레임 화상 데이터 rFm으로부터, 프레임 넘버 n의 기록 프레임 화상 데이터 rFn까지를 재생시킨다.
이 경우, rFm＜rFn이면, 기록 재생 처리부(42)는, 기록 프레임 화상 데이터 rFm→rF(m+1)→rF(m+2)…rFN의 순서대로 각 기록 프레임 화상 데이터를 기록 매체로부터 판독하는 처리를 행하고, 표시 드라이버(44)에 공급한다. 표시 드라이버(44)는 공급된 기록 프레임 화상 데이터 rFm ~ rFN을 차례로 표시부(45)에 표시시킨다.
이에 의해 도 30의 (a)와 같은 표시가 실행된다.
또한, rFm＞rFn이면, 기록 재생 처리부(42)는, 기록 프레임 화상 데이터 rFm→rF(m-1)→rF(m-2)…rFN의 순서대로 각 기록 프레임 화상 데이터를 기록 매체로부터 판독하는 처리를 행하고, 표시 드라이버(44)에 공급한다. 표시 드라이버(44)는 공급된 기록 프레임 화상 데이터 rFm ~ rFN을 차례로 표시부(45)에 표시시킨다.
이에 의해 도 30의 (c)와 같은 표시가 실행된다.
UI 제어부(41)는, 이상으로 1회의 플릭 조작에 따른 처리를 종료한다.
또한 이후, UI 제어부(41)는, 기록 재생 처리부(42) 및 표시 드라이버(44)에는, 플릭 조작에 따른 재생의 종료 시점에서의 프레임 화상 데이터 rFn을 계속 출력시키도록 지시한다.
이와 같이 플릭 조작 대응 처리가 행해짐으로써, 유저의 플릭 조작에 따라, 도 30의 (a), (c)와 같이 화상이 전개되거나 또는 접혀져 간다.
즉 UI 제어부(41)는, 터치 패널(41)에 의해 검지되는 플릭 조작 속도 및 플릭 조작 방향에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때 상기 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정한다. 그리고 개시 프레임 위치로부터 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로 재생시키게 된다.
이러한 플릭 대응 처리에 의해, 동작 추이 화상으로서의 각 단계의 합성 화상 데이터를 재생함으로써 화상의 합성 과정을 동적으로 표시하는 것이 가능하게 됨과 함께, 합성 과정에 있어서의 유저가 보고자 하는 단계에서의 재생 화상을, 유저에게 있어서 용이하면서 직감적인 조작으로 제공할 수 있다.
또한, 도 31의 스텝 F502의 판단을 없애고, 영역 AN 이외에서의 플릭 조작이어도, 그것을 무효로 하지 않고, 플릭 조작 속도 및 방향에 따라서 상기 재생 처리를 행하도록 해도 된다. 그 경우에는, 드래그 개시 위치 x1을, 그 시점의 영역 AN이 위치로 하는 것을 생각할 수 있다.
또는 플릭 조작의 경우에는, 플릭 속도에 상관없이, 항상 일정한 변위 거리 Δx를 사용한다는 처리도 생각할 수 있다.
예를 들면 1회의 플릭 조작에서는, 항상 10프레임 재생이 진행하는 등으로 하는 예이다.
<3-3: 포인트 조작>
다음에, 또 다른 조작예로서 포인트 조작을 설명한다.
포인트 조작이란, 유저가 터치 패널(46) 상에서 임의의 위치를 터치하여 지정하는 조작이다.
도 32에 포인트 조작에 따른 재생 형태를 나타낸다.
도 32의 (a)와 같이, 유저가 표시 상에서 임의의 위치에 터치했다고 하자. 예를 들면 그 시점의 표시 내용으로서, 아무것도 표시되어 있지 않은 위치이다. 이 경우, 조작 결과로서, 그 포인트 조작에 따라서 소정의 프레임까지가 재생 표시된다. 화면 상에서는, 움직임 피사체의 화상이 전개되어 가는 이미지로서 시인된다.
또한 도 32의 (b)와 같이, 유저가 표시 상에서, 임의의 프레임 화상 데이터의 위치에 포인트 조작을 행한 경우에는, 그 포인트 조작에 따라서 소정의 프레임까지가 리버스 재생 표시된다. 화면 상에서는, 움직임 피사체의 화상이 접혀져 가는 이미지로서 시인된다.
UI 제어부(41)는 이와 같이, 터치 패널(46)에 의해 검지되는 포인트 조작에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 실행시키는 제어를 행한다.
UI 제어부(41)에 의한 포인트 조작 대응 처리의 예를 도 33에 도시하였다.
임의의 기록 프레임 화상 데이터 rFm을 재생시키고 있을 때, 터치 패널(46)에 의한 조작이 검지된 경우, UI 제어부(41)는 스텝 F601에서, 포인트 조작 위치로서의 x좌표값 xp를 취득한다. 즉, 터치 패널(46)에 대하여 유저가 닿은 위치의 x좌표값을 검출한다.
스텝 F602에서는, UI 제어부(41)는 상기 포인트 조작 위치 xp를 사용한 함수 연산으로서,
Figure pct00005
를 행하고, 포인트 조작 위치 xp에 대응하는 프레임 넘버를 구한다.
프레임 넘버 n의 기록 프레임 화상 데이터 rFn까지가, 금회의 포인트 조작에 따라서 재생해야 할 프레임이 된다.
따라서 UI 제어부(41)는 스텝 F603에서, 기록 재생 처리부(42) 및 표시 드라이버(44)를 제어하여 프레임 묘화를 실행시킨다.
즉 현재 표시 중인 임의의 기록 프레임 화상 데이터 rFm으로부터, 프레임 넘버 n의 기록 프레임 화상 데이터 rFn까지를 재생시킨다.
이 경우, rFm＜rFn이면, 기록 재생 처리부(42)는 기록 프레임 화상 데이터 ……rFm→rF(m+1)→rF(m+2)…rFN의 순서대로 각 기록 프레임 화상 데이터를 기록 매체로부터 판독하는 처리를 행하고, 표시 드라이버(44)에 공급한다. 표시 드라이버(44)는 공급된 기록 프레임 화상 데이터 rFm ~ rFN을 차례로 표시부(45)에 표시시킨다.
이에 의해 도 32의 (a)와 같은 표시가 실행된다.
또한, rFm＞rFn이면, 기록 재생 처리부(42)는, 기록 프레임 화상 데이터 rFm→rF(m-1)→rF(m-2)…rFN의 순서대로 각 기록 프레임 화상 데이터를 기록 매체로부터 판독하는 처리를 행하고, 표시 드라이버(44)에 공급한다. 표시 드라이버(44)는 공급된 기록 프레임 화상 데이터 rFm ~ rFN을 차례로 표시부(45)에 표시시킨다.
이에 의해 도 32의 (b)와 같은 표시가 실행된다.
UI 제어부(41)는, 이상으로 1회의 포인트 조작에 따른 처리를 종료한다.
또한, UI 제어부(41)는 이후, 기록 재생 처리부(42) 및 표시 드라이버(44)에는 포인트 조작에 따른 재생의 종료 시점에서의 프레임 화상 데이터 rFn을 계속 출력시키도록 지시한다.
이와 같이 포인트 조작 대응 처리가 행해짐으로써, 유저의 포인트 조작에 따라, 도 32의 (a), (b)와 같이 화상이 전개되거나 또는 접혀져 간다.
즉 UI 제어부(41)는, 터치 패널(41)에 의해 검지되는 포인트 조작 위치 xp에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때 상기 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정한다. 그리고 개시 프레임 위치로부터 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로 재생시키게 된다.
이러한 포인트 대응 처리에 의해, 동작 추이 화상으로서의 각 단계의 합성 화상 데이터를 재생함으로써 화상의 합성 과정을 동적으로 표시하는 것이 가능하게 됨과 함께, 합성 과정에 있어서의 유저가 보고자 하는 단계에서의 재생 화상을, 유저에게 있어서 용이하면서 직감적인 조작으로 제공할 수 있다.
또한, 다음과 같은 처리도 생각할 수 있다.
포인트 조작 위치 xp가 현재의 최신 프레임 화상 데이터 AN의 위치보다 후방의 x좌표값, 즉 도 32의 (a)와 같이 화상 표시가 없는 영역이면, 소정 프레임수의 순방향 재생을 행한다. 한편, 포인트 조작 위치 xp가 현재의 최신 프레임 화상 데이터 AN의 위치보다 전방의 x좌표값, 즉 도 32의 (b)와 같이, 빠른 넘버의 프레임 화상 데이터에 대응하는 위치이면, 소정 프레임수의 리버스 재생을 행한다. 즉, 전방/후방만을 지정하는 것으로 하고, 재생 프레임수는 일정하게 하는 처리예이다.
<3-4: 다른 조작예>
이상, 드래그 조작, 플릭 조작, 포인트 조작의 예를 들었지만, 조작예는 그 외에도 여러가지를 생각할 수 있다.
예를 들면 드래그 앤드 드롭 조작으로서, 손가락을 떼어낸 위치를 드롭 위치로 한다. 그리고 드롭 시점에서, 드래그 개시 위치로부터 드롭 위치까지의 대응하는 기록 프레임 화상 데이터를 동화상 재생한다고 하는 것을 생각할 수 있다.
또한, 상기의 드래그 조작, 플릭 조작, 포인트 조작의 예에서는, 그들 조작으로 지정되는 구간의 복수 프레임을 동화상 재생한다고 했지만, 그들 구간에서 프레임을 씨닝하여 간헐적인 동화상 재생을 행해도 된다.
또는, 동화상 재생으로 하지 않고, 갑자기 드래그 종료 위치, 포인트 조작 위치에 대응하는 기록 프레임 화상 데이터를 정지 화상으로서 재생 표시시키는 것도 생각할 수 있다.
또한, 2회의 포인트 조작에 의해 2개의 위치를 지정하는 것으로 하고, 그 위치 사이에 대응하는 각 프레임을 동화상 재생하는 것도 생각할 수 있다.
또한 동작 추이 화상이 좌우 방향으로 나열되는 예이기 때문에, 상기 각 처리예에서는 x좌표값을 사용했지만, 동작 추이 화상이 상하로 나열되는 화상이면, 당연히 y좌표값으로 치환하여 생각하면 된다.
또한, 상기 예에서는 터치 패널(46)을 사용하여 조작을 행하는 것으로 했지만, 터치 패널 이외의 조작 입력 디바이스에 의해 조작을 행할 수도 있다.
예를 들면 마우스를 사용하여, 드래그 조작, 플릭 조작, 포인트 조작을 행하는 것이 상정된다.
또한 리모트 컨트롤러를 사용한 조작도 생각할 수 있다. 예를 들면 클릭 버튼이나 각속도 센서, 가속도 센서 등을 구비한 리모트 컨트롤러를 사용하면, 화면 상의 포인터를 이동시키는 등으로 하여 드래그 조작, 플릭 조작, 포인트 조작을 행하는 것도 용이하다. 또한, 화면 상에 광 입력 위치의 좌표 검출을 할 수 있는 검출부를 구비하도록 하고, 빛을 화면 상에 쏘는 레이저 포인터 등으로 조작을 행할 수도 있다.
[4. 표시 제어 장치로서의 다른 시점의 구성]
상기 실시 형태에 있어서, 화상 기록 재생부(40), 또는 UI 제어부(41)는 다음의 (A), (B), (C)의 구성의 표시 제어 장치에서 파악할 수 있다.
(A) 미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시되도록 표시 화면의 표시 내용을 제어하는 표시 제어 장치이다.
(B) 상기 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록 상기 표시 내용을 제어한다.
(C) 유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 표시 제어하는 표시 제어부를 구비하고 있다.
이 경우, 미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역이란, 예를 들면 도 24와 같은 각 프레임 화상 데이터의 표시 영역에 상당하는 영역이다.
이 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시되는 표시 화면의 표시 내용이란, 예를 들면 도 24 내지 도 27의 각각과 같이, 다수의 움직임 피사체가 나열한 표시를 말한다.
그리고 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록 상기 표시 내용을 제어한다. 예를 들면 도 24 내지 도 27의 각각과 같이, 동일 인물 등으로서의 동일한 움직임 피사체의 각 시점에서의 상태(예를 들면 골프 스윙 과정의 각 상태)의 화상이, 표시 상에서 시계열 순서로 나열하여 표시되도록 한다.
또한, 유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때란, 상기의 드래그 조작, 플릭 조작, 포인트 조작 등일 때에 상당한다. 또한 동화상적 재생 처리로서는, 유저 지시에 한하지 않고, 동화상이나 의사적인 동화상이 재생되는 각종 경우를 말한다.
이와 같을 때, 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 표시 제어한다. 즉, 표시 중인 상태와 서로 다른 시점에서의 동일한 움직임 피사체를 표시시킬 때는, 그 각 움직임 피사체 화상의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시시키도록 한다. 예를 들면 표시 내용을 도 24로부터 도 25로 변화시키는 것 같은 경우이다.
이상은 상기 (A), (B), (C)의 구성을 상술한 실시 형태에 있어서의 예로 설명한 것이지만, 이와 같은 구성의 경우, 표시하는 대상은, 상술한 합성 화상 데이터로서의 기록 프레임 화상 데이터에 한정되지 않는다.
즉 어떤 소스의 화상이라면, 시계열순으로 나열하는 동일한 움직임 피사체의 각 시점의 화상을, 화면 상에 분할하고, 시계열순으로 나열하여 표시하는 경우에 적용할 수 있다.
[5. 프로그램]
이상의 실시 형태는, 화상 처리 장치(1)로서 설명했지만, 본 발명의 표시 제어 장치는 동작 추이 화상의 재생 표시를 행하는 전용 장치로 하는 것 외에, 화상 표시 처리를 행하는 각종 기기에 적용할 수 있다. 예를 들면 촬상 장치, 가정용 또는 업무용 화상 기록 재생 장치, 게임 기기, 비디오 편집기 등이 상정된다.
또한, 범용의 퍼스널 컴퓨터 외의 정보 처리 장치에 있어서, 표시 제어 장치를 실현하는 것도 당연히 상정된다.
예를 들면 도 29, 도 31, 도 33과 같은 각종 조작에 대응하는 처리를 연산 처리 장치에 실행시키는 프로그램을 화상 표시 처리 어플리케이션 소프트웨어로서 제공함으로써, 퍼스널 컴퓨터 등에 있어서, 적절한 화상 표시 처리를 실현할 수 있다.
즉 화상 처리 장치(1)의 표시 처리를 실현하는 프로그램이란, 다음과 같은 각 단계를 연산 처리 장치에 실행시키는 프로그램이다.
즉, 프레임 화상 데이터의 입력마다 차례로 화상 합성 처리를 행하여 생성된 각 합성 화상 데이터로서, 각 프레임 화상 데이터의 움직임 피사체 화상이 차례로 소정의 방향으로 나열하여 배치되어 가는 동화상 표시가 실행 가능하게 되는 각 합성 화상 데이터가, 일련의 기록 프레임 화상 데이터로서 기록되어 있는 기록 매체를 대상으로 한다.
그리고 임의의 기록 프레임 화상 데이터가 판독되어 재생 표시되고 있을 때, 그 재생 표시에 대한 유저 지시를 검지하는 단계와, 검지된 상기 유저 지시에 따라, 상기 일련의 기록 프레임 화상 데이터 중에서의 재생해야 할 프레임 위치를 판정하고, 판정한 프레임 위치의 기록 프레임 화상 데이터의 재생 제어를 행하고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 단계를 실행시킨다.
또한 예를 들면 UI 제어부(41)의 표시 제어 처리를 실현하는 프로그램으로서는, 다음과 같은 처리를 연산 처리 장치에 실행시키는 프로그램이다.
즉, 우선 미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시되도록 표시 화면의 표시 내용을 제어하는 프로그램이다. 그리고, 상기 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록, 상기 표시 내용을 제어한다. 또한 유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 하는 표시 제어를 실행시킨다.
이들과 같은 프로그램에 의해, 본 발명을 퍼스널 컴퓨터, 휴대 전화기, PDA(Personal Digital Assistant), 기타 화상 데이터를 사용하는 다양한 정보 처리 장치에 있어서 용이하게 실현할 수 있다.
또한, 이들 프로그램은, 퍼스널 컴퓨터 등의 기기에 내장되어 있는 기록 매체로서의 HDD나, CPU를 갖는 마이크로 컴퓨터 내의 ROM이나 플래시 메모리 등에 미리 기록해 둘 수 있다.
또는 또한, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magnet optical) 디스크, DVD, 블루레이 디스크, 자기 디스크, 반도체 메모리, 메모리 카드 등의 리무버블 기록 매체에, 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 리무버블 기록 매체로부터 퍼스널 컴퓨터 등에 인스톨하는 것 외, 다운로드 사이트로부터, LAN(Local Area Network), 인터넷 등의 네트워크를 통해서 다운로드할 수도 있다.
1 : 화상 처리 장치
2 : 입력 화상 선택부
3 : 레이어 처리부
4 : 화상 출력부
5 : 합성 화상 갱신 유지부
10 : 화상 입력부
11 : 움직임 피사체 정보 생성부
12 : 움직임 피사체 정보 입력부
21 : 키 프레임 판정부
22 : 좌표 계산부
31 : 레이어 분리부
32 : 레이어 가공부
33 : 레이어 합성부
40 : 화상 기록 재생부
41 : UI 제어부
42 : 기록 재생 처리부
43 : 기록 매체 구동부
44 : 표시 드라이버
45 : 표시부
46 : 터치 패널

Claims (13)

  1. 표시 제어 장치로서,
    프레임 화상 데이터의 입력마다 차례로 화상 합성 처리를 행하여 생성된 각 합성 화상 데이터로서, 각 프레임 화상 데이터의 움직임 피사체 화상이 차례로 소정의 방향으로 나열하여 배치되어 가는 동화상 표시가 실행 가능하게 되는 각 합성 화상 데이터가, 일련의 기록 프레임 화상 데이터로서 기록되어 있는 기록 매체로부터, 상기 기록 프레임 화상 데이터의 재생 처리를 행하는 재생 처리부와,
    유저 지시에 따라, 상기 일련의 기록 프레임 화상 데이터 중에서의 재생해야 할 프레임 위치를 판정하고, 상기 재생 처리부에 판정한 프레임 위치의 기록 프레임 화상 데이터의 재생을 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 표시 제어부
    를 구비한 표시 제어 장치.
  2. 제1항에 있어서,
    상기 표시 제어부는, 상기 유저 지시로서 검지되는 드래그 조작에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 상기 재생 처리부에 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 표시 제어 장치.
  3. 제2항에 있어서,
    상기 표시 제어부는, 상기 유저 지시로서 검지되는 단위 시간마다의 드래그 조작량 및 드래그 조작 방향에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때 상기 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정하고, 상기 개시 프레임 위치로부터 상기 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로, 상기 재생 처리부에 재생시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 표시 제어 장치.
  4. 제1항에 있어서,
    상기 표시 제어부는, 상기 유저 지시로서 검지되는 플릭 조작에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 상기 재생 처리부에 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 표시 제어 장치.
  5. 제4항에 있어서,
    상기 표시 제어부는, 상기 유저 지시로서 검지되는 플릭 조작 속도 및 플릭 조작 방향에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때 상기 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정하고, 상기 개시 프레임 위치로부터 상기 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로, 상기 재생 처리부에 재생시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 표시 제어 장치.
  6. 제1항에 있어서,
    상기 표시 제어부는, 상기 유저 지시로서 검지되는 포인트 조작에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치로부터, 전방 또는 후방의 프레임 위치가 되는 기록 프레임 화상 데이터의 재생을 상기 재생 처리부에 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 표시 제어 장치.
  7. 제6항에 있어서,
    상기 표시 제어부는, 상기 유저 지시로서 검지되는 포인트 조작의 위치에 따라, 현재 재생 출력 중인 기록 프레임 화상 데이터의 프레임 위치를 개시 프레임 위치로 했을 때 상기 개시 프레임 위치로부터 전방 또는 후방의 프레임 위치가 되는 종료 프레임 위치를 판정하고, 상기 개시 프레임 위치로부터 상기 종료 프레임 위치까지의 각 기록 프레임 화상 데이터를 차례로, 상기 재생 처리부에 재생시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 표시 제어 장치.
  8. 제1항에 있어서,
    상기 유저 지시의 입력을 위해, 상기 기록 프레임 화상 데이터를 재생 출력하는 표시부에 대하여 설치된 터치 패널부가 설치된 표시 제어 장치.
  9. 표시 제어 방법으로서,
    프레임 화상 데이터의 입력마다 차례로 화상 합성 처리를 행하여 생성된 각 합성 화상 데이터로서, 각 프레임 화상 데이터의 움직임 피사체 화상이 차례로 소정의 방향으로 나열하여 배치되어 가는 동화상 표시가 실행 가능하게 되는 각 합성 화상 데이터가, 일련의 기록 프레임 화상 데이터로서 기록되어 있는 기록 매체로부터, 임의의 기록 프레임 화상 데이터가 판독되어 재생 표시되고 있을 때, 그 재생 표시에 대한 유저 지시를 검지하는 단계와,
    검지된 상기 유저 지시에 따라, 상기 일련의 기록 프레임 화상 데이터 중에서의 재생해야 할 프레임 위치를 판정하고, 판정한 프레임 위치의 기록 프레임 화상 데이터의 재생을 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 단계
    를 구비한 표시 제어 방법.
  10. 프레임 화상 데이터의 입력마다 차례로 화상 합성 처리를 행하여 생성된 각 합성 화상 데이터로서, 각 프레임 화상 데이터의 움직임 피사체 화상이 차례로 소정의 방향으로 나열하여 배치되어 가는 동화상 표시가 실행 가능하게 되는 각 합성 화상 데이터가, 일련의 기록 프레임 화상 데이터로서 기록되어 있는 기록 매체로부터, 임의의 기록 프레임 화상 데이터가 판독되어 재생 표시되고 있을 때, 그 재생 표시에 대한 유저 지시를 검지하는 단계와,
    검지된 상기 유저 지시에 따라, 상기 일련의 기록 프레임 화상 데이터 중에서의 재생해야 할 프레임 위치를 판정하고, 판정한 프레임 위치의 기록 프레임 화상 데이터의 재생을 실행시키고, 재생된 기록 프레임 화상 데이터의 표시 제어를 행하는 단계
    를 연산 처리 장치에 실행시키는 프로그램.
  11. 표시 화면의 표시 내용을 제어하는 표시 제어 장치로서,
    미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시됨과 함께, 상기 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록 상기 표시 내용을 제어하고, 또한 유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 표시 제어하는 제어 신호를 생성하는 제어 신호 생성부와,
    상기 제어 신호를 상기 표시 화면의 표시 내용을 제어하도록 출력하는 제어 신호 출력부를 구비한 표시 제어 장치.
  12. 표시 화면의 표시 내용을 제어하는 표시 제어 방법으로서,
    미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시됨과 함께, 상기 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록, 상기 표시 내용을 제어하고,
    유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 표시 제어하는 표시 제어 방법.
  13. 표시 화면의 표시 내용을 제어하는 프로그램으로서,
    미리 설정된 영역수를 갖고, 소정의 순서로 배치된 분할 표시 영역을 갖는 표시 화면의 각 분할 표시 영역에, 동일한 움직임 피사체를 연속적으로 촬상하여 얻은 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상이 동시에 표시됨과 함께, 상기 동일한 움직임 피사체의 시계열에 따른 순서로, 상기 각 분할 표시 영역에 표시되는 상기 동일한 움직임 피사체를 나타내는 화상이 배치되도록, 상기 표시 내용을 제어하고,
    유저 지시 또는 동화상적 재생 처리에 따라, 상기 표시 화면에 표시되어 있는 표시 내용과 서로 다른 시간에 있어서의 동일한 움직임 피사체를 나타내는 화상을 포함하는 표시 내용으로 할 때 상기 서로 다른 시간에 있어서의 동일한 움직임 피사체를 포함한 동일한 움직임 피사체의 각 화상이, 상기 동일한 움직임 피사체의 시계열에 따른 순서를 유지한 상태에서, 상기 분할 표시 영역의 각각에 표시되도록 하는 표시 제어를 연산 처리 장치에 실행시키는 프로그램.
KR1020127014824A 2009-12-16 2010-12-08 표시 제어 장치, 표시 제어 방법, 프로그램 KR20120102071A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009284758A JP5293587B2 (ja) 2009-12-16 2009-12-16 表示制御装置、表示制御方法、プログラム
JPJP-P-2009-284758 2009-12-16

Publications (1)

Publication Number Publication Date
KR20120102071A true KR20120102071A (ko) 2012-09-17

Family

ID=44167203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127014824A KR20120102071A (ko) 2009-12-16 2010-12-08 표시 제어 장치, 표시 제어 방법, 프로그램

Country Status (8)

Country Link
US (1) US9851894B2 (ko)
EP (1) EP2515531A4 (ko)
JP (1) JP5293587B2 (ko)
KR (1) KR20120102071A (ko)
CN (1) CN102656548A (ko)
IN (1) IN2012DN05086A (ko)
TW (1) TWI450180B (ko)
WO (1) WO2011074446A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP2013092816A (ja) * 2011-10-24 2013-05-16 Brother Ind Ltd 画像形成装置、画像形成装置の制御方法およびプログラム
EP2613552A3 (en) * 2011-11-17 2016-11-09 Axell Corporation Method for moving image reproduction processing and mobile information terminal using the method
JP5957948B2 (ja) 2012-02-24 2016-07-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
JP5631933B2 (ja) * 2012-06-28 2014-11-26 株式会社日本製鋼所 タッチパネルを備えた射出成形機
CN103544977B (zh) * 2012-07-16 2016-07-20 三星电子（中国）研发中心 基于触摸控制的视频定位装置和方法
JP2014060566A (ja) * 2012-09-18 2014-04-03 Casio Comput Co Ltd 画像配列決定方法、画像配列決定装置、及び、印刷装置、表示装置、プログラム記憶媒体
KR102032541B1 (ko) 2013-02-26 2019-11-08 삼성전자주식회사 이미지 촬영장치 및 방법
JP5825279B2 (ja) * 2013-02-27 2015-12-02 ブラザー工業株式会社 端末装置及びプログラム
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
KR20150033162A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법
CN103593155B (zh) * 2013-11-06 2016-09-07 华为终端有限公司 显示帧生成方法和终端设备
KR102105171B1 (ko) * 2013-11-21 2020-04-24 삼성전자주식회사 다중 영상 재생장치 및 재생방법
JP6332864B2 (ja) * 2014-12-25 2018-05-30 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6098681B2 (ja) * 2015-05-22 2017-03-22 カシオ計算機株式会社 表示装置、表示方法及びプログラム
TWI610292B (zh) * 2015-11-19 2018-01-01 瑞鼎科技股份有限公司 驅動電路及其運作方法
CN105635837B (zh) * 2015-12-30 2019-04-19 努比亚技术有限公司 一种视频播放方法和装置
CN111145308A (zh) * 2019-12-06 2020-05-12 北京达佳互联信息技术有限公司 一种贴纸获取方法和装置
US11615648B2 (en) 2021-05-28 2023-03-28 Sportsbox.ai Inc. Practice drill-related features using quantitative, biomechanical-based analysis
CN113473181B (zh) * 2021-09-03 2021-12-31 北京市商汤科技开发有限公司 视频处理方法和装置、计算机可读存储介质及计算机设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3198980B2 (ja) * 1996-10-22 2001-08-13 松下電器産業株式会社 画像表示装置及び動画像検索システム
JP3603629B2 (ja) * 1998-12-24 2004-12-22 カシオ計算機株式会社 画像処理装置及び画像処理方法
JP3790126B2 (ja) * 2001-05-30 2006-06-28 株式会社東芝 時空間領域情報処理方法及び時空間領域情報処理システム
JP3929811B2 (ja) * 2002-04-08 2007-06-13 株式会社インク 画像合成装置及び画像合成方法
JP4068485B2 (ja) * 2002-09-30 2008-03-26 株式会社東芝 画像合成方法、画像合成装置、画像合成プログラム
US20050216839A1 (en) 2004-03-25 2005-09-29 Keith Salvucci Audio scrubbing
JP4760105B2 (ja) 2005-04-15 2011-08-31 ソニー株式会社 再生装置、再生方法および再生プログラム
JP4419903B2 (ja) * 2005-04-15 2010-02-24 ソニー株式会社 入力装置、入力方法および入力制御プログラム、ならびに、再生装置、再生制御方法および再生制御プログラム
TW200807325A (en) * 2006-07-18 2008-02-01 Care Telecom Inc I Method and system for performing image processing via network environment
US7954065B2 (en) * 2006-12-22 2011-05-31 Apple Inc. Two-dimensional timeline display of media items
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
CN201266371Y (zh) * 2007-01-05 2009-07-01 苹果公司 手持移动通信装置
JP4971813B2 (ja) * 2007-01-31 2012-07-11 日本放送協会 映像生成装置及び映像生成プログラム
JP2009077363A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
TWM337120U (en) * 2008-01-08 2008-07-21 Feeling Technology Corp Digital equipment with selectable laminated electronic images
KR101495170B1 (ko) * 2008-07-22 2015-02-24 엘지전자 주식회사 이동단말기의 메뉴 표시방법
JP4591576B2 (ja) * 2008-08-18 2010-12-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN101441882B (zh) 2008-12-26 2013-06-26 华为终端有限公司 多媒体播放控制方法和装置以及多媒体播放设备
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP5957948B2 (ja) 2012-02-24 2016-07-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体

Also Published As

Publication number Publication date
EP2515531A1 (en) 2012-10-24
WO2011074446A1 (ja) 2011-06-23
US9851894B2 (en) 2017-12-26
TW201207716A (en) 2012-02-16
US20120236027A1 (en) 2012-09-20
JP2011130046A (ja) 2011-06-30
IN2012DN05086A (ko) 2015-10-09
CN102656548A (zh) 2012-09-05
EP2515531A4 (en) 2017-06-07
TWI450180B (zh) 2014-08-21
JP5293587B2 (ja) 2013-09-18

Similar Documents

Publication Publication Date Title
KR20120102071A (ko) 표시 제어 장치, 표시 제어 방법, 프로그램
JP4591576B2 (ja) 画像処理装置、画像処理方法、プログラム
AU2005242447B2 (en) Image frame processing method and device for displaying moving images to a variety of displays
JP4661866B2 (ja) ゲーム装置において実行される表示制御プログラム
US20170116709A1 (en) Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor
US7350158B2 (en) Icon display system and method, electronic appliance, and computer program
US8576287B2 (en) Methods and apparatus for jiggling correction in images
CN102111542B (zh) 图像处理设备、成像设备和图像处理方法
JP2007072564A (ja) マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
JP2011097441A (ja) 情報処理装置、画像表示方法及びコンピュータプログラム
US8334920B2 (en) Image playback apparatus and image display control method
EP2073539A1 (en) Image processing device, dynamic image reproduction device, and processing method and program in them
US20170256099A1 (en) Method and system for editing scene in three-dimensional space
KR20130018677A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
US20170278288A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2006195525A (ja) 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム
CN105991928A (zh) 图像处理装置以及图像处理方法
JP2013232200A (ja) 画像表示装置
JP6098681B2 (ja) 表示装置、表示方法及びプログラム
JP5174735B2 (ja) 操作制御装置、操作制御方法および操作制御用プログラム
JP2007322452A (ja) 画像表示装置およびその方法、並びに、記憶媒体
WO2017138473A1 (ja) 表示処理装置及び表示処理方法
JP5093317B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2011125417A (ja) 画像処理装置、画像処理方法、プログラム
JP2006005533A (ja) 動画像の再生時における画像の動きの速度調整

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid