KR20100095363A - 촬상 장치, 그 제어 방법 및 프로그램 - Google Patents

촬상 장치, 그 제어 방법 및 프로그램 Download PDF

Info

Publication number
KR20100095363A
KR20100095363A KR1020097017751A KR20097017751A KR20100095363A KR 20100095363 A KR20100095363 A KR 20100095363A KR 1020097017751 A KR1020097017751 A KR 1020097017751A KR 20097017751 A KR20097017751 A KR 20097017751A KR 20100095363 A KR20100095363 A KR 20100095363A
Authority
KR
South Korea
Prior art keywords
image
moving
unit
images
frame
Prior art date
Application number
KR1020097017751A
Other languages
English (en)
Inventor
신고 쯔루미
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20100095363A publication Critical patent/KR20100095363A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

촬상 장치에 의해 촬영된 촬상 화상을 열람할 경우에 그 촬상 화상의 내용을 쉽게 파악한다. 동화상 기억부(200)는, 촬상부(110)에 의해 생성된 화상 데이터를 기억한다. 메타 데이터 기억부(210)는, 제1 촬상 화상 및 제2 촬상 화상에 관한 변환 정보를 기억한다. 화상 메모리(180)는, 각 화상을 이력 화상으로서 유지한다. 화상 변환부(150)는, 변환 정보를 기초로 하여 제2 촬상 화상을 변환한다. 화상 합성부(170)는, 변환된 제2 촬상 화상을 이력 화상에 합성해서 합성 화상으로 한다. 조작 접수부(160)는, 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수한다. 표시 영역 취출부(190)는, 지정된 표시 배율을 기초로 하여 화상 메모리(180)에 유지되어 있는 합성 화상에서의 표시 영역을 결정하고, 이 표시 영역에 포함되는 화상을 취출한다. 표시 제어부(240)는, 취출된 화상을 표시부(250)에 차례로 표시시킨다.
열람, 아핀 변환, 촬상 장치, 합성, 변환 파라미터

Description

촬상 장치, 그 제어 방법 및 프로그램{IMAGING APPARATUS, AND CONTROL METHOD AND PROGRAM FOR THE SAME}
본 발명은, 촬상 장치에 관한 것으로, 특히 촬상된 화상을 표시하는 것이 가능한 촬상 장치 및 그 제어 방법 및 해당 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.
최근, 디지털　비디오　카메라나 디지털 스틸 카메라 등의 촬상 장치가 보급되어 있다. 또한, 이들의 촬상 장치에 의해 기록된 촬상 화상을 액정 패널 등의 표시부에 표시시켜 재생하는 것이 가능한 촬상 장치가 존재한다.
또한, 이들의 표시부에 표시되어 있는 촬상 화상의 표시 배율을 사용자 조작에 의해 변경시키는 것이 가능한 촬상 장치가 존재한다. 예를 들어, 기록되어 있는 화상이 재생 표시되어 있는 경우에 있어서, 이 화상의 일부 영역을 확대 표시하는 화상 재생 장치가 제안되어 있다[예를 들어, 일본 특허 공개 제2000-217061호 공보(도 4) 참조].
전술한 종래 기술에 따르면, 표시부에 표시되어 있는 촬상 화상의 일부 영역을 확대 표시시킬 수 있으므로, 사용자는 원하는 화상 부분을 확대해서 볼 수 있다. 한편, 표시부에 표시되어 있는 촬상 화상을 부감(俯瞰)적으로 보고 싶은 경우 에, 이 촬상 화상을 축소 표시시키는 것이 고려된다. 예를 들어, 연속해서 기록된 정지 화상을 축소시킨 상태에서 표시부의 중앙 부근에 1매씩 차례로 표시시키는 것이 고려된다. 이 경우에는, 표시의 대상이 되는 정지 화상만이 축소 표시되므로, 다른 정지 화상과의 관련성을 파악할 수 없어, 촬상 화상을 부감적으로 보는 것은 곤란하다. 따라서, 이들의 정지 화상을 축소시킨 상태에서, 예를 들어 시계열로 표시부에 배열해서 표시시키는 것이 고려된다. 이 경우에는, 정지 화상이 시계열로 배열되지만, 예를 들어 인접하는 정지 화상들 간의 관련성을 파악할 수 없어, 촬상 화상을 부감적으로 볼 수 없게 될 우려가 있다.
또한, 촬상 동화상을 축소시킨 상태에서 표시부의 중앙 부근에 재생시키는 것이 고려된다. 이 경우에도 마찬가지로, 촬상 동화상을 구성하는 1개의 촬상 화상과, 이 촬상 화상 이외의 다른 촬상 화상과의 관련성을 파악할 수 없어, 촬상 동화상을 부감적으로 볼 수 없게 될 우려가 있다.
따라서, 예를 들어 연속해서 기록된 정지 화상 또는 촬상 동화상에 대해서 다른 촬상 화상과의 관계에서 부감적으로 볼 수 있으면, 그 촬상 화상의 내용을 쉽게 파악할 수 있다고 생각된다.
본 발명은, 촬상 장치에 의해 촬영된 촬상 화상을 열람할 경우에 그 촬상 화상의 내용을 쉽게 파악하는 것을 목적으로 한다.
본 발명은, 상기 과제를 해결하기 위해서 이루어진 것으로, 그 제1 측면은, 피사체를 촬상해서 화상 데이터를 생성하는 촬상 수단과, 화상 데이터에 대응하는 화상인 제1 촬상 화상과 화상 데이터의 촬상 시에 따른 시간축에서 제1 촬상 화상보다도 뒤에 위치하는 제2 촬상 화상을 기초로 하여 제1 촬상 화상 및 제2 촬상 화상에 관한 변환 정보를 산출하는 변환 정보 산출 수단과, 시간축에서 제2 촬상 화상보다도 앞에 위치하는 각 화상을 이력 화상으로서 유지하는 화상 유지 수단과, 산출된 변환 정보를 기초로 하여 제2 촬상 화상을 변환하는 화상 변환 수단과, 변환된 제2 촬상 화상을 이력 화상에 합성해서 합성 화상으로 하는 화상 합성 수단과, 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수하는 조작 접수 수단과, 지정된 표시 배율을 기초로 하여 화상 유지 수단에 유지되고 있는 합성 화상에서의 표시 영역을 결정해서 표시 영역에 포함되는 화상을 차례로 표시시키는 제어 수단을 포함하는 것을 특징으로 하는 촬상 장치 및 그 제어 방법 및 해당 방법을 컴퓨터에 실행시키는 프로그램이다. 이에 의해, 변환 정보를 기초로 하여 제2 촬상 화상을 변환하고, 이 변환된 제2 촬상 화상을 이력 화상에 합성해서 합성 화상으로 하고, 이 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수하면, 이 지정된 표시 배율을 기초로 하여 합성 화상에서의 표시 영역을 결정하고, 이 표시 영역에 포함되는 화상을 차례로 표시시킨다고 하는 작용을 초래한다.
또한, 이 제1 측면에 있어서, 제어 수단은, 조작 접수 수단에 의해 제2 촬상 화상을 축소시키는 표시 배율을 지정하는 지정 조작이 접수된 경우에는, 화상 유지 수단에 유지되고 있는 합성 화상에 있어서 변환된 제2 촬상 화상과 해당 제2 촬상 화상의 주위 화상을 적어도 포함하는 표시 영역을 결정하도록 해도 된다. 이에 의해, 제2 촬상 화상을 축소시키는 표시 배율을 지정하는 지정 조작이 접수된 경우에는, 합성 화상에 있어서, 변환된 제2 촬상 화상과 이 제2 촬상 화상의 주위 화상을 적어도 포함하는 표시 영역을 결정한다고 하는 작용을 초래한다.
또한, 이 제1 측면에 있어서, 제어 수단은, 산출된 변환 정보와 지정된 표시 배율을 기초로 하여 표시 영역을 결정하고, 화상 합성 수단은, 화상 변환 수단에 의해 변환되기 전의 제2 촬상 화상을 표시 영역에 포함되는 화상에 덮어쓰기 합성하여 표시 화상으로 하도록 해도 된다. 이에 의해, 변환 정보와, 지정된 표시 배율을 기초로 하여 표시 영역을 결정하고, 변환되기 전의 제2 촬상 화상을 표시 영역에 포함되는 화상에 덮어쓰기 합성하여 표시 화상으로 한다고 하는 작용을 초래한다.
또한, 이 제1 측면에 있어서, 제어 수단은, 산출된 변환 정보를 기초로 하여 화상 변환 수단에 의한 제2 촬상 화상의 변환 방향과는 반대 방향으로 표시 영역에 포함되는 화상을 변환하고, 화상 합성 수단은, 화상 변환 수단에 의해 변환되기 전의 제2 촬상 화상을 변환 후의 표시 영역에 포함되는 화상에 덮어쓰기 합성하여 표시 화상으로 하도록 해도 된다. 이에 의해, 변환 정보를 기초로 하여, 제2 촬상 화상의 변환 방향과는 반대 방향으로, 표시 영역에 포함되는 화상을 변환하고, 변환되기 전의 제2 촬상 화상을, 변환 후의 표시 영역에 포함되는 화상에 덮어쓰기 합성하여 표시 화상으로 한다고 하는 작용을 초래한다.
또한, 이 제1 측면에 있어서, 촬상 수단은, 피사체를 촬상해서 동화상에 따른 화상 데이터를 생성하고, 제1 촬상 화상 및 제2 촬상 화상은, 동화상을 구성하는 촬상 화상으로 할 수 있다. 이에 의해, 피사체를 촬상해서 동화상에 따른 화상 데이터를 생성하고, 이 생성된 화상 데이터에 따른 촬상 동화상을 구성하는 촬상 화상에 대한 표시 화상을 차례로 표시시킨다고 하는 작용을 초래한다. 또한, 이 경우에 있어서, 변환 정보 산출 수단은, 촬상 동화상을 구성하는 제1 촬상 화상 및 제2 촬상 화상을 구성하는 각 화소를 기초로 하여 제1 촬상 화상 및 제2 촬상 화상에서의 특징점을 추출하는 특징점 추출 수단과, 추출된 각 특징점을 기초로 하여 제1 촬상 화상 및 제2 촬상 화상에 관한 움직임량을 산출하는 움직임량 산출 수단과, 산출된 움직임량을 기초로 해서 소정의 변환 파라미터를 산출함으로써 변환 정보를 산출하는 변환 파라미터 산출 수단을 포함하도록 해도 좋다. 또한, 이 경우에 있어서, 특징점 추출 수단은 멀티 코어 프로세서에 의해 구성되고, 멀티 코어 프로세서는, 제1 촬상 화상 및 제2 촬상 화상을 구성하는 각 화소에 대해서 SIMD 연산에 의해 병렬 처리함으로써 제1 촬상 화상 및 제2 촬상 화상에서의 특징량을 추출하도록 해도 된다. 또한, 이 경우에 있어서, 움직임량 산출 수단은 멀티 코어 프로세서에 의해 구성되고, 멀티 코어 프로세서는, 추출된 각 특징점에 대해서 SIMD 연산에 의해 병렬 처리함으로써 제1 촬상 화상 및 제2 촬상 화상에 관한 움직임량을 산출하도록 해도 된다.
또한, 이 제1 측면에 있어서, 조작 접수 수단은, 표시 영역을 이동시키는 이동 조작을 접수하고, 제어 수단은, 접수된 이동 조작을 기초로 하여 화상 유지 수단에 유지되고 있는 합성 화상에서의 표시 영역을 이동시키도록 해도 좋다. 이에 의해, 표시 영역을 이동시키는 이동 조작을 접수하면, 이 접수된 이동 조작을 기초로 하여, 합성 화상에서의 표시 영역을 이동시킨다고 하는 작용을 초래한다.
또한, 본 발명의 제2 측면은, 피사체를 촬상해서 화상 데이터를 생성하는 촬상 수단과, 화상 데이터에 대응하는 화상인 제1 촬상 화상과 화상 데이터의 촬상 시에 따른 시간축에서 제1 촬상 화상보다도 뒤에 위치하는 제2 촬상 화상을 기초로 하여 제1 촬상 화상 및 제2 촬상 화상에 관한 변환 정보를 산출하는 변환 정보 산출 수단과, 시간축에서 제2 촬상 화상보다도 앞에 위치하는 각 화상을 이력 화상으로서 유지하는 화상 유지 수단과, 산출된 변환 정보를 기초로 하여 이력 화상을 변환하는 화상 변환 수단과, 변환된 이력 화상에 제2 촬상 화상을 합성해서 합성 화상으로 하는 화상 합성 수단과, 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수하는 조작 접수 수단과, 지정된 표시 배율을 기초로 하여 화상 유지 수단에 유지되고 있는 합성 화상에서의 표시 영역을 결정해서 표시 영역에 포함되는 화상을 차례로 표시시키는 제어 수단을 포함하는 것을 특징으로 하는 촬상 장치 및 그 제어 방법 및 해당 방법을 컴퓨터에 실행시키는 프로그램이다. 이에 의해, 변환 정보를 기초로 하여 이력 화상을 변환하고, 이 변환된 이력 화상에 제2 화상에 합성해서 합성 화상으로 하고, 이 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수하면, 이 지정된 표시 배율을 기초로 하여 합성 화상에서의 표시 영역을 결정하고, 이 표시 영역에 포함되는 화상을 차례로 표시시킨다고 하는 작용을 초래한다.
본 발명에 따르면, 촬상 장치에 의해 촬영된 촬상 화상을 열람할 경우에 그 촬상 화상의 내용을 쉽게 파악할 수 있다고 하는 우수한 효과를 발휘할 수 있다.
도 1은 본 발명의 실시 형태에서의 촬상 장치(100)의 기능 구성 예를 도시하는 블록도이다.
도 2는 본 발명의 실시 형태에서의 촬상 장치(100)의 외관을 나타내는 도면이다.
도 3은 본 발명의 실시 형태에서의 카메라 워크 검출부(120)의 기능 구성 예를 도시하는 블록도이다.
도 4는 본 발명의 실시 형태에서의 동화상 기억부(200) 및 메타 데이터 기억부(210)에 기록되어 있는 각 파일을 모식적으로 나타내는 도면이다.
도 5는 동화상을 구성하는 프레임에 대응하는 화상의 일례를 도시하는 도면이다.
도 6은 동화상을 구성하는 프레임에 대응하는 화상에 대해서 배경 등을 생략하여 간략화한 화상을 나타내는 도면이다.
도 7은 본 발명의 실시 형태에서의 촬상 장치(100)에 의한 아핀 변환 파라미터 검출 처리의 처리 단계를 나타내는 흐름도이다.
도 8은 촬상 장치(100)에 의해 촬영된 동화상의 천이의 일례를 도시하는 도면이다.
도 9는 도 8에 나타내는 각 화상에 있어서, 바로 앞의 프레임에 대응하는 화상을 점선으로 나타내는 동시에, 검출되는 옵티컬 플로우의 일례를 도시하는 도면이다.
도 10은 도 8에 나타내는 화상(401 내지 403)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다.
도 11은 촬상 장치(100)에 의해 촬영된 동화상의 천이의 일례를 도시하는 도면이다.
도 12는 도 11에 나타내는 각 화상에 있어서, 바로 앞의 프레임에 대응하는 화상을 점선으로 나타내는 동시에, 검출되는 옵티컬 플로우의 일례를 도시하는 도면이다.
도 13은 도 11에 나타내는 화상(421 내지 423)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다.
도 14는 촬상 장치(101)에 의해 촬영된 동화상의 천이의 일례를 도시하는 도면이다.
도 15는 도 14에 나타내는 각 화상에 있어서, 바로 앞의 프레임에 대응하는 화상을 점선으로 나타내는 동시에, 검출되는 옵티컬 플로우의 일례를 도시하는 도면이다.
도 16은 도 14에 나타내는 화상(441 내지 443)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다.
도 17은 본 발명의 실시 형태에서의 동화상 기억부(200)에 기억되어 있는 동화상 파일의 각 프레임과, 표시 영역과의 관계를 모식적으로 나타내는 도면이다.
도 18은 동화상의 표시 배율을 변경해서 표시시키는 경우에서의 화상 메모리(180)에 유지되는 화상과 액정 패널(251)에 표시되는 화상과의 관계를 개략적으로 나타내는 도면이다.
도 19는 본 발명의 실시 형태에서의 동화상 기억부(200)에 기억되어 있는 동화상 파일의 각 프레임의 흐름을 모식적으로 나타내는 도면이다.
도 20은 촬상 장치(101)에 의해 촬영된 동화상을 재생하는 경우에서의 합성예[화상(480)] 및 화상(480)에서의 현 화상(482)이 아핀 변환되기 전의 상태의 화상(484)을 나타내는 도면이다.
도 21은 도 20에 나타내는 프레임(483)으로 둘러싸여진 화상 영역이 확대된 경우에서의 화상(485)과, 아핀 변환 후의 현 화상이 화상 메모리(180)에 보존된 상태에서 표시용 메모리(230)에 보존된 화상(487)을 나타내는 도면이다.
도 22는 본 발명의 실시 형태에서의 촬상 장치(100)에 의한 동화상 재생 처리의 처리 단계를 나타내는 흐름도이다.
도 23은 도 8에 나타내는 화상(401 내지 403)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다.
도 24는 도 11에 나타내는 화상(421 내지 423)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다.
도 25는 도 14에 나타내는 화상(441 내지 443)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다.
도 26은 본 발명의 실시 형태에서의 동화상 기억부(200)에 기억되어 있는 동화상 파일의 각 프레임과, 표시 영역과의 관계를 모식적으로 나타내는 도면이다.
도 27은 본 발명의 실시 형태에서의 촬상 장치(101)의 기능 구성 예를 도시하는 블록도이다.
도 28은 본 발명의 실시 형태에서의 일치점 검색부(340)의 기능 구성 예를 도시하는 블록도이다.
도 29는 본 발명의 실시 형태에서의 동화상 기억부(200) 및 상대 관계 정보 기억부(220)에 기록되어 있는 각 파일을 모식적으로 나타내는 도면이다.
도 30은 화상에 포함되는 일치점을 선택함으로써 2개의 화상에 관한 아핀 변환 파라미터를 산출하는 아핀 변환 파라미터 산출 방법, 및 그 선택된 일치점을 기초로 하여 2개의 화상을 합성시킨 경우를 개략적으로 나타내는 도면이다.
도 31은 화상에 포함되는 일치점을 선택함으로써 2개의 화상에 관한 아핀 변환 파라미터를 산출하는 아핀 변환 파라미터 산출 방법을 개략적으로 나타내는 도면이다.
도 32는 2개의 동화상을 합성하는 경우에서의 합성예를 모식적으로 나타내는 도면이다.
도 33은 2개의 동화상을 합성하는 경우에서의 합성예를 모식적으로 나타내는 도면이다.
도 34는 도 33에 나타내는 합성 화상이 표시부(250)에 표시되는 경우에서의 표시예를 도시하는 도면이다.
도 35는 본 발명의 실시 형태에서의 동화상 기억부(200) 및 상대 관계 정보 기억부(220)에 기록되어 있는 각 파일을 모식적으로 나타내는 도면이다.
도 36은 3개의 동화상에 관한 화상에 포함되는 일치점을 선택하는 경우에서의 각 화상을 나타내는 도면이다.
도 37은 3개의 동화상에 관한 화상에 있어서 선택된 일치점을 기초로 하여 3개의 화상을 합성시킨 경우의 일례를 도시하는 도면이다.
도 38은 3개의 동화상을 합성하는 경우에서의 합성예를 모식적으로 나타내는 도면이다.
도 39는 정지 화상과 복수의 동화상을 합성하는 경우의 일례를 도시하는 도면이다.
도 40은 본 발명의 실시 형태에서의 멀티 코어 프로세서(800)의 하나의 구성 예를 도시하는 도면이다.
도 41은 본 발명의 실시 형태에서의 제어 프로세서 코어(801)의 하나의 구성 예를 도시하는 도면이다.
도 42는 본 발명의 실시 형태에서의 연산 프로세서 코어(#1)(811)의 하나의 구성 예를 도시하는 도면이다.
도 43은 본 발명의 실시 형태에서의 멀티 코어 프로세서(800)의 연산 방법을 모식적으로 나타내는 도면이다.
도 44는 본 발명의 실시 형태에서의 멀티 코어 프로세서(800)에 의해 연산을 행하는 경우에서의 프로그램 및 데이터의 흐름을 모식적으로 나타내는 도면이다.
도 45는 복수의 데이터에 대한 처리를 각각의 명령으로 행하는 연산 방식의 개요, 및 복수의 데이터에 대한 처리를 1개의 명령으로 행하는 SIMD 연산의 개요를 모식적으로 나타내는 도면이다.
도 46은 본 발명의 실시 형태에서의 제어 프로세서 코어(801) 또는 연산 프 로세서 코어(#1)(811)에 의해 실행되는 프로그램의 구성 예를 도시하는 도면이다.
도 47은 본 발명의 실시 형태에서의 메인 메모리(781)에 저장되어 있는 화상 데이터에 대해서, 소벨 필터(830)를 이용해서 필터링 처리를 행하는 경우에서의 데이터 구조와 처리의 흐름을 개략적으로 나타내는 도면이다.
도 48은 본 발명의 실시 형태에서의 메인 메모리(781)에 저장되어 있는 화상 데이터에 대해서 소벨 필터(830)를 이용해서 SIMD 연산을 행하는 경우에서의 데이터의 흐름을 개략적으로 나타내는 도면이다.
도 49는 본 발명의 실시 형태에서의 소벨 필터(830)를 이용해서 필터링 처리를 행하는 경우에 있어서, 제1 버퍼(831)에 저장되어 있는 화상 데이터로부터 9개의 벡터를 작성하는 벡터 작성 방법을 개략적으로 나타내는 도면이다.
도 50은 본 발명의 실시 형태에서의 소벨 필터(830)를 이용해서 필터링 처리를 행하는 경우에, 벡타 데이터(841 내지 849)에 대해서 SIMD 명령을 이용해서 벡터 연산을 행하는 벡터 연산 방법을 개략적으로 나타내는 도면이다.
도 51은 본 발명의 실시 형태에서의 카메라 워크 파라미터 산출 처리의 흐름을 시계열로 개략적으로 나타내는 도면이다.
도 52는 기록 매체의 일례인 블루레이 디스크(880), 블루레이 디스크(880)에 기록되어 있는 각 데이터(881 내지 884), 및 블루레이 디스크(880)를 재생 가능한 블루레이 재생기(890)의 내부 구성을 모식적으로 나타내는 도면이다.
다음에 본 발명의 실시 형태에 대해서 도면을 참조해서 상세하게 설명한다.
도 1은, 본 발명의 실시 형태에서의 촬상 장치(100)의 기능 구성 예를 도시하는 블록도이다. 촬상 장치(100)는, 촬상부(110)와, 카메라 워크 검출부(120)와, 기록 제어부(130)와, 파일 취득부(140)와, 화상 변환부(150)와, 조작 접수부(160)와, 화상 합성부(170)와, 화상 메모리(180)와, 표시 영역 취출부(190)와, 동화상 기억부(200)와, 메타 데이터 기억부(210)와, 표시용 메모리(230)와, 표시 제어부(240)와, 표시부(250)를 포함한다. 촬상 장치(100)는, 예를 들어 촬상된 동화상에 대해서, 영상 해석에 의해 특징량을 추출하고, 이 추출된 특징량을 이용해서 각종 화상 처리를 실시하는 것이 가능한 디지털 비디오 카메라에 의해 실현할 수 있다.
촬상부(110)는, 촬상 렌즈(도시 생략)를 통해서 입사된 피사체로부터의 빛을 수광해서 광전 변환을 행함으로써, 빛의 수광량에 따른 화상 신호를 생성하고, 이 화상 신호에 각종 신호 처리를 실시하는 것이다. 그리고 이 신호 처리가 실시된 화상 신호가 동화상(촬상 동화상)으로서 카메라 워크 검출부(120) 및 기록 제어부(130)에 출력된다.
카메라 워크 검출부(120)는, 촬상부(110)로부터 출력된 동화상을 해석하여, 촬영 시에서의 촬상 장치(100)의 움직임 정보(카메라 워크)를 검출하는 것이며, 이 촬상 장치(100)의 움직임 정보를 기초로 하여 산출된 아핀 변환 파라미터(카메라 워크 파라미터)를 기록 제어부(130)에 출력한다. 즉, 카메라 워크 검출부(120)는, 동화상을 구성하는 각 화상으로부터 특징점을 추출하는 동시에, 이 특징점에 대한 옵티컬 플로우(움직임 벡터)를 추출하고, 이 추출된 특징점에 대한 옵티컬 플로우 를 해석해서 지배적인 움직임을 보인 특징점을 선택하고, 이 지배적인 움직임을 보인 특징점에 대한 옵티컬 플로우를 기초로 하여 촬상 장치(100)의 움직임을 추정한다. 여기에서, 지배적인 움직임이란, 복수의 특징점에 대한 옵티컬 플로우 중에서, 비교적 다수의 옵티컬 플로우가 나타내는 규칙적인 움직임을 의미한다. 또한, 카메라 워크 검출부(120)에 대해서는, 도 3을 참조해서 상세하게 설명한다.
기록 제어부(130)는, 촬상부(110)로부터 출력된 동화상을 동화상 파일로서 동화상 기억부(200)에 기록하는 동시에, 카메라 워크 검출부(120)로부터 출력된 아핀 변환 파라미터를, 대응하는 동화상 및 프레임에 관련지어 메타 데이터 파일로서 메타 데이터 기억부(210)에 기록하는 것이다.
동화상 기억부(200)는, 기록 제어부(130)의 제어를 기초로 하여 촬상부(110)로부터 출력된 동화상을 동화상 파일로서 기억하는 것이다. 또한, 동화상 기억부(200)는, 파일 취득부(140)로부터의 요구에 따라서 동화상 파일을 파일 취득부(140)에 공급한다. 또한, 동화상 기억부(200)에 기억되는 동화상 파일에 대해서는, 도 4를 참조해서 상세하게 설명한다.
메타 데이터 기억부(210)는, 기록 제어부(130)의 제어를 기초로 하여 카메라 워크 검출부(120)로부터 출력된 아핀 변환 파라미터를 메타 데이터 파일로서 기억하는 것이다. 또한, 메타 데이터 기억부(210)는, 파일 취득부(140)로부터의 요구에 따라서 메타 데이터 파일을 파일 취득부(140)에 공급한다. 또한, 메타 데이터 기억부(210)에 기억되는 메타 데이터 파일에 대해서는, 도 4를 참조해서 상세하게 설명한다.
파일 취득부(140)는, 조작 접수부(160)에 의해 접수된 조작 입력에 따라서, 동화상 기억부(200) 또는 메타 데이터 기억부(210)에 기억되어 있는 각 파일 중 적어도 1개를 취득하고, 취득된 각 파일의 정보를 각 부에 공급하는 것이다. 구체적으로는, 파일 취득부(140)는, 동화상을 재생하는 지시 조작이 조작 접수부(160)에 의해 접수된 경우에는, 재생이 지시된 동화상 파일을 동화상 기억부(200)로부터 취득하는 동시에, 이 동화상 파일에 관련지어져 메타 데이터 기억부(210)에 기억되어 있는 메타 데이터 파일을 취득하고, 취득된 동화상 파일의 동화상 및 메타 데이터 파일의 아핀 변환 파라미터를 화상 변환부(150)에 출력한다.
화상 변환부(150)는, 파일 취득부(140)로부터 출력된 동화상 파일의 동화상을 구성하는 화상에 대해서, 이 화상에 대응하는 아핀 변환 파라미터를 이용해서 프레임마다 아핀 변환을 실시하고, 아핀 변환된 화상을 화상 합성부(170)에 출력하는 것이다. 또한, 이들의 화상 변환에 대해서는, 도 8 내지 도 19 등을 참조해서 상세하게 설명한다.
조작 접수부(160)는, 각종 조작 부재를 포함하고, 이들의 조작 부재로부터 조작 입력을 접수하면, 접수한 조작 입력의 내용을 파일 취득부(140) 또는 표시 영역 취출부(190)에 출력하는 것이다. 또한, 이들의 조작 부재에 대해서는, 도 2를 참조해서 상세하게 설명한다. 또한, 조작 접수부(160) 중 적어도 일부와 표시부(250)를 터치 패널로서 일체적으로 구성하도록 해도 된다.
화상 합성부(170)는, 화상 메모리(180)에 유지되어 있는 바로 앞까지의 각 프레임에 대응하는 합성 화상에, 화상 변환부(150)에 의한 아핀 변환 후의 화상을 덮어씀으로써 화상을 합성하고, 합성된 새로운 합성 화상을 화상 메모리(180)에 보존하는 것이다. 또한, 화상 합성부(170)는, 표시 배율의 값에 따라서 결정되는 표시 영역의 크기를 기초로 하여, 화상 변환부(150)에 의한 아핀 변환 전의 현 화상을 표시용 메모리(230)에 유지되는 합성 화상에 덮어씀으로써 합성한다. 또한, 표시용 메모리(230)에서의 현 화상의 합성에 대해서는, 도 19 등을 참조해서 상세하게 설명한다. 또한, 이들의 화상 합성에 대해서는, 도 8 내지 도 19 등을 참조해서 상세하게 설명한다. 여기에서, 화상 합성부(170)는, 화상 변환부(150)에 의한 아핀 변환 후의 화상을 압축해서 화상 메모리(180)에 유지되어 있는 합성 화상에 덮어쓰고, 표시용 메모리(230)에 유지되는 합성 화상에 덮어쓰이는 현 화상을 비압축 화상 또는 압축된 이력 화상보다도 고해상도의 촬상 화상으로 한다. 이에 의해, 합성 화상을 출력할 때의 이력 화상을 압축 화상으로 하고, 현 화상을 비압축 화상 또는 압축된 이력 화상보다도 고해상도의 촬상 화상으로 할 수 있다.
화상 메모리(180)는, 화상 합성부(170)에 의해 합성된 합성 화상을 유지하는 워크 버퍼이며, 유지되어 있는 합성 화상을 화상 합성부(170) 또는 표시 영역 취출부(190)에 공급하는 것이다. 즉, 화상 메모리(180)는, 이력 화상을 유지하는 화상 메모리이다.
표시 영역 취출부(190)는, 화상 메모리(180)에 유지되어 있는 합성 화상으로부터, 표시의 대상이 되는 영역인 표시 영역의 범위 내에 존재하는 화상을 취출하는 것이며, 취출된 화상을 표시용 메모리(230)에 유지시킨다. 또한, 이 표시 영역의 범위 내에 포함되는 화상의 취출에 대해서는, 도 17 내지 도 19 등을 참조해서 상세하게 설명한다.
표시용 메모리(230)는, 표시 영역 취출부(190)에 의해 화상 메모리(180)로부터 취출된 화상을 유지하는 표시용 버퍼이며, 유지되어 있는 화상이 표시부(250)에 표시된다.
표시 제어부(240)는, 표시용 메모리(230)에 유지되어 있는 합성 화상을 프레임마다 표시부(250)에 차례로 표시시키는 것이다.
표시부(250)는, 표시 제어부(240)의 제어를 기초로 하여, 표시용 메모리(230)에 유지되어 있는 현 화상이나 합성 화상을 표시하는 것이다. 예를 들어, 도 2에 도시한 바와 같이, 액정 패널(251)에 의해 실현할 수 있다.
도 2는, 본 발명의 실시 형태에서의 촬상 장치(100)의 외관을 나타내는 도면이다. 즉, 도 2는 액정 패널(251) 및 그 주변 부분을 나타내는 도면이다.
촬상 장치(100)는, 액정 패널(251)과, 줌 버튼(161)과, 열십자 버튼(162)을 포함한다. 또한, 줌 버튼(161) 및 열십자 버튼(162)은, 도 1에 나타내는 조작 접수부(160)에 대응한다. 또한, 액정 패널(251)은, 도 1에 나타내는 표시부(250)에 대응한다. 또한, 촬상 장치(100)에는, 전원 스위치, 촬상 화상 기록 지시 버튼 등의 다른 조작 부재가 조작 접수부(160)로서 포함되어 있지만, 여기에서의 도시 및 설명은 생략한다.
액정 패널(251)은, 촬상부(110)로부터 출력된 촬상 동화상을 표시하는 액정 패널이다. 또한, 액정 패널(251)은, 각종 선택 버튼 등을 표시하고, 이것들의 선택 버튼 등의 영역을 손가락 등으로 터치함으로써 조작 입력을 행하는 것이 가능한 터치 패널로 하도록 해도 된다.
줌 버튼(161)은, 줌의 배율을 조정할 때에 조작되는 버튼이다. 구체적으로는, 도 2에 나타내는 Ｗ(와이드) 버튼 및 T(원격) 버튼이 줌 버튼(161)에 포함되어 있다. 그리고 촬상 시에 있어서, W 버튼이 눌러져 있는 상태에서는, 줌 렌즈가 와이드 단부측(광각측)으로 이동하고, T 버튼이 눌러져 있는 상태에서는, 줌 렌즈가 원격 단부측(망원측)으로 이동한다. 또한, 동화상 재생 시에 있어서, W 버튼이 눌러져 있는 상태에서는, 재생 중의 동화상이 순차적으로 축소되어 표시되고, T 버튼이 눌러져 있는 상태에서는, 재생 중의 동화상이 순차적으로 확대되어 표시된다.
열십자 버튼(162)은, 동화상의 재생 시에서의 표시 영역을 상하 좌우 방향으로 이동시키는 경우에 조작되는 버튼이다. 구체적으로는, 열십자 버튼(162)의 4개의 화살표 중 적어도 1개를 누름으로써, 화살표로 나타내는 방향으로 표시 영역을 이동시킬 수 있다.
도 3은, 본 발명의 실시 형태에서의 카메라 워크 검출부(120)의 기능 구성 예를 도시하는 블록도이다. 카메라 워크 검출부(120)는, 특징점 추출부(121)와, 옵티컬 플로우 계산부(122)와, 카메라 워크 파라미터 산출부(123)를 포함한다.
특징점 추출부(121)는, 촬상부(110)로부터 출력된 동화상을 구성하는 프레임에 대응하는 화상으로부터 특징점을 추출하고, 추출된 특징점을 옵티컬 플로우 계산부(122)에 출력하는 것이다. 여기에서, 특징점 추출부(121)는, 촬상부(110)로부터 출력된 동화상을 구성하는 프레임 중 선두 프레임에 대해서는, 화상 전체로부터 특징점을 추출하고, 선두 이외의 프레임에 대해서는, 바로 앞의 프레임에 대응하는 화상과 비교해서 새롭게 촬영된 영역 부분으로부터 특징점을 추출한다. 또한, 특징점으로서, 예를 들어 세로 방향 또는 가로 방향으로 엣지의 구배가 강한 점(일반적으로「코너점」이라고 부르고 있다. 이하에서는,「코너점」이라고 칭함)을 추출할 수 있다. 이 코너점은, 옵티컬 플로우의 계산에 강한 특징점이며, 엣지 검출을 이용해서 구할 수 있다. 또한, 이 코너점의 추출에 대해서는, 도 5및 도 6을 참조해서 상세하게 설명한다. 또한, 본 예에서는, 특징점 추출부(121)는, 선두 프레임에 대해서는 화상 전체로부터 특징점을 추출하고, 선두 이외의 프레임에 대해서는 바로 앞의 화상과 비교해서 새롭게 촬영된 영역 부분으로부터 특징점을 추출하지만, 처리 능력 등에 따라서, 선두 이외의 각 프레임에 대해서도, 화상 전체로부터 특징점을 추출하도록 해도 된다.
옵티컬 플로우 계산부(122)는, 특징점 추출부(121)로부터 출력된 각 특징점에 대한 옵티컬 플로우를 계산하는 것이며, 계산해서 구해진 옵티컬 플로우를 카메라 워크 파라미터 산출부(123)에 출력한다. 구체적으로는, 촬상부(110)로부터 출력된 동화상을 구성하는 연속되는 2개의 프레임(현 프레임 및 이 바로 앞의 프레임)에 대응하는 각 화상을 비교함으로써, 바로 앞의 프레임에 대응하는 화상에서의 각 특징점에 대응하는 옵티컬 플로우를, 현 프레임의 옵티컬 플로우로서 구한다. 또한, 옵티컬 플로우는, 동화상을 구성하는 프레임마다 구해진다. 또한, 옵티컬 플로우를 검출하는 검출 방법으로서, 구배법이나 블록 매칭 방법 등의 검출 방법을 이용할 수 있다. 또한, 이 옵티컬 플로우의 계산에 대해서는, 도 5및 도 6을 참조해서 상세하게 설명한다.
카메라 워크 파라미터 산출부(123)는, 옵티컬 플로우 계산부(122)로부터 출력된 각 특징점에 대응하는 옵티컬 플로우를 이용하여, 카메라 워크 파라미터를 산출하는 카메라 워크 파라미터 산출 처리를 행하는 것이며, 산출된 카메라 워크 파라미터를 기록 제어부(130)에 출력한다. 여기에서, 본 발명의 실시 형태에서는, 재생의 대상이 되는 복수의 동화상을 구성하는 각 화상을 촬상 장치(100)의 움직임에 맞춰 각각 변환해서 표시한다. 이 화상의 변환을 행하기 위해, 옵티컬 플로우 계산부(122)에 의해 계산된 옵티컬 플로우를 이용해서 촬상 장치(100)의 움직임이 추출되고, 이 추출된 움직임을 기초로 하여, 카메라 워크 파라미터(변환 파라미터)가 계산된다. 또한, 본 발명의 실시 형태에서는, 재생의 대상이 되는 동화상을 구성하는 화상을 변환하는 화상 변환 방법으로서, 아핀 변환을 이용하는 예에 대해서 설명한다. 또한, 카메라 워크 파라미터로서, 옵티컬 플로우를 기초로 하여 산출된 아핀 변환 파라미터 행렬의 역행렬에 대응하는 아핀 변환 파라미터를 이용하는 예에 대해서 설명한다. 즉, 본 발명의 실시 형태에서는, 변환 정보로서 이용되는 아핀 변환 파라미터를, 연속되는 화상 간의 특징점의 움직임을 나타내는 아핀 행렬이 아닌, 연속되는 화상 중 하나의 화상을 기준 화상으로 한 경우에, 이 기준 화상의 다음 화상이 어디로 이동하는지를 나타내는 아핀 행렬에 대응하는 아핀 변환 파라미터라 정의한다. 또한, 카메라 워크 파라미터로서, 아핀 변환 파라미터를 이용하는 예에 대해서 설명하지만, 사영 변환 등의 다른 화상 변환 방법을 이용하도록 해도 좋다. 또한, 아핀 변환 파라미터는, 3점의 벡터를 이용하여 계산해서 구할 수 있다. 또한, 사영 변환 파라미터는, 4점의 벡터를 이용하여 계산해서 구할 수 있 다. 여기에서, 카메라 워크 파라미터는, 촬상 동화상을 구성하는 촬상 화상 중 적어도 1개의 촬상 화상을 기준으로 하여 다른 촬상 화상을 변환하기 위한 변환 정보이며, 적어도 촬상 장치(100)의 좌표계에서 기술되는 위치 정보 및 자세 정보를 포함하는 것이다. 즉, 카메라 워크 파라미터는, 촬영자에 의해 촬영되어 있는 경우에서의 촬상 장치(100)의 위치나 자세에 관한 정보를 포함하는 것이다. 또한, 카메라 워크 파라미터 산출부(123)에 의해 구해진 아핀 변환 파라미터를 기초로 하여, 예를 들어 줌 인, 줌 아웃, 팬, 틸트, 로테이션 등의 촬영자의 조작에 의한 촬상 장치(100)의 움직임을 추정할 수 있다. 또한, 아핀 변환 파라미터의 계산에 대해서는, 도 5및 도 6을 참조해서 상세하게 설명한다.
도 4는, 본 발명의 실시 형태에서의 동화상 기억부(200) 및 메타 데이터 기억부(210)에 기록되어 있는 각 파일을 모식적으로 나타내는 도면이다. 도 4의 (a)에서는, 동화상 기억부(200)에 기억되어 있는 동화상 파일(201 내지 204)과, 동화상 파일(201 내지 204)에 관련지어 메타 데이터 기억부(210)에 기억되어 있는 메타 데이터 파일(211 내지 213)을 나타낸다. 여기에서, 동화상 기억부(200)에 기억되어 있는 각 동화상 파일을 식별하기 위한 식별 정보인 동화상 ID가, 각 동화상 파일에 부여되어 있는 것으로 한다. 예를 들어, 동화상 파일(201)에는「#1」이 부여되고, 동화상 파일(202)에는「#2」가 부여되고, 동화상 파일(204)에는「#n」이 부여되어 있다.
도 4의 (b)에서는, 동화상 기억부(200)에 기억되어 있는 동화상 파일(201)과, 동화상 파일(201)에 관련지어 메타 데이터 기억부(210)에 기억되어 있는 메타 데이터 파일(211)을 모식적으로 나타내는 도면이다. 여기에서, 동화상 파일(201)은, n매의 프레임으로 구성된 동화상의 파일이며, 이것들의 n매의 프레임을 프레임「1」(205) 내지「n」(208)로서 나타낸다.
또한, 메타 데이터 파일(211)에는, 동화상 ID(214)와, 프레임 번호(215)와, 아핀 변환 파라미터(216)가 관련지어 저장되어 있다.
동화상 ID(214)는, 대응하는 동화상 파일에 부여되어 있는 동화상 ID이며, 예를 들어 동화상 파일(201)에 부여되어 있는「#1」이 저장된다.
프레임 번호(215)는, 대응하는 동화상 파일의 동화상을 구성하는 각 프레임의 일련 번호이며, 예를 들어 동화상 파일(201)의 동화상을 구성하는 프레임「1」(205) 내지「n」(208)에 대응하는「1」내지「n」이 저장된다.
아핀 변환 파라미터(216)는, 프레임 번호(215)에 대응하는 동화상의 각 프레임에 대해서 계산된 아핀 변환 파라미터이다. 또한, 프레임 번호(215)의「1」에 대응하는 아핀 변환 파라미터(216)「a1, b1, c1, d1, e1, f1」은, 단위 행렬의 아핀 변환 파라미터이다. 또한, 프레임 번호(215)의「m(m은 2 이상의 정수)」에 대응하는 아핀 변환 파라미터(216)의「am, bm, cm, dm, em, fm」은, 프레임「m」의 바로 앞 프레임「m-1」에 대한 아핀 변환 파라미터이다. 다음에, 화상 변환에 이용되는 아핀 변환 파라미터를 검출하는 검출 방법에 대해서 도면을 참조해서 상세하게 설명한다.
도 5의 (a) 내지 (c)는, 동화상을 구성하는 프레임에 대응하는 화상의 일례를 도시하는 도면이다. 도 6의 (a)는, 도 5에 나타내는 화상(300)에 대응하는 프 레임의 1개 앞의 프레임에 대응하는 화상에 대해서 배경 등을 생략하여 간략화한 화상을 나타내는 도면이다. 또한, 도 6의 (b) 및 (c)는, 도 5에 나타내는 화상(300)에 대해서 배경 등을 생략하여 간략화한 화상을 나타내는 도면이다.
도 5및 도 6에 나타내는 화상(300, 320, 330)에는, 사람이 타고 있는 말의 상(301, 321, 331)과, 이 말의 상(301, 321, 331) 바로 앞에 설치되어 있는 뱀의 상(302, 322, 332)이 포함되어 있다. 또한, 도 5에 도시한 바와 같이, 이들의 상의 배경에는 깃발이나 의자 등이 존재하고, 이 깃발이 바람에 나부끼고 있다.
도 6의 (a)에 도시하는 화상(320)은, 도 5의 (a) 내지 (c) 및 도 6의 (b) 및 (c)에 도시하는 화상(300, 330)에 대응하는 프레임의 1개 앞의 프레임에 대응하는 화상을 간략화한 화상이다. 또한, 2개의 연속되는 프레임에 대응하는 화상(320 및 330)은, 화면 내의 피사체가 점차로 커지는 경우에서의 천이를 나타내는 화상이다. 즉, 이 촬영 시에는, 화면 내의 피사체를 점차로 크게 하는 조작인 줌 인 조작이 이루어져 있다.
본 발명의 실시 형태에서는, 동화상을 구성하는 화상으로부터 특징점을 검출하고, 이 특징점에 대응하는 옵티컬 플로우를 이용해서 아핀 변환 파라미터를 계산하는 방법을 예로 들어 설명한다. 또한, 본 예에서는, 특징점으로서 코너점을 이용하는 경우에 대해서 설명한다.
여기에서, 도 6의 (a) 내지 (c)에서는, 화상(320 및 330)으로부터 검출된 3개의 코너점에 대응하는 옵티컬 플로우를 이용해서 아핀 변환 파라미터를 계산하는 방법을 예로 들어 설명한다.
예를 들어 도 6의 (a)에 도시하는 화상(320)에 있어서, 특징점으로서, 말의 상(321)에서의 입 부근의 코너점(323)과, 말의 상(321)에서의 사람의 엉덩이 부근의 코너점(324)과, 뱀의 상(322)의 입 부근의 코너점(325)이 검출되어 있는 것으로 한다. 이 경우에 있어서, 도 6의 (b)에 도시하는 화상(330)에 있어서, 구배법이나 블록 매칭법 등에 의해, 화상(320)에서의 코너점(323, 324 및 325)에 대한 옵티컬 플로우(337, 338 및 339)가 검출된다. 그리고 이 검출된 옵티컬 플로우(337, 338 및 339)를 기초로 하여, 화상(320)에서의 코너점(323, 324 및 325)에 대응하는 코너점(333, 334 및 335)이 검출된다.
여기에서, 예를 들어 도 6의 (a) 및 (b)에 도시하는 화상(320 및 330)에 포함되는 말의 상(321, 331)이나 뱀의 상(322, 332)은, 지면에 설치되어 있는 것이므로, 촬상 장치(100)의 움직임과는 무관계하게 움직이는 것은 아니다. 이로 인해, 말의 상(321, 331)이나 뱀의 상(322, 332)에 대해서 검출된 코너점에 대하여 구해진 옵티컬 플로우를 기초로 하여, 카메라의 움직임을 정확하게 추정할 수 있다. 예를 들어 도 6의 (c)에 도시한 바와 같이, 화상(330)에 있어서 검출된 3개의 옵티컬 플로우(337 내지 339)를 기초로 하여, 화상(330)이, 점(336)을 중심으로 해서 화상(320)을 확대한 것인 것을 추정할 수 있다. 이에 의해, 화상(330)의 촬영 시에서의 촬상 장치(100)의 움직임은, 점(336)을 중심으로 하는 줌 인 동작이라고 판단할 수 있다. 이와 같이, 촬상 장치(100)의 움직임과는 무관계하게 움직이는 것이 아닌 물체에 대해서 코너점을 검출하고, 이 코너점에 대하여 구해진 옵티컬 플로우를 기초로 하여, 일정한 규칙성을 포함하는 촬상 장치(100)의 움직임을 정확하 게 검출할 수 있다. 이로 인해, 이것들의 코너점에 대하여 구해진 옵티컬 플로우를 이용하여, 아핀 변환 파라미터를 계산하여 구할 수 있다.
그러나 바람에 나부끼고 있는 깃발 등과 같이, 촬상 장치(100)의 움직임과는 무관계하게 움직이는 물체가 화상 내에 포함되는 경우가 고려된다. 예를 들어 도 5에 나타내는 화상(300)에는, 바람에 나부끼고 있는 깃발이 포함되어 있다. 이러한 촬상 장치(100)의 움직임과는 무관계하게 움직이는 물체에 대해서 코너점이 검출되고, 이 코너점에 대하여 구해진 옵티컬 플로우를 이용해서 촬상 장치(100)의 움직임을 추정하는 경우에는, 촬상 장치(100)의 움직임을 정확하게 추정할 수 없다.
예를 들어, 도 5의 (b)에 도시하는 화상(300)에 있어서 검출된 옵티컬 플로우를 화살표로 나타내는 동시에, 이 옵티컬 플로우에 의해 검출된 코너점을 화살표의 선단부에 흰 동그라미로 나타낸다. 여기에서, 코너점(303 내지 305)은, 도 6의 (b) 및 (c)에 도시하는 코너점(333 내지 335)에 대응하는 코너점이다. 또한, 코너점(306 내지 311)은, 말의 상(301)의 배경에 존재하는 깃발에 대해서 검출된 코너점이다. 그리고 이들의 깃발이 바람에 나부끼고 있으므로, 바람의 영향에 의한 깃발의 움직임이 옵티컬 플로우로서 검출되고 있다. 즉, 코너점(306 내지 311)에 대응하는 각 옵티컬 플로우는, 촬상 장치(100)의 움직임과는 무관계하게 움직이는 깃발에 대해서 검출된 것이다. 이로 인해, 아핀 변환 파라미터를 계산하는 경우에 이용되는 3개의 옵티컬 플로우에, 코너점(306 내지 311) 중 적어도 1개의 코너점에 대응하는 옵티컬 플로우가 포함되어 있는 경우에는, 정확한 촬상 장치(100)의 움직 임을 검출할 수 없다. 이 경우에는, 정확한 아핀 변환 파라미터를 계산할 수 없다.
이상에서 나타낸 바와 같이, 예를 들어 촬상 장치(100)의 움직임과는 무관계하게 움직이는 물체에 대한 옵티컬 플로우[도 5의 (b)에 도시하는 코너점(306 내지 311)에 대응하는 각 옵티컬 플로우]와, 카메라의 움직임과의 관계에서 일정한 규칙성을 갖춘 옵티컬 플로우[도 5의 (b)에 도시하는 코너점(306 내지 311)에 대응하는 각 옵티컬 플로우 이외의 옵티컬 플로우]가, 촬영 화상으로부터 검출되는 경우가 있다.
따라서, 본 발명의 실시 형태에서는, 3개의 옵티컬 플로우를 기초로 하여 아핀 변환 파라미터를 계산하는 아핀 변환 파라미터 계산 처리를 복수회 행하고, 복수의 아핀 변환 파라미터를 구해, 이들 복수의 아핀 변환 파라미터 중에서 가장 적절한 아핀 변환 파라미터를 선택하는 예에 대해서 설명한다. 또한, 본 예에서는, 동화상을 구성하는 각 화상에 포함되어 있는 동물체의 크기가, 화상의 면적에 대하여 비교적 작은 것으로 한다.
여기에서, 아핀 변환에 대해서 간단히 설명한다. 2차원 상에 있어서, 이동원의 위치를 (x, y)로 하고, 아핀 변환 후의 이동처의 위치를 (x', y')로 한 경우에, 아핀 변환의 행렬식은, 수학식 1로 나타낼 수 있다.
Figure 112009052234896-PCT00001
여기에서, a 내지 f는, 아핀 변환 파라미터이다. 또한, 이 아핀 변환 파라미터에 의한 아핀 행렬 AM을 다음의 식으로 나타낼 수 있다. 또한, X 방향의 줌 성분 XZ, Y 방향의 줌 성분 YZ, X 방향의 병진 성분 XT, Y 방향의 병진 성분 YT, 회전 방향 R에 대해서는, 각각 다음의 식에서 구할 수 있다. 또한, 단위 행렬의 경우에는, a = e = 1, b = c = d = f = 0이 된다.
Figure 112009052234896-PCT00002
다음에, 아핀 변환 파라미터의 계산 방법에 대해서 설명한다.
처음에, 동화상을 구성하는 프레임 중 1개의 프레임인 현 프레임에 대응하는 화상에 있어서, 옵티컬 플로우가 검출된 특징점 중에서 3개의 특징점이 선택된다. 예를 들어, 도 5의 (b)에 도시하는 화상(300)에 있어서 검출된 코너점(흰 동그라미로 나타냄) 중에서 랜덤하게 3개의 코너점이 선택된다. 또한, 카메라 워크 파라미터로서, 사영 변환 파라미터를 이용할 경우에는, 4개의 특징점이 랜덤하게 선택된 다.
계속해서, 선택된 3개의 특징점에 대응하는 3개의 옵티컬 플로우를 이용해서 아핀 변환 파라미터가 계산된다. 예를 들어, 도 5의 (b)에 도시하는 화상(300)에서의 코너점(흰 동그라미로 나타냄) 중에서 선택된 3개의 코너점에 대응하는 옵티컬 플로우(흰 동그라미에 접속되는 화살표로 나타냄)를 이용해서 아핀 변환 파라미터가 계산된다. 이 아핀 변환 파라미터는, 수학식 1을 이용해서 구할 수 있다.
계속해서, 구해진 아핀 변환 파라미터를 기초로 하여, 아핀 변환 파라미터의 스코어가 계산된다. 구체적으로는, 구해진 아핀 변환 파라미터를 이용하여, 현 프레임의 바로 앞의 프레임에 대응하는 화상에서의 모든 특징점의 이동처의 위치를 구한다. 그리고 이 아핀 변환 파라미터를 이용해서 구해진 특징점의 위치와, 현 프레임에 있어서 검출된 특징점의 위치를 비교하여, 서로 대응하는 2개의 특징점의 위치의 차분치가 특징점마다 계산된다. 차분치로서, 예를 들어 서로 대응하는 2개의 특징점의 위치 간의 절대 거리가 계산된다. 계속해서, 계산된 차분치와, 미리 설정되어 있는 임계치를 특징점마다 비교하여, 그 차분치가 임계치보다도 작은 특징점의 개수를 아핀 변환 파라미터의 스코어로서 구한다. 이와 같이, 옵티컬 플로우가 검출된 특징점 중에서 3개의 특징점을 랜덤하게 선택하고, 이것들의 특징점에 대응하는 옵티컬 플로우를 기초로 하여 아핀 변환 파라미터의 스코어를 산출하는 처리를 소정 횟수 반복하고, 아핀 변환 파라미터의 스코어를 복수 산출한다. 이 소정 횟수는, 비교의 대상이 되는 화상의 종류나 촬상 장치(100)의 처리 능력 등에 따라서 적당히 설정하도록 해도 좋고, 고정치를 이용하도록 해도 좋다. 이 소정 횟수로서, 예를 들어 촬상 장치(100)의 처리 능력을 고려해서 20회 정도로 설정할 수 있다.
예를 들어, 도 5의 (b)에 도시하는 화상(300)에 있어서 검출된 코너점 중에서, 코너점(306 내지 311) 이외의 코너점이 3개 선택된 경우를 생각한다. 이렇게 선택된 3개의 코너점에 대응하는 3개의 옵티컬 플로우를 이용해서 아핀 변환 파라미터가 계산되면, 전술한 바와 같이, 이 3개의 옵티컬 플로우는 일정한 규칙성을 포함하고 있으므로, 바로 앞의 프레임에 대응하는 화상을 일정한 규칙을 따라서 변환시키는 아핀 변환 파라미터가 구해진다. 이로 인해, 아핀 변환 파라미터를 이용해서 구해진 코너점의 위치와, 현 프레임에 있어서 검출된 코너점의 위치에 대해서, 코너점(306 내지 311) 이외의 코너점에 관해서 구해지는 차분치는, 비교적 작은 값이 산출된다. 이로 인해, 아핀 변환 파라미터의 스코어는, 큰 값이 된다.
한편, 도 5의 (b)에 도시하는 화상(300)에 있어서 검출된 코너점 중에서, 코너점(306 내지 311) 중 적어도 1개를 포함하는 3개의 코너점이 선택된 경우를 생각한다. 이렇게 선택된 3개의 코너점에 대응하는 3개의 옵티컬 플로우를 이용해서 아핀 변환 파라미터가 계산되면, 전술한 바와 같이, 이 3개의 옵티컬 플로우에는, 일정한 규칙성을 포함하고 있지 않은 옵티컬 플로우가 포함되므로, 바로 앞의 프레임에 대응하는 화상을 일정한 규칙을 따라서 변환시키는 것이 아닌 아핀 변환 파라미터가 구해진다. 이로 인해, 아핀 변환 파라미터를 이용해서 구해진 코너점의 위치와, 현 프레임에 있어서 검출된 코너점의 위치에 대해서 구해지는 차분치는, 임의의 코너점에서 비교적 큰 값이 산출된다. 이로 인해, 아핀 변환 파라미터의 스 코어는, 작은 값이 된다.
계속해서, 구해진 복수의 아핀 변환 파라미터의 스코어 중에서, 스코어의 값이 가장 큰 아핀 변환 파라미터를 대표 아핀 변환 파라미터로서 선택한다. 그리고 선택된 대표 아핀 변환 파라미터의 행렬에 대한 역행렬을 산출하여, 이 역행렬의 아핀 변환 파라미터를 현 프레임에 관련지어 메타 데이터 기억부(210)에 기록한다. 이에 의해, 동화상을 구성하는 화상을 아핀 변환하는 경우에, 가장 적절한 아핀 변환 파라미터를 이용해서 아핀 변환할 수 있다.
이상에서 나타낸 바와 같이, 동화상을 구성하는 각 화상에 인물이나 차 등의 움직이고 있는 물체(동물체)가 포함되어 있는 경우라도, 화상의 면적에 대한 그 동물체의 크기가 비교적 작을 경우에는, 동물체의 영향을 받지 않고 촬상 장치(100)의 움직임을 추출할 수 있다.
또한, 촬상 장치(100)의 움직임을 추출함으로써, 줌 인, 줌 아웃, 팬, 틸트, 로테이션 등의 의도적으로 촬영자가 이동시켰다고 생각되는 움직임을 추정할 수 있다.
다음에, 본 발명의 실시 형태에서의 촬상 장치(100)의 동작에 대해서 도면을 참조하여 설명한다.
도 7은, 본 발명의 실시 형태에서의 촬상 장치(100)에 의한 아핀 변환 파라미터 검출 처리의 처리 단계를 나타내는 흐름도이다.
처음에, 촬상부(110)로부터의 동화상이 입력된다(스텝 S900). 계속해서, 촬상부(110)로부터 출력된 동화상이 디코드되어, 시계열의 순서로 1개의 프레임의 화 상이 취득된다(스텝 S901). 계속해서, 취득된 1개의 프레임이, 촬상부(110)로부터 출력된 동화상의 선두 프레임인지의 여부가 판단된다(스텝 S902). 취득된 1개의 프레임이, 선두 프레임일 경우에는(스텝 S902), 이 선두 프레임에 대응하는 화상 전체로부터 특징점이 추출된다(스텝 S903). 예를 들어, 도 5의 (b)에 도시한 바와 같이, 화상에 있어서 복수의 코너점이 추출된다. 계속해서, 아핀 변환 파라미터로서 단위 행렬의 아핀 변환 파라미터가 선택되어(스텝 S904), 스텝 S914로 진행한다.
한편, 취득된 1개의 프레임이, 선두 프레임이 아닌 경우에는(스텝 S902), 바로 앞의 프레임에 대응하는 화상을 기준으로 하여 새롭게 촬영된 영역으로부터 특징점이 추출된다(스텝 S905). 즉, 바로 앞의 프레임에 대응하는 화상에 있어서 이미 추출되어 있는 특징점에 대해서는, 이 특징점에 대응하는 옵티컬 플로우에 의해 구할 수 있으므로, 현 프레임에 대응하는 화상에 있어서는 추출되지 않는다.
계속해서, 바로 앞의 프레임에 대응하는 화상으로부터 추출된 각 특징점에 대한 옵티컬 플로우가 계산된다(스텝 S906). 즉, 도 5의 (b)에 도시한 바와 같이, 각 코너점에 대한 옵티컬 플로우가 계산된다.
계속해서, 변수 i가「1」로 초기화된다(스텝 S907). 계속해서, 옵티컬 플로우가 검출된 특징점 중에서, M개의 특징점이 선택된다(스텝 S908). 예를 들어, 카메라 워크 파라미터로서, 아핀 변환 파라미터를 이용할 경우에는, 3개의 특징점이 랜덤하게 선택된다. 또한, 카메라 워크 파라미터로서, 사영 변환 파라미터를 이용할 경우에는, 4개의 특징점이 랜덤하게 선택된다. 계속해서, 선택된 M개의 특징점 에 대응해서 계산된 M개의 옵티컬 플로우를 기초로 하여, 아핀 변환 파라미터가 계산된다(스텝 S909).
계속해서, 계산해서 구해진 아핀 변환 파라미터를 기초로 하여, 아핀 변환 파라미터의 스코어가 계산된다(스텝 S910). 구체적으로는, 계산해서 구해진 아핀 변환 파라미터를 이용하여, 바로 앞의 프레임에 대응하는 화상에서의 모든 특징점의 이동처의 위치를 구한다. 그리고 이 아핀 변환 파라미터를 이용해서 구해진 특징점의 위치와, 스텝 S906에서 옵티컬 플로우를 계산했을 때에 구해진 현 프레임에 대응하는 화상에서의 특징점의 위치를 비교하여, 서로 대응하는 2개의 특징점의 위치의 차분치가 특징점마다 계산된다. 차분치로서, 예를 들어 서로 대응하는 2개의 위치 간의 절대 거리가 계산된다. 계속해서, 계산된 차분치와, 미리 설정되어 있는 임계치를 특징점마다 비교하여, 그 차분치가 임계치보다도 작은 특징점의 개수를 아핀 변환 파라미터의 스코어로서 구한다.
계속해서, 변수 i에「1」이 가산되고(스텝 S911), 변수 i가, 상수 N보다도 큰지의 여부가 판단된다(스텝 S912). 변수 i가, 상수 N 이하일 경우에는(스텝 S912), 스텝 S908로 되돌아가, 아핀 변환 파라미터의 스코어 산출 처리를 반복한다(스텝 S908 내지 S910). 예를 들어, 상수 N으로서, 20을 이용할 수 있다.
한편, 변수 i가 상수 N보다도 클 경우에는(스텝 S912), 구해진 아핀 변환 파라미터의 스코어 중에서, 스코어의 값이 가장 큰 아핀 변환 파라미터가 대표 아핀 변환 파라미터로서 선택된다(스텝 S913). 계속해서, 선택된 대표 아핀 변환 파라미터의 행렬에 대한 역행렬의 아핀 변환 파라미터가, 현 프레임에 관련지어 메타 데이터 기억부(210)에 기록된다(스텝 S914). 또한, 현 프레임이 선두 프레임일 경우에는, 선택된 단위 행렬의 아핀 변환 파라미터가, 선두 프레임에 관련지어 메타 데이터 기억부(210)에 기록된다. 계속해서, 현 프레임에 대응하는 화상과, 이 화상에서의 특징점이 덮어쓰기 보존된다(스텝 S915).
계속해서, 현 프레임이, 촬상부(110)로부터 출력된 동화상의 마지막 프레임인지의 여부가 판단된다(스텝 S916). 현 프레임이, 마지막 프레임이 아닌 경우에는(스텝 S916), 스텝 S901로 되돌아가, 아핀 변환 파라미터 검출 처리를 반복한다(스텝 S901 내지 S915). 한편, 현 프레임이, 마지막 프레임일 경우에는(스텝 S916), 아핀 변환 파라미터 검출 처리를 종료한다.
본 발명의 실시 형태에서는, 카메라 워크 파라미터의 검출로서, 동화상을 구성하는 화상에 있어서 검출된 옵티컬 플로우를 기초로 하여 아핀 변환 파라미터를 검출하는 예에 대해서 설명했지만, 가속도 센서나 자이로 센서 등의 센서나 줌 조작을 할 때에 이용되는 줌 버튼(161)에 의해 촬영 시에서의 촬상 장치(100)의 이동량을 검출하고, 이 촬상 장치(100)의 이동량을 기초로 하여 카메라 워크 파라미터를 구하도록 해도 좋다. 또한, 손 떨림 보정용으로 구해진 움직임 벡터를 기초로 하여 카메라 워크 파라미터를 구하도록 해도 좋다. 또한, 가속도 센서나 자이로 센서 등의 센싱 디바이스에 의해 검출된 정보와, 손 떨림 보정용으로 구하고 있는 움직임 벡터를 조합한 정보를 기초로 하여 카메라 워크 파라미터를 구하도록 해도 좋다. 또한, 이들의 촬영 시에 있어서 검출된 촬상 장치(100)의 이동량에 대해서는, 카메라 워크 파라미터 산출부(123)에 의해 구해진 카메라 워크 파라미터가 정 확한지 여부를 판단할 때에 이용할 수 있다. 또한, 카메라 워크 파라미터 산출부(123)에 의해 복수의 카메라 워크 파라미터를 검출해 두고, 촬영 시에 있어서 검출된 촬상 장치(100)의 이동량을 기초로 하여, 이 복수의 카메라 워크 파라미터 중에서 1개의 카메라 워크 파라미터를 선택하도록 해도 된다.
다음에, 카메라 워크 검출부(120)에 의해 산출된 아핀 변환 파라미터를 이용하여, 동화상을 구성하는 각 화상을 합성하는 경우에 대해서 도면을 참조해서 상세하게 설명한다. 또한, 도 8 내지 도 16에 나타내는 각 화상은, 설명을 위해, 간략화하는 동시에, 연속되는 2개의 프레임 간의 이동량을 크게 해서 나타내고 있다.
처음에, 촬상 장치(100)의 촬영 시에, 배율이 변경되지 않지만, 촬상 장치(100)의 위치를 중심으로 하여, 촬상 장치(100)의 렌즈 방향이 상하 좌우 중 어느 하나로 이동되고 있는 경우에 대해서 설명한다.
도 8은, 촬상 장치(100)에 의해 촬영된 동화상의 천이의 일례를 도시하는 도면이다. 도 8에는, 산을 배경으로 하여 사람(400)을 촬영한 경우에서의 동화상에 포함되는 연속되는 프레임에 대응하는 화상(401 내지 403)을 나타내는 도면이다. 본 예에서는, 촬상 장치(100)의 렌즈의 방향을 우측 및 상측으로 이동하면서, 촬영자가 촬영을 행하고 있는 경우를 나타낸다. 이 경우에는, 촬상 장치(100)에 의해 촬영되는 동화상에 포함되는 사람(400)이, 그 동화상을 구성하는 화상에 있어서 우측으로부터 좌측으로 이동하는 동시에 하측으로 이동한다.
도 9는, 도 8에 나타내는 각 화상에 있어서, 바로 앞의 프레임에 대응하는 화상을 점선으로 나타내는 동시에, 검출되는 옵티컬 플로우의 일례를 도시하는 도 면이다. 도 9의 (a)에 도시하는 화상(401)은, 도 8의 (a)에 도시하는 화상(401)과 같은 것이다. 또한, 도 9의 (b)에 도시하는 화상(402) 중의 실선 부분은, 도 8의 (b)에 도시하는 화상(402)과 같은 것이며, 도 9의 (b)에 도시하는 화상(402) 중의 파선 부분은, 도 9의 (a)에 도시하는 화상(401)의 실선 부분과 같은 것이다. 또한, 도 9의 (b)에 도시하는 화상(402)에서의 화살표(404 내지 406)는, 화상(402)으로부터 검출된 옵티컬 플로우의 일례를 나타낸다. 마찬가지로, 도 9의 (c)에 도시하는 화상(403) 중의 실선 부분은, 도 8의 (c)에 도시하는 화상(403)과 같은 것이며, 도 9의 (c)에 도시하는 화상(403) 중의 파선 부분은, 도 9의 (b)에 도시하는 화상(402)의 실선 부분과 같은 것이다. 또한, 도 9의 (c)에 도시하는 화상(403)에서의 화살표(407 내지 409)는, 화상(403)으로부터 검출된 옵티컬 플로우의 일례를 나타낸다.
도 9의 (b) 및 (c)에 도시한 바와 같이, 촬상 장치(100)의 이동에 맞추어, 화상에 포함되는 사람(400) 및 배경의 산이 이동한다. 이 이동에 의해 검출되는 옵티컬 플로우를 기초로 하여 아핀 변환 파라미터를 프레임마다 구할 수 있다.
도 10은, 도 8에 나타내는 화상(401 내지 403)을 포함하는 동화상을 합성하면서 재생하는 경우에서의 화상 합성예를 도시하는 도면이다. 또한, 본 발명의 실시 형태에서는, 2개의 동화상을 구성하는 각 화상이 합성되므로, 재생 시간의 경과와 함께, 표시부(250)에 표시되는 화상이 통상의 화상보다도 커진다. 이로 인해, 처음에 표시되는 화상은, 표시부(250)의 표시 영역의 크기보다도 비교적 작게 해서 표시된다. 또한, 처음에 표시되는 화상의 크기나 위치 등을 사용자가 지정하도록 해도 된다.
도 10의 (a)에 도시한 바와 같이, 처음에는, 선두 프레임에 대응하는 화상(401)만이 표시된다. 여기에서, 화상(401)에 대응하는 아핀 변환 파라미터의 행렬(3 × 3의 행렬)을 A1로 하는 경우에, A1의 값이 구해지고, 선두 프레임의 화상(401)의 위치 및 크기를 기준으로 하여, 구해진 A1의 행렬에 의해 화상(401)이 아핀 변환된다. 여기에서, A는 단위 행렬이므로, 화상(401)의 위치 및 크기는 변환되지 않는다. 계속해서, 다음 프레임에 대응하는 화상(402)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 화상(402)이 아핀 변환된다. 구체적으로는, 화상(402)에 대응하는 아핀 변환 파라미터의 행렬을 A2로 하고, 화상(401)에 대응하는 아핀 변환 파라미터의 행렬을 A1로 하는 경우에 있어서, A1 × A2의 값이 구해지고, 선두 프레임의 화상(401)의 위치 및 크기를 기준으로 하여, 구해진 A1 × A2의 행렬에 의해 화상(402)이 아핀 변환된다. 도 10의 (b)에 도시하는 화상에 있어서는, 화상(402)의 위치만이 변환된다. 그리고 아핀 변환 파라미터에 의해 아핀 변환된 화상(402)이, 바로 앞의 프레임에 대응하는 화상(401)에 겹치도록 덮어써진다. 즉, 화상(401)의 영역 중에서, 화상(402)과 중복되는 영역(410)에 대해서는, 화상(402)의 화상이 덮어써진다. 또한, 화상(401)의 영역 중에서, 화상(402)과 중복되지 않는 영역(411)에 대해서는, 화상(401)의 화상이 합성된다. 즉, 두 번째 프레임에 대응하는 화상(402)이 표시될 경우에는, 도 10의 (b)에 도시한 바와 같이, 화상(402)의 전체 부분과, 화상(401) 중의 영역(411)에 대응하는 부분이 합성된 화상이 표시된다. 또한, 표시되어 있는 화상 중에서 최신 화상인 것을 나타내는 화상 프레임을 현 프레임에 대응하는 화상의 주위에 표시시킬 수 있다. 도 10의 (b)에서는, 화상(402)에 화상 프레임이 표시된다. 또한, 화상(402)을 아핀 변환한 아핀 변환 파라미터가 화상 변환부(150)에 유지된다.
계속해서, 다음 프레임에 대응하는 화상(403)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 화상(403)이 아핀 변환된다. 즉, 화상(403)에 대응하는 아핀 변환 파라미터의 행렬과, 바로 앞의 아핀 변환에 이용된 화상(402)에 대응하는 아핀 변환 파라미터의 행렬를 이용해서 구해진 아핀 변환 파라미터에 의해 화상(403)이 아핀 변환된다. 구체적으로는, 화상(403)에 대응하는 아핀 변환 파라미터의 행렬을 A3으로 하고, 화상(402)에 대응하는 아핀 변환 파라미터의 행렬을 A2로 하고, 화상(401)에 대응하는 아핀 변환 파라미터의 행렬을 A1로 하는 경우에, A1 × A2 × A3의 값이 구해지고, 선두 프레임의 화상(401)의 위치 및 크기를 기준으로 하여, 구해진 A1 × A2 × A3의 행렬에 의해 화상(403)이 아핀 변환된다. 도 10의 (c)에 도시하는 화상에 있어서는, 화상(403)의 위치만이 변환된다. 그리고 아핀 변환 파라미터에 의해 아핀 변환된 화상(403)이, 앞의 프레임에 대응하는 화상(401 및 402)의 합성 화상에 겹치도록 덮어써진다. 즉, 화상(401 및 402)의 합성 화상의 영역 중에서, 화상(403)과 중복되는 영역(413 및 414)에 대해서는, 화상(403)의 화상이 덮어써진다. 또한, 화상(401 및 402)의 합성 화상의 영역 중에서, 화상(403)과 중복되지 않는 영역(411 및 412)에 대해서는, 화상(401 및 402)의 합성 화상이 합성된다. 즉, 세 번째 프레임에 대응 하는 화상(403)이 표시될 경우에는, 도 10의 (c)에 도시한 바와 같이, 화상(403)의 전체 부분과, 화상(401) 중의 영역(411)에 대응하는 부분과, 화상(402) 중의 영역(412)에 대응하는 부분이 합성된 화상이 표시된다. 또한, 표시되어 있는 화상 중에서 최신의 화상인 것을 나타내는 화상 프레임을 현 프레임에 대응하는 화상 주위에 표시시키는 경우에는, 도 10의 (c)에 도시하는 화상(403)에 화상 프레임이 표시된다. 또한, 화상(403)을 아핀 변환한 아핀 변환 파라미터가 화상 변환부(150)에 유지된다. 즉, 화상(402 및 403)의 각각에 대응하는 아핀 변환 파라미터의 행렬의 승산에 의해 구해진 아핀 변환 파라미터가 화상 변환부(150)에 유지된다. 이와 같이, 현 프레임에 대응하는 화상을 아핀 변환하는 경우에는, 현 프레임에 대응하는 아핀 변환 파라미터의 행렬과, 이 바로 앞까지의 각 프레임에 대응하는 아핀 변환 파라미터의 행렬를 이용해서 구해진 아핀 변환 파라미터에 의해, 현 프레임에 대응하는 화상이 아핀 변환된다. 이 아핀 변환 시에 구해진 아핀 변환 파라미터가 화상 변환부(150)에 유지되고, 다음의 아핀 변환에서 이용된다. 또한, 도 13 및 도 16의 경우에 대해서도 마찬가지이다.
다음에, 촬상 장치(100)의 촬영 시에 있어서, 촬상 장치(100)의 렌즈의 방향은 이동되지 않지만, 배율이 변경되어 있는 경우에 대해서 설명한다.
도 11은, 촬상 장치(100)에 의해 촬영된 동화상의 천이의 일례를 도시하는 도면이다. 도 11에는, 산을 배경으로 하여 사람(420)을 촬영한 경우에서의 동화상에 포함되는 연속되는 프레임에 대응하는 화상(421 내지 423)을 나타내는 도면이다. 본 예에서는, 촬상 장치(100)의 렌즈의 배율을 올리면서, 촬영자가 촬영을 행 하고 있는 경우를 나타낸다. 이 경우에는, 촬상 장치(100)에 의해 촬영되는 동화상에 포함되는 사람(420)이, 그 동화상을 구성하는 화상에 있어서 점차로 커진다. 또한, 배율을 올릴 때에 촬상 장치(100)의 위치가 다소 이동하는 경우가 있지만, 본 예에서는, 촬상 장치(100)의 위치 이동에 대해서는 고려하지 않고 설명한다.
도 12는, 도 11에 나타내는 각 화상에 있어서, 바로 앞의 프레임에 대응하는 화상을 점선으로 나타내는 동시에, 검출되는 옵티컬 플로우의 일례를 도시하는 도면이다. 도 12의 (a)에 도시하는 화상(421)은, 도 11의 (a)에 도시하는 화상(421)과 동일한 것이다. 또한, 도 12의 (b)에 도시하는 화상(422) 중의 실선 부분은, 도 11의 (b)에 도시하는 화상(422)과 같은 것이며, 도 12의 (b)에 도시하는 화상(422) 중의 파선 부분은, 도 11의 (a)에 도시하는 화상(421)의 실선 부분과 같은 것이다. 또한, 도 12의 (b)에 도시하는 화상(422)에서의 화살표(424 내지 426)는, 화상(422)으로부터 검출된 옵티컬 플로우의 일례를 나타낸다. 마찬가지로, 도 12의 (c)에 도시하는 화상(423) 중의 실선 부분은, 도 11의 (c)에 도시하는 화상(423)과 같은 것이며, 도 12의 (c)에 도시하는 화상(423) 중의 파선 부분은, 도 11의 (b)에 도시하는 화상(422)의 실선 부분과 같은 것이다. 또한, 도 12의 (c)에 도시하는 화상(423)에서의 화살표(427 내지 429)는, 화상(423)으로부터 검출된 옵티컬 플로우의 일례를 나타낸다.
도 12의 (b) 및 (c)에 도시한 바와 같이, 배율의 변경에 맞추어, 화상에 포함되는 사람(420) 및 배경의 산의 크기가 변경된다. 이 변경에 의해 검출되는 옵티컬 플로우를 기초로 하여 아핀 변환 파라미터를 프레임마다 구할 수 있다.
도 13은, 도 11에 나타내는 화상(421 내지 423)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다.
도 13의 (a)에 도시한 바와 같이, 처음에는, 선두 프레임에 대응하는 화상(421)만이 표시된다. 계속해서, 다음 프레임에 대응하는 화상(422)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 화상(422)이 아핀 변환된다. 도 13의 (b)에 도시하는 화상에 있어서는, 화상(422)의 크기만이 변환된다. 그리고 아핀 변환 파라미터에 의해 아핀 변환된 화상(422)이, 바로 앞의 프레임에 대응하는 화상(421)에 겹치도록 덮어써진다. 즉, 화상(421)의 영역 중에서, 화상(422)과 중복되는 영역에 대해서는, 화상(422)의 화상이 덮어써진다. 이 경우에는, 화상(421)은, 화상(422)의 모든 영역과 중복되어 있으므로, 화상(421)에 화상(422)의 모든 화상이 덮어써진다. 또한, 화상(421)의 영역 중에서, 화상(422)과 중복되지 않는 영역(431)에 대해서는, 화상(421)의 화상이 합성된다. 즉, 두 번째 프레임에 대응하는 화상(422)이 표시될 경우에는, 도 13의 (b)에 도시한 바와 같이, 화상(422)의 전체 부분과, 화상(421) 중의 영역(431)에 대응하는 부분이 합성된 화상이 표시된다. 또한, 표시되어 있는 화상 중에서 최신 화상인 것을 나타내는 화상 프레임을 현 프레임에 대응하는 화상 주위에 표시시킬 수 있다. 도 13의 (b)에서는, 화상(422)에 화상 프레임이 표시된다. 또한, 화상(422)을 아핀 변환한 아핀 변환 파라미터가 화상 변환부(150)에 유지된다.
계속해서, 다음 프레임에 대응하는 화상(423)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 화상(423)이 아핀 변환된다. 즉, 화상(423)에 대응하는 아핀 변환 파라미터의 행렬과, 바로 앞의 아핀 변환에 이용된 화상(422)에 대응하는 아핀 변환 파라미터의 행렬를 승산해서 구해진 아핀 변환 파라미터에 의해 화상(423)이 아핀 변환된다. 도 13의 (c)에 도시하는 화상에 있어서는, 화상(423)의 크기만이 변환된다. 그리고 아핀 변환된 화상(423)이, 앞의 프레임에 대응하는 화상(421 및 422)의 합성 화상에 겹치도록 덮어써진다. 즉, 화상(421 및 422)의 합성 화상의 영역 중에서, 화상(423)과 중복되는 영역에 대해서는, 화상(423)의 화상이 덮어써진다. 이 경우에는, 화상(423)은, 화상(421 및 422)의 모든 영역과 중복되어 있으므로, 화상(421 및 422)의 합성 화상에 화상(423)의 모든 화상이 덮어써진다. 또한, 화상(421 및 422)의 합성 화상의 영역 중에서, 화상(423)과 중복되지 않는 영역(432 및 433)에 대해서는, 화상(421 및 422)의 합성 화상이 합성된다. 즉, 세 번째 프레임에 대응하는 화상(423)이 표시될 경우에는, 도 13의 (c)에 도시한 바와 같이, 화상(423)의 전체 부분과, 화상(421) 중의 영역(432)에 대응하는 부분과, 화상(422) 중의 영역(433)에 대응하는 부분이 합성된 화상이 표시된다. 또한, 표시되어 있는 화상 중에서 최신 화상인 것을 나타내는 화상 프레임을 현 프레임에 대응하는 화상 주위에 표시시키는 경우에는, 도 13의 (c)에 도시하는 화상(423)에 화상 프레임이 표시된다. 또한, 화상(423)을 아핀 변환한 아핀 변환 파라미터가 화상 변환부(150)에 유지된다. 즉, 화상(422 및 423)의 각각에 대응하는 아핀 변환 파라미터를 이용해서 구해진 아핀 변환 파라미터가 화상 변환부(150)에 유지된다.
다음에, 촬상 장치(100)의 촬영 시에 있어서, 촬상 장치(100)의 렌즈 방향이 나 배율은 변경되지 않지만, 촬영 방향을 회전 중심으로 해서 촬상 장치(100)가 회전되고 있는 경우에 대해서 설명한다.
도 14는, 촬상 장치(100)에 의해 촬영된 동화상의 천이의 일례를 도시하는 도면이다. 도 14에는, 산을 배경으로 하여 사람(440)을 촬영한 경우에서의 동화상에 포함되는 연속되는 프레임에 대응하는 화상(441 내지 443)을 나타내는 도면이다. 본 예에서는, 촬영 방향을 회전 중심으로 해서 촬상 장치(100)를 회전하면서, 촬영자가 촬영을 행하고 있는 경우를 나타낸다. 이 경우에는, 촬상 장치(100)에 의해 촬영되는 동화상에 포함되는 사람(440)이, 그 동화상을 구성하는 화상에 있어서 회전해 간다. 또한, 촬상 장치(100)의 회전에 의해 촬상 장치(100)의 위치가 다소 이동하는 경우가 있지만, 본 예에서는, 촬상 장치(100)의 위치 이동에 대해서는 고려하지 않고 설명한다.
도 15는, 도 14에 나타내는 각 화상에 있어서, 바로 앞의 프레임에 대응하는 화상을 점선으로 나타내는 동시에, 검출되는 옵티컬 플로우의 일례를 도시하는 도면이다. 도 15의 (a)에 도시하는 화상(441)은, 도 14의 (a)에 도시하는 화상(441)과 같은 것이다. 또한, 도 15의 (b)에 도시하는 화상(442) 중의 실선 부분은, 도 14의 (b)에 도시하는 화상(442)과 같은 것이며, 도 15의 (b)에 도시하는 화상(442) 중의 파선 부분은, 도 14의 (a)에 도시하는 화상(441)의 실선 부분과 같은 것이다. 또한, 도 15의 (b)에 도시하는 화상(442)에서의 화살표(444 내지 446)는, 화상(442)으로부터 검출된 옵티컬 플로우의 일례를 나타낸다. 마찬가지로, 도 15의 (c)에 도시하는 화상(443) 중의 실선 부분은, 도 14의 (c)에 도시하는 화상(443)과 같은 것이며, 도 15의 (c)에 도시하는 화상(443) 중의 파선 부분은, 도 14의 (b)에 도시하는 화상(442)의 실선 부분과 같은 것이다. 또한, 도 15의 (c)에 도시하는 화상(443)에서의 화살표(447 내지 449)는, 화상(443)으로부터 검출된 옵티컬 플로우의 일례를 나타낸다.
도 15의 (b) 및 (c)에 도시한 바와 같이, 촬상 장치(100)의 회전에 맞추어, 화상에 포함되는 사람(440) 및 배경의 산이 회전 이동한다. 이 회전 이동에 의해 검출되는 옵티컬 플로우를 기초로 하여 아핀 변환 파라미터를 프레임마다 구할 수 있다.
도 16은, 도 14에 나타내는 화상(441 내지 443)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다.
도 16의 (a)에 도시한 바와 같이, 처음에는, 선두 프레임에 대응하는 화상(441)만이 표시된다. 계속해서, 다음 프레임에 대응하는 화상(442)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 화상(442)이 아핀 변환된다. 도 16의 (b)에 도시하는 화상에 있어서는, 화상(442)의 각도만이 변환된다. 그리고 아핀 변환 파라미터에 의해 아핀 변환된 화상(442)이, 바로 앞의 프레임에 대응하는 화상(441)에 겹치도록 덮어써진다. 즉, 화상(441)의 영역 중에서, 화상(442)과 중복되는 영역(450)에 대해서는, 화상(442)의 화상이 덮어써진다. 또한, 화상(441)의 영역 중에서, 화상(442)과 중복되지 않는 영역(451 및 452)에 대해서는, 화상(441)의 화상이 합성된다. 즉, 두 번째 프레임에 대응하는 화상(442)이 표시될 경우에는, 도 16의 (b)에 도시한 바와 같이, 화상(442)의 전체 부분과, 화상(441) 중의 영역(451 및 452)에 대응하는 부분이 합성된 화상이 표시된다. 또한, 표시되어 있는 화상 중에서 최신 화상인 것을 나타내는 화상 프레임을 현 프레임에 대응하는 화상 주위에 표시시킬 수 있다. 도 16의 (b)에서는, 화상(442)에 화상 프레임이 표시된다. 또한, 화상(442)을 아핀 변환한 아핀 변환 파라미터가 화상 변환부(150)에 유지된다.
계속해서, 다음 프레임에 대응하는 화상(443)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 화상(443)이 아핀 변환된다. 즉, 화상(443)에 대응하는 아핀 변환 파라미터의 행렬과, 바로 앞의 아핀 변환에 이용된 화상(442)에 대응하는 아핀 변환 파라미터의 행렬를 이용해서 구해진 아핀 변환 파라미터에 의해 화상(443)이 아핀 변환된다. 도 16의 (c)에 도시하는 화상에 있어서는, 화상(443)의 각도만이 변환된다. 그리고 아핀 변환된 화상(443)이, 앞의 프레임에 대응하는 화상(441 및 442)의 합성 화상에 겹치도록 덮어써진다. 즉, 화상(441 및 442)의 합성 화상의 영역 중에서, 화상(443)과 중복되는 영역(453 내지 457)에 대해서는, 화상(443)의 화상이 덮어써진다. 또한, 화상(441 및 442)의 합성 화상의 영역 중에서, 화상(443)과 중복되지 않는 영역(458 내지 461)에 대해서는, 화상(441 및 442)의 합성 화상이 다시 합성된다. 즉, 세 번째 프레임에 대응하는 화상(443)이 표시될 경우에는, 도 16의 (c)에 도시한 바와 같이, 화상(443)의 전체 부분과, 화상(441) 중의 영역(459)에 대응하는 부분과, 화상(442) 중의 영역(458, 460 및 461)에 대응하는 부분이 합성된 화상이 표시된다. 또한, 표시되어 있는 화상 중에서 최신 화상인 것을 나타내는 화상 프레임을 현 프레임에 대응하는 화상 주위에 표시시키는 경우에는, 도 16의 (c)에 도시하는 화상(443)에 화상 프레임이 표시된다. 또한, 화상(443)을 아핀 변환한 아핀 변환 파라미터가 화상 변환부(150)에 유지된다. 즉, 화상(442 및 443)의 각각에 대응하는 아핀 변환 파라미터를 이용해서 구해진 아핀 변환 파라미터가 화상 변환부(150)에 유지된다.
다음에, 표시부(250)에 표시되는 합성 화상을 취출하는 방법에 대해서 도면을 참조해서 상세하게 설명한다.
도 17은, 본 발명의 실시 형태에서의 동화상 기억부(200)에 기억되어 있는 동화상 파일의 각 프레임과, 표시 영역과의 관계를 모식적으로 나타내는 도면이다. 여기에서는, 화상 메모리(180), 메타 데이터 기억부(210) 및 조작 접수부(160)에 대해서만 도시하고, 이것들 이외의 구성에 대한 도시를 생략한다. 또한, 도 4의 (b)에 도시하는 동화상 파일(201)을 구성하는 프레임「1」내지「3」에 대해서, 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터(216)를 이용해서 화상 메모리(180)에 합성 화상이 작성되는 경우를 예로 들어 설명한다.
도 17의 (a)에는, 도 4의 (b)에 도시하는 동화상 파일(201)을 구성하는 프레임 중 최초의 프레임인 프레임 1(205)이 화상 메모리(180)에 보존되는 경우를 나타낸다. 예를 들어, 동화상 기억부(200)에 기억되어 있는 동화상 파일(201)의 재생을 지시하는 재생 지시의 조작 입력이 조작 접수부(160)에 의해 접수되면, 도 17의 (a)에 도시한 바와 같이, 동화상 파일(201)의 프레임 1(205)에 대응하는 화상(351)이 화상 메모리(180)에 보존된다. 여기에서, 최초의 프레임에 대응하는 화상(351) 이 화상 메모리(180)에 보존되는 위치는, 예를 들어 메타 데이터 파일(211)에 기억되어 있는 동화상 파일(201)에 관한 아핀 변환 파라미터(216)를 이용해서 프레임「1」내지「n」까지의 합성 화상의 크기를 계산하고, 이 계산을 기초로 하여 화상(351)이 보존되는 위치를 결정할 수 있다. 또한, 본 예에서는, 화상 메모리(180) 위에 배치된 화상(351)의 좌측 위의 위치를 원점으로 하고, 가로 방향(횡축)을 x축으로 하고, 세로 방향(종축)을 y축으로 하여 설명한다.
도 17의 (a)에 도시한 바와 같이, 화상 메모리(180) 위에 화상(351)이 배치된 경우에서의 표시 영역을 표시 영역(361)으로 한다. 표시 영역(361)은, 예를 들어 화상(351)이 보존되어 있는 위치 및 크기를 기초로 하여, 조작 접수부(160)에 의해 접수된 표시 배율의 값에 따라서 결정된다. 예를 들어, 통상의 재생 시에는, 현 화상만을 재생시키는 표시 배율이 지정되어 있으므로, 표시 영역(361)은 화상(351)과 같은 크기가 된다. 또한, 예를 들어 현 화상을 줌 아웃하는「0.5배」의 표시 배율이 지정되어 있는 경우에는, 표시 영역(361)은 화상(351)을 중심으로 하여 화상(351)의 2배의 크기가 된다. 또한, 화상(351)에 대한 표시 영역(361)의 위치는, 아핀 변환 파라미터에 의해 결정할 수 있다. 즉, 현 화상을 줌 아웃하는「0.5배」의 표시 배율이 지정되어 있는 경우에는, x 방향 및 y 방향의 줌 성분이 2배가 되는 아핀 변환 파라미터를 이용해서 표시 영역이 설정된다. 또한, 현 화상에 대하여 표시 영역을 평행 이동시키는 경우나 회전시키는 경우에 대해서도, 아핀 변환 파라미터를 이용함으로써 표시 영역의 위치 및 범위를 결정할 수 있다. 또한, 본 예에서는, 현 화상의 변환과 함께, 표시 영역이 변환되지만, 프레임 1(205) 에 대응하는 아핀 변환 파라미터는 단위 행렬의 파라미터이므로, 프레임 1(205)에 대응하는 표시 영역(361)은, 조작 접수부(160)로부터의 표시 배율 지정만이 고려되어 결정된다.
도 17의 (b)에는, 도 4의 (b)에 도시하는 동화상 파일(201)을 구성하는 프레임 중 프레임 2(206)가 화상 메모리(180)에 보존되는 경우를 나타낸다. 이 경우에는, 전술한 바와 같이, 프레임 번호(215)의「1」 및「2」에 관련지어 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터(216)를 이용해서 프레임 2(206)에 대응하는 화상(352)이 변환되어, 화상(351)에 덮어쓰기 합성되는 동시에, 표시 영역에 대해서도 아핀 변환이 실시된다. 즉, 화상(351)의 위치 및 크기를 기준으로 하여, 프레임 번호(215)의「1」 및「2」에 관련지어 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터(216)를 이용해서 프레임 2(206)에 대응하는 화상(352)이 변환된다. 그리고 조작 접수부(160)에 의해 접수된 표시 배율의 값에 따라서 결정되는 아핀 변환 파라미터를 이용해서 화상(352)의 위치 및 크기가 변환되고, 이 변환 후의 위치 및 크기에 의해 결정되는 영역이 표시 영역(362)이 된다. 구체적으로는, 프레임 번호(215)의「1」 및「2」에 대응하는 아핀 변환 파라미터의 행렬을 각각 A1, A2로 하고, 조작 접수부(160)에 의해 접수된 표시 배율의 값에 따라서 결정되는 아핀 변환 파라미터의 행렬을 B(예를 들어, 현 화상을 기준으로 하는 행렬)로 하는 경우에는, A1 × A2 × B의 값이 구해지고, 화상(351)의 위치 및 크기를 기준으로 하여, 구해진 A1 × A2 × B의 행렬에 의해 표시 영역(362)이 결정된다.
도 17의 (c)에는, 도 4의 (b)에 도시하는 동화상 파일(201)을 구성하는 프레임 중의 프레임 3이 화상 메모리(180)에 보존되는 경우를 나타낸다. 이 경우에 대해서도, 전술한 바와 같이, 프레임 번호(215)「1」내지「3」에 관련지어 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터(216)를 이용해서 프레임 3에 대응하는 화상(353)이 변환되어, 화상(351 및 352)에 덮어쓰기 합성되는 동시에, 표시 영역에 대해서도 아핀 변환이 실시되어, 화상(353)에 대한 표시 영역(363)이 결정된다. 구체적으로는, 프레임 번호(215)의「1」내지「3」에 대응하는 아핀 변환 파라미터의 행렬을 각각 A1 내지 A3으로 하고, 조작 접수부(160)에 의해 접수된 표시 배율의 값에 따라서 결정되는 아핀 변환 파라미터의 행렬을 B로 하는 경우에는, A1 × A2 × A3 × B의 값이 구해지고, 화상(351)의 위치 및 크기를 기준으로 하여, 구해진 A1 × A2 × A3 × B의 행렬에 의해 표시 영역(363)이 결정된다.
도 18은, 동화상의 표시 배율을 변경해서 표시시키는 경우에서의 화상 메모리(180)에 유지되는 화상과 액정 패널(251)에 표시되는 화상과의 관계를 개략적으로 나타내는 도면이다. 도 18의 (a)에는, 액정 패널(251)에 현 화상만을 표시시키는 경우를 나타내고, 도 18의 (b)에는, 액정 패널(251)에 표시되는 동화상을 축소 표시(줌 아웃)시키는 경우를 나타내고, 도 18의 (c)에는, 액정 패널(251)에 표시되는 동화상을 확대 표시(줌 인)시키는 경우를 나타낸다. 본 예에서는, 현 화상의 피사체에 물고기가 포함되어 있는 경우를 나타낸다.
처음에 동화상의 재생이 지시된 경우에는, 도 18의 (a)에 도시한 바와 같이, 현 화상(491)과 표시 영역(492)이 동일하게 되어, 표시 영역(492)의 범위 내에 포 함되는 합성 화상이 화상 메모리(180)로부터 취출되어 액정 패널(251)에 표시된다. 즉, 액정 패널(251)에는 현 화상만이 차례로 표시된다.
또한, 동화상 재생 시에 있어서, W 버튼이 눌러져 있는 상태에서는, 도 18의 (b)에 도시한 바와 같이, 화상 메모리(180) 위에서의 표시 영역(493)이 W 버튼의 누름 시간에 따라서 확대되어, 표시 영역(493)에 포함되는 합성 화상이 액정 패널(251)에 차례로 표시된다. 한편, 동화상 재생 시에 있어서, T 버튼이 눌러져 있는 상태에서는, 도 18의 (c)에 도시한 바와 같이, 화상 메모리(180) 위에서의 표시 영역(495)이 T 버튼의 누름 시간에 따라서 축소되어, 표시 영역(495)에 포함되는 합성 화상이 액정 패널(251)에 차례로 표시된다. 또한, 이들의 확대 축소 처리는, 현 화상(491)이 중심이 되도록 표시 영역 취출부(190)에 의해 행해진다. 즉, 전술한 바와 같이, 조작 접수부(160)에 의해 접수된 표시 배율의 값에 따라서 결정되는 아핀 변환 파라미터를 이용해서 현 화상(491)의 위치 및 크기가 변환되고, 이 변환 후의 위치 및 크기에 의해 표시 영역이 결정된다. 도 18의 (b)에 도시하는 예에서는, 표시 배율을 내리는 조작 입력이 되어 있으므로, 이 표시 배율의 축소에 따라서 아핀 변환 파라미터의 줌 성분이 결정되고, 도 18의 (c)에 도시하는 예에서는, 표시 배율을 올리는 조작 입력이 되어 있으므로, 이 표시 배율의 상승에 따라서 아핀 변환 파라미터의 줌 성분이 결정된다. 이와 같이, 표시 영역의 크기를 변경하는 것만으로, 현 화상을 포함하는 화상을 확대 또는 축소시켜서 표시할 수 있다. 또한, 열십자 버튼(162)의 조작에 의해, 표시 영역을 상하 좌우로 이동시키는 것이 가능하다.
이상에서 나타낸 바와 같이, 화상 메모리(180) 위에 배치되는 표시 영역의 범위 내에 존재하는 화상을 표시함으로써, 재생 중의 합성 화상을 차례로 표시시킬 수 있다. 여기에서, 현 화상이 아핀 변환되어 화상 메모리(180)에 합성될 때는, 낮은 해상도로 변환하는 해상도 변환 처리나 압축 처리 등의 화질의 변환이 실시되는 경우가 있다. 이로 인해, 표시 배율을 높게 해서 현 화상을 확대 표시시키는 경우에는, 현 화상을 포함하는 합성 화상이 흐려져 버리는 것이 고려된다. 따라서, 본 발명의 실시 형태에서는, 현재 재생 중인 현 화상에 대해서는, 화상 메모리(180)에 합성되기 전의 화상을 이용해서 합성 화상을 표시시킨다. 이하에서는, 이 표시 방법에 대해서 도면을 참조해서 상세하게 설명한다.
도 19는, 본 발명의 실시 형태에서의 동화상 기억부(200)에 기억되어 있는 동화상 파일의 각 프레임의 흐름을 모식적으로 나타내는 도면이다. 여기에서는, 조작 접수부(160), 동화상 기억부(200), 메타 데이터 기억부(210), 화상 메모리(180) 및 표시용 메모리(230)의 관계에 대해서만 도시하고, 이것들 이외의 구성에 대한 도시를 생략한다.
도 19의 (a)에는, 도 4의 (b)에 도시하는 동화상 파일(201) 및 메타 데이터 파일(211)을 간략화해서 나타낸다. 이하에서는, 동화상 파일(201)을 구성하는 프레임 i(207)에 대응하는 화상이 표시되는 예에 대해서 설명한다. 즉, 동화상 파일(201)을 구성하는 프레임 1 내지「i-1」에 대응하는 화상에 대해서는, 합성 화상이 작성되어 있는 것으로 한다.
도 19의 (b)에는, 동화상 파일(201)을 구성하는 각 프레임에 대응하는 화상 이 합성된 합성 화상이 유지되어 있는 화상 메모리(180)를 모식적으로 나타낸다. 도 17의 (b)에 도시한 바와 같이, 동화상 파일(201)을 구성하는 프레임 1(205)에 대응하는 화상(351)이 화상 메모리(180)에 최초로 유지된다. 또한, 도 17의 (a)에 도시하는 표시 영역(361)을 점선으로 나타낸다. 그리고 화상(351)이 화상 메모리(180)에 유지된 후에, 동화상 파일(201)을 구성하는 프레임 2 내지「i-1」에 대응하는 각 화상이, 프레임 2 내지「i-1」의 각각에 관련지어 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터(216)의 값을 이용해 순차적으로 아핀 변환되고, 아핀 변환된 화상이 화상 메모리(180)에 차례로 덮어써져 유지된다. 여기에서, 표시 영역은, 조작 접수부(160)로부터의 표시 배율 지정에 따른 조작 입력(W 버튼 또는 T 버튼의 누름)에 따라서 크기가 결정되는 동시에, 현 화상에 따른 아핀 변환에 의해 산출된다. 그리고 화상 메모리(180)에 유지되어 있는 합성 화상으로부터, 산출된 표시 영역 내에 존재하는 화상을, 표시 영역 취출부(190)가 프레임마다 취출한다.
프레임 1 내지「i-1」에 대응하는 각 화상에 의한 합성 화상이 화상 메모리(180)에 유지되어 있는 상태에서, 동화상 파일(201)을 구성하는 프레임 i(207)에 대응하는 화상이, 프레임 1 내지 i에 관련지어 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터(216)를 이용해서 아핀 변환되고, 아핀 변환된 현 화상(692)이 화상 메모리(180)에 덮어써져 유지된다. 즉, 현 화상인 화상(351)을 기준으로 하여, 프레임 번호(215)의「1」내지「i」에 관련지어 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터(216)를 이용해서 프레임 i(207)에 대 응하는 화상이 화상(692)으로 변환되어, 화상 메모리(180)에 보존된다. 그리고 프레임 i(207)에 대응하는 표시 영역(695)에 대해서는, 조작 접수부(160)에 의해 접수된 표시 배율의 값에 따라서 결정되는 아핀 변환 파라미터를 이용해서 화상(692)의 위치 및 크기가 변환되어, 표시 영역(695)이 결정된다. 이 표시 영역의 결정은, 표시 영역 취출부(190)에 의해 행해진다. 그리고 화상 메모리(180)에 유지되어 있는 합성 화상으로부터, 표시 영역(695) 내에 존재하는 화상을, 표시 영역 취출부(190)가 취출하고, 취출된 화상을, 예를 들어 도 19의 (c)에 도시한 바와 같이 표시용 메모리(230)에 유지시킨다.
도 19의 (c)에는, 표시 영역 취출부(190)에 의해 취출된 화상이 유지되어 있는 표시용 메모리(230)를 모식적으로 나타낸다. 여기에서, 표시용 메모리(230)에 유지되는 화상[현 화상(696) 이외의 화상]은, 표시 영역 취출부(190)에 의해 취출된 화상[표시 영역(695)의 범위 내에 존재하는 화상]이, 표시 영역(695)의 변환에 이용된 아핀 변환 파라미터에 따른 행렬에 대한 역행렬을 이용해서 변환된 화상이다. 즉, 화상 메모리(180) 위에 배치되는 표시 영역의 형상은, 아핀 변환에 의해 평행 사변형이 되는 경우 등이 있다. 이와 같이 아핀 변환된 표시 영역 내의 합성 화상을 표시부(250)에 표시시키기 위해, 현재의 현 화상을 아핀 변환할 때에 이용된 아핀 변환 파라미터에 따른 행렬의 역행렬을 이용해서 표시 영역 내의 합성 화상을 변환한다. 예를 들어, 프레임 번호(215)의「1」내지「i」에 관련지어 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터의 행렬을 각각 A1, …, Ai로 하고, 표시 영역(695)을 결정하기 위한 아핀 변환 파라미터의 행렬(예를 들어, 현 화상을 기준으로 하는 행렬)을 B로 하는 경우에는, 표시 영역 내의 합성 화상을 변환하기 위한 행렬로서, Inv(A1 × … × Ai × B)를 이용한다. 이에 의해, 예를 들어 도 19의 (c)에 도시한 바와 같이, 평행 사변형으로 변환된 화상을 직사각형으로 변환해서 표시부(250)에 표시시킬 수 있다. 또한, 표시 영역 취출부(190)에 의해 취출된 화상 중 현 프레임에 대응하는 화상(696)은, 표시 영역 취출부(190)에 의해 화상 메모리(180)로부터 취출된 화상 대신에, 동화상 기억부(200)로부터 취득되어서 아핀 변환되어 있지 않은 화상을 이용한다. 여기에서, 표시용 메모리(230)에 있어서 화상(696)이 보존되는 위치 및 크기는, 조작 접수부(160)로부터의 표시 배율에 따라서 결정된다.
도 19의 (c)에 도시한 바와 같이, 표시 영역 취출부(190)에 의해 취출된 화상이 표시용 메모리(230)에 유지되는 동시에, 표시 영역 취출부(190)에 의해 취출된 화상에, 동화상 기억부(200)로부터 취득된 화상이 덮어써져서 표시용 메모리(230)에 유지된다. 이에 의해, 일단 아핀 변환이 된 합성 화상을, 역행렬에 의해 아핀 변환이 되어 있지 않은 상태로 복귀시켜 표시할 수 있다. 또한, 현 화상에 대해서는, 아핀 변환 후에 축소 등의 처리가 실시되어서 화상 메모리(180)에 유지되기 전의 상태의 화상을 이용함으로써, 비교적 깨끗한 현 화상을 표시할 수 있다. 또한, 사용자의 조작에 의해 확대 등이 된 경우에 대해서도 현 화상을 깨끗한 상태로 표시할 수 있다.
이상에서 나타낸 바와 같이, 현 화상에 대해서는, 화상 메모리(180)에 유지되는 합성 화상 대신에, 동화상 기억부(200)로부터 취득되어서 아핀 변환되기 전의 화상을 이용할 수 있으므로, 비교적 깨끗한 화상을 시청할 수 있다. 이 합성예에 대해서는, 도 20 및 도 21을 참조해서 상세하게 설명한다.
도 20의 (a)는, 촬상 장치(100)에 의해 촬영된 동화상을 재생하는 경우에서의 합성예를 도시하는 도면이다. 본 예에서는, 큰 건물이 있는 잔디밭 광장에서 놀고 있는 부모 자식을, 촬상 장치(100)를 주로 좌우 방향으로 이동시키면서 촬영한 경우의 동화상에 의해 형성되는 합성 화상을 역행렬에 의해 아핀 변환하기 전의 상태를 화상(480)으로서 나타낸다. 여기에서, 화상(480)에는, 동화상을 구성하는 각 클레임에 대응하는 화상에 의해 합성된 화상(481)이 파노라마 형상으로 형성되어 있다. 또한, 화상(480)에서의 현 프레임에 대응하는 화상은, 현 화상(482)이다.
여기에서, 프레임(483)으로 둘러싸여진 화상 영역을 확대 표시하는 경우에 대해서 설명한다. 표시부(250)에 표시되어 있는 화상에 대해서 확대 축소 표시를하는 경우에는, 사용자가 줌 버튼(161)을 조작함으로써 원하는 표시 배율을 지정할 수 있다. 예를 들어, 도 20의 (a)에 도시한 바와 같이, 표시부(250)에 화상(480)이 표시되어 있는 경우에, 프레임(483)으로 둘러싸여진 화상 영역을 확대 표시하는 경우에는, 사용자가 줌 버튼(161)을 조작해서 표시 배율을 지정하는 동시에, 열십자 버튼(162)을 조작해서 위치를 지정함으로써, 프레임(483)으로 둘러싸여진 화상 영역을 확대 표시할 수 있다.
도 20의 (b)는, 화상(480)에서의 현 화상(482)이 아핀 변환되기 전의 상태의 화상(484)을 나타내는 도면이다.
도 21의 (a)는, 도 20의 (a)에 도시하는 프레임(483)으로 둘러싸여진 화상 영역이 확대된 경우에서의 화상(485)을 나타내는 도면이다. 도 21의 (a)에 도시하는 화상(485)은, 아핀 변환 후의 현 화상이 화상 메모리(180)에 보존되기 전의 상태에서 표시용 메모리(230)에 합성된 화상이다. 이와 같이, 현 화상(486)의 영역에는, 화상 메모리(180)에 보존되기 전의 상태의 비교적 정밀한 화상이 표시된다. 이로 인해, 현 화상(486)과, 이 영역 이외의 영역을 비교한 경우에, 다른 영역보다도 비교적 깨끗한 현 화상(486)을 볼 수 있다. 한편, 도 21의 (b)에 도시하는 화상(487)은, 아핀 변환 후의 현 화상이 화상 메모리(180)에 보존된 상태에서 표시용 메모리(230)에 보존된 화상이다. 이렇게 표시되는 경우에는, 현 화상(488)의 영역에 대해서도, 다른 영역의 화상과 같은 정도의 화상이 표시된다. 즉, 본 발명의 실시 형태에 따르면, 화상 합성 표시할 때에, 표시용 메모리(230)에 유지된 이력 화상은 압축되는 경우가 있지만, 현재(커런트)의 화상에 대해서는 비압축의 화상, 또는 이력 화상보다도 높은 해상도의 화상을 사용할 수 있으므로, 고화질인 화상 합성 표시를 실현할 수 있다. 또한, 본 예에서는, 설명을 위해, 표시의 대상이 되는 화상을 역행렬에 의해 아핀 변환하기 전의 상태를 나타내기 위해, 현 화상이 사각형은 아니지만, 전술한 역행렬에 의해 아핀 변환을 실시함으로써 현 화상을 사각형으로 할 수 있다.
다음에, 본 발명의 실시 형태에서의 촬상 장치(100)의 동작에 대해서 도면을 참조하여 설명한다.
도 22는, 본 발명의 실시 형태에서의 촬상 장치(100)에 의한 동화상 재생 처 리의 처리 단계를 나타내는 흐름도이다. 본 예에서는, 사용자에 의해 재생해야 할 동화상이 선택된 경우를 나타낸다.
처음에, 동화상을 구성하는 화상의 사이즈보다도 큰 워크 버퍼가 화상 메모리(180)에 확보된다(스텝 S921). 계속해서, 파일 취득부(140)가, 조작 접수부(160)에 의해 선택된 동화상 파일을 동화상 기억부(200)로부터 취득하는 동시에, 이들의 동화상 파일에 관련지어져 있는 메타 데이터 파일을 메타 데이터 기억부(210)로부터 취득한다(스텝 S922).
계속해서, 파일 취득부(140)가, 동화상 파일을 디코드하고, 동화상 파일을 구성하는 1개의 프레임인 현 프레임을 취득한다(스텝 S923). 계속해서, 파일 취득부(140)가, 취득된 현 프레임에 대응하는 아핀 변환 파라미터를 메타 데이터 파일로부터 취득한다(스텝 S924). 여기에서, 현 프레임이 선두 프레임일 경우에는, 단위 행렬의 아핀 변환 파라미터가 취득된다.
계속해서, 화상 변환부(150)가, 아핀 변환 파라미터를 이용해서 현 프레임에 대응하는 화상을 아핀 변환한다(스텝 S925). 또한, 현 프레임이 선두 프레임일 경우에는, 단위 행렬을 이용해서 아핀 변환이 되므로, 실제 화상은 변환되지 않는다.
계속해서, 화상 합성부(170)가, 아핀 변환된 현 프레임에 대응하는 화상을, 이 현 프레임보다도 앞의 프레임에 대응하는 각 화상의 합성 화상에 덮어쓰기 합성하고, 이 현 프레임에 대응하는 화상이 합성된 화상을 화상 메모리(180)에 보존한다(스텝 S926).
계속해서, 표시 영역 취출부(190)는, 최초의 프레임으로부터 현 프레임까지 의 아핀 변환 파라미터와, 표시 배율에 대응하는 아핀 변환 파라미터를 이용해서 표시 영역의 위치 및 크기를 결정한다(스텝 S927). 계속해서, 표시 영역 취출부(190)는, 표시 영역에 포함되는 합성 화상을 화상 메모리(180)로부터 취출한다(스텝 S928). 계속해서, 표시 영역 취출부(190)는, 표시 영역의 결정에 이용된 아핀 변환 파라미터의 행렬에 대한 역행렬을 이용하여, 화상 메모리(180)로부터 취출된 합성 화상을 아핀 변환한다(스텝 S929).
계속해서, 표시 영역 취출부(190)는, 화상 메모리(180)로부터 취출되어 아핀 변환된 합성 화상을 표시용 메모리(230)에 보존한다(스텝 S930). 계속해서, 화상 합성부(170)는, 표시용 메모리(230)에 보존되어 있는 합성 화상에 현 화상을 덮어쓰기 합성한다(스텝 S931). 계속해서, 표시 제어부(240)가, 표시용 메모리(230)에 보존되어 있는 합성 화상을 표시부(250)에 표시시킨다(스텝 S932).
계속해서, 선택된 동화상 파일을 구성하는 프레임 중에서, 현 프레임이 마지막 프레임인지의 여부가 판단된다(스텝 S933). 현 프레임이 마지막 프레임이 아닌 경우에는(스텝 S933), 스텝 S923으로 되돌아가, 동화상의 합성 재생 처리를 반복한다(스텝 S923내지 S932). 한편, 현 프레임이 마지막 프레임일 경우에는(스텝 S933), 확보되어 있는 워크 버퍼를 해방하여(스텝 S934), 동화상 재생 처리를 종료한다.
이상에서는, 현 프레임에 대응하는 현 화상에 아핀 변환을 차례로 실시해서 합성 화상을 작성하여 화상 메모리에 차례로 보존하는 동시에, 이 화상 메모리의 합성 화상으로부터, 표시의 대상이 되는 영역인 표시 영역을 취출해서 동화상을 재 생시키는 예에 대해서 설명했다. 여기에서는, 앞의 각 프레임에 대응하는 합성 화상에, 아핀 변환 파라미터의 방향과는 반대 방향으로 아핀 변환을 실시해서 합성 화상을 작성함으로써, 현 프레임에 대응하는 현 화상을 표시부(250)의 중앙 부분 등에 고정해서 동화상을 재생하는 동화상 재생 방법에 대해서 도면을 참조해서 상세하게 설명한다.
처음에, 도 8 내지 도 16에서 나타낸 화상(401 내지 403, 421 내지 423, 441 내지 443)을 이용해서 동화상을 합성 재생하는 경우에 대해서 도면을 참조해서 상세하게 설명한다. 또한, 도 23 내지 도 25에 나타내는 각 화상은, 도 8 내지 도 16과 마찬가지로, 설명을 위해, 간략화하는 동시에, 연속되는 2개의 프레임 간의 이동량을 크게 해서 나타내고 있다.
처음에, 촬상 장치(100)의 촬영 시에 있어서, 배율이 변경되지 않지만, 촬상 장치(100)의 위치를 중심으로 하여, 촬상 장치(100)의 렌즈의 방향이 상하 좌우 중 어느 하나로 이동되어 있는 경우에 대해서 설명한다.
도 23은, 도 8에 나타내는 화상(401 내지 403)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다. 도 10에 나타내는 표시예는, 현 프레임 앞의 각 프레임에 대응하는 합성 화상(처음에는 1개의 화상)을 고정하여, 아핀 변환된 현 프레임에 대응하는 화상을 그 합성 화상에 덮어쓰기 합성하고, 이 합성된 화상을 표시하는 것이다. 이것에 대하여, 도 23에 나타내는 표시예는, 현 프레임에 대응하는 화상의 위치를 고정으로 하고, 현 프레임 앞의 각 프레임에 대응하는 합성 화상을 아핀 변환 파라미터의 방향과는 반대 방향으로 아핀 변환하고, 이 아핀 변환된 합성 화상에 현 프레임에 대응하는 화상을 덮어쓰기 합성하고, 이 합성된 화상을 표시하는 것이다. 즉, 도 10 및 도 23에 나타내는 표시예는, 고정 위치에 표시되는 화상, 및 아핀 변환의 대상이 되는 화상이 다르지만, 다른 부분은 공통된다. 이로 인해, 도 10에 공통되는 부분에 대해서는, 공통 부호를 붙여서 설명한다.
도 23의 (a)에 도시한 바와 같이, 처음에는, 선두 프레임에 대응하는 화상(401)만이 표시된다. 여기에서, 화상(401)은 선두 프레임이므로, 앞의 프레임이 존재하지 않는다. 계속해서, 다음 프레임에 대응하는 화상(402)이 표시되는 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 바로 앞의 화상인 화상(401)이 아핀 변환된다. 구체적으로는, 화상(402)에 대응하는 아핀 변환 파라미터의 행렬을 A2로 하고, 화상(401)에 대응하는 아핀 변환 파라미터의 행렬을 A1로 하는 경우에 있어서, Inv(A1 × A2)의 값이 구해지고, 구해진 Inv(A1 × A2)의 행렬에 의해 화상(401)이 아핀 변환된다. 여기에서, InvA(A는 행렬)는, A의 역행렬을 나타낸다. 도 23의 (b)에 도시하는 화상에 있어서는, 화상(401)의 위치만이 변환된다. 그리고 아핀 변환된 화상(401)에, 현 프레임에 대응하는 화상(402)이 겹치도록 덮어써진다. 또한, 화상(401)에 화상(402)이 덮어써진 합성 화상은, 도 10의 (b)에 도시하는 합성 화상과 같으므로, 여기에서의 설명은 생략한다.
계속해서, 다음 프레임에 대응하는 화상(403)이 표시되는 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용하여, 앞의 프레임에 대응하는 화상(401) 및 화상(402)의 합성 화상이 아핀 변환 파라미터의 방향과는 반대 방향으 로 아핀 변환된다. 구체적으로는, 화상(403)에 대응하는 아핀 변환 파라미터의 행렬을 A3으로 하고, 화상(402)에 대응하는 아핀 변환 파라미터의 행렬을 A2로 하고, 화상(401)에 대응하는 아핀 변환 파라미터의 행렬을 A1로 하는 경우에 있어서, Inv(A1 × A2 × A3)의 값이 구해지고, Inv(A1 × A2 × A3)의 행렬에 의해 화상(401 및 402)의 합성 화상이 아핀 변환된다. 도 23의 (c)에 도시하는 화상에 있어서는, 화상(401) 및 화상(402)의 합성 화상의 위치만이 변환된다. 그리고 현 프레임에 대응하는 화상(403)이, 아핀 변환된 화상(401 및 402)의 합성 화상에 겹치도록 덮어써진다. 또한, 화상(401 및 402)에 화상(403)이 덮어써진 합성 화상은, 도 10의 (c)에 도시하는 합성 화상과 같으므로, 여기에서의 설명은 생략한다.
다음에, 촬상 장치(100)의 촬영 시에 있어서, 촬상 장치(100)의 렌즈의 방향은 이동되지 않지만, 배율이 변경되어 있는 경우에 대해서 설명한다.
도 24는, 도 11에 나타내는 화상(421 내지 423)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다. 도 13 및 도 24에 나타내는 표시예의 차이는, 도 10 및 도 23에 나타내는 표시예의 차이와 마찬가지이며, 고정 위치에 표시되는 화상, 및 아핀 변환의 대상이 되는 화상이 상이하지만, 다른 부분은 공통된다. 이로 인해, 도 13에 공통되는 부분에 대해서는, 공통의 부호를 붙여서 설명한다.
도 24의 (a)에 도시한 바와 같이, 처음에는, 선두 프레임에 대응하는 화상(421)만이 표시된다. 계속해서, 다음 프레임에 대응하는 화상(422)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 바로 앞의 화상인 화상(421)이, 아핀 변환 파라미터의 방향과는 반대 방향으로 아핀 변환된다. 도 24의 (b)에 도시하는 화상에 있어서는, 화상(421)의 크기만이 변환된다. 그리고 아핀 변환된 화상(421)에, 현 프레임에 대응하는 화상(422)이 겹치도록 덮어써진다. 또한, 화상(421)에 화상(422)이 덮어써진 합성 화상에 대해서는, 크기가 상이하지만, 그 밖의 점은, 도 13의 (b)에 도시하는 합성 화상과 같으므로, 여기에서의 설명은 생략한다.
계속해서, 다음 프레임에 대응하는 화상(423)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용하여, 앞의 프레임에 대응하는 화상(421) 및 화상(422)의 합성 화상이, 아핀 변환 파라미터의 방향과는 반대 방향으로 아핀 변환된다. 도 24의 (c)에 도시하는 화상에 있어서는, 화상(421 및 422)의 합성 화상의 크기만이 변환된다. 그리고 현 프레임에 대응하는 화상(423)이, 아핀 변환된 화상(421 및 422)의 합성 화상에 겹치도록 덮어써진다. 또한, 화상(421 및 422)의 합성 화상에 화상(423)이 덮어써진 합성 화상은, 크기가 상이하지만, 그 밖의 점은, 도 13의 (c)에 도시하는 합성 화상과 같으므로, 여기에서의 설명은 생략한다.
다음에, 촬상 장치(100)의 촬영 시에 있어서, 촬상 장치(100)의 렌즈의 방향이나 배율은 변경되지 않지만, 촬영 방향을 회전 중심으로 해서 촬상 장치(100)가 회전되고 있는 경우에 대해서 설명한다.
도 25는, 도 14에 나타내는 화상(441 내지 443)을 포함하는 동화상을 재생하는 경우에서의 표시예를 도시하는 도면이다. 도 16 및 도 25에 나타내는 표시예의 차이는, 도 10 및 도 23에 나타내는 표시예의 차이와 마찬가지이며, 고정 위치에 표시되는 화상, 및 아핀 변환의 대상이 되는 화상이 상이하지만, 다른 부분은 공통된다. 이로 인해, 도 16에 공통되는 부분에 대해서는, 공통의 부호를 붙여서 설명한다.
도 25의 (a)에 도시한 바와 같이, 처음에는, 선두 프레임에 대응하는 화상(441)만이 표시된다. 계속해서, 다음 프레임에 대응하는 화상(442)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용해서 바로 앞의 화상인 화상(441)이, 아핀 변환 파라미터의 방향과는 반대 방향으로 아핀 변환된다. 도 25의 (b)에 도시하는 화상에 있어서는, 화상(441)의 각도만이 변환된다. 그리고 아핀 변환된 화상(441)에, 현 프레임에 대응하는 화상(442)이 겹치도록 덮어써진다. 또한, 화상(441)에 화상(442)이 덮어써진 합성 화상에 대해서는, 각도가 상이하지만, 그 밖의 점은, 도 16의 (b)에 도시하는 합성 화상과 같으므로, 여기에서의 설명은 생략한다.
계속해서, 다음 프레임에 대응하는 화상(443)이 표시될 경우에는, 이 프레임에 관련지어져 있는 아핀 변환 파라미터를 이용하여, 앞의 프레임에 대응하는 화상(441) 및 화상(442)의 합성 화상이, 아핀 변환 파라미터의 방향과는 반대 방향으로 아핀 변환된다. 도 25의 (c)에 도시하는 화상에 있어서는, 화상(441 및 442)의 합성 화상의 각도만이 변환된다. 그리고 현 프레임에 대응하는 화상(443)이, 아핀 변환된 화상(441 및 442)의 합성 화상에 겹치도록 덮어써진다. 또한, 화상(441 및 442)에 화상(443)이 덮어써진 합성 화상은, 각도가 상이하지만, 그 밖의 점은, 도 16의 (c)에 도시하는 합성 화상과 같으므로, 여기에서의 설명은 생략한다.
다음에, 표시부(250)에 표시되는 합성 화상을 취출하는 방법에 대해서 도면을 참조해서 상세하게 설명한다.
도 26은, 본 발명의 실시 형태에서의 동화상 기억부(200)에 기억되어 있는 동화상 파일의 각 프레임과, 표시 영역과의 관계를 모식적으로 나타내는 도면이다. 여기에서는, 화상 메모리(180), 메타 데이터 기억부(210) 및 조작 접수부(160)에 대해서만 도시하고, 이것들 이외의 구성에 대한 도시를 생략한다. 또한, 도 26에서는, 도 17과 마찬가지로, 도 4의 (b)에 도시하는 동화상 파일(201)을 구성하는 프레임「1」내지「3」에 대해서, 메타 데이터 파일(211)에 기억되어 있는 아핀 변환 파라미터(216)를 이용해서 화상 메모리(180)에 합성 화상이 작성되는 경우를 예로 들어 나타낸다.
여기에서, 도 17에서는, 현 프레임에 대응하는 현 화상에 아핀 변환을 차례로 실시해서 합성 화상을 작성해서 화상 메모리(180)에 차례로 보존하는 동시에, 화상 메모리(180)의 합성 화상으로부터, 현 화상에 따라서 변환된 표시 영역의 범위 내에 포함되는 합성 화상을 취출하는 예에 대해서 설명했다. 도 26에서는, 앞의 각 프레임에 대응하는 합성 화상에, 아핀 변환 파라미터의 방향과는 반대 방향으로 아핀 변환을 실시해서 합성 화상을 작성함으로써, 현 화상에 따라서 표시 영역을 변환시키지 않고, 현 프레임에 대응하는 현 화상을 표시부(250)의 특정 위치에 고정하는 예이다. 이 경우에, 화상 변환부(150)는, 화상 메모리(180)에 유지되어 있는 바로 앞까지의 각 프레임에 대응하는 합성 화상에 아핀 변환을 실시하고, 화상 합성부(170)는, 이 아핀 변환 후의 합성 화상에 현 화상을 덮어씀으로써 화상을 합성하고, 합성된 새로운 합성 화상을 화상 메모리(180)에 보존한다. 또한, 도 17과 동일한 것에 대해서는, 동일한 부호를 붙인다. 이와 같이, 현 화상에 따라서 표시 영역을 변환시키지 않고, 현 화상을 표시부(250)의 특정 위치에 고정할 수 있다. 또한, 현 화상에 대해서는, 도 19에서 도시한 바와 같이, 화상 메모리(180)에 유지되는 합성 화상 대신에, 동화상 기억부(200)로부터 취득되어서 아핀 변환되기 전의 화상을 이용할 수 있다.
이상에서는, 1개의 동화상을 구성하는 각 화상을 합성하는 경우를 예로 들어 설명했지만, 이하에서는, 2개의 동화상에 대한 각 화상을 합성하는 경우에서의 합성예에 대해서 도면을 참조해서 상세하게 설명한다.
도 27은, 본 발명의 실시 형태에서의 촬상 장치(101)의 기능 구성 예를 도시하는 블록도이다. 여기에서, 촬상 장치(101)는, 도 1에 나타내는 촬상 장치(100)의 일부를 변형한 것이며, 촬상부(110)와, 카메라 워크 검출부(120)와, 기록 제어부(131)와, 파일 취득부(141)와, 화상 변환부(151)와, 조작 접수부(165)와, 화상 합성부(171)와, 화상 메모리(180)와, 표시 영역 취출부(190)와, 동화상 기억부(200)와, 메타 데이터 기억부(210)와, 상대 관계 정보 기억부(220)와, 표시용 메모리(231)와, 표시 제어부(240)와, 표시부(250)와, 일치점 선택부(260)와, 상대 관계 정보 산출부(270)와, 대상 화상 변환 정보 산출부(280)와, 일치점 검색부(340)를 포함한다. 또한, 촬상부(110), 카메라 워크 검출부(120), 화상 메모리(180), 표시 영역 취출부(190), 메타 데이터 기억부(210), 표시 제어부(240) 및 표시 부(250)의 구성은, 도 1에 나타내는 촬상 장치(100)와 마찬가지이므로, 이들의 구성에 대한 설명은 생략한다. 또한, 이하에서는, 도 1에 나타내는 촬상 장치(100)와 다른 부분을 중심으로 설명한다.
기록 제어부(131)는, 촬상부(110)로부터 출력된 동화상을 동화상 파일로서 동화상 기억부(200)에 기록하는 동시에, 카메라 워크 검출부(120)로부터 출력된 아핀 변환 파라미터를, 대응하는 동화상 및 프레임에 관련지어 메타 데이터 파일로서 메타 데이터 기억부(210)에 기록하는 것이다. 또한, 기록 제어부(131)는, 상대 관계 정보 산출부(270)로부터 출력된 아핀 변환 파라미터를, 이 아핀 변환 파라미터에 대응하는 동화상 및 프레임에 관련지어 상대 관계 정보 기억부(220)에 기록한다.
동화상 기억부(200)는, 기록 제어부(131)의 제어를 기초로 하여 촬상부(110)로부터 출력된 동화상을 동화상 파일로서 기억하는 것이다. 또한, 동화상 기억부(200)는, 파일 취득부(141)로부터의 요구에 따라서 동화상 파일을 파일 취득부(141)에 공급하고, 일치점 검색부(340)로부터의 요구에 따라서 적어도 2개의 동화상 파일을 일치점 검색부(340)에 공급한다.
상대 관계 정보 기억부(220)는, 기록 제어부(131)의 제어를 기초로 하여, 상대 관계 정보 산출부(270)로부터 출력된 아핀 변환 파라미터와, 이것에 대응하는 동화상 및 프레임를 관련지어 상대 관계 메타 데이터 파일로서 기억하는 것이다. 또한, 상대 관계 정보 기억부(220)는, 파일 취득부(141)로부터의 요구에 따라서 상대 관계 메타 데이터 파일을 파일 취득부(141)에 공급한다. 또한, 상대 관계 정보 기억부(220)에 기억되는 상대 관계 메타 데이터 파일에 대해서는, 도 29, 도 35를 참조해서 상세하게 설명한다.
파일 취득부(141)는, 조작 접수부(165)에 의해 접수된 조작 입력에 따라서, 동화상 기억부(200)에 기억되어 있는 1 또는 복수의 동화상 파일, 이것들의 각 동화상 파일에 관련지어져 메타 데이터 기억부(210)에 기억되어 있는 메타 데이터 파일, 이것들의 동화상 파일에 공통적으로 관련지어져 상대 관계 정보 기억부(220)에 기억되어 있는 상대 관계 메타 데이터 파일 중 적어도 1개를 취득하고, 취득된 각 파일의 정보를 각 부에 공급하는 것이다. 구체적으로는, 파일 취득부(141)는, 조작 접수부(165)에 의해 통상의 동화상 재생을 지시하는 지시 조작이 접수된 경우에는, 동화상 기억부(200)에 기억되어 있는 1 또는 복수의 동화상 파일을 취득하고, 취득된 동화상 파일의 동화상을 일치점 선택부(260) 및 표시용 메모리(231)에 차례로 출력한다. 이 통상의 동화상 재생이 행해지고 있을 때에, 조작 접수부(165)에 의해 동화상 재생의 정지에 따른 조작 입력이 접수된 경우에는, 파일 취득부(141)는, 동화상의 출력을 정지한다. 또한, 파일 취득부(141)는, 1 또는 복수의 동화상의 합성 재생을 지시하는 지시 조작이 조작 접수부(165)에 의해 접수된 경우에는, 동화상 기억부(200)에 기억되어 있는 지시된 동화상 파일과, 이것들의 각 동화상 파일에 관련지어져 메타 데이터 기억부(210)에 기억되어 있는 메타 데이터 파일과, 이것들의 동화상 파일에 공통적으로 관련지어져 상대 관계 정보 기억부(220)에 기억되어 있는 상대 관계 메타 데이터 파일를 취득하고, 취득된 동화상 파일의 동화상 및 메타 데이터 파일의 아핀 변환 파라미터를 화상 변환부(151)에 출력한다. 또한, 취득된 메타 데이터 파일 및 상대 관계 메타 데이터 파일의 내용을 대상 화상 변환 정보 산출부(280)에 출력한다.
화상 변환부(151)는, 파일 취득부(141)로부터 출력된 동화상 파일의 동화상을 구성하는 화상에 대해서, 이 화상에 대응하는 아핀 변환 파라미터를 이용해서 프레임마다 아핀 변환을 실시하고, 아핀 변환된 화상을 화상 합성부(171)에 출력하는 것이다. 여기에서, 복수의 동화상 합성이 지시된 경우에는, 화상 변환부(151)는, 재생의 대상이 되는 복수의 동화상 중 하나의 동화상을 기준 동화상으로 하고, 이 기준 동화상에 대해서는, 이 기준 동화상을 구성하는 화상에 대응하는 아핀 변환 파라미터를 이용하여, 프레임마다 아핀 변환을 실시한다. 한편, 재생의 대상이 되는 복수의 동화상 중 기준 동화상 이외의 다른 동화상에 대해서는, 대상 화상 변환 정보 산출부(280)에 의해 산출된 대상 화상 변환 정보(아핀 변환 파라미터)와, 동화상을 구성하는 화상에 대응하는 아핀 변환 파라미터를 이용하여, 프레임마다 아핀 변환을 실시한다. 또한, 다른 동화상의 변환 방법에 대해서는, 도 32, 38 등을 참조해서 상세하게 설명한다.
조작 접수부(165)는, 각종 조작 부재를 포함하여, 이들의 조작 부재로부터 조작 입력을 접수하면, 접수한 조작 입력의 내용을 파일 취득부(141), 일치점 선택부(260), 화상 합성부(171), 표시 영역 취출부(190),또는, 일치점 검색부(340)에 출력하는 것이다. 또한, 이들의 조작 부재에 대해서는, 도 2에서 설명한 것과 마찬가지이다.
일치점 선택부(260)는, 조작 접수부(165)에 의해 일치점을 지정하는 지정 조 작의 조작 입력이 접수된 경우에는, 파일 취득부(141)로부터 출력된 동화상 파일의 동화상을 구성하는 화상에서의 일치점을 선택하는 것이며, 1개의 화상에 대해서 적어도 3개의 일치점이 선택된 경우에는, 이 선택된 일치점의 위치 및 선택 순서와, 선택 대상의 화상을 상대 관계 정보 산출부(270)에 출력한다. 이 일치점의 선택 조작은, 복수의 화상에 대해서 동시에 행하도록 해도 좋고, 1개의 동화상마다 차례로 행하도록 해도 좋다.
일치점 검색부(340)는, 동화상 기억부(200)에 기억되어 있는 복수의 동화상 파일 중 적어도 2개의 동화상에 대한 상대 관계 정보의 작성을 지시하는 지시 조작이 조작 접수부(165)에 의해 접수된 경우에는, 지정된 복수의 동화상을 구성하는 각 화상에 대해서, 적어도 3개의 일치점을 검색하는 것이며, 이 검색된 일치점의 위치를 포함하는 각 화상을 상대 관계 정보 산출부(270)에 출력한다. 이 일치점의 검색은, 예를 들어 화상의 대소에 관계 없이, 화상에 포함되는 물체를 인식하는 것이 가능한 일반 물체 인식 등의 기술(예를 들어, 일본 특허 공개 제2002-65399호를 참조)을 이용함으로써 실현할 수 있다. 또한, 일치점 검색부(340)에 대해서는, 도 28을 참조해서 상세하게 설명한다.
상대 관계 정보 산출부(270)는, 일치점 선택부(260) 또는 일치점 검색부(340)로부터 출력된 적어도 2개의 화상 및 이것들의 화상에서의 적어도 3개의 일치점을 기초로 하여, 이들의 화상에 관한 상대 관계 정보로서의 아핀 변환 파라미터를 산출하는 것이며, 산출된 아핀 변환 파라미터와, 이 아핀 변환 파라미터의 산출에 이용된 동화상의 동화상 ID 및 화상의 프레임 번호를 기록 제어부(131)에 출 력한다. 또한, 이들의 화상에 관한 아핀 변환 파라미터의 산출에 대해서는, 도 30, 도 31 등을 참조해서 상세하게 설명한다. 또한, 본 발명의 실시 형태에서는, 상대 관계 정보로서, 아핀 변환 파라미터를 이용하는 예에 대해서 설명하지만, 사영 변환 파라미터 등의 다른 화상 변환 정보를 이용하도록 해도 좋다. 또한, 아핀 변환 파라미터는 3점의 벡터를 이용하여 계산해서 구할 수 있고, 사영 변환 파라미터는 4점의 벡터를 이용하여 계산해서 구할 수 있다.
대상 화상 변환 정보 산출부(280)는, 복수 동화상의 합성 재생이 지시된 경우에, 파일 취득부(141)로부터 출력된 메타 데이터 파일 및 상대 관계 메타 데이터 파일의 아핀 변환 파라미터를 기초로 하여, 재생의 대상이 되는 복수의 동화상 중 1개의 동화상을 구성하는 적어도 1개의 화상을 기준 화상으로 하고, 다른 동화상을 구성하는 각 화상을 대상 화상으로 한 경우에, 이 대상 화상의 변환에 이용되는 대상 화상 변환 정보를 산출하는 것이다. 그리고 산출된 대상 화상 변환 정보를 화상 변환부(151)에 출력한다. 1개의 동화상에서의 기준 화상에 대해서는, 예를 들어 1개의 동화상을 구성하는 화상 중 선두 프레임에 대응하는 화상을 이용할 수 있다. 또한, 대상 화상 변환 정보는, 예를 들어 기준 화상에 대한 대상 화상의 변환에 이용되는 아핀 변환 파라미터이다. 또한, 대상 화상 변환 정보의 산출에 대해서는, 도 32 등을 참조해서 상세하게 설명한다.
화상 합성부(171)는, 화상 메모리(180)에 유지되어 있는 바로 앞까지의 각 프레임에 대응하는 합성 화상에, 화상 변환부(151)에 의한 아핀 변환 후의 화상을 덮어씀으로써 화상을 합성하고, 합성된 새로운 합성 화상을 화상 메모리(180)에 보 존하는 것이다. 또한, 화상 합성부(171)는, 복수 동화상의 합성 재생이 지시된 경우에는, 화상 메모리(180)에 유지되어 있는 바로 앞까지의 각 프레임에 대응하는 합성 화상에, 기준 화상을 기준으로 하여 화상 변환부(151)에 의해 아핀 변환된 각 화상을 덮어씀으로써 화상을 합성하고, 합성된 새로운 합성 화상을 화상 메모리(180)에 보존한다. 또한, 화상 합성부(171)는 표시 배율의 값에 따라서 결정되는 표시 영역의 크기를 기초로 하여, 화상 변환부(151)에 의한 아핀 변환 전의 현 화상을 표시용 메모리(231)에 유지되는 합성 화상에 덮어씀으로써 합성한다. 여기에서, 표시용 메모리(231)에 합성되는 현 화상의 크기에 대해서는, 표시 배율의 값에 따라서 결정된다. 또한, 복수의 동화상의 재생 개시 위치에 대해서는, 조작 접수부(165)로부터의 조작 입력에 따라서, 각각 결정하도록 해도 된다. 또한, 이들의 화상 합성에 대해서는, 도 32 내지 도 34 등을 참조해서 상세하게 설명한다.
표시용 메모리(231)는, 표시 영역 취출부(190)에 의해 화상 메모리(180)로부터 취출된 화상을 유지하는 표시용 버퍼이며, 유지되어 있는 화상이 표시부(250)에 표시된다.
도 28은, 본 발명의 실시 형태에서의 일치점 검색부(340)의 기능 구성 예를 도시하는 블록도이다. 일치점 검색부(340)는, 동화상 취득부(145)와, 다중 해상도 생성부(341)와, 특징점 추출부(342)와, 특징량 추출부(343)와, 모델 사전 등록부(344)와, 다중 해상도 생성부(345)와, 특징점 추출부(346)와, 특징량 추출부(347)와, kd 트리 구축부(348)와, 특징량 비교부(349)를 포함한다. 그리고 일치점 검색부(340)는, 복수의 동화상을 구성하는 프레임 간의 부분적인 일치도를 계산 하고, 이 계산된 일치도를 기초로 하여 복수의 동화상을 자동적으로 관련되게 만드는 것이다.
동화상 취득부(145)는, 조작 접수부(165)로부터의 동화상 취득에 따른 조작 입력에 따라서, 동화상 기억부(200)에 기억되어 있는 2개의 동화상 파일을 취득하는 것이며, 취득된 1개의 동화상 파일을 구성하는 화상을 프레임마다 다중 해상도 생성부(341)에 출력한다. 또한, 다른 동화상 파일을 구성하는 화상을 프레임마다 다중 해상도 생성부(345)에 출력한다.
다중 해상도 생성부(341)는, 동화상 취득부(145)로부터 출력된 화상에 대해서, 미리 정해져 있는 비율로 해상도를 저하시킴으로써, 복수의 서로 다른 해상도의 화상으로 이루어지는 다중 해상도 화상을, 인식 시에서의 경우보다도 세밀한 정밀도로 생성하는 것이며, 생성된 다중 해상도 화상을 특징점 추출부(342)에 출력한다.
특징점 추출부(342)는, 다중 해상도 생성부(341)로부터 출력된 다중 해상도 화상의 각각의 해상도의 화상에 대해서 특징점을 추출하는 것이며, 추출된 특징점을 특징량 추출부(343)에 출력한다. 이 특징점의 추출 방법은, 예를 들어 도 3에 나타내는 특징점 추출부(121)에 의한 특징점 추출 방법과 같은 방법을 이용할 수 있다.
특징량 추출부(343)는, 특징점 추출부(342)로부터 출력된 특징점에서의 적어도 2개의 국소적인 특징량을 추출하는 것이며, 추출된 특징량을 모델 사전 등록부(344)에 등록시키는 것이다. 여기에서, 특징량 추출부(343)에 의해 추출되는 2 개의 국소적인 특징량은, 제1 타입의 특징량으로서 특징점 근방의 농도 구배의 방향 히스토그램이 추출되고, 제2 타입의 특징량으로서 차원 축퇴 농도 구배 벡터가 추출된다.
모델 사전 등록부(344)는, 특징량 추출부(343)로부터 출력된 특징량을 등록 하는 것이며, 등록되어 있는 특징량을 kd 트리 구축부(348)에 공급한다.
다중 해상도 생성부(345)는, 동화상 취득부(145)로부터 출력된 화상에 대해서, 미리 정해져 있는 비율로 해상도를 저하시킴으로써, 복수의 다른 해상도의 화상으로 이루어지는 다중 해상도 화상을, 학습 시에서의 경우보다도 거친 정밀도로 생성하는 것이며, 생성된 다중 해상도 화상을 특징점 추출부(346)에 출력한다.
특징점 추출부(346)는, 다중 해상도 생성부(345)로부터 출력된 다중 해상도 화상의 각각의 해상도의 화상에 대해서 특징점을 추출하는 것이며, 추출된 특징점을 특징량 추출부(347)에 출력한다. 이 특징점의 추출 방법은, 예를 들어 특징점 추출부(342)와 마찬가지의 방법을 이용할 수 있다.
특징량 추출부(347)는, 특징점 추출부(346)로부터 출력된 특징점에서의 적어도 2개의 국소적인 특징량을 추출하는 것이며, 추출된 특징량을 특징량 비교부(349)에 출력하는 것이다. 이 특징량 추출은, 예를 들어 특징량 추출부(343)와 마찬가지의 방법을 이용할 수 있다.
kd 트리 구축부(348)는, 모델 사전 등록부(344)에 등록되어 있는 각 특징량을 기초로 하여, 특징량 비교부(349)에 의한 특징량의 비교에 이용되는 kd 트리를 구축하는 것이며, 구축된 kd 트리를 특징량 비교부(349)에 출력한다. 여기에서, 특징량 비교부(349)에 의해 특징량이 비교되는 경우, 특징량 추출부(347)로부터 추출된 각 특징점 특징량과, 모델 사전 등록부(344)에 등록되어 있는 각 특징점 특징량이 비교되어, 유사한 특징량 추출부(347)로부터 추출된 특징점 특징량과 모델 사전 등록부(344)에 등록되어 있는 특징점 특징량과의 조합이 검색된다. 이 특징량 비교 방법으로서, 가장 단순한 방법은 전체 탐색이다. 즉, 특징량 추출부(347)로부터 추출된 각 특징점 특징량에 대하여, 모델 사전 등록부(344)에 등록되어 있는 각 특징점 특징량과의 특징량 간 유사도의 계산을 행하고, 이 계산된 유사도를 기초로 하여, 유사한 특징점 특징량의 조합을 선택하는 방법이 가장 단순한 방법이다. 그러나 전체 탐색에 의한 방법은, 처리 시간이 길어진다. 따라서, 본 발명의 실시 형태에서는, 대량의 데이터 군으로부터 데이터를 고속으로 탐색하기 위해, kd 트리라고 하는 데이터 구조를 이용한 트리 탐색 방법(J.H.Friedman, J.L.Bentley, R.A.Finkel:"An algorithm for finding best matches in logarithmic expected time," ACM Transactions on Mathematical Software, Vol.3, No.3, pp.209-226, September 1977.)을 이용하는 예에 대해서 설명한다. Kd 트리는, k차원의 트리 구조의 트리를 의미한다. 또한, 본 발명의 실시 형태에서는, 타입 1의 특징량의 36d트리(k = 36)와 타입 2의 특징량의 18d 트리(k = 18)가 각각 구축된다. 구축된 트리의 각 리프(종단부 노드)에는, 1개의 특징점 특징량이, 그 특징량이 어떤 프레임의 다중 해상도 화상군의, 어떤 화상의, 어떤 스케일로부터 추출된, 어떤 특징점의 특징량인지 등을 참조할 수 있는 라벨 등의 정보와 함께 유지된다.
특징량 비교부(349)는, 특징량 추출부(347)로부터 추출된 각 특징점 특징량 과, kd 트리 구축부(348)에 의해 구축된 Kd 트리로서 표현된 각 특징점 특징량을 비교하여, k-NN(k　Nearest　Neighbor) 탐색함으로써, 유사도를 계산해서 유사한 특징점 특징량의 조합을 검색하고, 검색된 특징점 특징량의 조합에 대응하는 특징점의 위치를 일치점으로서 상대 관계 정보 산출부(270)에 출력한다. 여기에서, 1 또는 복수의 동화상에 관한 특징량을 모델 사전 등록부(344)에 미리 등록해 두고, 동화상 취득부(145)가 동화상 기억부(200)에 기억되어 있는 다른 동화상 파일을 순차적으로 취득하고, 등록된 동화상과 다른 동화상에 대해서 일치점을 순차적으로 검색하도록 해도 된다. 또한, 동화상 기억부(200)에 기억되어 있는 각 동화상 파일을, 일치점 검색부(340)가 순차적으로 취득하여, 동화상 기억부(200)에 기억되어 있는 각 동화상 파일에 관한 일치점을 자동적으로 순차적으로 검색하도록 해도 된다. 또한, 검색의 대상이 되는 일치점에 대해서는, 도 31을 참조해서 상세하게 설명한다.
도 29는, 본 발명의 실시 형태에서의 동화상 기억부(200) 및 상대 관계 정보 기억부(220)에 기록되어 있는 각 파일을 모식적으로 나타내는 도면이다. 본 예에서는, 동화상 기억부(200)에 기억되어 있는 동화상 파일(201 내지 204)과, 동화상 파일(201 내지 204)에 관련지어 상대 관계 정보 기억부(220)에 기억되어 있는 상대 관계 메타 데이터 파일(221 내지 223)을 모식적으로 나타내는 도면이다. 본 예에서는, 동화상 파일(#1)(201)을 구성하는 프레임「5」(1361) 및 프레임「8」(1362)과, 동화상 파일(#2)(202)을 구성하는 프레임「7」(1363) 및 프레임「9」(1364)와, 동화상 파일(#3)(203)을 구성하는 프레임「3」(1365) 및 프레임「10」(1366)이, 상 대 관계 정보 기억부(220)에 기억되어 있는 상대 관계 메타 데이터 파일(221 내지 223)에 관련지어 기억되어 있는 예에 대해서 설명한다. 또한, 동화상 기억부(200)에 기억되어 있는 각 동화상 파일에 대해서는, 도 4에 나타내는 동화상 파일과 마찬가지이므로, 여기에서의 설명을 생략한다.
상대 관계 메타 데이터 파일(221 내지 223)에는, 동화상 ID(224)와, 프레임 번호(225)와, 아핀 변환 파라미터(226)가 관련지어 각각 저장되어 있다.
동화상 ID(224)는, 적어도 3개의 일치점을 서로 포함하는 2개의 화상에 대응하는 2개의 동화상 파일에 부여되어 있는 동화상 ID이며, 예를 들어 상대 관계 메타 데이터 파일(221)에는, 동화상 파일(201)에 부여되어 있는「#1」 및 동화상 파일(202)에 부여되어 있는「#2」가 저장된다.
프레임 번호(225)는, 적어도 3개의 일치점을 서로 포함하는 2개의 화상에 대응하는 2개의 프레임의 일련 번호이며, 예를 들어 상대 관계 메타 데이터 파일(221)에는, 동화상 파일(201)의 동화상을 구성하는 프레임의 프레임 번호「5」 및 동화상 파일(202)의 동화상을 구성하는 프레임의 프레임 번호「7」이 저장된다.
아핀 변환 파라미터(226)는, 동화상 ID(224) 및 프레임 번호(225)에 대응하는 적어도 2개의 화상에 대해서 계산된 아핀 변환 파라미터이며, 예를 들어 상대 관계 메타 데이터 파일(221)에는, 동화상 파일(201)의 동화상을 구성하는 프레임「5」 및 동화상 파일(202)의 동화상을 구성하는 프레임「7」에 대응하는 아핀 변환 파라미터로서「ao, bo, co, do, eo, fo」가 저장된다. 또한, 본 발명의 실시 형태에서는, 아핀 변환 파라미터(226)는, 대응하는 2개의 동화상 ID(224) 및 프레임 번 호(225) 중 도 29에 나타내는 하측의 프레임 번호에 대응하는 화상을 기준 화상으로 하여, 상측을 대상 화상으로 한 경우에서의 아핀 변환 파라미터인 것으로 한다. 예를 들어, 상대 관계 메타 데이터 파일(221)에 저장되어 있는 아핀 변환 파라미터(226)는, 동화상 파일(#1)(201)의 동화상을 구성하는 프레임「5」(1361)의 동화상 파일(#2)(202)의 동화상을 구성하는 프레임「7」(1363)에 대한 아핀 변환 파라미터이다.
도 30은, 화상에 포함되는 일치점을 선택함으로써 2개의 화상에 관한 아핀 변환 파라미터를 산출하는 아핀 변환 파라미터 산출 방법, 및 그 선택된 일치점을 기초로 하여 2개의 화상을 합성시킨 경우를 개략적으로 나타내는 도면이다. 도 30의 (a)에는, 기준이 되는 1개의 동화상을 구성하는 기준 화상의 일례인 화상(370)을 나타내고, 도 30의 (b)에는, 비교 대상이 되는 다른 동화상을 구성하는 비교 대상 화상의 일례인 화상(376)을 나타낸다. 도 30의 (a) 및 (b)에 도시하는 화상(370 및 376)은, 화상(370 또는 376) 중 어느 하나를 포함하는 2개의 동화상을 표시부(250)에서의 재생 중에 정지시킨 상태를 나타내는 화상이다. 본 예에서는, 표시부(250)에 동화상을 정지시킨 상태에서, 이 동화상의 정지 시에 표시되어 있는 화상에서의 일치점을 수동으로 지정하는 경우에서의 선택 방법을 개략적으로 나타낸다. 도 30의 (c)에는, 화상(370 및 376)에 있어서 선택된 각 일치점을 이용하여, 아핀 변환 파라미터를 산출하는 경우에 이용되는 옵티컬 플로우의 검출 예를 나타낸다. 또한, 도 30의 (d)에는, 화상(370 및 376)에 있어서 선택된 각 일치점을 기초로 하여, 화상(370 및 376)을 합성시킨 경우의 일례를 나타낸다.
도 30의 (a) 및 (b)에 도시하는 화상(370 및 376)에는, 동일한 대상물인 집(371)이 포함되어 있는 것으로 한다. 여기에서, 화상(370)을 포함하는 동화상,및 화상(376)을 포함하는 동화상에 관한 상대 관계 메타 데이터 파일을 사용자의 수동 조작에 의해 작성하는 경우에는, 이것들의 2개의 동화상을 사용자가 수동 조작에 의해 재생시켜, 동일한 대상물이 포함되는 화상을 표시부(250)에 표시시킨다. 예를 들어, 동일한 대상물인 집(371)이 포함되어 있는 화상(370 및 376)을 표시부(250)에 표시시킨다. 이 경우에, 화상(370 및 376)의 2개의 화상을 표시부(250)에서의 동일한 화면 상에 표시시키도록 해도 좋고, 1개의 화상을 차례로 표시시키도록 해도 좋다.
예를 들어, 도 30의 (a)에 도시하는 화상(370)이 표시부(250)에 표시되어 있는 상태에서, 조작 접수부(165)에 있어서 사용자가 조작 입력을 행함으로써, 커서(375)를 이용해서 집(371)의 지붕 상부 부분(372), 집(371)의 하측의 각이진 부분(373 및 374)을 지정한다. 커서(375)는, 예를 들어 열십자 버튼(162)에 의한 조작 입력에 의해 이동시키도록 해도 좋고, 다른 조작 부재에 의한 조작 입력에 의해 이동시키도록 해도 좋다. 예를 들어, 지정해야 할 부분에 커서(375)를 겹친 상태에서 지정 조작을 행함으로써 원하는 부분을 지정할 수 있다. 이와 같이 지정 조작이 행해진 경우에는, 예를 들어 도 30의 (a)에 도시한 바와 같이, 지정 조작이 된 부분에 동그라미를 붙여서 그 부분을 사용자에게 인식시킬 수 있다. 또한, 도 30의 (b)에 도시하는 화상(376)에 대해서도, 마찬가지로, 집(371)의 지붕 상부 부분(377)과, 집(371)의 하측의 각이진 부분(378 및 379)을 지정한다. 이것들의 지 정 조작이 사용자에 의해 행해지면, 이 지정된 위치를 일치점 선택부(260)가 화상에서의 일치점으로서 선택하고, 이 선택된 일치점의 위치 및 지정된 순서를 화상과 함께 상대 관계 정보 산출부(270)에 출력한다.
도 30의 (a) 및 (b)에 도시한 바와 같이, 2개의 화상(370 및 376)에 있어서, 각각 3개의 일치점이 선택된 경우에는, 상대 관계 정보 산출부(270)가, 이것들의 일치점을 기초로 하여 벡터를 산출하고, 이 산출된 벡터를 이용하여, 아핀 변환 파라미터를 산출한다. 이 벡터는, 예를 들어 지정된 일치점의 순서를 기초로 하여, 2개의 화상에 있어서 대응하는 일치점의 조합을 선택하여, 이 일치점의 조합에 의해 산출된다. 예를 들어, 화상(370)에 있어서 집(371)의 지붕 상부 부분(372), 집(371)의 하측의 각이진 부분(373, 374)의 순서로 지정 조작이 행해지고, 또한 화상(376)에 있어서, 집(371)의 지붕 상부 부분(377), 집(371)의 하측의 각이진 부분(378, 379)의 순서로 지정 조작이 행해진 경우에는, 화상(370)에서의 상부 부분(372)과, 화상(376)에서의 상부 부분(377)에 대해서 벡터가 산출되고, 화상(370)에서의 각이진 부분(373)과, 화상(376)에서의 각이진 부분(378)에 대해서 벡터가 산출되고, 화상(370)에서의 각이진 부분(374)과, 화상(376)에서의 각이진 부분(379)에 대해서 벡터가 산출된다. 이와 같이, 화상(370 및 376)에 있어서 선택된 각 일치점을 기초로 하여 산출된 벡터를, 도 30의 (c)에 화살표(381 내지 383)로 나타낸다. 또한, 도 30의 (c)에 도시하는 화상(380)에서는, 도 30의 (a)에 도시하는 화상(370)에 포함되는 선을 점선으로 나타내고, 도 30의 (b)에 도시하는 화상(376)에 포함되는 선을 실선으로 나타낸다. 이렇게 산출된 벡터를 이용하여, 아 핀 변환 파라미터가 산출된다. 이 아핀 변환 파라미터의 산출에 대해서는, 도 6 및 도 7에서 나타낸 산출 방법과 마찬가지이다. 또한, 본 발명의 실시 형태에서는, 일치점을 이용해서 산출된 아핀 변환 파라미터의 행렬의 역행렬에 대응하는 아핀 변환 파라미터를, 상대 관계 메타 데이터로서 이용하는 예에 대해서 설명한다. 즉, 상대 관계 메타 데이터로서 이용되는 아핀 변환 파라미터를, 일치점이 구해진 2개의 화상 간의 벡터에 의해 나타내는 아핀 행렬이 아닌, 2개의 화상 중 하나의 화상을 기준 화상으로 한 경우에, 다른 화상이 어디로 이동하는지를 나타내는 아핀 행렬에 대응하는 아핀 변환 파라미터라 정의한다.
또한, 상대 관계 정보 산출부(270)는, 지정된 순서를 이용하지 않고 아핀 변환 파라미터를 산출하도록 해도 된다. 예를 들어, 각 화상에 있어서 일치점으로서 선택된 3점의 각각의 조합에 대해서 벡터를 산출한다. 2개의 화상에 있어서 3개의 일치점이 각각 선택되어 있는 경우에는, 각 화상에서의 일치점의 조합으로서 6가지의 조합을 생각할 수 있다. 계속해서, 이 6가지의 조합에 대해서 산출된 각 벡터를 이용하여, 6가지의 아핀 변환 파라미터를 산출한다. 계속해서, 2개의 화상 중 한 쪽 화상을 기준 화상으로 하고, 다른 화상을 비교 대상 화상으로 하여, 산출된 6가지의 아핀 변환 파라미터를 이용하여, 비교 대상 화상을 순차적으로 아핀 변환한다. 이에 의해, 1개의 기준 화상과, 6개의 아핀 변환된 비교 대상 화상이 작성된다. 계속해서, 기준 화상에서의 3개의 일치점을 꼭지점으로 하는 삼각형의 내부에 존재하는 화소와, 아핀 변환된 비교 대상 화상에서의 3개의 일치점을 꼭지점으로 하는 삼각형의 내부에 존재하는 화소를 비교함으로써, 각 삼각형의 내부에 존재 하는 화소의 휘도치의 차분치를 차례로 산출한다. 이에 의해, 6가지의 아핀 변환 파라미터에 대응하는 6개의 차분치의 제곱의 합계치가 산출된다. 계속해서, 산출된 6개의 차분치 중에서, 값이 가장 작은 차분치에 따른 아핀 변환 파라미터를 선택하고, 이 선택된 아핀 변환 파라미터를, 일치점의 지정 조작이 된 2개의 화상에 관한 아핀 변환 파라미터로서 결정한다.
또한, 예를 들어 화상(370 및 376)에 있어서 선택된 각 일치점을 기초로 하여 산출된 아핀 변환 파라미터를 이용하여, 화상(370)을 아핀 변환해서 화상(376)에 덮어쓰기 합성한 경우에는, 도 30의 (d)에 도시하는 화상(384)이 작성된다. 이와 같이, 산출된 아핀 변환 파라미터를 이용해서 화상(370 및 376)을 합성함으로써, 집(371) 주위의 배경이 각 화상에서의 배경보다도 광범위하게 포함된 합성 화상이 작성된다.
도 31은, 화상에 포함되는 일치점을 선택함으로써 2개의 화상에 관한 아핀 변환 파라미터를 산출하는 아핀 변환 파라미터 산출 방법을 개략적으로 나타내는 도면이다. 여기에서는, 도 27 및 도 28에 나타내는 일치점 검색부(340)에 의해 화상에 포함되는 일치점이 검색되고, 이 검색된 일치점을 이용해서 2개의 화상에 관한 아핀 변환 파라미터를 산출하는 예에 대해서 설명한다. 또한, 도 31의 (a) 내지 (c)에 도시하는 화상(370, 376, 380)은, 일치점 검색부(340)에 의해 검색된 각 특징점을 동그라미로 나타내는 점 이외는, 도 30의 (a) 내지 (c)에 도시하는 화상(370, 376, 380)과 같은 것이다. 전술한 바와 같이, 일치점 검색부(340)는, 동화상을 구성하는 프레임 간의 부분적인 일치도를 계산하고, 이 계산된 일치도를 기 초로 하여 복수의 화상을 자동적으로 관련되게 만든다. 2개의 동화상에 대해서 일치점의 검색이 행해지는 경우에, 예를 들어 화상(370)에서의 특징점으로서 특징점(801 내지 810, 372 내지 374)이 추출되고, 화상(376)에서의 특징점으로서 특징점(811 내지 823, 377 내지 379)이 추출된다. 그리고 추출된 특징점 중에서, 각 화상에 있어서 유사한 특징점의 조합이 선택된다. 예를 들어, 화상(370 및 376)에 있어서는, 특징점(805 내지 810, 372 내지 374)과, 특징점(818 내지 823, 377 내지 379)이 선택된다. 도 31의 (a) 및 (b)에서는, 이 매치되는 특징점을 굵은 동그라미로 나타낸다. 이렇게 선택된 특징점 중에서, 아핀 변환 파라미터의 산출에 이용되는 3개의 특징점이 일치점으로서 검색된다. 예를 들어, 화상(370 및 376)에 있어서는, 특징점(372 내지 374)과, 특징점(377 내지 379)이 일치점으로서 검색된다. 이 일치점의 검색은, 예를 들어 유사도의 스코어가 가장 높은 스코어인 특징점의 조합을 선택한다. 그리고 이 검색된 일치점을 기초로 하여 벡터가 산출되고, 이 벡터를 기초로 하여 아핀 변환 파라미터가 산출된다. 또한, 이들의 아핀 변환 파라미터의 산출에 대해서는, 도 30에서 나타낸 산출 방법과 마찬가지이다.
도 32는, 2개의 동화상을 합성하는 경우에서의 합성예를 모식적으로 나타내는 도면이다. 본 예에서는, 동화상(500)을 구성하는 화상(501 내지 514)과, 동화상(520)을 구성하는 화상(521 내지 527)을 합성하는 경우에 대해서 설명한다. 또한, 내부를 사선으로 나타내는 화상(508 및 524)은, 동화상(500 및 520)에 관한 상대 관계 메타 데이터에 포함되는 프레임 번호에 대응하는 화상인 것으로 한다.
도 32의 (a)에서는, 동화상(500)을 구성하는 화상(501 내지 514)을, 각 프레 임에 관련지어 기억되어 있는 아핀 변환 파라미터를 이용해서 순차적으로 아핀 변환해 가, 화상 메모리(180) 위에 합성하는 경우를 나타낸다. 예를 들어, 처음에, 선두 프레임에 대응하는 화상(501)이 화상 메모리(180)에 유지된다. 그리고 화상(501)을 기준으로 하여 화상(502 내지 514)이 순차적으로 아핀 변환되어서 화상 메모리(180)에 합성된다. 이 아핀 변환에 의한 현 화상의 흐름을 화살표(515)로 나타낸다. 즉, 화살표(515)를 따르는 바와 같이 화상(501 내지 514)이 순차적으로 합성된다.
도 32의 (b)에서는, 동화상(520)을 구성하는 화상(521 내지 527)을, 각 프레임에 관련지어 기억되어 있는 아핀 변환 파라미터를 이용해서 순차적으로 아핀 변환해 가, 화상 메모리(180) 위에 합성하는 경우를 나타낸다. 또한, 도 32의 (c)에서는, 동화상(500 및 520)에 관한 상대 관계 메타 데이터에 포함되는 아핀 변환 파라미터에 의해, 화상(501)을 기준 화상으로 하여 화상(524)을 아핀 변환한 경우에서의 화상(508) 및 화상(524)의 상대 관계 위치를 나타낸다. 여기에서, 도 32의 (b)에 도시하는 합성 화상은, 도 32의 (c)에 도시하는 화상(508) 및 화상(524)의 상대 관계 위치를 기준으로 하여, 화상(521 내지 527)이 합성된 경우를 나타내는 것이다. 이 경우의 아핀 변환에 의한 현 화상의 흐름을 화살표(528)로 나타낸다. 즉, 화살표(528)를 따르는 바와 같이 화상(521 내지 527)이 순차적으로 합성된다. 이와 같이, 도 32의 (c)에 도시하는 화상(508) 및 화상(524)의 상대 관계 위치를 기준으로 하여, 도 32의 (a)에 도시하는 합성 화상 및 도 32의 (b)에 도시하는 합성 화상이 합성된 경우에서의 합성예를 도 32의 (d)에 도시한다. 또한, 도 32의 (d)에 도시하는 예에서는, 화상(508 및 524)이 동시각에 재생되는 경우를 나타내고, 동시각에 재생되는 각 화상은, 동화상(520)이 동화상(500)보다도 덮어쓰기 합성되는 예를 나타낸다.
여기에서, 구체적인 각 동화상의 유지 위치에 관한 계산 방법에 대해서 설명한다. 처음에, 복수의 동화상 중 하나의 동화상을 구성하는 적어도 1개의 동화상의 위치가 결정된다. 예를 들어, 동화상(500)을 구성하는 선두 프레임에 대응하는 화상(501)의 위치가 결정된다. 이 결정되는 위치는, 조작 접수부(165)에 있어서 사용자가 지정해도 좋고, 전술한 계산에 의해 산출된 위치를 이용하여 결정해도 좋다. 계속해서, 다른 동화상을 구성하는 화상 중 적어도 1개의 화상의 유지 위치가 산출된다. 예를 들어, 화상(501 내지 514)에 대응하는 각 프레임에 관련지어져 있는 아핀 변환 파라미터의 행렬을, A1 내지 A14로 한다. 또한, 화상(521 내지 527)에 대응하는 각 프레임에 관련지어져 있는 아핀 변환 파라미터의 행렬을, B1 내지 B7로 한다. 또한, 동화상(500 및 520)에 관련지어 기억되어 있는 상대 관계 메타 데이터의 아핀 변환 파라미터의 행렬을 C1로 한다. 여기에서, 기준 화상은 화상(501)으로 한다. 화상 메모리(180) 위에서의 화상(501)의 유지 위치를 기준으로 한 경우에, 화상(508)의 유지 위치는, A1 내지 A8의 승산에 의해 산출된다. 즉, A1 × … × A8을 이용해서 산출된다. 또한, 화상 메모리(180) 위에서의 화상(501)의 유지 위치를 기준으로 한 경우에, 화상(524)의 유지 위치는, A1 내지 A8, C1의 승산에 의해 산출된다. 즉, A1 × … × A8 × C1을 이용해서 산출된다. 여기에서, 예를 들어 동화상(520)의 선두 프레임에 대응하는 화상(521)의 유지 위 치를 산출하는 경우에는, A1 내지 A8 및 C1과, B1 내지 B4의 역행렬의 승산에 의해 산출할 수 있다. 즉,「A1 × … × A8 × C1 × Inv(B1 × … × B4)」를 이용해서 화상(521)의 유지 위치를 산출할 수 있다. 또한, 동화상(520)을 구성하는 다른 화상에 대한 유지 위치에 대해서도 마찬가지로, A1 내지 A8 및 C1과, B1 내지 B4의 역행렬 또는 B5 내지 B7를 이용해서 산출하는 것이 가능하다.
또한, 기준 화상을 포함하는 동화상 이외의 동화상을 구성하는 화상을 아핀 변환하는 경우에는, 선두 프레임에 대응하는 화상의 유지 위치의 산출에 이용된 행렬과, 화상에 관련된 아핀 변환 파라미터를 이용해서 행한다. 예를 들어, 동화상(520)의 화상(522)을 아핀 변환하는 경우에는, 화상(522)에 대응하는 행렬 B2를 이용하여,「A1 × … × A8 × C1 × Inv(B3 × B4)」의 행렬에 의해 변환된다. 또한, 예를 들어 동화상(520)의 화상(523)을 아핀 변환하는 경우도 마찬가지로,「A1 × … × A8 × C1 × Inv(B4)」의 행렬에 의해 변환된다. 마찬가지로, 동화상(520)의 각 화상이 변환된다.
이와 같이, 복수의 동화상에 대해서 합성하여 재생하는 경우에는, 1개의 동화상의 기준 화상의 화상 메모리(180)에서의 위치 및 크기를 결정한 후에, 각 동화상의 각각에 관련지어져 있는 메타 데이터 파일과, 각 동화상에 관련지어져 있는 상대 관계 메타 데이터 파일를 이용하여, 각 화상의 위치 및 크기를 산출할 수 있다. 이로 인해, 복수의 동화상에 대해서 합성해서 재생하는 경우에는, 각 동화상 중 어느 하나의 위치로부터도 재생시키는 것이 가능하다. 예를 들어, 도 32의 (d)에 도시하는 화상 메모리(180) 상에서는, 동화상(500)을 구성하는 화상(501 내지 504)이 합성된 후에, 동화상(520)을 구성하는 화상(521)이 합성되는 예를 나타낸다. 즉, 화상(505 및 521)이 동시에 합성되고, 계속해서, 화상(506 및 522)이 동시에 합성된다. 이후도 마찬가지로 합성된다. 또한, 본 예에서는, 동시각에 재생되는 각 화상은, 동화상(520)이 동화상(500)보다도 덮어쓰기 합성되는 예를 나타내지만, 덮어쓰는 동화상을 조작 접수부(165)에 있어서 지정하도록 해도 된다. 또한, 표시 영역은, 기준 동화상에 따른 현 화상을 기초로 하여 결정된다.
도 33은, 2개의 동화상을 합성하는 경우에서의 합성예를 모식적으로 나타내는 도면이다. 도 33의 (a)에는, 동화상(530)을 구성하는 화상(531 내지 537)의 천이를 나타내고, 도 33의 (b)에는, 동화상(540)을 구성하는 화상(541 내지 547)의 천이를 나타내고, 도 33의 (c)에는, 동화상(530 및 540)이 합성된 경우에서의 합성 화상인 화상(551 내지 557)의 천이를 나타낸다. 또한, 동화상(530 및 540)은, 시각 t1 내지 t7에 기록된 동화상인 것으로 한다. 또한, 시각 t3에서의 화상(533 및 543)은, 도 30에 나타내는 화상(370 및 376)에 대응하는 화상이며, 화상(533 및 543)에 대해서 도 30에 나타내는 일치점의 선택 조작이 되어 있는 것으로 한다. 또한, 이 선택 조작에 의해 산출된 상대 관계 메타 데이터를 이용하여, 동화상(530 및 540)을 합성하는 것으로 한다.
도 34는, 도 33에 나타내는 합성 화상이 표시부(250)에 표시되는 경우에서의 표시예를 도시하는 도면이다. 화상(561 내지 567)은, 동화상(530 및 540)에 의해 합성된 합성 화상의 천이를 나타내는 화상이며, 실선은 현 화상을 나타내고, 점선은 현 화상 앞의 각 화상의 영역을 나타낸다. 도 34에 도시한 바와 같이, 도 30에 나타내는 집(371)을 중심으로 하여 집(371) 주위의 배경이 넓어지는 것처럼 표시된다. 이와 같이, 거의 같은 장소가 촬상된 동화상(530 및 540)을 동시에 재생하는 경우에, 동화상(530 및 540)을 합성함으로써, 통상의 동화상에서는 항상 볼 수 없는 배경 등을 보면서, 2개의 동화상을 재생해서 볼 수 있다. 또한, 동화상(530 및 540)을 합성함으로써, 동화상(530 및 540)의 촬상 장소의 상대 관계를 쉽게 파악할 수 있다. 본 예에서는, 동시각에 촬상된 화상에 대해서는, 동화상(530)을 구성하는 화상 위에, 동화상(540)을 구성하는 화상을 덮어쓰기 합성하는 예에 대해서 나타내지만, 조작 접수부(165)로부터의 조작 입력에 따라서, 어떠한 것을 덮어 쓸지를 선택하도록 해도 된다. 여기에서, 촬상 시각이 같은 것을, 시각에 따라서 합성하는 예에 대해서 설명했지만, 다른 시각끼리의 화상을, 조작 접수부(165)로부터의 조작 입력에 따른 위치로부터 순차적으로 합성하는 경우에 대해서도 마찬가지로 적용할 수 있다.
이상에서는, 2개의 동화상에 관한 아핀 변환 파라미터를 저장하는 상대 관계 메타 데이터 파일을 이용하여, 2개의 동화상을 합성하면서 재생하는 예에 대해서 설명했지만, 1개의 상대 관계 메타 데이터 파일에 3 이상의 동화상에 관한 아핀 변환 파라미터를 저장해 두고, 이것들의 아핀 변환 파라미터를 이용해서 3 이상의 동화상을 합성하면서 재생할 수 있다. 이하에서는, 3 이상의 동화상을 합성하면서 재생하는 예에 대해서 도면을 참조해서 상세하게 설명한다.
도 35는, 본 발명의 실시 형태에서의 동화상 기억부(200) 및 상대 관계 정보 기억부(220)에 기록되어 있는 각 파일을 모식적으로 나타내는 도면이다. 본 예에 서는, 동화상 기억부(200)에 기억되어 있는 동화상 파일(#12)(651) 내지 (#14)(653)과, 동화상 파일(#12)(651) 내지 (#14)(653)에 관련지어 상대 관계 정보 기억부(220)에 기억되어 있는 상대 관계 메타 데이터 파일(660)을 모식적으로 나타내는 도면이다. 본 예에서는, 1개의 상대 관계 메타 데이터 파일(660)에 3개의 동화상 파일(#12)(651) 내지 (#14)(653)에 관한 아핀 변환 파라미터가 저장되어 있는 예에 대해서 설명한다. 또한, 동화상 기억부(200)에 기억되어 있는 각 동화상 파일의 구성에 대해서는, 도 4 및 도 29 등에 도시하는 동화상 파일과 마찬가지이므로, 여기에서의 설명을 생략한다. 또한, 상대 관계 정보 기억부(220)에 기억되어 있는 상대 관계 메타 데이터 파일의 구성에 대해서는, 1개의 상대 관계 메타 데이터 파일에 3 이상의 동화상에 관한 아핀 변환 파라미터가 저장되어 있는 점 이외의 구성은, 도 29에 나타내는 상대 관계 메타 데이터 파일과 마찬가지이므로, 여기에서의 설명을 생략한다.
상대 관계 메타 데이터 파일(660)에는, 동화상 ID(224)와, 프레임 번호(225)와, 아핀 변환 파라미터(226)가 관련지어 저장되어 있다. 또한, 동화상 파일(#12)(651) 내지 (#14)(653)을 구성하는 각 화상 중에서, 각각 2개의 각 화상의 상대 관계에 관한 아핀 변환 파라미터가, 상대 관계 메타 데이터 파일(630)에 저장되어 있다. 구체적으로는, 동화상 파일(#12)(651)을 구성하는 프레임「2」(654)을 기준으로 한 경우에서의 동화상 파일(#13)(652)을 구성하는 프레임「5」(656)의 위치를 산출하는 아핀 변환 파라미터「at, bt, ct, dt, et, ft」와, 동화상 파일(#12)(651)을 구성하는 프레임「9」(655)을 기준으로 한 경우에서의 동화상 파 일(#14)(653)을 구성하는 프레임「6」(657)의 위치를 산출하는 아핀 변환 파라미터「au, bu, cu, du, eu, fu」가, 상대 관계 메타 데이터 파일(630)에 저장되어 있다. 이에 의해, 3개의 동화상을 합성하면서 재생하는 경우에, 3개의 동화상의 상대적인 관련성이 고려된 동화상을 재생할 수 있다.
도 36은, 3개의 동화상에 관한 화상에 포함되는 일치점을 선택하는 경우에서의 각 화상을 나타내는 도면이다. 또한, 도 36의 (a) 및 (b)에 도시하는 화상(370 및 376)은, 도 30의 (a) 및 (b)에 도시하는 화상(370 및 376)과 동일하며, 일치점(1372 내지 1374, 1377 내지 1379)이 선택되어 있는 것으로 한다. 또한, 도 36의 (b)에 도시하는 화상(376)에서는, 일치점(1372 내지 1374) 이외의 일치점으로서, 집(371)의 우측에 있는 전주의 상부 부분(671 내지 673)이 선택되어 있는 것으로 한다. 도 36의 (c)에 도시하는 화상(674)에 있어서는, 전주의 상부 부분(675 내지 677)이 선택되어 있는 것으로 한다. 또한, 도 36의 (a) 내지 (c)에 도시하는 화상 위에서의 일치점의 선택 및 아핀 변환 파라미터의 산출에 대해서는, 도 30에 나타내는 방법과 마찬가지이므로, 여기에서의 설명을 생략한다.
도 37은, 3개의 동화상에 관한 화상에 있어서 선택된 일치점을 기초로 하여 3개의 화상을 합성시킨 경우의 일례를 도시하는 도면이다. 도 37에서는, 도 36의 (a) 내지 (c)에 도시하는 화상(370, 376, 674)에 있어서 선택된 각 일치점을 기초로 하여 산출된 아핀 변환 파라미터를 이용하여, 화상(370, 376, 674)이 아핀 변환되어서 합성된 합성 화상(680)을 나타낸다. 이와 같이, 산출된 아핀 변환 파라미터를 이용하여, 3개의 동화상을 합성함으로써, 집(371) 주위의 배경이 각 화상에서 의 배경보다도 더욱 광범위하게 포함된 합성 화상(680)이 작성된다.
도 38은, 3개의 동화상을 합성하는 경우에서의 합성예를 모식적으로 나타내는 도면이다. 본 예에서는, 동화상(500)을 구성하는 화상(501 내지 514)과, 동화상(520)을 구성하는 화상(521 내지 527)과, 동화상(690)을 구성하는 화상(691 내지 697)을 합성하는 경우에 대해서 설명한다. 또한, 동화상(500)을 구성하는 화상(501 내지 514)과, 동화상(520)을 구성하는 화상(521 내지 527)에 대해서는, 도 32에 나타내는 것과 동일하므로, 여기에서의 설명을 생략한다. 또한, 내부를 사선으로 나타내는 화상(508 및 524)은, 동화상(500 및 520)에 관한 상대 관계 메타 데이터에 포함되는 프레임 번호에 대응하는 화상인 것으로 하고, 마찬가지로, 내부를 사선으로 나타내는 화상(510 및 694)은, 동화상(500 및 690)에 관한 상대 관계 메타 데이터에 포함되는 프레임 번호에 대응하는 화상인 것으로 한다. 도 38의 (a)에 도시하는 동화상(500)은, 내부를 사선으로 나타내는 화상(510) 이외는, 도 32에 나타내는 동화상(500)과 마찬가지이다.
도 38의 (b)에서는, 동화상(690)을 구성하는 화상(691 내지 697)을, 각 프레임에 관련지어 기억되어 있는 아핀 변환 파라미터를 이용해서 순차적으로 아핀 변환해 가, 화상 메모리(180) 위에 합성하는 경우를 나타낸다. 여기에서, 도 38의 (b)에 도시하는 합성 화상은, 화상(510) 및 화상(694)의 상대 관계 위치를 기준으로 하여, 화상(691 내지 697)이 합성된 경우를 나타내는 것이다. 이 경우의 아핀 변환에 의한 현 화상의 흐름을 화살표(698)로 나타낸다. 즉, 화살표(698)를 따르는 바와 같이 화상(691 내지 697)이 순차적으로 합성된다. 이와 같이, 화상(510) 및 화상(694)의 상대 관계 위치를 기준으로 하여, 도 38의 (a)에 도시하는 합성 화상, 도 38의 (b)에 도시하는 합성 화상, 및 도 32의 (b)에 도시하는 합성 화상이 합성된 경우에서의 합성예를 도 38의 (c)에 도시한다. 또한, 도 38의 (c)에 도시하는 예에서는, 화상(508 및 524)이 동시각에 재생되는 동시에, 화상(510 및 694)이 동시각에 재생되는 경우를 나타내고, 동시각에 재생되는 각 화상은, 동화상(520)이 동화상(500)보다도 덮어쓰기 합성되는 동시에, 동화상(690)이 동화상(500)보다도 덮어쓰기 합성되는 예를 나타낸다. 또한, 구체적인 각 동화상의 유지 위치에 관한 계산 방법에 대해서는, 도 32에서 나타낸 산출 방법과 마찬가지의 산출 방법을 이용할 수 있다. 또한, 재생의 대상이 되는 복수의 동화상에 관한 상대 관계 메타 데이터가 존재하지 않는 경우라도, 다른 동화상에 관한 상대 관계 메타 데이터를 이용하여, 재생의 대상이 되는 복수의 동화상을 합성해서 재생하는 것이 가능하다. 예를 들어, 도 38의 (c)에 도시하는 동화상(500), 동화상(520), 동화상(690) 중에서, 동화상(520) 및 동화상(690)을 합성시키는 경우에는, 동화상(500 및 520)에 관한 상대 관계 메타 데이터와, 동화상(500 및 690)에 관한 상대 관계 메타 데이터를 이용하여, 동화상(520) 및 동화상(690) 중 어느 하나를 기준 동화상으로 한 경우에서의 다른 동화상의 위치를 산출할 수 있다. 예를 들어, 동화상(520)을 기준 동화상으로 하는 경우에는, 화상(508) 및 화상(524)의 상대 관계 위치를 이용하여, 동화상(500)을 구성하는 화상(508)의 위치를 산출할 수 있다. 또한, 화상(508)을 기초로 하여 화상(510)의 위치를 산출할 수 있다. 그리고 화상(510) 및 화상(694)의 상대 관계 위치를 이용하여, 화상(510)을 기준으로 한 경 우에서의 동화상(690)을 구성하는 각 화상의 위치를 산출할 수 있다. 이와 같이, 공통의 상대 관계 메타 데이터가 존재하지 않는 동화상(520) 및 동화상(690)에 대해서도, 동화상(500)을 통해, 합성해서 재생시킬 수 있다. 또한, 2 이상의 동화상을 통해서 복수의 동화상을 합성해서 재생하는 경우에 대해서도 마찬가지로 적용할 수 있다.
도 39는, 정지 화상과 복수의 동화상을 합성하는 경우의 일례를 도시하는 도면이다. 도 39의 (a)는, 정지 화상인 화상(701 내지 718)이, 화상 메모리(180)에 유지되어 있는 경우를 나타내는 도면이며, 도 39의 (b)는, 화상 메모리(180)에 유지되어 있는 화상(701 내지 718) 위에, 동화상(500, 520, 690)을 덮어쓰기 합성하는 경우를 나타내는 도면이다. 이 도면에서는, 화상(701 내지 718)의 프레임 선을 굵은 선으로 나타낸다. 이 도면에 도시한 바와 같이, 복수의 동화상과 함께 정지 화상을 합성할 수 있다. 이 경우에는, 정지 화상과, 동화상을 구성하는 적어도 1개의 화상과의 상대 관계에 관한 아핀 변환 파라미터를, 상대 관계 메타 데이터 파일로서 저장해 두고, 이 상대 관계 메타 데이터 파일을 이용해서 합성을 행한다. 또한, 동화상을 구성하는 화상 사이에 정지 화상을 합성하도록 해도 좋고, 동화상 위에 정지 화상이 합성되도록 해도 좋다.
또한, 본 발명의 실시 형태에서의 촬상 장치(101)를 인터넷 등의 네트워크와 접속하고, 이 네트워크를 통해서 수신되는 화상 또는 동화상과 조합하여, 동화상을 재생하도록 해도 된다. 예를 들어, 네트워크를 통해서 소정의 공원의 풍경 화상을 촬상 장치(101)가 수신하고, 이 수신된 공원의 풍경 화상을 배경 화상으로 하고, 이 배경 화상 위에, 아이가 촬상된 동화상을 합성하면서 재생시킬 수 있다. 이에 의해, 그 공원을 아이가 이동하고 있는 것 같은 의사적인 재생 화상을 제공하는 것이 가능하다.
다음에, 본 발명의 실시 형태에서의 특징점 추출 처리 및 옵티컬 플로우 계산 처리를 멀티 코어 프로세서에 의해 행하는 경우에 대해 도면을 참조해서 상세하게 설명한다.
도 40은, 본 발명의 실시 형태에서의 멀티 코어 프로세서(800)의 하나의 구성 예를 도시하는 도면이다. 멀티 코어 프로세서(800)는, 1개의 CPU(Central Processing　Unit) 패키지 위에 다른 종류의 프로세서 코어가 복수 탑재되어 있는 프로세서이다. 즉, 멀티 코어 프로세서(800)에는, 각 프로세서 코어 단일 부재의 처리 성능을 유지하는 동시에, 심플한 구성으로 하기 위해, 모든 용도(애플리케이션)에 대응하는 1종류의 코어와, 소정의 용도에 어느 정도 최적화되어 있는 다른 종류의 코어와의 2종류의 프로세서 코어가 복수 탑재되어 있다.
멀티 코어 프로세서(800)는, 제어 프로세서 코어(801)와, 연산 프로세서 코어(#1)(811) 내지 (#8)(818)와, 버스(802)를 포함하고, 메인 메모리(781)와 접속되어 있다. 또한, 멀티 코어 프로세서(800)는, 예를 들어 그래픽스 디바이스(782)나 I/O 디바이스(783) 등의 다른 디바이스와 접속된다. 멀티 코어 프로세서(800)로서, 예를 들어 본원 출원인 등에 의해 개발된 마이크로 프로세서인「Cell(셀 : Cell　Broadband　Engine)」을 채용할 수 있다.
제어 프로세서 코어(801)는, 오퍼레이팅·시스템과 같은 빈번한 쓰레드 절환 등을 주로 행하는 제어 프로세서 코어이다. 또한, 제어 프로세서 코어(801)에 대해서는, 도 41을 참조해서 상세하게 설명한다.
연산 프로세서 코어(#1)(811) 내지 (#8)(818)는, 멀티미디어계의 처리를 뛰어나게 하는 단순하고 소형인 연산 프로세서 코어이다. 또한, 연산 프로세서 코어(#1)(811) 내지 (#8)(818)에 대해서는, 도 42를 참조해서 상세하게 설명한다.
버스(802)는, EIB(Element　Interconnect　Bus)라 불리는 고속인 버스이며, 제어 프로세서 코어(801) 및 연산 프로세서 코어(#1)(811) 내지 (#8)(818)의 각각이 접속되어, 각 프로세서 코어에 의한 데이터 액세스는 버스(802)를 경유해서 행해진다.
메인 메모리(781)는, 버스(802)에 접속되어, 각 프로세서 코어에 로드해야 할 각종 프로그램이나, 각 프로세서 코어의 처리에 필요한 데이터를 저장하는 동시에, 각 프로세서 코어에 의해 처리된 데이터를 저장하는 메인 메모리이다.
그래픽스 디바이스(782)는, 버스(802)에 접속되어 있는 그래픽스 디바이스이며, I/O 디바이스(783)는, 버스(802)에 접속되어 있는 외부 입출력 디바이스이다.
도 41은, 본 발명의 실시 형태에서의 제어 프로세서 코어(801)의 하나의 구성 예를 도시하는 도면이다. 제어 프로세서 코어(801)는, 제어 프로세서 유닛(803) 및 제어 프로세서 스토리지 시스템(806)을 포함한다.
제어 프로세서 유닛(803)은, 제어 프로세서 코어(801)의 연산 처리를 행하는 핵이 되는 유닛이며, 마이크로 프로세서의 아키텍처를 베이스로 하는 명령 세트를 포함하고, 1차 캐시로서 명령 캐시(804) 및 데이터 캐시(805)가 탑재되어 있다. 명령 캐시(804)는, 예를 들어 32KB의 명령 캐시이며, 데이터 캐시(805)는, 예를 들어 32KB의 데이터 캐시이다.
제어 프로세서 스토리지 시스템(806)은, 제어 프로세서 유닛(803)으로부터 메인 메모리(781)에의 데이터 액세스를 제어하는 유닛이며, 제어 프로세서 유닛(803)으로부터의 메모리 액세스를 고속화시키기 위해서 512KB의 2차 캐시(807)가 탑재되어 있다.
도 42는, 본 발명의 실시 형태에서의 연산 프로세서 코어(#1)(811)의 하나의 구성 예를 도시하는 도면이다. 연산 프로세서 코어(#1)(811)는, 연산 프로세서 유닛(820) 및 메모리 플로우 컨트롤러(822)를 포함한다. 또한, 연산 프로세서 코어(#2)(812) 내지 (#8)(818)는, 연산 프로세서 코어(#1)(811)와 마찬가지의 구성이므로, 여기에서의 설명을 생략한다.
연산 프로세서 유닛(820)은, 연산 프로세서 코어(#1)(811)의 연산 처리를 행하는 핵이 되는 유닛이며, 제어 프로세서 코어(801)의 제어 프로세서 유닛(803)과는 다른 독자의 명령 세트를 포함한다. 또한, 연산 프로세서 유닛(820)에는, 로컬 스토어(LS : Local　Store)(821)가 탑재되어 있다.
로컬 스토어(821)는, 연산 프로세서 유닛(820)의 전용 메모리인 동시에, 연산 프로세서 유닛(820)으로부터 직접 참조할 수 있는 유일한 메모리이다. 로컬 스토어(821)로서, 예를 들어 용량이 256KB의 메모리를 이용할 수 있다. 또한, 연산 프로세서 유닛(820)이, 메인 메모리(781)나 다른 연산 프로세서 코어[연산 프로세서 코어(#2)(812) 내지 (#8)(818)] 상의 로컬 스토어에 액세스하기 위해서는, 메모 리 플로우 컨트롤러(822)를 이용할 필요가 있다.
메모리 플로우 컨트롤러(822)는, 메인 메모리(781)나 다른 연산 프로세서 코어 등과의 사이에서 데이터를 주고 받기 위한 유닛이며, MFC(Memory　Flow Controller)라 불리는 유닛이다. 여기에서, 연산 프로세서 유닛(820)은, 채널이라 불리는 인터페이스를 통해서 메모리 플로우 컨트롤러(822)에 대하여 데이터 전송 등을 의뢰한다.
이상에서 나타낸 멀티 코어 프로세서(800)의 프로그래밍·모델로서, 다양한 것이 제안되어 있다. 이 프로그래밍·모델 중에서 가장 기본적인 모델로서, 제어 프로세서 코어(801) 상에서 메인 프로그램을 실행하고, 연산 프로세서 코어(#1)(811) 내지 (#8)(818) 상에서 서브 프로그램을 실행하는 모델이 알려져 있다. 본 발명의 실시 형태에서는, 이 모델을 이용한 멀티 코어 프로세서(800)의 연산 방법에 대해서 도면을 참조해서 상세하게 설명한다.
도 43은, 본 발명의 실시 형태에서의 멀티 코어 프로세서(800)의 연산 방법을 모식적으로 나타내는 도면이다. 본 예에서는, 데이터(785)를 이용해서 제어 프로세서 코어(801)가 태스크(784)를 실행하는 경우에, 태스크(784)의 일부인 태스크(786)의 처리에 필요한 데이터(787)[데이터(785)의 일부]를 이용하여, 태스크(786)를 각 연산 프로세서 코어에 실행시키는 경우를 예로 들어 도시한다.
이 도면에 도시한 바와 같이, 데이터(785)를 이용해서 제어 프로세서 코어(801)가 태스크(784)를 실행하는 경우에는, 태스크(784)의 일부인 태스크(786)의 처리에 필요한 데이터(787)[데이터(785)의 일부]를 이용하여, 태스크(786)를 각 연 산 프로세서 코어에 실행시킨다. 본 발명의 실시 형태에서는, 동화상을 구성하는 프레임마다 각 연산 프로세서 코어에 의해 연산 처리가 행해진다.
이 도면에 도시한 바와 같이, 멀티 코어 프로세서(800)가 연산을 행함으로써, 연산 프로세서 코어(#1)(811) 내지 (#8)(818)를 병렬로 이용하여, 비교적 적은 시간 동안에 많은 연산을 행할 수 있는 동시에, 연산 프로세서 코어(#1)(811) 내지 (#8)(818) 상에서 SIMD(Single　Instruction/Multiple　Data : 단일 명령/복수 데이터) 연산을 이용하여, 다시 적은 명령수에 의해, 비교적 많은 연산 처리를 행할 수 있다. 또한, SIMD 연산에 대해서는, 도 47 내지 도 50 등을 참조해서 상세하게 설명한다.
도 44는, 본 발명의 실시 형태에서의 멀티 코어 프로세서(800)에 의해 연산을 행하는 경우에서의 프로그램 및 데이터의 흐름을 모식적으로 나타내는 도면이다. 여기에서는, 연산 프로세서 코어(#1)(811) 내지 (#8)(818) 중 연산 프로세서 코어(#1)(811)를 예로 들어 설명하지만, 연산 프로세서 코어(#2)(812) 내지 (#8)(818)에 대해서도 마찬가지로 행할 수 있다.
처음에, 제어 프로세서 코어(801)는, 메인 메모리(781)에 저장되어 있는 연산 프로세서 코어 프로그램(823)을 연산 프로세서 코어(#1)(811)의 로컬 스토어(821)에 로드하는 지시를 연산 프로세서 코어(#1)(811)에 보낸다. 이에 의해, 연산 프로세서 코어(#1)(811)는, 메인 메모리(781)에 저장되어 있는 연산 프로세서 코어 프로그램(823)을 로컬 스토어(821)에 로드한다.
계속해서, 제어 프로세서 코어(801)는, 로컬 스토어(821)에 저장된 연산 프 로세서 코어 프로그램(825)의 실행을 연산 프로세서 코어(#1)(811)에 지시한다.
계속해서, 연산 프로세서 코어(#1)(811)는, 로컬 스토어(821)에 저장된 연산 프로세서 코어 프로그램(825)의 실행 처리에 필요한 데이터(824)를 메인 메모리(781)로부터 로컬 스토어(821)에 전송한다.
계속해서, 연산 프로세서 코어(#1)(811)는, 로컬 스토어(821)에 저장된 연산 프로세서 코어 프로그램(825)을 기초로 하여, 메인 메모리(781)로부터 전송된 데이터(826)를 가공하고, 조건에 따른 처리를 실행해서 처리 결과를 로컬 스토어(821)에 저장한다.
계속해서, 연산 프로세서 코어(#1)(811)는, 로컬 스토어(821)에 저장된 연산 프로세서 코어 프로그램(825)을 기초로 하여 실행된 처리 결과를 로컬 스토어(821)로부터 메인 메모리(781)에 전송한다.
계속해서, 연산 프로세서 코어(#1)(811)는, 제어 프로세서 코어(801)에 연산 처리의 종료를 통지한다.
다음에, 멀티 코어 프로세서(800)를 이용해서 행하는 SIMD 연산에 대해서 도면을 참조해서 상세하게 설명한다. 여기에서, SIMD 연산이란, 복수의 데이터에 대한 처리를 1개의 명령으로 행하는 연산 방식이다.
도 45의 (a)는, 복수의 데이터에 대한 처리를 각각의 명령으로 행하는 연산 방식의 개요를 모식적으로 나타내는 도면이다. 도 45의 (a)에 도시하는 연산 방식은, 통상의 연산 방식이며, 예를 들어 스칼라 연산이라 부르고 있다. 예를 들어, 데이터「A1」 및 데이터「B1」을 가산하는 명령에 의해 데이터「C1」의 처리 결과 가 구해진다. 또한, 다른 3개의 연산에 대해서도 마찬가지로, 동일한 행에 있는 데이터「A2」,「A3」,「A4」와, 데이터「B2」,「B3」,「B4」를 가산하는 명령이 각각의 처리에 대해서 행해지고, 이 명령에 의해, 각 행의 값이 가산 처리되어, 이 처리 결과가 데이터「C2」,「C3」,「C4」로서 구해진다. 이와 같이, 스칼라 연산에서는, 복수의 데이터에 대한 처리에 대해서는, 각각에 대하여 명령을 행할 필요가 있다.
도 45의 (b)는, 복수의 데이터에 대한 처리를 1개의 명령으로 행하는 연산 방식인 SIMD 연산의 개요를 모식적으로 나타내는 도면이다. 여기에서, SIMD 연산용으로 1 묶음으로 한 데이터[점선(827 및 828)으로 둘러싸이는 각 데이터]는, 벡타 데이터라 불리는 경우가 있다. 또한, 이러한 벡타 데이터를 이용해서 행해지는 SIMD 연산은, 벡터 연산이라 불리는 경우가 있다.
예를 들어 점선(827)으로 둘러싸이는 벡타 데이터(「A1」,「A2」,「A3」,「A4」)와, 점선(828)으로 둘러싸이는 벡타 데이터(「B1」,「B2」,「B3」,「B4」)를 가산하는 1개의 명령에 의해「C1」,「C2」,「C3」,「C4」의 처리 결과[점선(829)으로 둘러싸여 있는 데이터]가 구해진다. 이와 같이, SIMD 연산에서는, 복수의 데이터에 대한 처리를 1개의 명령으로 행할 수 있으므로, 연산 처리를 신속하게 행할 수 있다. 또한, 이들의 SIMD 연산에 관한 명령을, 멀티코어 프로세서(800)의 제어 프로세서 코어(801)가 행하고, 이 명령에 대한 복수 데이터의 연산 처리에 대해서 연산 프로세서 코어(#1)(811) 내지 (#8)(818)가 병렬 처리를 행한다.
한편, 예를 들어 데이터「A1」과「B1」을 더하고, 데이터「A2」와「B2」를 빼고, 데이터「A3」과「B3」을 곱하고, 데이터「A4」와「B4」를 나누는 처리에 대해서는, SIMD 연산에서는 행할 수 없다. 즉, 복수의 데이터의 각각에 대하여 다른 처리를 하는 경우에는, SIMD 연산에 의한 처리를 행할 수는 없다.
다음에, 특징점 추출 처리 및 옵티컬 플로우 산출 처리를 행하는 경우에서의SIMD 연산의 구체적인 연산 방법에 대해서 도면을 참조해서 상세하게 설명한다.
도 46은, 본 발명의 실시 형태에서의 제어 프로세서 코어(801) 또는 연산 프로세서 코어(#1)(811)에 의해 실행되는 프로그램의 구성 예를 도시하는 도면이다. 여기에서는, 연산 프로세서 코어(#1)(811)에 대해서만 도시하지만, 연산 프로세서 코어(#2)(812) 내지 (#8)(818)에 대해서도 마찬가지의 처리가 행해진다.
제어 프로세서 코어(801)는, 디코드(851)로서 디코드(852), 인터레이스(853) 및 리사이즈(854)를 실행한다. 디코드(852)는, 동화상 파일을 디코드하는 처리이다. 인터레이스(853)는, 디코드된 각 프레임에 대해서 인터레이스 제거하는 처리이다. 리사이즈(854)는, 인터레이스 제거된 각 프레임에 대해서 축소하는 처리이다.
또한, 제어 프로세서 코어(801)는, 연산 프로세서 코어 관리(856)로서 명령 송신(857 및 859), 종료 통지 수신(858 및 860)을 실행한다. 명령 송신(857 및 859)은, 연산 프로세서 코어(#1)(811) 내지 (#8)(818)에 대한 SIMD 연산의 실행 명령을 송신하는 처리이며, 종료 통지 수신(858 및 860)은, 상기 명령에 대한 연산 프로세서 코어(#1)(811) 내지 (#8)(818)로부터의 SIMD 연산의 종료 통지를 수신하는 처리이다. 또한, 제어 프로세서 코어(801)는, 카메라 워크 검출(861)로서 카메 라 워크 파라미터 산출 처리(862)를 실행한다. 카메라 워크 파라미터 산출 처리(862)는, 연산 프로세서 코어(#1)(811) 내지 (#8)(818)에 의한 SIMD 연산에 의해 산출된 옵티컬 플로우를 기초로 하여 프레임마다 아핀 변환 파라미터를 산출하는 처리이다.
연산 프로세서 코어(#1)(811)는, 특징점 추출 처리(863)로서, 소벨 필터(Sobel Filter) 처리(864), 2차 모멘트 행렬(Second Moment Matrix) 산출 처리(865), 세퍼러블 필터(Separable Filter) 처리(866), 해리스 코너 추출(Calc Harris) 처리(867), 팽창 처리(Dilation)(868), 재배열 처리(Sort)(869)를 실행한다.
소벨 필터 처리(864)는, P2의 필터(x 방향)를 사용해서 얻을 수 있는 x 방향의 값 dx와, y 방향의 필터를 사용해서 얻을 수 있는 y 방향의 값 dy를 산출하는 처리이다. 또한, x 방향의 값 dx의 산출에 대해서는, 도 47 내지 도 50을 참조해서 상세하게 설명한다.
2차 모멘트 행렬 산출 처리(865)는, 소벨 필터 처리(864)에 의해 산출된 dx 및 dy를 이용하여, dx2, dy2, dx·dy의 각 값을 산출하는 처리이다.
세퍼러블 필터 처리(866)는, 2차 모멘트 행렬 산출 처리(865)에 의해 산출된 dx2, dy2, dx·dy의 화상에 대하여 가우시안 필터(바림 처리)를 적용하는 처리이다.
해리스 코너 추출 처리(867)는, 세퍼러블 필터 처리(866)에 의해, 바림 처리 가 실시된 dx2, dy2, dx·dy의 각 값을 이용하여, 해리스 코너의 스코어를 산출하는 처리이다. 이 해리스 코너의 스코어 S는, 예를 들어 다음의 식에 의해 산출된다.
S = (dx2 × dy2 - dx·dy × dx·dy)/(dx2 ＋ dy2 ＋ ε)
팽창 처리(868)는, 해리스 코너 추출 처리(867)에 의해 산출된 해리스 코너의 스코어로 구성된 화상에 대하여 바림 처리를 행하는 처리이다.
재배열 처리(869)는, 해리스 코너 추출 처리(867)에 의해 산출된 해리스 코너의 스코어가 높은 순으로 화소를 배열해, 이 스코어가 높은 쪽으로부터 소정의 수만큼 픽업하고, 이 픽업된 점을 특징점으로서 추출하는 처리이다.
연산 프로세서 코어(#1)(811)는, 옵티컬 플로우(Optical Flow) 연산 처리(870)로서, 다중 해상도 화상 작성(Make Pyramid Image) 처리(871), 옵티컬 플로우 산출(Calc Optical Flow) 처리(872)를 실행한다. 다중 해상도 화상 작성 처리(871)는, 카메라에 의한 촬상 시의 화면 사이즈로부터 소정수의 단계로 축소된 화상을 순차적으로 작성하는 처리이며, 작성된 화상은 다중 해상도 화상이라 불린다.
옵티컬 플로우 산출 처리(872)는, 다중 해상도 화상 작성 처리(871)에 의해 작성된 다중 해상도 화상 중에서, 가장 작은 화상에 대해서 옵티컬 플로우를 계산하고, 이 계산 결과를 이용하여, 한 등급 더 높은 해상도의 화상에 대해서 다시 옵티컬 플로우를 계산하는 처리이며, 이 일련의 처리를 가장 큰 화상에 겨우 도착할 때까지 반복하여 행한다.
이와 같이, 예를 들어 도 3 등에 도시하는 특징점 추출부(121)에 의해 행해지는 특징점 추출 처리와, 옵티컬 플로우 계산부(122)에 의해 행해지는 옵티컬 플로우 산출 처리에 대해서는, 멀티코어 프로세서(800)를 이용해서 SIMD 연산에 의해 병렬 처리함으로써 처리 결과를 구할 수 있다. 또한, 도 46 등에서 나타내는 특징점 추출 처리 및 옵티컬 플로우 산출 처리는, 일례이며, 동화상을 구성하는 화상에 대한 각종 필터 처리나 임계치 처리 등에 의해 구성되는 다른 처리를 이용하여, 멀티코어 프로세서(800)에 의한 SIMD 연산을 행하도록 해도 좋다.
도 47은, 본 발명의 실시 형태에서의 메인 메모리(781)에 저장되어 있는 화상 데이터(촬상 장치에 의해 촬상된 동화상을 구성하는 1개의 프레임에 대응하는 화상 데이터)에 대해서, 소벨 필터(830)를 이용해서 필터링 처리를 행하는 경우에서의 데이터 구조와 처리의 흐름을 개략적으로 나타내는 도면이다. 또한, 이 도면에 나타내는 메인 메모리(781)에 저장되어 있는 화상 데이터에 대해서는, 가로의 화소수를 32 화소로 간략화해서 나타낸다. 또한, 소벨 필터(830)는, 3 × 3의 엣지 추출 필터이다. 이 도면에 도시한 바와 같이, 메인 메모리(781)에 저장되어 있는 화상 데이터에 대해서, 소벨 필터(830)를 이용한 필터링 처리를 행하고, 이 필터링 처리의 결과가 출력된다. 본 예에서는, SIMD 연산을 이용해서 4개분의 필터 결과를 한번에 얻는 예에 대해서 설명한다.
도 48은, 본 발명의 실시 형태에서의 메인 메모리(781)에 저장되어 있는 화상 데이터에 대해서 소벨 필터(830)를 이용해서 SIMD 연산을 행하는 경우에서의 데이터의 흐름을 개략적으로 나타내는 도면이다. 처음에는, 메인 메모리(781)에 저 장되어 있는 화상 데이터 중 최초의 라인을 포함하는 소정수의 라인(예를 들어 3 라인)이 연산 프로세서 코어의 로컬 스토어(821)에 포함되는 제1 버퍼(831)에 DMA(Direct Memory Access) 전송되는 동시에, 제1 버퍼(831)에 DMA 전송된 각 라인을 1개 아래로 옮긴 소정수의 라인이 제2 버퍼(832)에 DMA 전송된다. 이와 같이, 더블 버퍼를 사용함으로써, DMA 전송에 의한 지연을 은폐할 수 있다.
도 49는, 본 발명의 실시 형태에서의 소벨 필터(830)를 이용해서 필터링 처리를 행하는 경우에 있어서, 제1 버퍼(831)에 저장되어 있는 화상 데이터로부터 9개의 벡터를 작성하는 벡터 작성 방법을 개략적으로 나타내는 도면이다. 도 48에 도시한 바와 같이, DMA 전송이 행해진 후에, 제1 버퍼(831)에 저장되어 있는 화상 데이터로부터 9개의 벡터가 작성된다. 구체적으로는, 제1 버퍼(831)에 저장되어 있는 화상 데이터의 1라인에 있어서 좌측 코너로부터 4개의 데이터에 의해 벡타 데이터(841)가 작성되고, 그 4개의 데이터를 우측으로 1개 옮긴 4개의 데이터에 의해 벡타 데이터(842)가 작성되고, 마찬가지로 그 4개의 데이터를 우측으로 1개 옮긴 4개의 데이터에 의해 벡타 데이터(843)가 작성된다. 또한, 2 라인 및 3 라인에 있어서도 마찬가지로 4개의 데이터에 의해 벡타 데이터(844 내지 849)가 작성된다.
도 50은, 본 발명의 실시 형태에서의 소벨 필터(830)를 이용해서 필터링 처리를 행하는 경우에 있어서, 벡타 데이터(841 내지 849)에 대해서 SIMD 명령을 이용해서 벡터 연산을 행하는 벡터 연산 방법을 개략적으로 나타내는 도면이다. 구체적으로는, 벡타 데이터(841 내지 843)에 대해서 SIMD 연산이 차례로 행해져, 벡터 A가 구해진다. 이 SIMD 연산에서는, 처음에,『「-1」×「벡타 데이터(841)」』 의 SIMD 연산이 실행된다. 계속해서,『「0」×「벡타 데이터(842)」』의 SIMD 연산이 실행되고,『「1」×「벡타 데이터(843)」』의 SIMD 연산이 실행된다. 여기에서,『「0」×「벡타 데이터(842)」』에 대해서는, 연산 결과가「0」이라고 확정되어 있으므로, 생략하는 것이 가능하다. 또한,『「1」×「벡타 데이터(843)」』에 대해서는, 연산 결과가「벡타 데이터(843)」와 동일한 값인 것으로 확정되어 있으므로, 생략할 수 있다.
계속해서,『「-1」×「벡타 데이터(841)」』의 연산 결과와,『「0」×「벡타 데이터(842)」』의 연산 결과와의 가산 처리가 SIMD 연산에 의해 실행된다. 계속해서, 이 가산 처리의 결과와,『「1」×「벡타 데이터(843)」』의 연산 결과와의 가산 처리가 SIMD 연산에 의해 실행된다. 여기에서, 예를 들어「벡타 데이터 1」×「벡타 데이터 2」＋「벡타 데이터 3」이 되는 데이터 구조의 연산에 대해서는, SIMD 연산에 의해 실행하는 것이 가능하다. 따라서, 벡터 A의 연산에 대해서는, 예를 들어『「0」×「벡타 데이터(842)」』및『「1」×「벡타 데이터(843)」』에 대한 SIMD 연산을 생략하고,『「-1」×「벡타 데이터(841)」＋「벡타 데이터(843)」』를 한 번의 SIMD 연산에 의해 실행하도록 해도 된다.
또한, 마찬가지로, 벡타 데이터(844 내지 846)에 대해서 SIMD 연산이 행해져, 벡터 B가 구해지고, 벡타 데이터(847 내지 849)에 대해서 SIMD 연산이 행해져, 벡터 C가 구해진다.
계속해서, SIMD 연산에 의해 구해진 벡터 A 내지 C에 대해서 SIMD 연산이 행해져, 벡터 D가 구해진다. 이와 같이, SIMD 연산을 행함으로써, 벡터의 요소수만 큼(본 예에서는 4개의 데이터)의 결과를 통합해서 얻을 수 있다.
벡터 D가 산출된 후는, 도 48에 나타내는 제1 버퍼(831)에 저장되어 있는 화상 데이터에 있어서, 취출하는 데이터의 위치를 우측으로 1개 옮기면서, 마찬가지의 처리를 반복 실행하여, 각각의 벡터 D의 산출을 차례로 행한다. 그리고 도 48에 나타내는 제1 버퍼(831)에 저장되어 있는 화상 데이터의 우측 끝 부분까지의 처리가 종료된 경우에는, 처리 결과를 메인 메모리(781)에 DMA 전송한다.
계속해서, 메인 메모리(781)에 저장되어 있는 화상 데이터 중에서, 제2 버퍼(832)에 DMA 전송된 각 라인을 1개 아래로 옮긴 소정수의 라인이 제1 버퍼(831)에 DMA 전송되는 동시에, 제2 버퍼(832)에 저장되어 있는 화상 데이터에 대해서, 전술한 처리를 반복하여 행한다. 그리고 메인 메모리(781)에 저장되어 있는 화상 데이터의 각 라인 중 하단부의 라인에 도달할 때까지, 마찬가지의 처리를 반복해 행한다.
마찬가지로, 특징점 추출과 옵티컬 플로우 산출의 대부분의 처리를 SIMD 연산에 의해 행함으로써 고속화를 실현할 수 있다.
도 51은, 본 발명의 실시 형태에서의 카메라 워크 파라미터 산출 처리의 흐름을 시계열로 개략적으로 나타내는 도면이다. 전술한 바와 같이, 예를 들어 멀티코어 프로세서(800)를 이용해서 SIMD 연산을 행함으로써, 동화상에 대한 디코드 및 해석 처리를 병렬화해서 행할 수 있다. 이로 인해, 동화상을 구성하는 1 프레임의 해석 시간을, 디코드 시간보다도 단축하는 것이 가능하다.
예를 들어 이 도면에 있어서, t1은 제어 프로세서 코어(801)가 동화상을 구 성하는 1 프레임의 디코드 처리에 필요로 하는 시간을 나타내고, t2는 연산 프로세서 코어(#1)(811) 내지 (#8)(818)가 동화상을 구성하는 1 프레임의 특징점 추출 처리에 필요로 하는 시간을 나타내고, t3은 연산 프로세서 코어(#1)(811) 내지 (#8)(818)가 동화상을 구성하는 1 프레임의 옵티컬 플로우 산출 처리에 필요로 하는 시간을 나타내고, t4는 제어 프로세서 코어(801)가 동화상을 구성하는 1 프레임의 카메라 워크 검출 처리에 필요로 하는 시간을 나타낸다. 또한, t5는 제어 프로세서 코어(801) 및 연산 프로세서 코어(#1)(811) 내지 (#8)(818)가 동화상을 구성하는 1 프레임에 대해서, 카메라 워크 검출 처리에 필요로 하는 시간을 나타낸다. 또한, t6은 제어 프로세서 코어(801)가 연산 프로세서 코어(#1)(811) 내지 (#8)(818)를 관리하는 처리에 필요로 하는 시간을 나타낸다. 예를 들어 t1을「25.0 ms」로 하고, t2를「7.9 ms」로 하고, t3을「6.7 ms」로 하고, t4를「1.2 ms」로 하고, t5를「15.8 ms」로 할 수 있다.
다음에, 본 발명의 실시 형태에서의 메타 데이터 파일을 이용한 동화상 콘텐츠를 재생하는 경우에 대해서 도면을 참조해서 상세하게 설명한다.
도 52의 (a)는, 기록 매체의 일례인 블루레이 디스크[Blu-ray Disc(등록 상표)](880)를 모식적으로 나타내는 상면도이며, 도 52의 (b)는, 블루레이 디스크(880)에 기록되어 있는 각 데이터(881 내지 884)를 모식적으로 나타내는 도면이다. 블루레이 디스크(880)에는, 예를 들어 카메라 등에 의해 촬상된 동화상인 동화상 콘텐츠(882), 동화상 콘텐츠(882)의 자막(883), 및 동화상 콘텐츠(882)에 대해서 해석되어 얻어진 메타 데이터[예를 들어 도 4의 (b)에 도시하는 메타 데이터 파일](884)와 함께, 본 발명의 실시 형태에서의 동화상 재생에 따른 Java(등록 상표) 프로그램(881)이 기록되어 있다.
도 52의 (c)는, 블루레이 디스크(880)를 재생 가능한 블루레이 재생기(Blu-ray Disc Player)(890)의 내부 구성을 모식적으로 나타내는 도면이다. 여기에서, 블루레이 디스크를 재생 가능한 블루레이 재생기(890)는, CPU(891) 및 OS(892)와 함께, Java(등록 상표), VM[Java(등록 상표) 가상 머신] 및 라이브러리(893)가 표준으로 탑재되어 있으므로, Java(등록 상표) 프로그램을 실행하는 것이 가능하다. 이로 인해, 블루레이 디스크(880)를 블루레이 재생기(890)에 장착함으로써, 블루레이 재생기(890)가 Java(등록 상표) 프로그램(881)을 로드해서 실행하는 것이 가능하다. 이에 의해, 블루레이 재생기(890)가 동화상 콘텐츠(882)를 재생하는 경우에, 메타 데이터(884)를 이용하여, 본 발명의 실시 형태에서의 동화상 재생을 행하는 것이 가능하다. 즉, 전용 PC 소프트 등을 사용하지 않고, 모든 블루레이 재생기로 본 발명의 실시 형태에서의 동화상 재생을 실현하는 것이 가능해진다.
이상에서 나타낸 바와 같이, 본 발명의 실시 형태에서는, 촬상 장치에 있어서 1 또는 복수의 동화상을 재생하는 경우에, 현재 표시되어 있는 화상보다도 앞의 프레임에 대응하는 각 화상을 현재의 화상에 합성하면서 표시하므로, 촬영의 중심이 되고 있는 대상물과 함께, 적어도 일부의 시간대에서 촬영된 배경 등을 부감적으로 열람할 수 있다. 즉, 촬영 시의 화면 사이즈로 재생되고 있는 초기 상태로부터, 줌 아웃 조작에 의해 화상을 확대시킨 경우에는, 현 화상 전체가 작아지는 동시에, 현 화상 주위에 과거의 프레임에 대응하는 화상이 표시되므로, 공간적인 줌 아웃을 실현할 수 있다. 이에 의해, 촬영 화면 사이즈보다도 광범위한 화상을 부감할 수 있다.
또한, 예를 들어 적어도 일부의 시간대에서 촬영된 배경 등을 다시 보고 싶은 경우에는, 되감기 조작이나 검색 조작 등을 하지 않아도, 줌 아웃 조작에 의해, 현재 표시되어 있는 화상과 동시에 그 배경 등을 볼 수 있다. 이에 의해, 촬상 장치에 의해 촬영된 동화상을 열람할 경우에, 그 동화상의 내용을 쉽게 파악할 수 있다. 또한, 예를 들어 동일한 대상물이 포함되어 있는 동화상을 재생하는 경우에는, 그 대상물의 부분에서는, 복수의 동화상이 포개어져 표시되므로, 복수의 동화상의 상대적인 관계를 쉽게 파악할 수 있다.
즉, 과거의 프레임을 활용하여, 복수의 동화상을 공간적으로 전개해서 감상할 수 있다. 이에 의해, 예를 들어 복수의 화상을 재생하면서 파노라마 화상을 완성되게 해 가는 감상 방법을 제공할 수 있으므로, 열람자는 훨신 재미있게 동화상을 감상할 수 있다. 또한, 현 화상에 대해서는, 화상 메모리(220)에 보존되기 전의 상태의 화상을 차례로 표시시킬 수 있으므로, 비교적 깨끗한 화상을 표시시킬 수 있다.
또한, 본 발명의 실시 형태에서는, 이미 검출된 아핀 변환 파라미터를 이용해서 재생 표시를 하는 예에 대해서 설명했지만, 재생 시에 아핀 변환 파라미터를 산출하고, 이 산출된 아핀 변환 파라미터를 이용해서 재생 표시를 하도록 해도 된다. 예를 들어 멀티코어 프로세서를 이용한 SIMD 연산에 의해 아핀 변환 파라미터를 산출함으로써, 1 프레임의 디코드의 처리 시간 내에, 1 프레임의 아핀 변환 파 라미터를 산출할 수 있다. 이에 의해, 아핀 변환 파라미터가 산출되지 않은 동화상을 재생하는 경우라도, 아핀 변환 파라미터를 산출하면서 동화상 재생을 행할 수 있으므로, 동화상을 공간적으로 전개하는 감상을 신속히 행할 수 있다.
또한, 본 발명의 실시 형태에서는, 복수의 동화상 파일을 동화상 기억부(200)에 기억하는 동시에, 이 동화상에 대응하는 아핀 변환 파라미터를, 대응하는 동화상 및 프레임과 관련지어 메타 데이터 파일로서 메타 데이터 기억부(210)에 기억하고, 또한 복수의 동화상에 관한 상대 관계 정보를 상대 관계 정보 기억부(220)에 기억하는 예에 대해서 설명했지만, 동화상과, 이 동화상에 대응하는 아핀 변환 파라미터와, 이 동화상에 관한 상대 관계 정보를 관련지어 동화상 파일로서 동화상 기억부에 기록해 두고, 재생 시에는, 동화상 파일로부터 각 정보를 추출해서 이용하도록 해도 좋다.
또한, 본 발명의 실시 형태에서는, 선두 프레임으로부터 마지막 프레임을 향해서 합성 재생하는 예에 대해서 설명했지만, 마지막 프레임으로부터 선두 프레임을 향해서 합성 재생하는 경우에 대해서도 마찬가지로 적용할 수 있다. 이 경우에는, 프레임에 관련지어져 있는 아핀 변환 파라미터의 역행렬을 이용해서 아핀 변환을 행한다.
또한, 화상 합성부에 의해 합성된 합성 화상을 기록 매체 등에 기록하여, 다른 재생 표시에 이용하도록 해도 좋다. 또한, 본 발명의 실시 형태에서는, 동화상을 예로 들어 설명했지만, 예를 들어 연속해서 기록된 촬상 화상 등의 정지 화상에 대해서도 마찬가지로 합성 표시할 수 있다. 즉, 동화상 또는 정지 화상의 재생 기 능과, 재생 시의 표시 배율을 절환하는 기능를 포함하는 퍼스널 컴퓨터의 동화상 재생 애플리케이션, 디지털 스틸 카메라, 캠코더, 휴대 전화 등의 촬상 장치에 본 발명의 실시 형태를 적용할 수 있다.
또한, 본 발명의 실시 형태에서는, 화상 합성부에 의해 합성된 화상을 표시부에 표시하는 촬상 장치를 예로 들어 설명했지만, 화상 합성부에 의해 합성된 화상을 다른 화상 표시 장치에 있어서 표시시키기 위한 화상 정보를 출력하는 화상 출력 수단을 마련한 촬상 장치에 본 발명의 실시 형태를 적용할 수 있다.
또한, 본 발명의 실시 형태는 본 발명을 구현화하기 위한 일례를 나타낸 것이며, 이하에 나타낸 바와 같이 특허 청구 범위에서의 발명 특정 사항과 각각 대응 관계를 갖지만, 이것에 한정되는 것은 아니며 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변형을 실시할 수 있다.
즉, 청구항 1에 있어서, 촬상 수단은, 예를 들어 촬상부(110)에 대응한다. 또한, 변환 정보 산출 수단은, 예를 들어 카메라 워크 검출부(120)에 대응한다. 또한, 화상 유지 수단은, 예를 들어 화상 메모리(180)에 대응한다. 또한, 화상 변환 수단은, 예를 들어 화상 변환부(150 및 151)에 대응한다. 또한, 화상 합성 수단은, 예를 들어 화상 합성부(170 및 171)에 대응한다. 또한, 조작 접수 수단은, 예를 들어 조작 접수부(160 및 165)에 대응한다. 또한, 제어 수단은, 예를 들어 표시 영역 취출부(190) 및 표시 제어부(240)에 대응한다.
또한, 청구항 7에 있어서, 촬상 수단은, 예를 들어 촬상부(110)에 대응한다. 또한, 변환 정보 산출 수단은, 예를 들어 카메라 워크 검출부(120)에 대응한다. 또한, 화상 유지 수단은, 예를 들어 화상 메모리(180)에 대응한다. 또한, 화상 변환 수단은, 예를 들어 화상 변환부(150)에 대응한다. 또한, 화상 합성 수단은, 예를 들어 화상 합성부(170)에 대응한다. 또한, 조작 접수 수단은, 예를 들어 조작 접수부(160)에 대응한다. 또한, 제어 수단은, 예를 들어 표시 영역 취출부(190) 및 표시 제어부(240)에 대응한다.
또한, 청구항 8 또는 9에 있어서, 변환 정보 산출 단계는, 예를 들어 스텝 S903 내지 S913에 대응한다. 또한, 이력 화상으로서 화상 유지 수단에 유지시키는 단계는, 예를 들어 스텝 S926에 대응한다. 또한, 화상 변환 단계는, 예를 들어 스텝 S925에 대응한다. 또한, 화상 합성 단계는, 예를 들어 스텝 S926에 대응한다. 또한, 조작 접수 단계는, 예를 들어 조작 접수부(160 및 165)에 의해 행해진다. 또한, 제어 단계는, 예를 들어 스텝 S927 내지 S932에 대응한다.
또한, 본 발명의 실시 형태에 있어서 설명한 처리 단계는, 이들 일련의 단계를 갖는 방법으로서 파악해도 좋고, 또한 이들 일련의 단계를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악해도 좋다.

Claims (9)

  1. 피사체를 촬상해서 화상 데이터를 생성하는 촬상 수단과,
    상기 화상 데이터에 대응하는 화상인 제1 촬상 화상과 상기 화상 데이터의 촬상 시에 따른 시간축에서 상기 제1 촬상 화상보다도 뒤에 위치하는 제2 촬상 화상을 기초로 하여 상기 제1 촬상 화상 및 상기 제2 촬상 화상에 관한 변환 정보를 산출하는 변환 정보 산출 수단과,
    상기 시간축에서 상기 제2 촬상 화상보다도 앞에 위치하는 각 화상을 이력 화상으로서 유지하는 화상 유지 수단과,
    상기 산출된 변환 정보를 기초로 하여 상기 제2 촬상 화상을 변환하는 화상 변환 수단과,
    상기 변환된 제2 촬상 화상을 상기 이력 화상에 합성해서 합성 화상으로 하는 화상 합성 수단과,
    상기 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수하는 조작 접수 수단과,
    상기 지정된 표시 배율을 기초로 하여 상기 화상 유지 수단에 유지되고 있는 상기 합성 화상에서의 표시 영역을 결정해서 상기 표시 영역에 포함되는 화상을 차례로 표시시키는 제어 수단을 포함하는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 제어 수단은, 상기 조작 접수 수단에 의해 상기 제2 촬상 화상을 축소시키는 표시 배율을 지정하는 지정 조작이 접수된 경우에는, 상기 화상 유지 수단에 유지되고 있는 상기 합성 화상에 있어서 상기 변환된 제2 촬상 화상과 해당 제2 촬상 화상의 주위 화상을 적어도 포함하는 표시 영역을 결정하는 것을 특징으로 하는 촬상 장치.
  3. 제1항에 있어서,
    상기 제어 수단은, 상기 산출된 변환 정보와 상기 지정된 표시 배율을 기초로 하여 상기 표시 영역을 결정하고,
    상기 화상 합성 수단은, 상기 화상 변환 수단에 의해 변환되기 전의 상기 제2 촬상 화상을 상기 표시 영역에 포함되는 화상에 덮어쓰기 합성하여 표시 화상으로 하는 것을 특징으로 하는 촬상 장치.
  4. 제3항에 있어서,
    상기 제어 수단은, 상기 산출된 변환 정보를 기초로 하여 상기 화상 변환 수단에 의한 상기 제2 촬상 화상의 변환 방향과는 반대 방향으로 상기 표시 영역에 포함되는 화상을 변환하고,
    상기 화상 합성 수단은, 상기 화상 변환 수단에 의해 변환되기 전의 상기 제2 촬상 화상을 상기 변환 후의 상기 표시 영역에 포함되는 화상에 덮어쓰기 합성하여 상기 표시 화상으로 하는 것을 특징으로 하는 촬상 장치.
  5. 제1항에 있어서,
    상기 촬상 수단은, 피사체를 촬상해서 동화상에 따른 화상 데이터를 생성하고,
    상기 제1 촬상 화상 및 상기 제2 촬상 화상은, 상기 동화상을 구성하는 촬상 화상인 것을 특징으로 하는 촬상 장치.
  6. 제1항에 있어서,
    상기 조작 접수 수단은, 상기 표시 영역을 이동시키는 이동 조작을 접수하고,
    상기 제어 수단은, 상기 접수된 이동 조작을 기초로 하여 상기 화상 유지 수단에 유지되고 있는 상기 합성 화상에서의 상기 표시 영역을 이동시키는 것을 특징으로 하는 촬상 장치.
  7. 피사체를 촬상해서 화상 데이터를 생성하는 촬상 수단과,
    상기 화상 데이터에 대응하는 화상인 제1 촬상 화상과 상기 화상 데이터의 촬상 시에 따른 시간축에서 상기 제1 촬상 화상보다도 뒤에 위치하는 제2 촬상 화상을 기초로 하여 상기 제1 촬상 화상 및 상기 제2 촬상 화상에 관한 변환 정보를 산출하는 변환 정보 산출 수단과,
    상기 시간축에서 상기 제2 촬상 화상보다도 앞에 위치하는 각 화상을 이력 화상으로서 유지하는 화상 유지 수단과,
    상기 산출된 변환 정보를 기초로 하여 상기 이력 화상을 변환하는 화상 변환 수단과,
    상기 변환된 이력 화상에 상기 제2 촬상 화상을 합성해서 합성 화상으로 하는 화상 합성 수단과,
    상기 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수하는 조작 접수 수단과,
    상기 지정된 표시 배율을 기초로 하여 상기 화상 유지 수단에 유지되고 있는 상기 합성 화상에서의 표시 영역을 결정해서 상기 표시 영역에 포함되는 화상을 차례로 표시시키는 제어 수단을 포함하는 것을 특징으로 하는 촬상 장치.
  8. 피사체를 촬상해서 화상 데이터를 생성하는 촬상 수단을 포함하는 촬상 장치의 제어 방법으로서,
    상기 화상 데이터에 대응하는 화상인 제1 촬상 화상과 상기 화상 데이터의 촬상 시에 따른 시간축에서 상기 제1 촬상 화상보다도 뒤에 위치하는 제2 촬상 화상을 기초로 하여 상기 제1 촬상 화상 및 상기 제2 촬상 화상에 관한 변환 정보를 산출하는 변환 정보 산출 단계와,
    상기 시간축에서 상기 제2 촬상 화상보다도 앞에 위치하는 각 화상을 이력 화상으로서 화상 유지 수단에 유지시키는 단계와,
    상기 산출된 변환 정보를 기초로 하여 상기 제2 촬상 화상을 변환하는 화상 변환 단계와,
    상기 변환된 제2 촬상 화상을 상기 이력 화상에 합성해서 합성 화상으로 하는 화상 합성 단계와,
    상기 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수하는 조작 접수 단계와,
    상기 지정된 표시 배율을 기초로 하여 상기 화상 유지 수단에 유지되고 있는 상기 합성 화상에서의 표시 영역을 결정해서 상기 표시 영역에 포함되는 화상을 차례로 표시시키는 제어 단계를 포함하는 것을 특징으로 하는 촬상 장치의 제어 방법.
  9. 피사체를 촬상해서 화상 데이터를 생성하는 촬상 수단을 포함하는 촬상 장치에 있어서,
    상기 화상 데이터에 대응하는 화상인 제1 촬상 화상과 상기 화상 데이터의 촬상 시에 따른 시간축에서 상기 제1 촬상 화상보다도 뒤에 위치하는 제2 촬상 화상을 기초로 하여 상기 제1 촬상 화상 및 상기 제2 촬상 화상에 관한 변환 정보를 산출하는 변환 정보 산출 단계와,
    상기 시간축에서 상기 제2 촬상 화상보다도 앞에 위치하는 각 화상을 이력 화상으로서 화상 유지 수단에 유지시키는 단계와,
    상기 산출된 변환 정보를 기초로 하여 상기 제2 촬상 화상을 변환하는 화상 변환 단계와,
    상기 변환된 제2 촬상 화상을 상기 이력 화상에 합성해서 합성 화상으로 하는 화상 합성 단계와,
    상기 제2 촬상 화상의 표시 배율을 지정하는 지정 조작을 접수하는 조작 접수 단계와,
    상기 지정된 표시 배율을 기초로 하여 상기 화상 유지 수단에 유지되고 있는 상기 합성 화상에서의 표시 영역을 결정해서 상기 표시 영역에 포함되는 화상을 차례로 표시시키는 제어 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
KR1020097017751A 2007-12-27 2008-12-15 촬상 장치, 그 제어 방법 및 프로그램 KR20100095363A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-337827 2007-12-27
JP2007337827A JP4678404B2 (ja) 2007-12-27 2007-12-27 撮像装置、その制御方法およびプログラム

Publications (1)

Publication Number Publication Date
KR20100095363A true KR20100095363A (ko) 2010-08-30

Family

ID=40824131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097017751A KR20100095363A (ko) 2007-12-27 2008-12-15 촬상 장치, 그 제어 방법 및 프로그램

Country Status (9)

Country Link
US (1) US8350929B2 (ko)
EP (1) EP2227011A4 (ko)
JP (1) JP4678404B2 (ko)
KR (1) KR20100095363A (ko)
CN (1) CN101595728B (ko)
BR (1) BRPI0807400A2 (ko)
RU (1) RU2009132214A (ko)
TW (1) TW200943949A (ko)
WO (1) WO2009084410A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5092722B2 (ja) 2007-12-07 2012-12-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2009151896A (ja) 2007-12-21 2009-07-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP5455213B2 (ja) * 2009-11-17 2014-03-26 Ｎｅｃシステムテクノロジー株式会社 画像描画装置、画像描画方法およびプログラム
JP5434895B2 (ja) * 2009-12-25 2014-03-05 株式会社Ｊｖｃケンウッド 電子機器、電子機器の制御方法、及び、電子機器の制御プログラム
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
JP5406813B2 (ja) 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
DE102011108754A1 (de) * 2011-07-28 2013-01-31 Khs Gmbh Inspektionseinheit
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
WO2013105205A1 (ja) * 2012-01-10 2013-07-18 日本電気株式会社 画像処理装置、画像処理方法および画像処理用プログラム
JP2013165485A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置およびコンピュータブログラム
US9807299B2 (en) * 2012-08-30 2017-10-31 Htc Corporation Image capture methods and systems with positioning and angling assistance
DE102012217148A1 (de) * 2012-09-24 2014-03-27 Robert Bosch Gmbh Clienteinrichtung zur Darstellung von Kamerabildern einer steuerbaren Kamera, Verfahren, Computerprogramm sowie Überwachungssystem mit der Clienteinrichtung
JP5997645B2 (ja) 2013-03-26 2016-09-28 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP5646033B2 (ja) * 2013-11-01 2014-12-24 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
JP6429454B2 (ja) * 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
KR102576908B1 (ko) * 2016-02-16 2023-09-12 삼성전자주식회사 동적 파노라마 기능을 제공하는 방법 및 장치
US10373290B2 (en) * 2017-06-05 2019-08-06 Sap Se Zoomable digital images
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
JP7012058B2 (ja) * 2018-11-13 2022-01-27 創惟科技股▲ふん▼有限公司 画像補正方法及びその装置
CN109602412A (zh) * 2018-12-05 2019-04-12 中国科学技术大学 利用面部视频实现心率检测的方法
US20200380638A1 (en) * 2019-05-30 2020-12-03 Coretronic Corporation Image processing device and image processing method
US20230206495A1 (en) * 2021-12-29 2023-06-29 L3Harris Technologies, Inc. Adaptive alignment system

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JP2989364B2 (ja) 1992-03-12 1999-12-13 シャープ株式会社 画像処理装置及び画像処理方法
JP3234300B2 (ja) 1992-09-14 2001-12-04 日本電信電話株式会社 映像撮影状態検出方法
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
JPH0962861A (ja) * 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd パノラマ映像装置
US5706416A (en) 1995-11-13 1998-01-06 Massachusetts Institute Of Technology Method and apparatus for relating and combining multiple images of the same scene or object(s)
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US6215505B1 (en) 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
JPH11120353A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd 画像表示装置
JP4154012B2 (ja) * 1997-10-30 2008-09-24 株式会社日立製作所 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置
AU1048399A (en) * 1997-11-10 1999-05-31 Gentech Corporation System and method for generating super-resolution-enhanced mosaic images
US7382927B2 (en) * 1999-01-08 2008-06-03 Sharp Laboratories Of America, Inc. System for constructing mosaic images
JP2000217061A (ja) 1999-01-25 2000-08-04 Sony Corp 画像再生装置及び記録再生装置
JP2002065399A (ja) 2000-09-01 2002-03-05 Atom Livin Tech Co Ltd 家具収納椅子
US6895126B2 (en) 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
JP4519364B2 (ja) * 2001-05-31 2010-08-04 株式会社日立メディコ パノラマ画像表示方法、ソフトウエア及び装置
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
JP4419499B2 (ja) * 2003-01-07 2010-02-24 セイコーエプソン株式会社 画像生成装置、画像ずれ量検出装置、画像生成方法、画像ずれ量検出方法、画像生成プログラムおよび画像ずれ量検出プログラム
JP2004222025A (ja) * 2003-01-16 2004-08-05 Matsushita Electric Ind Co Ltd 電子カメラ
US7139006B2 (en) 2003-02-04 2006-11-21 Mitsubishi Electric Research Laboratories, Inc System and method for presenting and browsing images serially
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
JP4583717B2 (ja) * 2003-03-03 2010-11-17 ソニー株式会社 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置
WO2005024723A1 (ja) * 2003-09-08 2005-03-17 Nec Corporation 画像合成システム、画像合成方法及びプログラム
WO2005032125A1 (ja) * 2003-09-26 2005-04-07 Sharp Kabushiki Kaisha パノラマ画像作成装置及びパノラマ画像撮影装置
JP2005217874A (ja) * 2004-01-30 2005-08-11 Konica Minolta Photo Imaging Inc ファイル管理方法
US20070103544A1 (en) 2004-08-26 2007-05-10 Naofumi Nakazawa Panorama image creation device and panorama image imaging device
US20070058717A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Enhanced processing for scanning video
US8116576B2 (en) * 2006-03-03 2012-02-14 Panasonic Corporation Image processing method and image processing device for reconstructing a high-resolution picture from a captured low-resolution picture
JP2009077362A (ja) 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP2009151896A (ja) 2007-12-21 2009-07-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム

Also Published As

Publication number Publication date
JP2009159514A (ja) 2009-07-16
RU2009132214A (ru) 2011-03-10
US8350929B2 (en) 2013-01-08
CN101595728A (zh) 2009-12-02
TW200943949A (en) 2009-10-16
EP2227011A4 (en) 2011-08-10
JP4678404B2 (ja) 2011-04-27
US20100118160A1 (en) 2010-05-13
BRPI0807400A2 (pt) 2014-05-27
WO2009084410A1 (ja) 2009-07-09
CN101595728B (zh) 2011-04-06
EP2227011A1 (en) 2010-09-08

Similar Documents

Publication Publication Date Title
JP4678404B2 (ja) 撮像装置、その制御方法およびプログラム
JP5092722B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5223318B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2009081806A1 (ja) 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US8963951B2 (en) Image processing apparatus, moving-image playing apparatus, and processing method and program therefor to allow browsing of a sequence of images
KR20100043138A (ko) 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램
JP4692550B2 (ja) 画像処理装置、その処理方法およびプログラム
JP4697221B2 (ja) 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
CN101627623A (zh) 图像处理设备、运动图像播放设备及其处理方法和程序
CN101617531A (zh) 图像处理装置、运动图像播放装置及其处理方法和程序

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid