KR20080071084A - 화상 처리 장치, 화상 처리 방법, 및 프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20080071084A
KR20080071084A KR20080008412A KR20080008412A KR20080071084A KR 20080071084 A KR20080071084 A KR 20080071084A KR 20080008412 A KR20080008412 A KR 20080008412A KR 20080008412 A KR20080008412 A KR 20080008412A KR 20080071084 A KR20080071084 A KR 20080071084A
Authority
KR
South Korea
Prior art keywords
processing
feature amount
image data
image
feature
Prior art date
Application number
KR20080008412A
Other languages
English (en)
Inventor
데쯔지로 곤도
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080071084A publication Critical patent/KR20080071084A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 발명은 편집 작업의 용이화를 도모하기 위한 것이다. 특징량 추출부(121)는, 기록 미디어(11)로부터 재생된 각 프레임의 화상 데이터에 대하여, 1프레임의 화상 데이터보다도 데이터량이 적은 압축 특징량, 즉, 예를 들면, 1프레임의 각 화소의 화소값을 나타내는 비트열의 상위 2비트 등을 추출하고, 표시 제어부(125)는, 압축 특징량을, 표시 장치(15)에 표시시킨다. 한편, 처리 정보 결정부(46)는, 압축 특징량을 본 유저에 의한 리모트 커맨더(14)의 편집 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력한다. 기록부(123)는, 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어 기록 매체(124)에 기록한다. 본 발명은, 예를 들면, 화상을 편집하는 장치 등에 적용할 수 있다.
Figure P1020080008412
압축 특징량, 화상 데이터, 처리 특징량, 처리 정보, 특징량 추출부, 일치 특징량

Description

화상 처리 장치, 화상 처리 방법, 및 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM}
본 발명은, 화상 처리 장치, 화상 처리 방법, 및 프로그램에 관한 것으로, 특히, 예를 들면, 화상의 편집 작업의 용이화를 도모할 수 있도록 하는 화상 처리 장치, 화상 처리 방법, 및 프로그램에 관한 것이다.
화상을 편집하는 방법으로서는, 리니어 편집과 논리니어 편집이 있다.
리니어 편집에서는, 소위 소재 데이터로서의 화상 데이터에, 유저의 조작에 따른 처리가 실시되고, 그 처리의 결과 얻어지는 화상 데이터인 처리 후 화상 데이터가 기록 매체에 기록된다. 그리고, 재생 시에는, 기록 매체에 기록된 처리 후 화상 데이터가 재생되어 출력된다.
한편, 논리니어 편집에서는, 랜덤 액세스 가능한, 예를 들면, 디스크 형상의 기록 매체(디스크 형상 기록 매체)에, 소재 데이터로서의 화상 데이터가 기록되고, 유저에 의한 편집의 조작(편집 조작)에 따라서 화상에 실시할 처리를 직접적, 또는 간접적으로 나타내는 정보, 즉, 예를 들면, 화상에 실시할 처리, 또는 유저에 의한 편집 조작 등을 나타내는 처리 정보(파라미터)가 기록된다. 그리고, 재생 시에는, 디스크 형상 기록 매체로부터 소재 데이터로서의 화상 데이터가 재생되고, 처리 정보가 나타내는 처리가, 소재 데이터로서의 화상 데이터에 실시되어 출력된다.
예를 들면, 특허 문헌 1에는, 유저에 의한 팬 조작, 틸트 조작, 줌 조작 등의 편집 조작에 따라서, 광각의 화상으로부터 추출하는 영역을 나타내는 파라미터를 기록하고, 재생 시에는, 광각의 화상으로부터, 파라미터가 나타내는 영역을 추출하여 출력하는 것이 기재되어 있다.
[특허 문헌 1] 일본 특개 2006-270187호 공보
그런데, 리니어 편집, 및 논리니어 편집 중 어느 쪽이라도, 편집을 행하기 위해서는, 유저는, 소재 데이터 등의 편집의 대상으로 하는 화상 데이터를 재생하고, 그 화상 데이터에 대응하는 화상을 표시 장치에 표시하여, 줌 등의 처리를 실시하는 프레임을 찾아낼 필요가 있다.
그러나, 편집의 대상으로 하는 화상 데이터에 대응하는 화상 그 자체를 보고, 줌 등의 처리를 실시하는 프레임을 찾아내는 것은 번거롭다.
즉, 예를 들면, 움직임이 심한 피사체의 줌 업을 하는 편집을 행하는 경우에는, 유저는, 표시 장치에 표시된 화상을 주의 깊게 관찰하여, 우선, 움직이고 있는 피사체가 존재하는지의 여부를 확인하고, 움직이고 있는 피사체의 존재의 확인 후에, 그 피사체의 움직임이 심한지의 여부를 확인해야만 한다.
여기서, 상술한 바와 같이, 움직임이 심한 피사체의 줌 업을 하는 편집을 행 하는 경우에는, 일견하여, 움직이고 있는 피사체가 존재하는지의 여부의 확인을 할 수 있으면, 유저에 의한 편집의 작업(편집 작업)의 용이화를 도모할 수 있다.
또한, 종래의 논리니어 편집에서는, 처리 정보가, 프레임의 타임 코드와 대응지어져 기록되고, 재생 시에는, 처리 정보가 나타내는 처리가, 그 처리 정보와 대응지어져 있는 타임 코드의 프레임에 실시된다. 따라서, 종래의 논리니어 편집에는, 타임 코드가 필요하지만, 타임 코드가 없어도, 논리니어 편집을 행할 수 있으면 편리하다.
본 발명은, 이와 같은 상황을 감안하여 이루어진 것으로, 편집 작업의 용이화를 도모할 수 있도록 하는 것이며, 아울러, 타임 코드가 없어도, 논리니어 편집을 행할 수 있도록 하는 것이다.
본 발명의 제1 측면의 화상 처리 장치는, 화상을 처리하는 화상 처리 장치로서, 화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 수단과, 상기 압축 특징량을 표시시키는 표시 제어 수단과, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 수단과, 상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어 기록 매체에 기록하는 기록 수단을 구비한다.
본 발명의 제1 측면의 화상 처리 방법, 또는 프로그램은, 화상을 처리하는 화상 처리 방법, 또는 화상 처리를, 컴퓨터에 실행시키는 프로그램으로서, 화상 데 이터로부터, 그, 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 스텝과, 상기 압축 특징량을 표시시키는 표시 제어 스텝과, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 스텝과, 상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어 기록 매체에 기록하는 기록 스텝을 포함한다.
이상과 같은 제1 측면에서는, 화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량이 추출되고, 상기 압축 특징량이 표시된다. 한편, 화상 데이터에 실시하는 처리가 결정되고, 그 처리를 나타내는 처리 정보가 출력된다. 그리고, 상기 처리 정보가, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어져 기록 매체에 기록된다.
본 발명의 제2 측면의 화상 처리 장치는, 화상을 처리하는 화상 처리 장치로서, 화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 수단과, 상기 압축 특징량을 표시시키는 표시 제어 수단과, 유저에 의해 조작되는 조작 수단의 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 수단과, 상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터로부터 추출된 압축 특징량과 대응지어 기록 매체에 기록하는 기록 수단을 구비한다.
본 발명의 제2 측면의 화상 처리 방법, 또는 프로그램은, 화상을 처리하는 화상 처리 방법, 또는 화상 처리를, 컴퓨터에 실행시키는 프로그램으로서, 화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 스텝과, 상기 압축 특징량을 표시시키는 표시 제어 스텝과, 유저에 의해 조작되는 조작 수단의 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 스텝과, 상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터로부터 추출된 압축 특징량과 대응지어 기록 매체에 기록하는 기록 스텝을 포함한다.
이상과 같은 제2 측면에서는, 화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량이 추출되고, 상기 압축 특징량이 표시된다. 한편, 유저에 의해 조작되는 조작 수단의 조작에 따라서, 화상 데이터에 실시하는 처리가 결정되고, 그 처리를 나타내는 처리 정보가 출력된다. 그리고, 상기 처리 정보가, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터로부터 추출된 압축 특징량과 대응지어져 기록 매체에 기록된다.
또한, 프로그램은, 전송 매체를 통하여 전송함으로써, 또는 기록 매체에 기록하여, 배포할 수 있다.
본 발명의 제1 및 제2 측면에 따르면, 편집을 행할 수 있다. 특히, 예를 들면, 편집 작업의 용이화를 도모할 수 있고, 아울러, 타임 코드가 없어도, 논리니어 편집을 행할 수 있다.
이하에 본 발명의 실시예를 설명하지만, 본 발명의 구성 요건과, 명세서 또는 도면에 기재된 실시예의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 발명을 서포트하는 실시예가, 명세서 또는 도면에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 명세서 또는 도면 내에는 기재되어 있지만, 본 발명의 구성 요건에 대응하는 실시예로서, 여기에는 기재되어 있지 않은 실시예가 있었다고 해도, 그것은, 그 실시예가, 그 구성 요건에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 반대로, 실시예가 구성 요건에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그것은, 그 실시예가, 그 구성 요건 이외의 구성 요건에는 대응하지 않는 것인 것을 의미하는 것은 아니다.
본 발명의 제1 측면의 화상 처리 장치는,
화상을 처리하는 화상 처리 장치(예를 들면, 도 8의 화상 처리 장치(13))로서,
화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 수단(예를 들면, 도 8의 특징량 추출부(121))과,
상기 압축 특징량을 표시시키는 표시 제어 수단(예를 들면, 도 8의 표시 제어부(125))과,
화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 수단(예를 들면, 도 8의 처리 정보 결정부(46))과,
상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어 기록 매체에 기록하는 기록 수단(예를 들면, 도 8의 기록부(123))
을 구비한다.
상기 처리 특징량과 압축 특징량은, 서로 다른 특징량으로 하고,
제1 측면의 화상 처리 장치에는, 상기 처리 특징량을 추출하는 처리 특징량 추출 수단(예를 들면, 도 8의 특징량 추출부(41))을 더 설치할 수 있다.
또한, 제1 측면의 화상 처리 장치에는,
화상 데이터로부터, 상기 처리 특징량을 추출하는 처리 특징량 추출 수단(예를 들면, 도 8의 특징량 추출부(41))과,
상기 기록 매체에 기록된 처리 특징량으로부터, 상기 처리 특징량 추출 수단에 의해 추출된 처리 특징량과 일치하는 값의 처리 특징량인 일치 특징량을 검출하는 일치 특징량 검출 수단(예를 들면, 도 8의 일치 특징량 검출부(42))과,
상기 기록 매체에서 상기 일치 특징량과 대응지어져 있는 상기 처리 정보가 나타내는 처리를, 상기 일치 특징량과 값이 일치하는 처리 특징량이 추출된 화상 데이터에 실시하는 처리 반영 수단(예를 들면, 도 8의 처리 반영부(49))
을 더 설치할 수 있다.
본 발명의 제1 측면의 화상 처리 방법, 또는 프로그램은,
화상을 처리하는 화상 처리 방법, 또는 화상 처리를, 컴퓨터에 실행시키는 프로그램으로서,
화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 스텝(예를 들면, 도 9의 스텝 S52)과,
상기 압축 특징량을 표시시키는 표시 제어 스텝(예를 들면, 도 11의 스텝 S91)과,
화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 스텝(예를 들면, 도 11의 스텝 S93)과,
상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어 기록 매체에 기록하는 기록 스텝(예를 들면, 도 11의 스텝 S94)
을 포함한다.
본 발명의 제2 측면의 화상 처리 장치는,
화상을 처리하는 화상 처리 장치(예를 들면, 도 18의 화상 처리 장치(13))로서,
화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 수단(예를 들면, 도 18의 특징량 추출부(141))과,
상기 압축 특징량을 표시시키는 표시 제어 수단(예를 들면, 도 18의 표시 제어부(125))과,
유저에 의해 조작되는 조작 수단(예를 들면, 도 18의 리모트 커맨더(14))의 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 수단(예를 들면, 도 18의 처리 정보 결정 부(46))과,
상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터로부터 추출된 압축 특징량과 대응지어 기록 매체에 기록하는 기록 수단(예를 들면, 도 18의 기록부(123))
을 구비한다.
제2 측면의 화상 처리 장치에는,
상기 기록 매체에 기록된 압축 특징량으로부터, 상기 압축 특징량 추출 수단에 의해 추출된 압축 특징량과 일치하는 값의 압축 특징량인 일치 특징량을 검출하는 일치 특징량 검출 수단(예를 들면, 도 18의 일치 특징량 검출부(42))과,
상기 기록 매체에서 상기 일치 특징량과 대응지어져 있는 상기 처리 정보가 나타내는 처리를, 상기 일치 특징량과 값이 일치하는 압축 특징량이 추출된 화상 데이터에 실시하는 처리 반영 수단(예를 들면, 도 18의 처리 반영부(49))
을 더 설치할 수 있다.
본 발명의 제2 측면의 화상 처리 방법, 또는 프로그램은,
화상을 처리하는 화상 처리 방법, 또는 프로그램으로서,
화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 스텝(예를 들면, 도 9의 스텝 S52)과,
상기 압축 특징량을 표시시키는 표시 제어 스텝(예를 들면, 도 11의 스텝 S91)과,
유저에 의해 조작되는 조작 수단의 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 스텝(예를 들면, 도 11의 스텝 S93)과,
상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터로부터 추출된 압축 특징량과 대응지어 기록 매체에 기록하는 기록 스텝(예를 들면, 도 11의 스텝 S94)
을 포함한다.
이하, 도면을 참조하여, 본 발명의 실시예에 대하여 설명한다.
도 1은, 본 발명을 적용한 화상 처리 시스템(시스템이란, 복수의 장치가 논리적으로 집합된 것을 말하며, 각 구성의 장치가 동일 케이스 내에 있는지의 여부는 불문함)의 일 실시예의 구성예를 도시하고 있다.
도 1에서, 화상 처리 시스템은, 기록 미디어(11), 화상 재생 장치(12), 화상 처리 장치(13), 리모트 커맨더(14), 및 표시 장치(15) 등으로 구성되어 있다.
기록 미디어(11)는, 예를 들면, 동화상 등의 콘텐츠가 기록되어 있는 DVD(Digital Versatile Disc)나 HD(Hard Disk) 등의 디스크 형상의 기록 매체, 자기 테이프 등의 테이프 형상의 기록 매체, 또는, 플래시 메모리 등의 불휘발성의 반도체 메모리(기록 매체)로서, 화상 재생 장치(12)에 대하여 착탈 가능하게 되어 있다.
화상 재생 장치(12)는, 예를 들면, DVD나, 자기 테이프, 플래시 메모리 등의 기록 미디어(11)를 구동하는 드라이브로서, 화상 처리 장치(13)나 리모트 커맨더(14)로부터의 지시에 따라서, 기록 미디어(11)로부터, 거기에 기록되어 있는 화 상 데이터를 재생하여, 화상 처리 장치(13)에 공급한다.
또한, 화상 재생 장치(12)로서는, 기록 미디어(11)로부터 화상 데이터를 재생하는 재생 기능 외에, 기록 미디어(11)에 화상 데이터를 기록하는 기록 기능도 갖는 장치를 채용할 수 있다. 화상 재생 장치(12)로서, 재생 기능과 기록 기능의 양방을 갖는 장치를 채용하는 경우에는, 기록 미디어(11)는, 화상 재생 장치(12)에 착탈 가능한 기록 매체로 하는 것 외에, 화상 재생 장치(12)에 내장시킬 수 있다.
또한, 화상 재생 장치(12)로서는, 예를 들면, 기록 미디어(11)가, 인터넷 상의 사이트의 스토리지인 경우에, 그 스토리지로서의 기록 미디어(11)로부터 화상 데이터를 다운로드하는 통신 기능을 갖는 장치가 포함된다.
화상 처리 장치(13)는, 리모트 커맨더(14)로부터의 지시 등에 따라서, 화상 재생 장치(12)로부터 공급되는 화상 데이터를 처리한다. 또한, 화상 처리 장치(13)는, 표시 장치(15)에 표시시키는 화상에 대응하는 화상 데이터(이하, 적절하게, 표시 데이터라고 함)를, 표시 장치(15)에 공급한다.
리모트 커맨더(14)는, 유저에 의해 조작되고, 그 조작에 대응하는 조작 신호를, 적외선 등의 무선으로, 화상 재생 장치(12)나 화상 처리 장치(13)에 송신한다.
표시 장치(15)는, 액정 패널이나 CRT(Cathode Ray Tube) 등으로 구성되며, 화상 처리 장치(13)로부터 공급되는 표시 데이터에 따라서, 그 표시 데이터에 대응하는 화상을 표시한다.
이상과 같이 구성되는 화상 처리 시스템에서는, 화상 재생 장치(12)가, 예를 들면, 리모트 커맨더(14)로부터의 지시에 따라서, 기록 미디어(11)로부터 화상 데 이터를 재생하고, 화상 처리 장치(13)에 공급한다.
화상 처리 장치(13)는, 화상 재생 장치(12)로부터의 화상 데이터로부터, 특징량을 추출하고, 화상 재생 장치(12)로부터의 화상 데이터, 또는, 특징량을, 표시 데이터로서, 표시 장치(15)에 공급하여 표시시킨다.
한편, 유저가, 예를 들면, 줌, 팬, 틸트 등을 지시하도록, 리모트 커맨더(14)를 편집 조작하면, 리모트 커맨더(14)는, 편집 조작에 대응하는 조작 신호를, 화상 처리 장치(13)에 송신한다.
화상 처리 장치(13)는, 리모트 커맨더(14)로부터 편집 조작에 대응하는 조작 신호가 송신되어 오면, 그 조작 신호에 따라서, 화상 재생 장치(12)로부터의 화상 데이터에 실시할 처리(이하, 적절하게, 편집 처리라고 함)를 결정하고, 그 편집 처리를 나타내는 정보인 처리 정보를, 그 처리 정보가 나타내는 편집 처리를 실시하는 화상 데이터의 특징량과 대응지어 기록한다.
이상과 같이, 화상 처리 장치(13)에서, 처리 정보가 특징량과 대응지어져 기록된 후, 재차, 화상 재생 장치(12)가, 리모트 커맨더(14)로부터의 지시 등에 따라서, 기록 미디어(11)로부터 화상 데이터를 재생하고, 화상 처리 장치(13)에 공급하면, 화상 처리 장치(13)에서는, 화상 재생 장치(12)로부터의 화상 데이터로부터, 특징량이 추출된다.
또한, 화상 처리 장치(13)는, 처리 정보와 대응지어져 기록된 특징량 중으로부터, 화상 데이터로부터 추출된 특징량과 값이 일치하는 특징량을 검출하고, 그 특징량에 대응지어져 있는 처리 정보가 나타내는 편집 처리를, 화상 재생 장치(12) 로부터의 화상 데이터에 실시한다. 그리고, 화상 처리 장치(13)는, 편집 처리가 실시된 화상 데이터를, 표시 데이터로서, 표시 장치(15)에 공급하여 표시시킨다.
이상과 같이, 화상 처리 장치(13)에서, 기록 미디어(11)에 기록된 화상 데이터에 실시하는 편집 처리를 나타내는 처리 정보가 기록된 후에는, 그 편집 처리가 실시된 후의 화상 데이터(이하, 적절하게, 편집 후 화상 데이터라고 함)를 기록하지 않고, 그 편집 후 화상 데이터를 반복하여 재생할 수 있다.
따라서, 기록 미디어(11)에 기록된 화상 데이터를 대상으로 한 논리니어 편집을, 타임 코드 없이 행할 수 있다.
또한, 기록 미디어(11)에 기록되어 있는 화상 데이터가, 노 모어 카피(No More Copy) 등의, 카피가 제한되어 있는 콘텐츠이어도, 그 화상 데이터에 동일한 편집 처리를 실시한 편집 후 화상 데이터를 반복하여 재생할 수 있다.
여기서, 기록 미디어(11)에 기록된 화상 데이터 그 자체에 대응하는 화상, 및, 그 화상 데이터에 편집 처리가 실시된 후의 편집 후 화상 데이터에 대응하는 화상을, 이하, 적절하게, 콘텐츠 화상이라고 한다.
도 2는, 도 1의 화상 처리 장치(13)의 제1 구성예를 도시하는 블록도이다.
도 2에서는, 화상 처리 장치(13)는, 특징량 추출부(41), 일치 특징량 검출부(42), 제어부(43), 수광부(44), 처리 정보 결정부(46), 선택부(47), 지연부(48), 처리 반영부(49), 기록부(61), 기록 매체(62), 및 판독부(63)로 구성된다.
특징량 추출부(41)에는, 화상 재생 장치(12)로부터의 화상 데이터가 공급된다. 특징량 추출부(41)는, 화상 재생 장치(12)로부터 순차적으로 공급되어 오는 화상 데이터의 각 프레임(또는 필드)으로부터, 소정의 특징량을 추출하고, 그 특징량을 프레임 단위로, 일치 특징량 검출부(42), 및 기록부(61)에 공급한다.
여기서, 특징량 추출부(41)에서 화상 데이터로부터 추출하는 특징량으로서는, 기록 미디어(11)에 기록되어 있는 화상 데이터를, 1프레임 단위로 식별할 수 있는 정보를 채용할 수 있다. 화상 데이터를, 1프레임 단위로 식별할 수 있는 정보로서는, 예를 들면, 화상 데이터의 프레임의, 소위 유효 화상 영역의 전체, 또는 일부의 영역의 화소의 화소값의 가산값(총합)이나, 그 가산값의 하위 8비트 등의 일부의 비트열 등을 채용할 수 있다.
일치 특징량 검출부(42)는, 기록 매체(62)에 기록되어 있는 특징량으로부터, 특징량 추출부(41)로부터 공급되는, 화상 재생 장치(12)에 의해 재생된 화상 데이터의 특징량에 일치하는 특징량(이하, 적절하게, 일치 특징량이라고 함)을 검출한다. 그리고, 일치 특징량 검출부(42)는, 일치 특징량을 검출할 수 있었을 때, 그 일치 특징량을, 기록부(61) 및 판독부(63)에 공급한다.
제어부(43)는, 수광부(44)로부터 공급되는 조작 신호에 따라, 필요에 따라, 화상 재생 장치(12)나, 화상 처리 장치(13)를 구성하는 각 블록을 제어한다.
수광부(44)는, 리모트 커맨더(14)로부터 송신되어 오는 조작 신호로서의 적외선을 수광하여 광전 변환하고, 그 결과 얻어지는 전기 신호로서의 조작 신호를, 제어부(43)와 처리 정보 결정부(46)에 공급한다.
처리 정보 결정부(46)는, 수광부(44)로부터 공급되어 오는 조작 신호에 기초하여, 화상 재생 장치(12)로부터 공급되는 화상 데이터에 실시할 편집 처리를 결 정(인식)하고, 그 편집 처리를 나타내는 처리 정보를, 선택부(47) 및 기록부(61)에 공급한다.
선택부(47)에는, 처리 정보 결정부(46)로부터 처리 정보가 공급되는 것 외에, 판독부(63)로부터 처리 정보가 공급된다. 선택부(47)는, 처리 정보 결정부(46)로부터 처리 정보가 공급되어 온 경우에는, 그 처리 정보 결정부(46)로부터의 처리 정보를, 처리 반영부(49)에 공급한다. 또한, 선택부(47)는, 처리 정보 결정부(46)로부터 처리 정보의 공급이 없고, 판독부(63)로부터 처리 정보가 공급된 경우, 판독부(63)로부터 공급된 처리 정보를, 처리 반영부(49)에 공급한다. 또한, 처리 정보 결정부(46) 및 판독부(63) 중 어느 것으로부터도 처리 정보가 공급되어 오지 않은 경우, 선택부(47)는, 처리 정보를 처리 반영부(49)에 공급하지 않는다.
지연부(48)에는, 화상 재생 장치(12)로부터, 특징량 추출부(41)에 공급되는 것과 동일한 화상 데이터가 공급된다. 지연부(48)는, 특징량 추출부(41)나, 일치 특징량 검출부(42), 선택부(47), 기록부(61), 판독부(63)가 처리에 필요로 하는 시간에 따라서, 화상 재생 장치(12)로부터 공급되는 화상 데이터를 일시적으로 기억함으로써, 필요한 시간만큼 지연하고, 처리 반영부(49)에 공급한다.
처리 반영부(49)는, 지연부(48)로부터 공급되는 화상 데이터에 대하여, 선택부(47)로부터 공급되는 처리 정보가 나타내는 편집 처리를 실시하고, 그 편집 처리의 결과 얻어지는 편집 후 화상 데이터를, 표시 데이터로서, 표시 장치(15)에 공급한다.
또한, 선택부(47)로부터 처리 반영부(49)에 대하여, 처리 정보가 공급되지 않은 경우, 처리 반영부(49)는, 지연부(48)로부터의 화상 데이터를, 그대로, 표시 데이터로서, 표시 장치(15)에 공급한다.
기록부(61)는, 특징량 추출부(41)로부터 공급되는 특징량을 기록 매체(62)에 기록한다. 또한, 기록부(61)는, 처리 정보 결정부(46)로부터 공급되는 처리 정보를, 특징량과 대응지어, 기록 매체(62)에 기록한다.
기록 매체(62)는, 예를 들면, 디스크 형상의 기록 매체나 반도체 메모리 등이며, 거기에는, 처리 정보와 특징량이 기록된다. 또한, 기록 매체(62)는, 화상 처리 장치(13)에 내장시킬 수도 있고, 착탈 가능하게 할 수도 있다.
판독부(63)는, 일치 특징량 검출부(42)로부터 공급되는 일치 특징량에 대응지어져 있는 처리 정보를 기록 매체(62)로부터 판독하고, 선택부(47)에 공급한다.
다음으로, 도 3은, 도 2의 일치 특징량 검출부(42)의 구성예를 도시하고 있다.
도 3에서는, 일치 특징량 검출부(42)는, 3개의 특징량 버퍼(101-1 내지 101-3), 재생 위치 특징량 생성부(102), 비교부(103), 검색 위치 특징량 판독부(104), 및 검출부(105)로 구성된다.
일치 특징량 검출부(42)에는, 도 2에서 설명한 바와 같이, 특징량 추출부(41)에서, 화상 데이터로부터 추출된 특징량이 프레임 단위로 공급된다.
특징량 버퍼(101-1)는, 특징량 추출부(41)로부터 공급되는 특징량을 래치하고, 후단의 특징량 버퍼(101-2)와, 재생 위치 특징량 생성부(102)에 공급한다. 특 징량 퍼버(101-2)는, 특징량 버퍼(101-1)로부터 공급되는 특징량을 래치하고, 후단의 특징량 버퍼(101-3)와, 재생 위치 특징량 생성부(102)에 공급한다. 특징량 버퍼(101-3)는, 특징량 버퍼(101-2)로부터 공급되는 특징량을 래치하고, 재생 위치 특징량 생성부(102)에 공급한다.
재생 위치 특징량 생성부(102)는, 특징량 추출부(41)(도 2)로부터, 특징량이 공급되면, 그 특징량과, 특징량 버퍼(101-1 내지 101-3)의 각각에 래치되어 있는 특징량을 시간순으로 나열한, 4프레임분의 특징량의 시퀀스를 생성하고, 비교부(103)에 공급한다.
여기서, 특징량 버퍼(101-1 내지 101-3)는, 특징량 추출부(41)(도 2)로부터 일치 특징량 검출부(42)에, 새로운 프레임의 특징량이 공급되는 타이밍에서 래치를 행한다. 따라서, 특징량 추출부(41)로부터 일치 특징량 검출부(42)에 대하여, 예를 들면, 제N 프레임의 특징량이 공급될 때, 특징량 버퍼(101-1)에는, 제N-1 프레임의 특징량이, 특징량 버퍼(101-2)에는, 제N-2 프레임의 특징량이, 특징량 버퍼(101-3)에는, 제N-3 프레임의 특징량이, 각각 래치되어 있고, 재생 위치 특징량 생성부(102)에서는, 제N-3 프레임부터 제N 프레임까지의, 연속하는 4프레임의 특징량의 시퀀스가 생성된다.
또한, 재생 위치 특징량 생성부(102)에서 생성되는 특징량의 시퀀스를, 이하, 적절하게, 재생 위치 특징량이라고 한다.
비교부(103)는, 재생 위치 특징량 생성부(102)로부터 공급되는 재생 위치 특징량으로서의 연속하는 4프레임의 특징량의 시퀀스와, 검색 위치 특징량 판독 부(104)로부터 공급되는, 후술하는 검색 위치 특징량으로서의 연속하는 4프레임의 특징량의 시퀀스를 비교하고, 그 비교 결과를, 검출부(105)에 공급한다.
검색 위치 특징량 판독부(104)는, 기록 매체(62)에 기록된 특징량으로부터, 연속하는 4프레임의 특징량을, 1프레임분씩 어긋나게 하면서 순차적으로 판독한다. 또한, 검색 위치 특징량 판독부(104)는, 기록 매체(62)로부터 판독한, 연속하는 4프레임의 특징량을 시간순으로 나열한, 4프레임분의 특징량의 시퀀스를 생성하고, 검색 위치 특징량으로서, 비교부(103) 및 검출부(105)에 공급한다.
검출부(105)는, 비교부(103)로부터의 비교 결과에 기초하여, 재생 위치 특징량으로서의 연속하는 4프레임의 특징량의 시퀀스와, 검색 위치 특징량으로서의 연속하는 4프레임의 특징량의 시퀀스가 일치하고 있는지의 여부를 판정(검출)하고, 일치하고 있는 경우, 검색 위치 특징량 판독부(104)로부터의 검색 위치 특징량을, 기록부(61) 및 판독부(63)(도 2)에 공급한다.
여기서, 검출부(105)가 기록부(61) 및 판독부(63)에 공급하는 검색 위치 특징량으로서의 연속하는 4프레임의 특징량의 시퀀스 중, 예를 들면, 최신의 프레임(시간적으로 가장 후행하는 프레임)의 특징량이, 상술한 일치 특징량이다.
이상과 같이 구성되는 일치 특징량 검출부(42)에서는, 기록 매체(62)에 기록된 특징량으로부터, 특징량 추출부(41)에 의해 추출된 특징량과 일치하는 값의 특징량인 일치 특징량을 검출하는 일치 특징량 검출 처리가 행하여진다.
도 4를 참조하여, 도 3의 일치 특징량 검출부(42)가 행하는 일치 특징량 검출 처리에 대하여 설명한다.
일치 특징량 검출부(42)에는, 특징량 추출부(41)(도 2)에서, 화상 데이터로부터 추출된 특징량이 프레임 단위로 공급된다. 일치 특징량 검출부(42)에서는, 특징량 추출부(41)로부터의 특징량이, 재생 위치 특징량 생성부(102)에 공급됨과 함께, 특징량 버퍼(101-1 내지 101-3)에서, 순차적으로 래치된다.
재생 위치 특징량 생성부(102)는, 특징량 추출부(41)로부터의 특징량과, 특징량 버퍼(101-1 내지 101-3)의 각각에 래치되어 있는 특징량을 나열한, 4프레임분의 특징량의 시퀀스를, 재생 위치 특징량 G2로서 생성하여, 비교부(103)에 공급한다.
한편, 검색 위치 특징량 판독부(104)는, 기록 매체(62)(도 2)에 기록된 각 프레임의 특징량 중, 최초의 프레임의 특징량으로부터 연속하는 4프레임의 특징량을 판독하고, 그 4프레임의 특징량을 나열한, 4프레임분의 특징량의 시퀀스를, 검색 위치 특징량으로서 생성하여, 비교부(103) 및 검출부(105)에 공급한다.
비교부(103)에서는, 재생 위치 특징량 생성부(102)로부터의 재생 위치 특징량으로서의 연속하는 4프레임의 특징량의 시퀀스와, 검색 위치 특징량 판독부(104)로부터의 검색 위치 특징량 G2로서의 연속하는 4프레임의 특징량의 시퀀스가 비교되고, 그 비교 결과가, 검출부(105)에 공급된다.
검출부(105)에서는, 비교부(103)로부터의 비교 결과에 기초하여, 재생 위치 특징량 G2로서의 연속하는 4프레임의 특징량의 시퀀스와, 검색 위치 특징량으로서의 연속하는 4프레임의 특징량의 시퀀스가 일치하고 있는지의 여부를 판정한다.
재생 위치 특징량과 검색 위치 특징량이 일치하지 않는 경우, 검색 위치 특 징량 판독부(104)는, 기록 매체(62)(도 2)로부터 전회 판독한 검색 위치 특징량으로서의 연속하는 4프레임의 특징량으로부터 1프레임분만큼 미래의 방향(시간적으로 후행하는 방향)으로 어긋난 프레임의 특징량을 선두로 하여, 연속하는 4프레임의 특징량을 판독하고, 그 4프레임의 특징량을 나열한, 4프레임분의 특징량의 시퀀스를, 새로운 검색 위치 특징량으로서 생성하여, 비교부(103) 및 검출부(105)에 공급한다.
비교부(103)에서는, 재생 위치 특징량 생성부(102)로부터의 재생 위치 특징량 G2와, 검색 위치 특징량 판독부(104)로부터의 새로운 검색 위치 특징량이 비교되고, 이하, 마찬가지의 처리가 반복된다.
즉, 예를 들면, 도 4에 도시하는 바와 같이, 비교부(103)에서는, 재생 위치 특징량 G2로서의 연속하는 4프레임의 특징량의 시퀀스와, 검색 위치 특징량 G0으로서의 연속하는 4프레임의 특징량의 시퀀스가 비교되고, 그 비교 결과가, 검출부(105)에 공급된다.
재생 위치 특징량 G2와, 검색 위치 특징량 G0이 일치하지 않는 경우, 검색 위치 특징량 판독부(104)에서, 검색 위치 특징량 G0으로서의 연속하는 4프레임의 특징량으로부터 1프레임분만큼 미래의 방향으로 어긋난 프레임의 특징량을 선두로 하는, 연속하는 4프레임의 특징량의 시퀀스가, 새로운 검색 위치 특징량 G0'로서 생성된다. 또한, 비교부(103)에서, 새로운 검색 위치 특징량 G0'와, 재생 위치 특징량 G2가 비교되고, 이하, 마찬가지로, 재생 위치 특징량 G2와의 비교가 반복된다.
그리고, 검색 위치 특징량 판독부(104)에서 새롭게 생성된 검색 위치 특징량 G1과, 재생 위치 특징량 G2가 일치하는 경우, 그 검색 위치 특징량 G1과, 재생 위치 특징량 G2의 비교 결과가, 비교부(103)로부터 검출부(105)에 공급되면, 검출부(105)에서는, 재생 위치 특징량 생성부(102)로부터의 재생 위치 특징량 G2로서의 연속하는 4프레임의 특징량의 시퀀스와, 검색 위치 특징량 판독부(104)로부터의 검색 위치 특징량 G1로서의 연속하는 4프레임의 특징량의 시퀀스가 일치하고 있다고 판정되고, 검색 위치 특징량 판독부(104)로부터의 검색 위치 특징량 G1이, 기록부(61) 및 판독부(63)(도 2)에 공급된다.
지금, 화상 재생 장치(12)(도 2)에서 기록 미디어(11)로부터 재생되어, 화상 처리 장치(13)의 특징량 추출부(41)와 지연부(48)에 공급된 화상 데이터의 프레임을, 주목 프레임으로 하면, 상술한 처리에 의해, 주목 프레임으로부터 특징량 추출부(41)에서 추출된 특징량과 값이 일치하는 특징량(일치 특징량), 즉, 화상 처리 장치(13)에서, 주목 프레임이 과거에 처리되었을 때에 주목 프레임으로부터 추출된 특징량을, 기록 매체(62)에 기록된 특징량 중으로부터 검출할 수 있다.
즉, 재생 위치 특징량과 일치하는 검색 위치 특징량으로서의 연속하는 4프레임의 특징량의 시퀀스의 최후의 특징량이, 주목 프레임의 특징량과 값이 일치하는 일치 특징량, 즉, 화상 처리 장치(13)에서, 주목 프레임이 과거에 처리되었을 때에 주목 프레임로부터 추출된 특징량이다.
또한, 상술한 경우에는, 재생 위치 특징량 및 검색 위치 특징량을, 연속하는 4프레임의 특징량의 시퀀스로 하였지만, 재생 위치 특징량 및 검색 위치 특징량으 로서는, 그 밖에, 4프레임 이외의 복수 프레임만큼 연속하는 프레임의 특징량의 시퀀스나, 예를 들면, 1프레임 걸러 등의, 연속하지 않는 복수의 프레임의 특징량의 시퀀스 등을 채용할 수 있다.
다음으로, 도 5 및 도 6의 플로우차트를 참조하여, 도 2의 화상 처리 장치(13)의 동작에 대하여 설명한다.
도 2의 화상 처리 장치(13)에서는, 기록 미디어(11)에 기록된 화상 데이터의 각 프레임으로부터 특징량을 추출하여 기록하는 특징량 기록 처리나, 기록 미디어(11)에 기록된 화상 데이터의 편집, 및 그 편집 후의 화상 데이터(편집 후 화상 데이터)의 재생을 행하는 편집/재생 처리 등이 행하여진다.
여기서, 화상 처리 장치(13)의 동작 모드로서는, 통상 재생 모드와, 편집 모드가 있다. 특징량 기록 처리는, 예를 들면, 동작 모드가 통상 재생 모드 일 때에 행하여지고, 편집/재생 처리는, 예를 들면, 동작 모드가 편집 모드일 때에 행하여진다.
통상 재생 모드에서는, 리모트 커맨더(14)가 재생을 행하도록 조작되면, 화상 처리 장치(13)는, 화상 재생 장치(12)로부터 공급되는 화상 데이터를, 그대로, 표시 데이터로서, 표시 장치(15)에 공급한다.
또한, 편집 모드에서는, 리모트 커맨더(14)가 편집 조작되면, 화상 처리 장치(13)는, 화상 재생 장치(12)로부터의 화상 데이터에, 편집 조작에 따른 편집 처리를 실시하고, 그 편집 처리가 실시된 후의 편집 후 화상 데이터를, 표시 데이터로서, 표시 장치(15)에 공급함과 함께, 편집 조작에 따른 편집 처리를 나타내는 처 리 정보를, 기록 매체(62)에 기록한다. 또한, 편집 모드에서는, 화상 재생 장치(12)로부터의 화상 데이터에 대하여, 과거에 기록 매체(62)에 기록된 처리 정보가 나타내는 편집 처리를 실시하고, 그 편집 처리가 실시된 후의 편집 후 화상 데이터를, 표시 데이터로서, 표시 장치(15)에 공급한다.
또한, 동작 모드는, 리모트 커맨더(14)를 조작함으로써 절환할 수 있다.
우선, 도 5의 플로우차트를 참조하여, 도 2의 화상 처리 장치(13)가 행하는 특징량 기록 처리에 대하여 설명한다.
예를 들면, 유저가, 기록 미디어(11)에 기록된 화상 데이터의 편집을 행하기 전에, 그 화상 데이터에 대응하는 화상을 확인하여, 편집의 대략적인 구상을 세우고자 하는 경우, 유저는, 동작 모드를 통상 재생 모드로 하여, 재생을 지시하도록, 리모트 커맨더(14)를 조작한다.
이 경우, 리모트 커맨더(14)는, 유저에 의한 재생의 지시의 조작에 대응하는 조작 신호를 송신하고, 이 조작 신호는, 수광부(44)에서 수광되어, 제어부(43)에 공급된다. 제어부(43)는, 동작 모드가 통상 재생 모드인 경우에, 수광부(44)로부터, 재생의 지시의 조작에 대응하는 조작 신호가 공급되면, 스텝 S11에서, 화상 재생 장치(12)에 대하여, 재생을 요구하는 재생 커맨드를 송신하고, 이에 의해, 화상 재생 장치(12)에, 기록 미디어(11)에 기록된 화상 데이터의 재생을 개시시킨다.
화상 재생 장치(12)는, 화상 데이터의 재생을 개시하면, 그 화상 데이터를, 화상 처리 장치(13)에 공급하고, 화상 처리 장치(13)에서는, 화상 재생 장치(12)로부터의 화상 데이터가, 프레임 단위로, 특징량 추출부(41)와 지연부(48)에 공급된 다.
그리고, 지연부(48)에 공급된 화상 데이터는, 처리 반영부(49)에 공급되고, 처리 반영부(49)에서는, 지연부(48)로부터의 화상 데이터가, 그대로, 표시 데이터로서, 표시 장치(15)에 공급된다. 이에 의해, 표시 장치(15)에서는, 기록 미디어(11)에 기록된 화상 데이터 그 자체에 대응하는 화상이 표시되고, 유저는, 이 표시를 봄으로써, 기록 미디어(11)에 기록된 화상 데이터에 대응하는 화상을 확인할 수 있다.
그 후, 처리는, 스텝 S11로부터 스텝 S12로 진행하여, 특징량 추출부(41)는, 화상 재생 장치(12)로부터 공급되는 화상 데이터의 프레임으로부터 특징량을 추출하는 특징량 추출 처리를 행하고, 처리는, 스텝 S13으로 진행한다. 여기서, 스텝 S12에서, 특징량 추출부(41)가 특징량 추출 처리를 행함으로써 얻어진 특징량은, 기록부(61)에 공급된다.
스텝 S13에서는, 기록부(61)는, 특징량 추출부(41)로부터 공급되는 특징량을, 기록 매체(62)에 기록하고, 처리는, 스텝 S13으로부터 스텝 S14로 진행한다.
여기서, 기록부(61)에 의한 기록 매체(62)에의 특징량의 기록은, 그 특징량이 추출된 프레임의 순번을 유지하도록 행하여진다. 즉, 기록 매체(62)에 기록된 임의의 특징량이, 기록 미디어(11)에 기록된 화상 데이터의 제N 프레임의 특징량일 때, 기록 매체(62)에의, 제N+1 프레임(또는 제N-1 프레임)의 특징량의 기록은, 그 제N+1 프레임(또는 제N-1 프레임)의 특징량이, 이미 기록되어 있는 제N 프레임의 특징량의 1개 후(또는 1개 전)의 프레임의 특징량인 것을 알 수 있도록 행하여진 다.
스텝 S14에서는, 제어부(43)가, 기록 미디어(11)에 기록된 화상 데이터의 재생이 모두 종료되었는지의 여부를 판정한다. 스텝 S14에서, 기록 미디어(11)에 기록된 화상 데이터의 재생이, 아직 종료되어 있지 않다고 판정된 경우, 즉, 화상 재생 장치(12)에서, 화상 데이터의 재생이 행하여지고 있는 경우, 처리는, 스텝 S12로 되돌아가서, 화상 재생 장치(12)로부터 공급되는 화상 데이터의 다음 프레임을 대상으로, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S14에서, 기록 미디어(11)에 기록된 화상 데이터의 재생이, 모두 종료되었다고 판정된 경우, 즉, 화상 재생 장치(12)에서, 화상 데이터의 재생이 종료되어 있는 경우, 특징량 기록 처리는 종료된다.
또한, 기록 매체(62)에의 특징량의 기록은, 중복하여 행할 필요는 없다. 즉, 예를 들면, 과거에, 특징량 기록 처리가 행하여진 것에 의해, 기록 미디어(11)에 기록된 화상 데이터의 특징량이, 이미, 기록 매체(62)에 기록되어 있을 때에는, 기록 미디어(11)에 기록된 화상 데이터 대해서는, 재차, 특징량 기록 처리를 행할 필요는 없다.
다음으로, 도 6의 플로우차트를 참조하여, 도 2의 화상 처리 장치(13)가 행하는 편집/재생 처리에 대하여 설명한다.
상술한 바와 같이, 통상 재생 모드에서, 기록 미디어(11)에 기록된 화상 데이터가 재생되고, 이에 의해, 유저가, 기록 미디어(11)에 기록된 화상 데이터에 대응하는 화상을 확인하여, 편집의 대략적인 구상을 세운 후에, 그 화상 데이터의 편 집을 행하는 경우, 유저는, 동작 모드를 편집 모드로 하여, 재생을 지시하도록, 리모트 커맨더(14)를 조작한다.
이 경우, 리모트 커맨더(14)는, 유저에 의한 재생의 지시의 조작에 대응하는 조작 신호를 송신하고, 이 조작 신호는, 수광부(44)에서 수광되어, 제어부(43)에 공급된다. 제어부(43)는, 동작 모드가 편집 모드인 경우에, 수광부(44)로부터, 재생의 지시의 조작에 대응하는 조작 신호가 공급되면, 화상 재생 장치(12)에 대하여, 재생을 요구하는 재생 커맨드를 송신하고, 이에 의해, 화상 재생 장치(12)에, 기록 미디어(11)에 기록된 화상 데이터의 재생을 개시시킨다.
화상 재생 장치(12)는, 화상 데이터의 재생을 개시하면, 그 화상 데이터를, 화상 처리 장치(13)에 공급하고, 화상 처리 장치(13)에서는, 화상 재생 장치(12)로부터의 화상 데이터가, 프레임 단위로, 특징량 추출부(41)와 지연부(48)에 공급된다.
그리고, 화상 처리 장치(13)에서는, 스텝 S21에서, 지연부(48)는, 1프레임의 화상 데이터가 화상 재생 장치(12)로부터 공급되어 왔는지의 여부를 판정한다. 스텝 S21에서, 1프레임의 화상 데이터가 공급되어 오지 않았다고 판정된 경우, 처리는, 스텝 S30으로 진행한다.
또한, 스텝 S21에서, 1프레임의 화상 데이터가 공급되어 왔다고 판정된 경우, 즉, 화상 재생 장치(12)에서 기록 미디어(11)로부터 재생된 화상 데이터가, 특징량 추출부(41)와 지연부(48)에 공급된 경우, 처리는, 스텝 S22로 진행하여, 지연부(48)는, 화상 재생 장치(12)로부터 공급된 1프레임의 화상 데이터를, 예를 들면, 1프레임의 시간만큼 지연시키기 위해 일시적으로 기억한다.
그 후, 처리는, 스텝 S22로부터 스텝 S23으로 진행하여, 특징량 추출부(41)는, 화상 데이터로부터 특징량을 추출하는 특징량 추출 처리를 실행하고, 이에 의해, 화상 재생 장치(12)로부터 공급된 화상 데이터의 프레임을 주목 프레임으로 하여, 주목 프레임으로부터 특징량을 추출한다. 즉, 지연부(48)가, 화상 재생 장치(12)로부터의 주목 프레임의 화상 데이터를 지연시키기 위해 일시적으로 기억할 때, 그 주목 프레임의 화상 데이터가 특징량 추출부(41)에도 공급되어 있기 때문에, 동일한 타이밍에서, 주목 프레임의 화상 데이터가, 한쪽에서는 지연 때문에 일시적으로 기억되고, 다른 쪽에서는 특징량이 추출된다.
특징량 추출부(41)는, 주목 프레임의 화상 데이터로부터 추출한 특징량을, 일치 특징량 검출부(42)와 기록부(61)에 공급하고, 처리는, 스텝 S23으로부터 스텝 S24로 진행한다.
스텝 S24에서는, 일치 특징량 검출부(42)가, 도 4에서 설명한 일치 특징량 검출 처리를 행한다.
즉, 일치 특징량 검출부(42)는, 도 4에서 설명한 바와 같이, 특징량 추출부(41)로부터의 주목 프레임의 특징량(주목 프레임의 화상 데이터로부터 추출된 특징량)을 포함하는 재생 위치 특징량을 생성한다. 또한, 일치 특징량 검출부(42)는, 기록 매체(62)에 기록된 특징량 중 4프레임분의 특징량의 시퀀스인 검색 위치 특징량을, 1프레임분씩 어긋나게 하면서 생성하고, 재생 위치 특징량과 순차적으로 비교한다.
그리고, 일치 특징량 검출부(42)는, 재생 위치 특징량과 일치하는 검색 위치 특징량을 검출할 수 있었던 경우, 그 재생 위치 특징량과 일치하는 검색 위치 특징량을, 기록부(61) 및 판독부(63)에 공급한다.
스텝 S24에서 일치 특징량 검출 처리가 행하여진 후, 처리는, 스텝 S25로 진행하여, 판독부(63)는, 재생 위치 특징량과 일치하는 검색 위치 특징량을 검출할 수 있었는지의 여부, 즉, 재생 위치 특징량에 포함되는 주목 프레임의 특징량과 값이 일치하는 일치 특징량을, 기록 매체(62)에 기록된 특징량 중으로부터 검출할 수 있었는지의 여부를 판정한다.
스텝 S25에서, 재생 위치 특징량에 포함되는 주목 프레임의 특징량과 값이 일치하는 일치 특징량을, 기록 매체(62)에 기록된 특징량 중으로부터 검출할 수 없었다고 판정된 경우, 즉, 스텝 S24에서의 일치 특징량 검출 처리에서, 재생 위치 특징량과 일치하는 검색 위치 특징량이 검출되지 않고, 이 때문에, 검색 위치 특징량이, 일치 특징량 검출부(42)로부터 기록부(61) 및 판독부(63)에 공급되지 않았던 경우, 처리는, 스텝 S33으로 진행하여, 처리 반영부(49)는, 지연부(48)에 기억된 주목 프레임의 화상 데이터를, 그대로 표시 데이터로서, 표시 장치(15)에 공급하고, 처리는, 스텝 S30으로 진행한다.
따라서, 주목 프레임의 특징량을 포함하는 재생 위치 특징량에 일치하는 검색 위치 특징량이 기록 매체(62)에 기록되어 있지 않은 경우에는, 표시 장치(15)에서는, 기록 미디어(11)로부터 재생된 주목 프레임의 화상 데이터 그 자체에 대응하는 화상이 표시된다.
또한, 스텝 S25에서, 재생 위치 특징량에 포함되는 주목 프레임의 특징량과 값이 일치하는 일치 특징량을, 기록 매체(62)에 기록된 특징량 중으로부터 검출할 수 있었다고 판정된 경우, 즉, 스텝 S24에서의 일치 특징량 검출 처리에서, 재생 위치 특징량과 일치하는 검색 위치 특징량이 검출되고, 그 검색 위치 특징량이, 일치 특징량 검출부(42)로부터 기록부(61) 및 판독부(63)에 공급된 경우, 처리는, 스텝 S26으로 진행하여, 처리 정보 결정부(46)는, 유저에 의해 리모트 커맨더(14)의 편집 조작이 행하여졌는지의 여부를 판정한다.
스텝 S26에서, 편집 조작이 행하여졌다고 판정된 경우, 즉, 유저가, 표시 장치(15)에 표시된 화상을 보면서, 예를 들면, 2배의 줌 업 등의 편집 처리를 행하도록, 리모트 커맨더(14)를 편집 조작하고, 그 편집 조작에 대응한 조작 신호가, 수광부(44)에서 수신되어, 처리 정보 결정부(46)에 공급된 경우, 처리는, 스텝 S27로 진행하여, 처리 정보 결정부(46)는, 수광부(44)로부터 공급된 조작 신호에 기초하여, 주목 프레임의 화상 데이터에 대하여 실시하는 편집 처리를 결정하고, 그 편집 처리를 나타내는 처리 정보를, 선택부(47) 및 기록부(61)에 공급하고, 처리는, 스텝 S28로 진행한다.
스텝 S28에서는, 기록부(61)가, 일치 특징량 검출부(42)로부터 공급된 검색 위치 특징량으로서의 4프레임의 특징량의 시퀀스를, 기록 매체(62)에 기록된 특징량 중으로부터 검출하고, 그 중 시간적으로 가장 뒤의 특징량, 즉, 주목 프레임의 특징량과 값이 일치하는 일치 특징량에 대응지어, 처리 정보 결정부(46)로부터의 처리 정보를, 기록 매체(62)에 기록하고, 처리는, 스텝 S29로 진행한다.
즉, 주목 프레임의 화상 데이터의 재생 중에, 편집 조작이 행하여진 경우, 그 편집 조작에 대응하는 편집 처리를 나타내는 처리 정보가, 그 편집 처리를 실시할 주목 프레임의 화상 데이터의 특징량에 대응지어져, 기록 매체(62)에 기록된다.
스텝 S29에서는, 선택부(47)는, 처리 정보 결정부(46)로부터 직전의 스텝 S27에서 공급된 처리 정보를 선택하고, 처리 반영부(49)에 공급한다. 처리 반영부(49)는, 지연부(48)에 기억되어 있는 주목 프레임의 화상 데이터에 대하여, 선택부(47)로부터 공급되어 온 처리 정보가 나타내는 편집 처리, 즉, 지금의 경우, 유저에 의한 편집 조작에 대응하는 편집 처리를 실시하고, 그 결과 얻어지는 편집 후 화상 데이터를, 표시 데이터로서, 표시 장치(15)에 공급하고, 처리는, 스텝 S30으로 진행한다.
따라서, 편집 조작이 이루어진 경우에는, 그 편집 조작에 대응하는 편집 처리를 나타내는 처리 정보가, 그 편집 처리를 실시할 주목 프레임의 화상 데이터의 특징량에 대응지어져, 기록 매체(62)에 기록됨과 함께, 표시 장치(15)에서는, 주목 프레임의 화상 데이터에 대하여, 편집 조작에 대응하는 편집 처리가 실시된 결과 얻어지는 편집 후 화상 데이터에 대응하는 화상이 표시된다.
한편, 스텝 S26에서, 편집 조작이 이루어져 있지 않다고 판정된 경우, 처리는, 스텝 S31로 진행하여, 판독부(63)는, 기록 매체(62)에서, 주목 프레임의 특징량과 값이 일치하는 일치 특징량에 대응지어진 처리 정보가 기록되어 있는지의 여부를 판정한다.
즉, 스텝 S31에서는, 판독부(63)는, 기록 매체(62)에 기록되어 있는 특징량 중, 일치 특징량 검출부(42)로부터 공급된 검색 위치 특징량으로서의 4프레임의 특징량의 시퀀스를, 기록 매체(62)에 기록된 특징량 중으로부터 검출하고, 그 중 시간적으로 가장 뒤의 특징량, 즉, 주목 프레임의 특징량과 값이 일치하는 일치 특징량에 대응지어, 처리 정보가, 기록 매체(62)에 기록되어 있는지의 여부를 판정한다.
스텝 S31에서, 주목 프레임의 특징량에 값이 일치하는 일치 특징량에 대응지어진 처리 정보가 기록되어 있지 않다고 판정된 경우, 즉, 과거에 행하여진 주목 프레임의 재생 중에, 그 주목 프레임에 대하여, 편집 조작이 행하여진 일이 없고, 그 때문에, 기록 매체(62)에 기록되어 있는 특징량에서, 일치 특징량 검출부(42)로부터 공급된 검색 위치 특징량으로서의 4프레임의 특징량의 시퀀스 중 시간적으로 가장 뒤의 특징량, 즉, 주목 프레임의 특징량과 값이 일치하는 일치 특징량(과거에 주목 프레임으로부터 추출된 특징량)에 대응지어, 처리 정보가, 기록 매체(62)에 기록되어 있지 않은 경우, 처리는, 스텝 S33으로 진행하여, 상술한 바와 같이, 처리 반영부(49)는, 지연부(48)에 기억된 주목 프레임의 화상 데이터를, 그대로 표시 데이터로서, 표시 장치(15)에 공급하고, 처리는, 스텝 S30으로 진행한다.
따라서, 편집 조작이 이루어지지 않고, 또한, 기록 매체(62)에서, 주목 프레임의 특징량과 값이 일치하는 일치 특징량, 즉, 주목 프레임의 특징량에 대응지어, 처리 정보가 기록되어 있지 않은 경우에는, 표시 장치(15)에서는, 기록 미디어(11)로부터 재생된 주목 프레임의 화상 데이터 그 자체에 대응하는 화상이 표시된다.
한편, 스텝 S31에서, 주목 프레임의 특징량에 값이 일치하는 일치 특징량에 대응지어진 처리 정보가 기록되어 있다고 판정된 경우, 즉, 과거에 행하여진 주목 프레임의 재생 중에, 그 주목 프레임에 대하여, 편집 조작이 행하여진 일이 있고, 그 결과, 기록 매체(62)에 기록되어 있는 특징량에서, 일치 특징량 검출부(42)로부터 공급된 검색 위치 특징량으로서의 4프레임의 특징량의 시퀀스 중 시간적으로 가장 뒤의 특징량, 즉, 주목 프레임의 특징량과 값이 일치하는 일치 특징량에 대응지어, 처리 정보가, 기록 매체(62)에 기록되어 있는 경우, 처리는, 스텝 S32로 진행하여, 판독부(63)는, 기록 매체(62)에서, 일치 특징량, 즉, 주목 프레임의 특징량에 대응지어진 처리 정보를 판독하여, 선택부(47)에 공급하고, 처리는, 스텝 S29으로 진행한다.
스텝 S29에서는, 선택부(47)는, 판독부(63)로부터 직전의 스텝 S32에서 공급된 처리 정보를 선택하고, 처리 반영부(49)에 공급한다. 즉, 지금의 경우, 편집 조작이 이루어져 있지 않으므로, 선택부(47)에는, 처리 정보 결정부(46)로부터 처리 정보는 공급되지 않고, 판독부(63)로부터만 처리 정보가 공급되므로, 선택부(47)는, 판독부(63)로부터 직전의 스텝 S32에서 공급된 처리 정보를 선택하고, 처리 반영부(49)에 공급한다.
처리 반영부(49)는, 지연부(48)에 기억되어 있는 주목 프레임의 화상 데이터에 대하여, 선택부(47)로부터 공급되어 온 처리 정보가 나타내는 편집 처리, 즉, 지금의 경우, 기록 매체(62)에서 주목 프레임의 특징량과 대응지어져 기록되어 있던 처리 정보가 나타내는 편집 처리를 실시하고, 그 결과 얻어지는 편집 후 화상 데이터를, 표시 데이터로서, 표시 장치(15)에 공급하고, 처리는, 스텝 S30으로 진 행한다.
따라서, 금회의 편집/재생 처리에서는 편집 조작이 이루어지지 않았지만, 과거에 행하여진 주목 프레임의 재생 중에 편집 조작이 행하여지고, 그 결과, 기록 매체(62)에서, 주목 프레임의 특징량에 대응지어, 과거에 행하여진 편집 조작에 대응하는 편집 처리를 나타내는 처리 정보가 기록되어 있는 경우에는, 표시 장치(15)에서는, 주목 프레임의 화상 데이터에 대하여, 과거에 행하여진 편집 조작에 대응하는 편집 처리가 실시된 결과 얻어지는 편집 후 화상 데이터에 대응하는 화상이 표시된다.
스텝 S30에서는, 제어부(43)가, 화상 재생 장치(12)에 의한 기록 미디어(11)에 기록된 화상 데이터의 모든 재생이 종료되었는지, 또는, 재생을 종료하도록, 리모트 커맨더(14)가 조작되었는지의 여부를 판정한다.
스텝 S30에서, 기록 미디어(11)에 기록된 화상 데이터의 모든 재생이, 아직 종료되어 있지 않다고 판정되고, 또한, 재생을 종료하도록, 리모트 커맨더(14)가 조작되어 있지 않다고 판정된 경우, 처리는, 스텝 S21로 되돌아가서, 다음 프레임의 화상 데이터가 화상 재생 장치(12)로부터 공급되어 왔는지의 여부가 판정되고, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S30에서, 기록 미디어(11)에 기록된 화상 데이터의 모든 재생이 종료되었다고 판정되거나, 또는, 재생을 종료하도록, 리모트 커맨더(14)가 조작되었다고 판정된 경우, 편집/재생 처리는 종료된다.
또한, 특징량의 기록 매체(62)에의 기록은, 특징량 기록 처리(도 5)에서 행 하는 것 외에, 편집/재생 처리(도 6)의 스텝 S23에서 특징량 추출 처리를 행한 직후에 행하는 것 등이 가능하다.
다음으로, 도 7을 참조하여, 도 2의 화상 처리 장치(13)에 의한 편집/재생 처리에 대하여, 더 설명한다. 또한, 특징량 기록 처리(도 5)는, 이미 종료되어 있는 것으로 한다.
도 7에서는, 시각 t0부터 t1까지의 시간을 재생 시간으로 하는 화상 데이터가 기록 미디어(11)에 기록되어 있고, 우선, 시각 t0보다 후의 시각 t11부터, 화상 데이터의 재생이 개시되어 있다.
예를 들면, 시각 t11보다 후의 시각 t101 내지 t102에서, 유저가 리모트 커맨더(14)를 편집 조작하면, 그 편집 조작에 대응하는 편집 처리를 나타내는 처리 정보가, 시각 t101 내지 t102의 화상 데이터의 특징량에 대응지어져, 기록 매체(62)에 기록된다.
그 후, 도 7에서는, 시각 t12에서, 앞으로 감기가 개시되고, 시각 t21 내지 t22에서 다시 재생이 행하여지고 있다. 계속해서, 시각 t31까지 앞으로 감기가 이루어지고, 시각 t31에서 재생이 개시되어 있다.
예를 들면, 시각 t31부터의 재생의 개시 후의 시각 t111 내지 t112에서, 유저가 리모트 커맨더(14)를 편집 조작하면, 그 편집 조작에 대응하는 편집 처리를 나타내 는 처리 정보가, 시각 t111 내지 t112의 화상 데이터의 특징량에 대응지어져, 기록 매체(62)에 기록된다.
도 7에서는, 또한, 시각 t32까지 재생이 이루어지고, 그 후, 시각 t121까지 되감기가 이루어지고, 재생이 개시되어 있다.
예를 들면, 시각 t121부터의 재생 중의 시각 t131 내지 t132에서, 유저가 리모트 커맨더(14)를 편집 조작하면, 그 편집 조작에 대응하는 편집 처리를 나타내는 처리 정보가, 시각 t131 내지 t132의 화상 데이터의 특징량에 대응지어져, 기록 매체(62)에 기록된다.
도 7에서는, 그 후, 시각 t132까지 재생이 행하여지고 나서, 선두의 시각 t0에 가까운 시각 t151까지 되감기가 이루어지고, 최후의 시각 t1에 가까운 시각 t152까지, 재생이 이루어져 있다.
이 경우, 리모트 커맨더(14)가 편집 조작된 시각 t101 내지 t102, 시각 t131 내지 t132, 및 시각 t111 내지 t112의 화상 데이터가 재생될 때에, 각 시각의 화상 데이터의 특징량과 대응지어져 있는 처리 정보가, 기록 매체(62)로부터 판독되고, 그 처리 정보가 나타내는 편집 처리가, 그 처리 정보에 특징량이 대응지어져 있는 화상 데이터에 실시된다.
이상과 같이, 도 2의 화상 처리 장치(13)에서는, 편집 조작에 기초하여, 주목 프레임의 화상 데이터에 실시하는 편집 처리를 결정하고, 그 편집 처리를 나타 내는 처리 정보를, 그 처리 정보가 나타내는 편집 처리를 실시하는 화상 데이터의 특징량, 즉, 주목 프레임의 특징량과 대응지어 기록 매체(62)에 기록하므로, 기록 매체(62)에 기록된 특징량에서, 주목 프레임의 특징량과 값이 일치하는 일치 특징량을 검출하고, 그 일치 특징량에 대응지어져 있는 처리 정보가 나타내는 편집 처리를, 주목 프레임에 실시함으로써, 주목 프레임에 대하여, 과거에 행하여진 편집 조작에 대응하는 편집 처리를 실시할 수 있다.
즉, 주목 프레임에 실시할 편집 처리를, 주목 프레임의 특징량에 대응지어져 있는 처리 정보로부터 특정하고, 주목 프레임에 실시할 수 있다.
따라서, 기록 미디어(11)에 기록된 화상 데이터에 편집 처리를 실시하여 얻어지는 편집 후 화상 데이터를 기록해 두지 않아도, 그 편집 후 화상 데이터를 재현할 수 있다. 또한, 타임 코드 없이, 화상의 편집을 행할 수 있다.
또한, 처리 정보에 대응짓는 특징량으로서는, 1프레임의 화소값의 가산값을 이용하는 것으로 하였지만, 그 이외의 특징량이어도 되고, 예를 들면, 움직임 벡터(전체 화면 움직임과 로컬 움직임), 특정한 파형 패턴이 얼마만큼 출현하는지를 나타내는 값, 축소 화상에서의 화소값의 적산값, 화상의 특정 부분의 화소값의 적산값, 이들을 복수 프레임분만큼 이용한 값, 또는, 이들 복수의 특징량의 조합 등이어도 된다.
즉, 처리 정보에 대응짓는 특징량은, 그 처리 정보가 나타내는 편집 처리를 실시하는 프레임를 특정할 수 있는 정보이면 되고, 상이한 화상에 대하여, 반드시 상이한 값으로 되는 정보 외에, 상이한 화상에 대하여, 어느 정도의 높은 확률로 상이한 값으로 되는 정보이어도 된다.
상이한 화상에 대하여, 어느 정도의 높은 확률로 상이한 값으로 되는 특징량으로서는, 예를 들면, 상술한 1프레임의 화소값의 가산값의 하위 8비트가 있지만, 그와 같은 특징량이라도, 도 4에서 설명한 바와 같이, 4프레임 등의 복수의 프레임의 특징량의 시퀀스끼리(재생 위치 특징량과 검색 위치 특징량)를 비교함으로써, 기록 매체(62)에 기록된 특징량 중으로부터, 주목 프레임의 특징량(일치 특징량)을 정확하게 검출하는 것이 가능하게 된다.
여기서, 처리 정보에 대응짓는 특징량을, 이하, 적절하게, 처리 특징량이라고도 한다.
다음으로, 도 8은, 도 1의 화상 처리 장치(13)의 제2 구성예를 도시하는 블록도이다.
또한, 도면 중, 도 2의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있고, 이하에서는, 그 설명은 적절히 생략한다.
도 8의 화상 처리 장치(13)는, 특징량 추출부(41), 일치 특징량 검출부(42), 수광부(44), 처리 정보 결정부(46), 선택부(47), 지연부(48), 및 처리 반영부(49)를 갖는 점에서, 도 2의 경우와 일치한다. 단, 도 8의 화상 처리 장치(13)는, 제어부(43), 기록부(61), 또는 기록 매체(62) 각각 대신에, 제어부(122), 기록부(123), 또는 기록 매체(124)가 설치되고, 새롭게, 특징 추출부(121) 및 표시 제어부(125)가 설치되어 있는 점에서, 도 2의 경우와 상위하다.
특징량 추출부(121)에는, 특징량 추출부(41)에 공급되는 것과 동일한 화상 데이터가, 화상 재생 장치(12)로부터 공급된다. 특징량 추출부(121)는, 특징량 추출부(41)와 마찬가지로, 화상 재생 장치(12)로부터 순차적으로 공급되어 오는 화상 데이터의 각 프레임으로부터, 특징량을 추출하고, 그 특징량을 프레임 단위로, 기록부(61)에 공급한다.
단, 특징량 추출부(121)에서는, 1프레임의 화상 데이터로부터, 그 1프레임의 화상 데이터보다도 데이터량이 적은 특징량이 추출된다.
여기서, 이하, 적절하게, 특징량 추출부(121)에서 추출되는 특징량을, 특징량 추출부(41)에서 추출되는 처리 특징량과 구별하기 위해, 압축 특징량이라고 한다.
또한, 특징량 추출부(121)에서 추출되는 압축 특징량은, 처리 정보와 대응지어지는 처리 특징량과 같이, 처리 정보가 나타내는 편집 처리를 실시하는 프레임을 특정할 수 있는 특징량일 필요는 없지만, 그와 같은 특징량이어도 된다.
제어부(122)는, 도 2의 제어부(43)와 마찬가지로, 수광부(44)로부터 공급되는 조작 신호에 따라, 화상 재생 장치(12)나, 화상 처리 장치(13)를 구성하는 각 블록을 제어한다. 또한, 제어부(122)는, 동작 모드에 따라서, 표시 제어부(125)를 제어한다.
기록부(123)는, 도 2의 기록부(61)와 마찬가지로, 특징량 추출부(41)로부터 공급되는 처리 특징량을 기록 매체(62)에 기록하는 것, 및, 처리 정보 결정부(46)로부터 공급되는 처리 정보를, 처리 특징량과 대응지어, 기록 매체(62)에 기록하는 것을 행한다.
또한, 기록부(123)는, 특징량 추출부(121)로부터 공급되는 압축 특징량을 기록 매체(62)에 기록한다.
기록 매체(124)는, 도 2의 기록 매체(62)와 마찬가지로, 예를 들면, 디스크 형상의 기록 매체나 반도체 메모리 등이며, 거기에는, 처리 정보와 처리 특징량이 기록된다. 또한, 기록 매체(124)에는, 압축 특징량이 기록된다.
표시 제어부(125)는, 제어부(122)의 제어에 따라, 처리 반영부(49)로부터 공급되는 화상 데이터, 또는 기록 매체(124)에 기록된 압축 특징량을 표시 데이터로서, 표시 장치(15)에 공급하고, 그 표시 데이터에 대응하는 화상을 표시시킨다.
다음으로, 도 9 내지 도 11의 플로우차트를 참조하여, 도 8의 화상 처리 장치(13)의 동작에 대하여 설명한다.
도 8의 화상 처리 장치(13)에서는, 도 2의 경우와 마찬가지로, 특징량 기록 처리, 및 편집/재생 처리가 행하여진다. 또한, 도 8의 화상 처리 장치(13)는, 동작 모드로서, 통상 재생 모드, 및 편집 모드 이외에, 간이 편집 모드를 갖고 있어, 간이 편집 모드의 처리도 행한다.
우선, 도 9의 플로우차트를 참조하여, 도 8의 화상 처리 장치(13)가 행하는 특징량 기록 처리에 대하여 설명한다.
예를 들면, 도 5에서 설명한 바와 같이, 동작 모드가 통상 재생 모드일 때에, 유저가, 재생을 지시하도록, 리모트 커맨더(14)를 조작하면, 그 조작에 대응하는 조작 신호가, 리모트 커맨더(14)로부터 송신되어, 수광부(44)를 통하여, 제어부(122)에 공급된다. 제어부(122)는, 동작 모드가 통상 재생 모드인 경우에, 재생 의 지시의 조작에 대응하는 조작 신호가 공급되면, 스텝 S51에서, 화상 재생 장치(12)에 대하여, 재생을 요구하는 재생 커맨드를 송신하고, 이에 의해, 화상 재생 장치(12)에, 기록 미디어(11)에 기록된 화상 데이터의 재생을 개시시킨다.
화상 재생 장치(12)는, 화상 데이터의 재생을 개시하면, 그 화상 데이터를, 화상 처리 장치(13)에 공급하고, 화상 처리 장치(13)에서는, 화상 재생 장치(12)로부터의 화상 데이터가, 프레임 단위로, 특징량 추출부(41과 121), 및 지연부(48)에 공급된다.
그리고, 지연부(48)에 공급된 화상 데이터는, 처리 반영부(49)에 공급되고, 처리 반영부(49)에서는, 지연부(48)로부터의 화상 데이터가, 그대로, 표시 제어부(125)에 공급된다. 표시 제어부(125)는, 통상 재생 모드에서는, 처리 반영부(49)로부터의 화상 데이터를, 표시 데이터로서, 표시 장치(15)에 공급하고, 이에 의해, 표시 장치(15)에서는, 기록 미디어(11)에 기록된 화상 데이터 그 자체에 대응하는 콘텐츠 화상이 표시된다. 유저는, 이 콘텐츠 화상의 표시를 봄으로써, 기록 미디어(11)에 기록된 화상 데이터에 대응하는 화상을 확인할 수 있다.
그 후, 처리는, 스텝 S51로부터 스텝 S52로 진행하여, 특징량 추출부(41)가, 화상 재생 장치(12)로부터 공급되는 화상 데이터의 프레임으로부터 처리 특징량을 추출함과 함께, 특징 추출부(121)가, 그 프레임으로부터 압축 특징량을 추출하는 특징량 추출 처리가 행하여지고, 처리는, 스텝 S53으로 진행한다.
여기서, 스텝 S52에서, 특징량 추출부(41)에서 추출된 처리 특징량, 및, 특징량 추출부(121)에서 추출된 압축 특징량은, 기록부(123)에 공급된다.
스텝 S53에서는, 기록부(123)는, 특징량 추출부(41)로부터의 처리 특징량과, 특징량 추출부(121)로부터의 압축 특징량을 대응지어, 즉, 동일한 프레임으로부터 추출된 처리 특징량과 압축 특징량을 대응지어, 기록 매체(124)에 기록하고, 처리는, 스텝 S53으로부터 스텝 S54로 진행한다.
여기서, 기록부(123)에 의한 기록 매체(124)에의 처리 특징량 및 압축 특징량의 기록은, 그 처리 특징량 및 압축 특징량이 추출된 프레임의 순번을 유지하도록 행하여진다. 즉, 기록 매체(124)에 기록된 임의의 처리 특징량 및 압축 특징량이, 기록 미디어(11)에 기록된 화상 데이터의 제N 프레임의 처리 특징량 및 압축 특징량일 때, 기록 매체(124)에의, 제N+1 프레임(또는 제N-1 프레임)의 처리 특징량 및 압축 특징량의 기록은, 그 제N+1 프레임(또는 제N-1 프레임)의 처리 특징량 및 압축 특징량이, 이미 기록되어 있는 제N 프레임의 특징량의 1개 후(또는 1개 전)의 프레임의 처리 특징량 및 압축 특징량인 것을 알 수 있도록 행하여진다.
스텝 S54에서는, 제어부(122)가, 기록 미디어(11)에 기록된 화상 데이터의 재생이 모두 종료되었는지의 여부를 판정한다. 스텝 S54에서, 기록 미디어(11)에 기록된 화상 데이터의 재생이, 아직 종료되어 있지 않다고 판정된 경우, 즉, 화상 재생 장치(12)에서, 화상 데이터의 재생이 행하여지고 있는 경우, 처리는, 스텝 S52로 되돌아가서, 화상 재생 장치(12)로부터 공급되는 화상 데이터의 다음 프레임을 대상으로, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S54에서, 기록 미디어(11)에 기록된 화상 데이터의 재생이, 모두 종료되었다고 판정된 경우, 즉, 화상 재생 장치(12)에서, 화상 데이터의 재생이 종 료되어 있는 경우, 특징량 기록 처리는 종료된다.
또한, 기록 매체(124)에의 처리 특징량 및 압축 특징량의 기록은, 기록 매체(62)(도 2)에의 처리 특징량의 기록과 마찬가지로, 중복하여 행할 필요는 없다.
다음으로, 도 10의 플로우차트를 참조하여, 도 8의 화상 처리 장치(13)가 행하는 편집/재생 처리에 대하여 설명한다.
예를 들면, 도 6에서 설명한 바와 같이, 동작 모드가 편집 모드일 때에, 유저가, 재생을 지시하도록, 리모트 커맨더(14)를 조작하면, 그 조작에 대응하는 조작 신호가, 리모트 커맨더(14)로부터 송신되어, 수광부(44)을 통하여, 제어부(122)에 공급된다. 제어부(122)는, 동작 모드가 편집 모드인 경우에, 재생의 지시의 조작에 대응하는 조작 신호가 공급되면, 화상 재생 장치(12)에 대하여, 재생을 요구하는 재생 커맨드를 송신하고, 이에 의해, 화상 재생 장치(12)에, 기록 미디어(11)에 기록된 화상 데이터의 재생을 개시시킨다.
화상 재생 장치(12)는, 화상 데이터의 재생을 개시하면, 그 화상 데이터를, 화상 처리 장치(13)에 공급하고, 화상 처리 장치(13)에서는, 화상 재생 장치(12)로부터의 화상 데이터가, 프레임 단위로, 특징량 추출부(41과 121), 및 지연부(48)에 공급된다.
그리고, 화상 처리 장치(13)에서는, 스텝 S61 내지 S73에서, 도 6의 스텝 S21 내지 S33과 각각 마찬가지의 처리가 행하여진다.
단, 도 10의 스텝 S68에 대응하는 도 6의 스텝 S28에서는, 기록부(61)가, 기록 매체(62)에 기록된 처리 특징량 중, 주목 프레임의 처리 특징량에 대응지어, 처 리 정보 결정부(46)로부터의 처리 정보를, 기록 매체(62)에 기록하지만, 도 8의 화상 처리 장치(13)에서는, 기록 매체(124)에, 처리 특징량과 압축 특징량이 대응지어져 기록되기 때문에, 도 10의 스텝 S68에서는, 기록부(123)가, 처리 정보를, 주목 프레임의 처리 특징량 및 압축 특징량과 대응지어, 기록 매체(124)에 기록한다.
또한, 스텝 S69 및 S73에서는, 표시 제어부(125)가, 처리 반영부(49)로부터 공급되는 화상 데이터를, 표시 데이터로서, 표시 장치(15)에 공급함으로써, 그 표시 데이터에 대응하는 화상이 표시된다.
다음으로, 도 11의 플로우차트를 참조하여, 도 8의 화상 처리 장치(13)가 행하는 간이 편집 모드의 처리에 대하여 설명한다.
유저가, 동작 모드를 간이 편집 모드로 하여, 재생을 지시하도록, 리모트 커맨더(14)를 조작하면, 그 조작에 대응하는 조작 신호가, 리모트 커맨더(14)로부터 송신된다. 이 조작 신호는, 수광부(44)에서 수광되어, 제어부(122)에 공급된다. 제어부(122)는, 동작 모드가 간이 편집 모드인 경우에, 수광부(44)로부터, 재생의 지시의 조작에 대응하는 조작 신호가 공급되면, 스텝 S91에서, 표시 제어부(125)를 제어하여, 기록 매체(124)에 기록된, 기록 미디어(11)의 화상 데이터로부터 추출된 압축 특징량을 표시하는 압축 특징량의 표시 처리를 개시시킨다.
즉, 표시 제어부(125)는, 우선, 기록 매체(124)로부터, 기록 미디어(11)의 화상 데이터의 최초의 프레임의 압축 특징량을, 주목 압축 특징량으로서 판독하고, 그 주목 압축 특징량을 표시 데이터로서 표시 장치(15)에 공급하여 표시시키며, 다음으로, 기록 매체(124)로부터, 기록 미디어(11)의 화상 데이터의 2번째의 프레임 의 압축 특징량을, 주목 압축 특징량으로서 판독하고, 그 주목 압축 특징량을 표시 데이터로서 표시 장치(15)에 공급하여 표시시킨다. 이하, 마찬가지로 하여, 표시 제어부(125)는, 기록 매체(124)에 기록된 압축 특징량을, 순차적으로, 주목 압축 특징량으로서 판독하고, 표시 장치(15)에 공급하여 표시시킨다.
이상과 같이, 간이 편집 모드에서는, 기록 미디어(11)에 기록된 화상 데이터에 대응하는 콘텐츠 화상이 아니라, 그 화상 데이터의 압축 특징량이 표시된다.
그 후, 처리는, 스텝 S91로부터 스텝 S92로 진행하여, 처리 정보 결정부(46)는, 유저에 의해 리모트 커맨더(14)의 편집 조작이 행하여졌는지의 여부를 판정한다.
스텝 S92에서, 편집 조작이 행하여져 있지 않다고 판정된 경우, 처리는, 스텝 S93 및 S94를 스킵하고, 스텝 S95로 진행한다.
또한, 스텝 S92에서, 편집 조작이 행하여졌다고 판정된 경우, 즉, 유저가, 표시 장치(15)에 표시된 압축 특징량을 보면서, 예를 들면, 2배의 줌 업 등의 편집 처리를 행하도록, 리모트 커맨더(14)를 편집 조작하고, 그 편집 조작에 대응한 조작 신호가, 수광부(44)에서 수신되어, 처리 정보 결정부(46)에 공급된 경우, 처리는, 스텝 S93으로 진행하여, 처리 정보 결정부(46)는, 수광부(44)로부터 공급된 조작 신호에 기초하여, 주목 프레임의 화상 데이터에 대하여 실시하는 편집 처리를 결정하고, 그 편집 처리를 나타내는 처리 정보를, 기록부(123)에 공급하고, 처리는, 스텝 S94로 진행한다.
스텝 S94에서는, 기록부(123)가, 표시 제어부(125)가 주목 압축 특징량으로 서 기록 매체(124)로부터 판독한 압축 특징량, 및, 그 압축 특징량에 대응지어져 있는 처리 특징량에 대응지어, 처리 정보 결정부(46)로부터의 처리 정보를, 기록 매체(124)에 기록하고, 처리는, 스텝 S95로 진행한다.
즉, 주목 압축 특징량의 표시 중에, 편집 조작이 행하여진 경우, 그 편집 조작에 대응하는 편집 처리를 나타내는 처리 정보가, 그 편집 처리를 실시할 프레임의 압축 특징량 및 처리 특징량에 대응지어져, 기록 매체(124)에 기록된다.
스텝 S95에서는, 표시 제어부(125)가, 기록 매체(124)에 기록된 압축 특징량의 모든 표시가 종료되었는지, 또는, 재생을 종료하도록, 리모트 커맨더(14)가 조작되었는지의 여부를 판정한다.
스텝 S95에서, 기록 매체(124)에 기록된 압축 특징량의 모든 표시가, 아직 종료되어 있지 않다고 판정되고, 또한, 재생을 종료하도록, 리모트 커맨더(14)가 조작되어 있지 않다고 판정된 경우, 처리는, 스텝 S92로 되돌아가서, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S95에서, 기록 매체(124)에 기록된 압축 특징량의 모든 표시가 종료되었다고 판정되거나, 또는, 재생을 종료하도록, 리모트 커맨더(14)가 조작되었다고 판정된 경우, 간이 편집 모드의 처리는 종료된다.
이상과 같이, 간이 편집 모드에서는, 기록 미디어(11)에 기록된 화상 데이터에 대응하는 콘텐츠 화상이 아니라, 그 화상 데이터의 압축 특징량이 표시되므로, 유저는, 그 압축 특징량을 보고 편집 조작을 행하게 된다.
다음으로, 도 12 내지 도 14를 참조하여, 압축 특징량에 대하여 설명한다.
1프레임의 화상 데이터의 압축 특징량으로서는, 그 1프레임의 화상 데이터보다도 데이터량을 적게 한 정보이며, 또한, 유저가 보고, 편집 조작을 하는 행동을 환기하는 정보를 채용할 수 있다.
구체적으로는, 예를 들면, 1프레임의 화상 데이터의 각 화소의 화소값(예를 들면, 휘도값)을 나타내는 비트열의 일부나, 1프레임의 화상 데이터의 움직임을 나타내는 정보, 1프레임의 화상 데이터의 공간 액티비티를 나타내는 정보 등을 채용할 수 있다.
도 12는, 압축 특징량으로서, 화소의 화소값을 나타내는 비트열의 일부를 채용한 경우의, 압축 특징량의 표시예를 도시하고 있다.
즉, 도 12의 상측은, 콘텐츠 화상을 도시하고 있고, 도 12의 하측은, 콘텐츠 화상의 화상 데이터로부터 추출한 압축 특징량으로서의, 그 콘텐츠 화상의 화상 데이터의 화소의 화소값을 나타내는 비트열의 상위 2비트를 화소값으로 하는 화상을 도시하고 있다.
도 12의 상측의 콘텐츠 화상에서는, 제N 프레임부터 제N+4 프레임에 걸쳐, 좌측 아래로부터 우측 위 방향으로 이동하는 원형의 물체가 존재하며, 또한, 점점 밝게 되어 있다.
압축 특징량으로서, 화소값을 나타내는 비트열의 상위 2비트를 채용하고, 그 압축 특징량을 표시하면, 즉, 그 압축 특징량을 화소값으로 하는 화상을 표시하면, 도 12의 하측에 도시하는 바와 같이, 어두운 씬과 밝은 씬의 구별이 쉬워진다.
따라서, 콘텐츠 화상에서, 밝은 씬만을 대상으로 편집을 행하는 경우에는, 압축 특징량으로서, 화소값을 나타내는 비트열의 상위 2비트를 채용하여 표시함으로써, 유저는, 편집의 대상으로 하는 밝은 씬의 프레임을 용이하게 찾아낼 수 있고, 그 결과, 편집 작업의 용이화를 도모할 수 있다.
또한, 편집의 대상으로 하지 않는 어두운 씬에 대해서는, 예를 들면, 유저가, 리모트 커맨더(14)를 조작하여, 표시 제어부(125)에 의한 압축 특징량의 표시를 앞으로 감기와 같이 함으로써, 편집에 필요로 하는 시간의 단축화를 도모할 수 있다.
또한, 압축 특징량으로 하는, 콘텐츠 화상의 화소값을 나타내는 비트열의 일부로서는, 그 비트열의 상위 2비트 외에, 예를 들면, 최상위의 1비트나, 상위 3비트 등을 채용하는 것이 가능하다.
다음으로, 도 13은, 압축 특징량으로서, 움직임을 나타내는 정보를 채용한 경우의, 압축 특징량의 표시예를 도시하고 있다.
즉, 도 13의 상측은, 콘텐츠 화상을 도시하고 있고, 도 13의 하측은, 콘텐츠 화상의 화상 데이터로부터 추출한 압축 특징량으로서의, 그 콘텐츠 화상의 인접하는 프레임끼리의 화소값의 차분값(의 절대값)을 소정의 임계값으로 2치화한 값을 화소값으로 하는 화상을 도시하고 있다.
도 13의 상측의 콘텐츠 화상에서는, 원형의 피사체가 존재하고, 그 원형의 피사체는, 제N 프레임과 제N+1 프레임에서는 정지하고 있고, 제N+2 프레임과 제N+3 프레임에서는 좌측 아래부로부터 우측 위 방향으로 이동하고 있다.
압축 특징량으로서, 인접하는 프레임끼리의 화소값의 차분값을 소정의 임계 값으로 2치화한 값을 채용하고, 그 압축 특징량을 표시하면, 즉, 그 압축 특징량을 화소값으로 하는 화상을 표시하면, 도 13의 하측에 도시하는 바와 같이, 움직임이 있는 피사체가 존재하는 씬과, 움직임이 있는 피사체가 존재하지 않는 씬의 구별이 쉬워진다.
따라서, 콘텐츠 화상에서, 움직임이 있는 피사체가 존재하는 씬만을 대상으로 편집을 행하는 경우에는, 압축 특징량으로서, 인접하는 프레임끼리의 화소값의 차분값을 소정의 임계값으로 2치화한 값을 채용하여 표시함으로써, 유저는, 편집의 대상으로 하는 움직임이 있는 피사체가 존재하는 씬의 프레임을 용이하게 찾아낼 수 있고, 그 결과, 편집 작업의 용이화를 도모할 수 있다.
또한, 편집의 대상으로 하지 않는, 움직임이 있는 피사체가 존재하지 않는 씬에 대해서는, 예를 들면, 유저가, 리모트 커맨더(14)를 조작하여, 표시 제어부(125)에 의한 압축 특징량의 표시를 앞으로 감기와 같이 함으로써, 편집에 필요로 하는 시간의 단축화를 도모할 수 있다.
또한, 압축 특징량으로 하는, 콘텐츠 화상의 움직임을 나타내는 정보로서는, 인접하는 프레임끼리의 화소값의 차분값을 소정의 임계값으로 2치화한 값 외에, 예를 들면, 소정의 블록 단위로 검출한 움직임 벡터의 크기 등을 채용하는 것이 가능하다.
다음으로, 도 14는, 압축 특징량으로서, 공간 액티비티를 나타내는 정보를 채용한 경우의, 압축 특징량의 표시예를 도시하고 있다.
즉, 도 14의 상측은, 콘텐츠 화상을 도시하고 있고, 도 14의 하측은, 콘텐츠 화상의 화상 데이터로부터 추출한 압축 특징량으로서의, 그 콘텐츠 화상의 화소값의 히스토그램을 도시하고 있다.
도 14의 상측의 콘텐츠 화상에서는, 제N 프레임과 제N+1 프레임에는, 구름이 있는 하늘이 비쳐져 있고, 그 후, 씬 체인지가 발생하여, 제N+2 프레임과 제N+3 프레임에는, 많은 사람이 비쳐져 있다.
압축 특징량으로서, 화소값의 히스토그램을 채용하고, 그 압축 특징량을 표시하면, 도 14의 하측에 도시하는 바와 같이, 씬 체인지의 전후에서, 압축 특징량으로서의 히스토그램의 형상이 크게 변화되므로, 씬 체인지를 용이하게 인식할 수 있다.
따라서, 콘텐츠 화상에서, 씬 체인지 부근의 씬만을 대상으로 편집을 행하는 경우에는, 압축 특징량으로서, 화소값의 히스토그램을 채용하여 표시함으로써, 유저는, 편집의 대상으로 하는 씬 체인지 부근의 씬을 용이하게 찾아낼 수 있고, 그 결과, 편집 작업의 용이화를 도모할 수 있다.
또한, 편집의 대상으로 하지 않는, 씬 체인지 부근 이외의 씬에 대해서는, 예를 들면, 유저가, 리모트 커맨더(14)를 조작하여, 표시 제어부(125)에 의한 압축 특징량의 표시를 앞으로 감기와 같이 함으로써, 편집에 필요로 하는 시간의 단축화를 도모할 수 있다.
또한, 압축 특징량으로 하는, 공간 액티비티를 나타내는 정보로서는, 화소값의 히스토그램 외에, 예를 들면, 인접하는 화소끼리의 화소값의 차분값 등을 채용하는 것이 가능하다.
여기서, 기록 미디어(11)에 기록된 화상 데이터가, 예를 들면, 소위 풀 HD(High Definition)와 같은 대용량의 화상 데이터이며, MPEG(Moving Picture Expert Group) 방식 등으로 부호화되어 있는 경우에는, 도 7에서 설명한 편집/재생 처리에서 행하여지는 재생이나, 앞으로 감기, 되감기의 처리의 부담이 커진다.
한편, 간이 편집 모드의 처리(도 11)에서는, 기록 미디어(11)에 기록된 화상 데이터에 대응하는 콘텐츠 화상 대신에, 데이터량이 적은 압축 특징량이 표시되므로, 처리의 부담을 저감할 수 있다.
또한, 압축 특징량으로서, 예를 들면, 화소값의 히스토그램과 같은, 그것만을 본 것으로는, 콘텐츠 화상의 내용을 파악할 수 없는 압축 특징량을 채용한 경우라도, 상술한 바와 같이, 유저가, 기록 미디어(11)에 기록된 화상 데이터의 편집을 행하기 전에, 도 9의 특징량 기록 처리가 행하여져, 기록 미디어(11)에 기록된 화상 데이터에 대응하는 화상을 확인하여, 편집의 대략적인 구상을 세우고 있으면, 유저는, 어느 정도, 콘텐츠 화상의 내용을 파악하고 있으므로, 압축 특징량을 보는 것만으로도, 편집의 대상으로 하는 씬의 대략적인 가늠을 행하여, 편집을 행할 수 있다.
또한, 특징량 추출부(121)에서, 예를 들면, 상술한 화소값을 나타내는 비트열의 일부, 움직임을 나타내는 정보, 및, 공간 액티비티를 나타내는 정보 등의, 복수 종류의 압축 특징량 중 어느 것을 추출할지는, 예를 들면, 유저가, 편집의 대상으로 하는 씬을 고려하여, 리모트 커맨더(14)를 조작함으로써 지정할 수 있다.
또한, 특징량 추출부(121)에서, 복수 종류의 압축 특징량을 추출하여, 기록 매체(124)에 기록해 둘 수 있다. 이 경우, 간이 편집 모드의 처리에서, 표시 제어부(125)가 판독하여 표시 장치(15)에 표시시키는 압축 특징량은, 기록 매체(124)에 기록된 복수 종류의 압축 특징량 중으로부터 선택할 수 있다.
간이 편집 모드의 처리에서, 복수 종류의 압축 특징량 중 어느 것을 표시할지는, 예를 들면, 유저가 리모트 커맨더(14)를 조작함으로써 지정할 수 있다. 또한, 표시 제어부(125)에서는, 좌우 또는 상하로 나열하는 형태로, 복수 종류의 압축 특징량 중 2종류 이상의 압축 특징량을 표시시킬 수 있다.
다음으로, 도 12 내지 도 14에서는, 편집의 대상으로 하지 않는 씬에 대해서는, 유저에 의한 리모트 커맨더(14)의 조작에 따라서, 말하자면 수동으로, 압축 특징량의 표시를 앞으로 감기하도록 하였지만, 압축 특징량의 표시의 앞으로 감기는, 말하자면 자동으로 행할 수도 있다.
따라서, 도 15의 플로우차트를 참조하여, 압축 특징량의 표시의 앞으로 감기를 자동으로 행하는 경우의, 도 11의 스텝 S91에서 개시되는 압축 특징량의 표시 처리에 대하여 설명한다.
스텝 S101에서, 표시 제어부(125)는, 기록 매체(124)에 기록된 압축 특징량에서, 아직, 주목 압축 특징량으로 하고 있지 않은 압축 특징량 중, 시간적으로 가장 선행하는 프레임의 압축 특징량을, 주목 압축 특징량으로서 판독하고, 처리는, 스텝 S102로 진행한다.
스텝 S102에서는, 표시 제어부(125)는, 주목 압축 특징량이, 앞으로 감기의 조건을 충족시키는지의 여부를 판정한다.
여기서, 앞으로 감기의 조건으로서는, 예를 들면, 압축 특징량이, 도 12에서 설명한, 화소값을 나타내는 비트열의 상위 2비트인 경우에는, 그 상위 2비트가, 1프레임 모두에 대하여 0인 것 등을 채용할 수 있다. 또한, 예를 들면, 압축 특징량이, 도 13에서 설명한, 인접하는 프레임끼리의 화소값의 차분값을 소정의 임계값으로 2치화한 값인 경우에는, 그 2치화한 값이, 1프레임 모두에 대하여 0인 것, 혹은, 인접하는 프레임끼리의 화소값의 차분값(의 절대값)의 1프레임에 대한 총합이 소정의 임계값 이하인 것 등을 채용할 수 있다.
또한, 앞으로 감기의 조건은, 예를 들면, 유저가 리모트 커맨더(14)를 조작함으로써 설정할 수 있다.
스텝 S102에서, 주목 압축 특징량이, 앞으로 감기의 조건을 충족시킨다고 판정된 경우, 즉, 예를 들면, 압축 특징량이, 도 12에서 설명한, 화소값을 나타내는 비트열의 상위 2비트이고, 1프레임의 주목 압축 특징량이 모두 0인 경우, 처리는, 스텝 S103으로 진행하여, 표시 제어부(125)는, 주목 압축 특징량의 표시를 스킵하는 스킵 처리를 하고, 처리는, 스텝 S105로 진행한다.
여기서, 스킵 처리에서는, 1프레임의 주목 압축 특징량을, 표시 장치(15)에 전혀 표시시키지 않도록 할 수도 있고, 콘텐츠 화상의 프레임 주기보다도 충분히 짧은 시간만큼, 1프레임의 주목 압축 특징량을, 표시 장치(15)에 표시시킬 수도 있다.
한편, 스텝 S102에서, 주목 압축 특징량이, 앞으로 감기의 조건을 충족시키지 않는다고 판정된 경우, 처리는, 스텝 S104로 진행하여, 표시 제어부(125)는, 1 프레임의 주목 압축 특징량을, 콘텐츠 화상의 프레임 주기의 시간만큼, 표시 장치(15)에 표시시키고, 처리는, 스텝 S105로 진행한다.
스텝 S105에서는, 표시 제어부(125)가, 콘텐츠 화상의 모든 프레임의 압축 특징량을, 기록 매체(124)로부터 판독하였는지의 여부를 판정한다.
스텝 S105에서, 아직, 콘텐츠 화상의 모든 프레임의 압축 특징량을, 기록 매체(124)로부터 판독하지 않았다고 판정된 경우, 즉, 아직, 주목 압축 특징량으로 되어 있지 않은 압축 특징량이 있는 경우, 처리는, 스텝 S101로 되돌아가서, 상술한 바와 같이, 표시 제어부(125)는, 기록 매체(124)에 기록된 압축 특징량에서, 아직, 주목 압축 특징량으로 하고 있지 않은 압축 특징량 중, 시간적으로 가장 선행하는 프레임의 압축 특징량을, 주목 압축 특징량으로서 판독하고, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S105에서, 콘텐츠 화상의 모든 프레임의 압축 특징량을, 기록 매체(124)로부터 판독하였다고 판정된 경우, 압축 특징량의 표시 처리는 종료된다.
다음으로, 도 16은, 도 1의 화상 처리 장치(13)의 제3 구성예를 도시하는 블록도이다.
또한, 도면 중, 도 8의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있고, 이하에서는, 그 설명은 적절히 생략한다.
도 16의 화상 처리 장치(13)는, 특징량 추출부(41), 일치 특징량 검출부(42), 수광부(44), 처리 정보 결정부(46), 선택부(47), 지연부(48), 처리 반영부(49), 특징량 추출부(121), 제어부(122), 기록부(123), 및 기록 매체(124)를 갖 는 점에서, 도 8의 경우와 일치한다. 단, 도 16의 화상 처리 장치(13)는, 판독부(63), 또는 표시 제어부(125) 각각 대신에, 판독부(132), 또는 표시 제어부(133)가 설치되어 있는 점에서, 도 8의 경우와 상위하다.
판독부(132)는, 도 8(도 2)의 판독부(63)와 마찬가지의 처리를 행하는 것 외에, 표시 제어부(133)가 표시 장치(15)에 표시시키는 압축 특징량에 대응지어진 처리 특징량을 인식하고, 그 처리 특징량에 대응지어진 처리 정보를 기록 매체(124)로부터 판독하여, 그 처리 정보를 선택부(47)에 공급한다.
표시 제어부(133)는, 도 8의 표시 제어부(125)와 마찬가지로, 처리 반영부(49)로부터 공급되는 화상 데이터, 또는 기록 매체(124)에 기록된 압축 특징량을 표시 데이터로서, 표시 장치(15)에 공급하고, 그 표시 데이터에 대응하는 화상을 표시시킨다. 또한, 표시 제어부(133)는, 처리 반영부(49)로부터 공급되는 화상 데이터와, 기록 매체(124)에 기록된 압축 특징량을, 좌우 또는 상하 등으로 나열한 형태의 표시 데이터를 생성하고, 표시 장치(15)에 표시시킨다.
이상과 같이 구성되는 도 16의 화상 처리 장치(13)에서는, 도 8의 경우와 마찬가지로, 특징량 기록 처리(도 9), 편집/재생 처리(도 10), 및, 압축 특징량의 표시 처리(도 15)를 포함하는 간이 편집 모드의 처리(도 11)를 행할 수 있다.
여기서, 도 11의 간이 편집 모드의 처리(의 스텝 S91에서 개시되는 압축 특징량의 표시 처리)에서는, 압축 특징량이 표시되지만, 콘텐츠 화상은 표시되지 않는다. 그리고, 콘텐츠 화상이 표시되지 않으므로, 유저는, 리모트 커맨더(14)를 편집 조작하였을 때에, 그 편집 조작에 대응하는 편집 처리에 의해, 편집 후의 화 상이 어떻게 되는지를 확인할 수 없다.
따라서, 도 16의 화상 처리 장치(13)에서는, 유저가, 편집 후의 화상을 확인할 수 있도록, 압축 특징량과 함께, 콘텐츠 화상을 표시하는 간이 편집 모드의 처리를 행할 수 있도록 되어 있다.
도 17의 플로우차트를 참조하여, 도 16의 화상 처리 장치(13)에 의한, 압축 특징량과 함께, 콘텐츠 화상을 표시하는 간이 편집 모드의 처리에 대하여 설명한다.
또한, 도 16의 화상 처리 장치(13)에서, 특징량 기록 처리(도 9)는, 이미 행하여져, 종료되어 있으며, 따라서, 기록 매체(124)에는, 기록 미디어(11)에 기록된 화상 데이터의 각 프레임의 압축 특징량 및 처리 특징량이 기록되어 있는 것으로 한다.
유저가, 동작 모드를 간이 편집 모드로 하여, 재생을 지시하도록, 리모트 커맨더(14)를 조작하면, 그 조작에 대응하는 조작 신호가, 리모트 커맨더(14)로부터 송신된다. 이 조작 신호는, 수광부(44)에서 수광되어, 제어부(122)에 공급된다. 제어부(122)는, 동작 모드가 간이 편집 모드인 경우에, 수광부(44)로부터, 재생의 지시의 조작에 대응하는 조작 신호가 공급되면, 스텝 S121에서, 표시 제어부(133)를 제어하여, 도 11의 스텝 S91과 마찬가지로, 기록 매체(124)에 기록된, 기록 미디어(11)의 화상 데이터로부터 추출된 압축 특징량을 표시하는 압축 특징량의 표시 처리를 개시시킨다.
즉, 표시 제어부(133)는, 기록 매체(124)로부터, 기록 미디어(11)의 화상 데 이터로부터 추출된 각 프레임의 압축 특징량을, 주목 압축 특징량으로서 순차적으로 판독하고, 그 주목 압축 특징량을, 표시 장치(15)에 공급함으로써, 표시 장치(15)의 표시 화면의 일부에 표시시킨다.
그 후, 처리는, 스텝 S121로부터 스텝 S122로 진행하여, 제어부(122)는, 표시 제어부(133)가 표시 장치(15)에 표시시키고 있는 주목 압축 특징량의 프레임을, 주목 프레임로서 인식하고, 처리는, 스텝 S123으로 진행한다.
스텝 S123에서는, 제어부(122)는, 주목 프레임의 재생을, 화상 재생 장치(12)에 요구하고, 처리는, 스텝 S124로 진행한다.
여기서, 화상 재생 장치(12)는, 주목 프레임의 재생의 요구가 있으면, 기록 미디어(11)로부터, 주목 프레임의 화상 데이터를 재생하고, 화상 처리 장치(13)에 공급한다. 화상 처리 장치(13)에서는, 화상 재생 장치(12)로부터의 주목 프레임의 화상 데이터가, 지연부(48)에 공급된다. 지연부(48)는, 화상 재생 장치(12)로부터의 주목 프레임의 화상 데이터를 일시 기억한다.
스텝 S124에서는, 처리 정보 결정부(46)가, 유저에 의해 리모트 커맨더(14)의 편집 조작이 행하여졌는지의 여부를 판정한다.
스텝 S124에서, 편집 조작이 행하여졌다고 판정된 경우, 즉, 유저가, 표시 장치(15)에 표시된 주목 프레임의 압축 특징량을 보면서, 예를 들면, 2배의 줌 업 등의 편집 처리를 행하도록, 리모트 커맨더(14)를 편집 조작하고, 그 편집 조작에 대응한 조작 신호가, 수광부(44)에서 수신되어, 처리 정보 결정부(46)에 공급된 경우, 처리는, 스텝 S125로 진행하여, 처리 정보 결정부(46)는, 수광부(44)로부터 공 급된 조작 신호에 기초하여, 주목 프레임의 화상 데이터에 대하여 실시하는 편집 처리를 결정하고, 그 편집 처리를 나타내는 처리 정보를, 선택부(47) 및 기록부(123)에 공급하고, 처리는, 스텝 S126으로 진행한다.
스텝 S126에서는, 기록부(123)가, 기록 매체(124)에 기록된 처리 특징량 중으로부터, 표시 제어부(133)에 의해 표시되어 있는 주목 압축 특징량에 대응지어져 있는 처리 특징량을 인식하고, 그 처리 특징량에 대응지어, 처리 정보 결정부(46)로부터의 처리 정보를, 기록 매체(124)에 기록하고, 처리는, 스텝 S127로 진행한다.
이상과 같이, 유저가, 편집 조작을 행하였던 경우, 그 편집 조작에 대응하는 편집 처리를 나타내는 처리 정보가, 편집 조작이 행하여졌던 때에 압축 특징량이 표시되어 있던 프레임(주목 프레임)의 처리 특징량에 대응지어져, 기록 매체(124)에 기록된다.
스텝 S127에서는, 선택부(47)는, 처리 정보 결정부(46)로부터 직전의 스텝 S125에서 공급된 처리 정보를 선택하고, 처리 반영부(49)에 공급한다. 처리 반영부(49)는, 지연부(48)에 기억되어 있는 주목 프레임의 화상 데이터에 대하여, 선택부(47)로부터 공급되어 온 처리 정보가 나타내는 편집 처리, 즉, 지금의 경우, 유저에 의한 편집 조작에 대응하는 편집 처리를 실시하고, 그 결과 얻어지는 편집 후 화상 데이터를, 표시 제어부(133)에 공급한다.
또한, 스텝 S127에서는, 표시 제어부(133)는, 처리 반영부(49)로부터의 편집 후 화상 데이터를, 표시 장치(15)에 공급함으로써, 표시 장치(15)의 표시 화면의 다른 일부, 즉, 예를 들면, 주목 압축 특징량이 표시되어 있는 부분에 인접하는 부분에 표시시키고, 처리는, 스텝 S128로 진행한다.
따라서, 편집 조작이 이루어진 경우에는, 표시 장치(15)에서는, 주목 프레임의 압축 특징량과 함께, 편집 조작에 대응하는 편집 처리가 실시된 결과 얻어지는 편집 후 화상 데이터에 대응하는 콘텐츠 화상이 표시된다. 그 결과, 유저는, 편집 후의 화상을 확인할 수 있다.
한편, 스텝 S124에서, 편집 조작이 이루어져 있지 않다고 판정된 경우, 처리는, 스텝 S129로 진행하여, 판독부(132)는, 기록 매체(124)에 기록된 주목 압축 특징량에 대응지어, 처리 정보가 기록되어 있는지의 여부를 판정한다.
즉, 스텝 S129에서는, 판독부(132)는, 기록 매체(124)에 기록된 처리 특징량 중으로부터, 표시 제어부(133)에 의해 표시되어 있는 주목 압축 특징량에 대응지어져 있는 처리 특징량을 인식하고, 그 처리 특징량에 대응지어, 처리 정보가 기록되어 있는지의 여부를 판정한다.
스텝 S129에서, 주목 압축 특징량에 대응지어, 처리 정보가 기록되어 있지 않다고 판정된 경우, 즉, 과거에, 주목 압축 특징량의 프레임(주목 프레임)에 대하여, 편집 조작이 행하여진 일이 없고, 그 때문에, 기록 매체(124)에서, 주목 압축 특징량에 대응지어, 처리 정보가 기록되어 있지 않은 경우, 처리는, 스텝 S131로 진행하여, 처리 반영부(49)는, 지연부(48)에 기억된 주목 프레임의 화상 데이터를, 그대로, 표시 제어부(133)에 공급한다.
또한, 스텝 S131에서는, 표시 제어부(133)는, 처리 반영부(49)로부터의 화상 데이터를, 표시 장치(15)에 공급함으로써, 표시 장치(15)의 표시 화면의 다른 일부, 즉, 예를 들면, 주목 압축 특징량이 표시되어 있는 부분에 인접하는 부분에 표시시키고, 처리는, 스텝 S128로 진행한다.
따라서, 편집 조작이 이루어지지 않고, 또한, 기록 매체(124)에서, 주목 압축 특징량(에 대응지어진 처리 특징량)에 대응지어, 처리 정보가 기록되어 있지 않은 경우에는, 표시 장치(15)에서는, 주목 프레임의 압축 특징량과 함께, 기록 미디어(11)로부터 재생된 주목 프레임의 화상 데이터에 대응하는 콘텐츠 화상이 표시된다.
한편, 스텝 S129에서, 주목 압축 특징량에 대응지어, 처리 정보가 기록되어 있다고 판정된 경우, 즉, 과거에, 주목 압축 특징량의 프레임(주목 프레임)에 대하여, 편집 조작이 행하여진 일이 있고, 그 결과, 기록 매체(124)에서, 주목 압축 특징량에 대응지어, 처리 정보가 기록되어 있는 경우, 처리는, 스텝 S130으로 진행하여, 판독부(132)는, 기록 매체(124)에서, 주목 프레임의 주목 압축 특징량에 대응지어진 처리 정보를 판독하고, 즉, 기록 매체(124)에서, 주목 압축 특징량에 대응지어져 있는 처리 특징량을 인식하고, 그 처리 특징량에 대응지어져 있는 처리 정보를 판독하여, 선택부(47)에 공급하고, 처리는, 스텝 S127로 진행한다.
스텝 S127에서는, 선택부(47)는, 판독부(132)로부터 직전의 스텝 S130에서 공급된 처리 정보를 선택하고, 처리 반영부(49)에 공급한다. 즉, 지금의 경우, 편집 조작이 이루어져 있지 않으므로, 선택부(47)에는, 처리 정보 결정부(46)로부터 처리 정보는 공급되지 않고, 판독부(132)로부터만 처리 정보가 공급되므로, 선택 부(47)는, 판독부(132)로부터 직전의 스텝 S130에서 공급된 처리 정보를 선택하고, 처리 반영부(49)에 공급한다.
처리 반영부(49)는, 지연부(48)에 기억되어 있는 주목 프레임의 화상 데이터에 대하여, 선택부(47)로부터 공급되어 온 처리 정보가 나타내는 편집 처리, 즉, 지금의 경우, 기록 매체(124)에서 주목 프레임의 주목 압축 특징량과 대응지어져 기록되어 있던 처리 정보가 나타내는 편집 처리를 실시하고, 그 결과 얻어지는 편집 후 화상 데이터를, 표시 제어부(133)에 공급한다.
표시 제어부(133)는, 처리 반영부(49)로부터의 편집 후 화상 데이터를, 표시 장치(15)에 공급함으로써, 표시 장치(15)의 표시 화면의 다른 일부, 즉, 예를 들면, 주목 압축 특징량이 표시되어 있는 부분에 인접하는 부분에 표시시키고, 처리는, 스텝 S127로부터 스텝 S128로 진행한다.
따라서, 편집 조작이 이루어지지 않았지만, 과거에 행하여진 주목 프레임의 재생 중에 편집 처리가 행하여지고, 그 결과, 기록 매체(124)에서, 주목 프레임의 압축 특징량 및 처리 특징량에 대응지어, 과거에 행하여진 편집 조작에 대응하는 편집 처리를 나타내는 처리 정보가 기록되어 있는 경우에는, 표시 장치(15)에서는, 주목 프레임의 압축 특징량과 함께, 주목 프레임의 화상 데이터에 대하여, 과거에 행하여진 편집 조작에 대응하는 편집 처리가 실시된 결과 얻어지는 편집 후 화상 데이터에 대응하는 콘텐츠 화상이 표시된다.
스텝 S128에서는, 표시 제어부(133)가, 기록 매체(124)에 기록된 압축 특징량의 모든 표시가 종료되었는지, 또는, 재생을 종료하도록, 리모트 커맨더(14)가 조작되었는지의 여부를 판정한다.
스텝 S128에서, 기록 매체(124)에 기록된 압축 특징량의 모든 표시가, 아직 종료되어 있지 않다고 판정되고, 또한, 재생을 종료하도록, 리모트 커맨더(14)가 조작되어 있지 않다고 판정된 경우, 처리는, 스텝 S122로 되돌아가서, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝 S128에서, 기록 매체(124)에 기록된 압축 특징량의 모든 표시가 종료되었다고 판정되거나, 또는, 재생을 종료하도록, 리모트 커맨더(14)가 조작되었다고 판정된 경우, 간이 편집 모드의 처리는 종료된다.
이상과 같이, 도 17의 간이 편집 모드의 처리에서는, 기록 미디어(11)에 기록된 화상 데이터의 압축 특징량이 표시됨과 함께, 그 화상 데이터, 또는 그 화상 데이터의 편집 처리 후의 편집 후 화상 데이터에 대응하는 콘텐츠 화상이 표시되므로, 유저는, 압축 특징량을 보고 편집 조작을 행하고, 그 편집 조작에 대응하는 편집 처리가 실시된 후의 화상을 확인할 수 있다.
다음으로, 도 18은, 도 1의 화상 처리 장치(13)의 제4 구성예를 도시하는 블록도이다.
또한, 도면 중, 도 8의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있고, 이하에서는, 그 설명은 적절히 생략한다.
도 18의 화상 처리 장치(13)는, 일치 특징량 검출부(42), 수광부(44), 처리 정보 결정부(46), 선택부(47), 지연부(48), 처리 반영부(49), 판독부(63), 제어부(122), 기록부(123), 기록 매체(124), 및 표시 제어부(125)를 갖는 점에서, 도 8 의 경우와 일치한다. 단, 도 18의 화상 처리 장치(13)는, 2개의 특징량 추출부(41 및 121) 대신에, 1개의 특징량 추출부(141)만이 설치되어 있는 점에서, 도 8의 경우와 상위하다.
특징량 추출부(141)에는, 화상 재생 장치(12)로부터, 기록 미디어(11)로부터 재생된 화상 데이터가, 1프레임 단위로 공급되도록 되어 있다. 특징량 추출부(141)는, 화상 재생 장치(12)로부터의 1프레임의 화상 데이터로부터, 특징량을 추출하고, 일치 특징량 검출부(42) 및 기록부(123)에 공급한다.
즉, 도 8에서는, 상술한 바와 같이, 특징량 추출부(41)는, 1프레임의 화상 데이터로부터, 그 프레임을 특정할 수 있는 정보를, 처리 특징량으로서 추출하고, 특징량 추출부(121)는, 1프레임의 화상 데이터로부터, 그 1프레임의 화상 데이터보다도 데이터량을 적게 한 정보이며, 또한, 유저가 보고, 편집 조작을 하는 행동을 환기하는 정보를, 압축 특징량으로서 추출한다.
이상과 같은 처리 특징량과, 압축 특징량은, 그 범주에 포함되는 정보의 범위는 서로 다르지만, 일부의 정보는, 처리 특징량으로서도, 압축 특징량으로서도, 채용할 수 있는 경우가 있다.
즉, 예를 들면, 도 12에서 설명한, 압축 특징량으로서의, 1프레임의 화상 데이터의 화소값을 나타내는 비트열의 상위 2비트는, 처리 특징량으로서도 이용할 수 있다.
도 18의 화상 처리 장치(13)에서는, 특징량 추출부(141)에서, 1프레임의 화상 데이터로부터, 상술한 바와 같은, 처리 특징량으로서도 이용할 수 있는 압축 특 징량(또는, 압축 특징량으로서도 이용할 수 있는 처리 특징량)이 추출된다.
따라서, 도 18의 화상 처리 장치(13)에서는, 기록 매체(124)에서, 처리 정보가, 처리 특징량이기도 한 압축 특징량과 대응지어져 기록된다.
여기서, 도 18의 화상 처리 장치(13)에서는, 처리 특징량을 이용하여 행하여지는 처리가, 압축 특징량을 이용하여 행하여지는 점을 제외하면, 도 8의 경우와 마찬가지의 특징량 기록 처리(도 9), 편집/재생 처리(도 10), 및 간이 편집 모드의 처리(도 11)가 행하여지기 때문에, 도 18의 화상 처리 장치(13)의 처리의 설명은, 생략한다.
또한, 도 18의 화상 처리 장치(13)에서는, 압축 특징량과 처리 특징량으로서, 동일한 정보를 채용할 필요가 있지만, 도 8 및 도 16의 화상 처리 장치(13)에서는, 압축 특징량과 처리 특징량으로서, 동일한 정보를 채용할 수도 있고, 서로 다른 정보를 채용할 수도 있다.
또한, 도 16의 화상 처리 장치(13)에서도, 도 18의 화상 처리 장치(13)와 마찬가지로, 압축 특징량과 처리 특징량으로서, 동일한 정보를 채용하고, 2개의 특징량 추출부(41 및 121)를, 1개의 특징량 추출부(141)에서 겸용할 수 있다.
다음으로, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
따라서, 도 19는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시예의 구성예를 도시하고 있다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드디스크(205)나 ROM(203)에 미리 기록해 둘 수 있다.
혹은 또한, 프로그램은, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체(211)에, 일시적 혹은 영속적으로 저장(기록)해 둘 수 있다. 이와 같은 리무버블 기록 매체(211)는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(211)로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터, 디지털 위성 방송용의 인공 위성을 통하여, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그와 같이 하여 전송되어 오는 프로그램을, 통신부(208)에서 수신하고, 내장하는 하드디스크(205)에 인스톨할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(202)를 내장하고 있다. CPU(202)에는, 버스(201)를 통하여, 입출력 인터페이스(210)가 접속되어 있고, CPU(202)는, 입출력 인터페이스(210)를 통하여, 유저에 의해, 키보드나, 마우스, 마이크 등으로 구성되는 입력부(207)가 조작되거나 함으로써 명령이 입력되면, 그에 따라서, ROM(Read Only Memory)(203)에 저장되어 있는 프로그램을 실행한다. 혹은, 또한, CPU(202)는, 하드디스크(205)에 저장되어 있는 프로그램, 위성 혹은 네트워크로부터 전송되어, 통신부(208)에서 수신되어 하드디스크(205)에 인스톨된 프로그램, 또 는 드라이브(209)에 장착된 리무버블 기록 매체(211)로부터 판독되어 하드디스크(205)에 인스톨된 프로그램을, RAM(Random Access Memory)(204)에 로드하여 실행한다. 이에 의해, CPU(202)는, 상술한 플로우차트에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행하여지는 처리를 행한다. 그리고, CPU(202)는, 그 처리 결과를, 필요에 따라, 예를 들면, 입출력 인터페이스(210)를 통하여, LCD(Liquid Crystal Display)나 스피커 등으로 구성되는 출력부(206)로부터 출력, 혹은, 통신부(208)로부터 송신, 또한, 하드디스크(205)에 기록시키거나 한다.
여기서, 본 명세서에서, 컴퓨터에 각종 처리를 행하게 하기 위한 프로그램을 기술하는 처리 스텝은, 반드시 플로우차트로서 기재된 순서를 따라 시계열로 처리할 필요는 없고, 병렬적 혹은 개별로 실행되는 처리(예를 들면, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함하는 것이다.
또한, 프로그램은, 하나의 컴퓨터에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 먼 쪽의 컴퓨터에 전송되어 실행되는 것이어도 된다.
또한, 본 발명의 실시예는, 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
도 1은 본 발명을 적용한 화상 처리 시스템의 일 실시예의 구성예를 도시하는 블록도.
도 2는 화상 처리 장치(13)의 제1 구성예를 도시하는 블록도.
도 3은 일치 특징량 검출부(42)의 구성예를 도시하는 블록도.
도 4는 일치 특징량 검출부(42)에 의한 일치 특징량 검출 처리를 설명하는 도면.
도 5는 특징량 기록 처리를 설명하는 플로우차트.
도 6은 편집/재생 처리를 설명하는 플로우차트.
도 7은 편집/재생 처리를 설명하는 도면.
도 8은 화상 처리 장치(13)의 제2 구성예를 도시하는 블록도.
도 9는 특징량 기록 처리를 설명하는 플로우차트.
도 10은 편집/재생 처리를 설명하는 플로우차트.
도 11은 간이 편집 모드의 처리를 설명하는 플로우차트.
도 12는 압축 특징량의 표시예를 도시하는 도면.
도 13은 압축 특징량의 표시예를 도시하는 도면.
도 14는 압축 특징량의 표시예를 도시하는 도면.
도 15는 압축 특징량의 표시 처리를 설명하는 플로우차트.
도 16은 화상 처리 장치(13)의 제3 구성예를 도시하는 블록도.
도 17은 간이 편집 모드의 처리를 설명하는 플로우차트.
도 18은 화상 처리 장치(13)의 제4 구성예를 도시하는 블록도.
도 19는 본 발명을 적용한 컴퓨터의 일 실시예의 구성예를 도시하는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
11 : 기록 미디어
12 : 화상 재생 장치
13 : 화상 처리 장치
14 : 리모트 커맨더
15 : 표시 장치
41 : 특징량 추출부
42 : 일치 특징량 검출부
43 : 제어부
44 : 수광부
45 : 처리 정보 결정부
47 : 선택부
48 : 지연부
49 : 처리 반영부
61 : 기록부
62 : 기록 매체
63 : 판독부
101-1 내지 101-3 : 특징량 버퍼
102 : 재생 위치 특징량 생성부
103 : 비교부
104 : 검색 위치 특징량 판독부
105 : 검출부
121 : 특징량 추출부
122 : 제어부
123 : 기록부
124 : 기록 매체
125 : 표시 제어부
132 : 판독부
133 : 표시 제어부
141 : 특징량 추출부
201 : 버스
202 : CPU
203 : ROM
204 : RAM
205 : 하드디스크
206 : 출력부
207 : 입력부
208 : 통신부
209 : 드라이브
210 : 입출력 인터페이스
211 : 리무버블 기록 매체

Claims (17)

  1. 화상을 처리하는 화상 처리 장치에 있어서,
    화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 수단과,
    상기 압축 특징량을 표시시키는 표시 제어 수단과,
    화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 수단과,
    상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어 기록 매체에 기록하는 기록 수단
    을 구비하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 처리 정보 결정 수단은, 유저에 의해 조작되는 조작 수단의 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 압축 특징량 추출 수단은, 복수 종류의 압축 특징량을 추출하고,
    상기 표시 제어 수단은, 상기 복수 종류의 압축 특징량 중 적어도 1종류의 압축 특징량을 표시시키는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 압축 특징량은, 기록 매체에 기록되고,
    상기 표시 제어 수단은, 상기 기록 매체에 기록된 압축 특징량을 표시시키는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 처리 특징량은, 상기 화상 데이터의 소정의 영역의 화소의 화소값의 가산값인 화상 처리 장치.
  6. 제1항에 있어서,
    상기 압축 특징량은, 상기 화상 데이터의 움직임을 나타내는 정보인 화상 처리 장치.
  7. 제1항에 있어서,
    상기 압축 특징량은, 상기 화상 데이터의 공간 액티비티를 나타내는 정보인 화상 처리 장치.
  8. 제1항에 있어서,
    상기 압축 특징량은, 상기 화상 데이터의 화소값을 나타내는 비트열의 일부 인 화상 처리 장치.
  9. 제1항에 있어서,
    상기 처리 특징량과 압축 특징량은, 서로 다른 정보이며,
    상기 처리 특징량을 추출하는 처리 특징량 추출 수단을 더 구비하는 화상 처리 장치.
  10. 제1항에 있어서,
    상기 처리 특징량과 압축 특징량은, 동일한 정보인 화상 처리 장치.
  11. 제1항에 있어서,
    화상 데이터로부터, 상기 처리 특징량을 추출하는 처리 특징량 추출 수단과,
    상기 기록 매체에 기록된 처리 특징량으로부터, 상기 처리 특징량 추출 수단에 의해 추출된 처리 특징량과 일치하는 값의 처리 특징량인 일치 특징량을 검출하는 일치 특징량 검출 수단과,
    상기 기록 매체에서 상기 일치 특징량과 대응지어져 있는 상기 처리 정보가 나타내는 처리를, 상기 일치 특징량과 값이 일치하는 처리 특징량이 추출된 화상 데이터에 실시하는 처리 반영 수단을 더 구비하는 화상 처리 장치.
  12. 화상을 처리하는 화상 처리 방법에 있어서,
    화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 스텝과,
    상기 압축 특징량을 표시시키는 표시 제어 스텝과,
    화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 스텝과,
    상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어 기록 매체에 기록하는 기록 스텝
    을 포함하는 화상 처리 방법.
  13. 화상을 처리하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,
    화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 스텝과,
    상기 압축 특징량을 표시시키는 표시 제어 스텝과,
    화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 스텝과,
    상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터의 소정의 특징량인 처리 특징량과 대응지어 기록 매체에 기록하는 기록 스텝
    을 포함하는 화상 처리를, 컴퓨터에 실행시키는 프로그램.
  14. 화상을 처리하는 화상 처리 장치에 있어서,
    화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 수단과,
    상기 압축 특징량을 표시시키는 표시 제어 수단과,
    유저에 의해 조작되는 조작 수단의 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 수단과,
    상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터로부터 추출된 압축 특징량과 대응지어 기록 매체에 기록하는 기록 수단
    을 구비하는 화상 처리 장치.
  15. 제14항에 있어서,
    상기 기록 매체에 기록된 압축 특징량으로부터, 상기 압축 특징량 추출 수단에 의해 추출된 압축 특징량과 일치하는 값의 압축 특징량인 일치 특징량을 검출하는 일치 특징량 검출 수단과,
    상기 기록 매체에서 상기 일치 특징량과 대응지어져 있는 상기 처리 정보가 나타내는 처리를, 상기 일치 특징량과 값이 일치하는 압축 특징량이 추출된 화상 데이터에 실시하는 처리 반영 수단을 더 구비하는 화상 처리 장치.
  16. 화상을 처리하는 화상 처리 방법에 있어서,
    화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 스텝과,
    상기 압축 특징량을 표시시키는 표시 제어 스텝과,
    유저에 의해 조작되는 조작 수단의 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 스텝과,
    상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터로부터 추출된 압축 특징량과 대응지어 기록 매체에 기록하는 기록 스텝
    을 포함하는 화상 처리 방법.
  17. 화상을 처리하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,
    화상 데이터로부터, 그 화상 데이터보다도 데이터량이 적은 특징량인 압축 특징량을 추출하는 압축 특징량 추출 스텝과,
    상기 압축 특징량을 표시시키는 표시 제어 스텝과,
    유저에 의해 조작되는 조작 수단의 조작에 따라서, 화상 데이터에 실시하는 처리를 결정하고, 그 처리를 나타내는 처리 정보를 출력하는 처리 정보 결정 스텝과,
    상기 처리 정보를, 그 처리 정보가 나타내는 처리를 실시하는 화상 데이터로부터 추출된 압축 특징량과 대응지어 기록 매체에 기록하는 기록 스텝
    을 포함하는 화상 처리를, 컴퓨터에 실행시키는 프로그램.
KR20080008412A 2007-01-29 2008-01-28 화상 처리 장치, 화상 처리 방법, 및 프로그램 KR20080071084A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007017458A JP4957960B2 (ja) 2007-01-29 2007-01-29 画像処理装置、画像処理方法、及びプログラム
JPJP-P-2007-00017458 2007-01-29

Publications (1)

Publication Number Publication Date
KR20080071084A true KR20080071084A (ko) 2008-08-01

Family

ID=39400461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080008412A KR20080071084A (ko) 2007-01-29 2008-01-28 화상 처리 장치, 화상 처리 방법, 및 프로그램

Country Status (5)

Country Link
US (1) US8036470B2 (ko)
EP (1) EP1950762A1 (ko)
JP (1) JP4957960B2 (ko)
KR (1) KR20080071084A (ko)
CN (1) CN101237551B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666019B1 (ko) * 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
JP6191160B2 (ja) * 2012-07-12 2017-09-06 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
WO2015015712A1 (ja) 2013-07-30 2015-02-05 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
EP3043571A4 (en) 2013-09-04 2016-08-17 Panasonic Ip Man Co Ltd VIDEO RECEIVING DEVICE, VIDEO RECOGNITION METHOD, AND ADDITIONAL INFORMATION DISPLAY SYSTEM
WO2015033500A1 (ja) 2013-09-04 2015-03-12 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
CN105144735A (zh) 2014-03-26 2015-12-09 松下知识产权经营株式会社 影像接收装置、影像识别方法以及附加信息显示系统
WO2015145491A1 (ja) 2014-03-26 2015-10-01 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
WO2016009637A1 (ja) * 2014-07-17 2016-01-21 パナソニックＩｐマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
US11001129B2 (en) 2015-12-30 2021-05-11 Nikola Corporation Cargo door for semi-truck
US10981609B2 (en) 2015-12-30 2021-04-20 Nikola Corporation Systems, methods, and devices for an automobile door or window

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE148819T1 (de) 1990-09-19 1997-02-15 Philips Electronics Nv Methode und apparat zur regelung der anzeige des dargestellten bildes
US5228098A (en) * 1991-06-14 1993-07-13 Tektronix, Inc. Adaptive spatio-temporal compression/decompression of video image signals
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
JP3432348B2 (ja) * 1996-01-30 2003-08-04 三菱電機株式会社 代表画像表示方法、代表画像表示装置およびこの装置を用いた動画検索装置
JP3877371B2 (ja) * 1997-02-26 2007-02-07 株式会社東芝 映像再生装置
JP2002204450A (ja) * 2000-12-28 2002-07-19 Sony Corp データ処理装置および方法
GB9815638D0 (en) 1998-07-20 1998-09-16 Danmere Limited Identification of video storage media
JP3469122B2 (ja) * 1999-03-10 2003-11-25 日本電信電話株式会社 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
JP3649043B2 (ja) * 1999-06-07 2005-05-18 セイコーエプソン株式会社 画像表示装置及び方法、並びに、画像処理装置及び方法
US6810131B2 (en) * 2000-01-05 2004-10-26 Canon Kabushiki Kaisha Information processing method and apparatus
US7177470B2 (en) * 2002-11-13 2007-02-13 Koninklijke Philips Electronics N. V. Method of and system for detecting uniform color segments
KR20050105399A (ko) 2004-05-01 2005-11-04 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2006011159A (ja) * 2004-06-28 2006-01-12 Nippon Telegr & Teleph Corp <Ntt> コンテンツ応答処理装置、処理方法及びそのプログラム
JP2006050483A (ja) * 2004-08-09 2006-02-16 Ricoh Co Ltd 映像解析装置、映像解析方法およびコンテンツ作成装置、並びに、プログラムおよび記録媒体
JP2006109005A (ja) * 2004-10-04 2006-04-20 Canon Inc 画像出力装置および撮像装置
JP2006180407A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd 録画再生装置およびその映像編集方法
JP4640579B2 (ja) 2005-01-27 2011-03-02 ソニー株式会社 情報処理装置および回収基板
JP3968665B2 (ja) 2005-03-22 2007-08-29 ソニー株式会社 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
JP4816140B2 (ja) 2006-02-28 2011-11-16 ソニー株式会社 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム
JP4670683B2 (ja) 2006-02-28 2011-04-13 ソニー株式会社 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム
JP4720544B2 (ja) 2006-03-01 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP4839952B2 (ja) 2006-05-01 2011-12-21 ソニー株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP4957960B2 (ja) 2012-06-20
JP2008187324A (ja) 2008-08-14
CN101237551B (zh) 2012-01-11
US8036470B2 (en) 2011-10-11
US20080181515A1 (en) 2008-07-31
EP1950762A1 (en) 2008-07-30
CN101237551A (zh) 2008-08-06

Similar Documents

Publication Publication Date Title
KR20080071084A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP3977245B2 (ja) 再生装置
US20060029374A1 (en) Video reproducing method, medium, and apparatus selecting playback start position
JP2007110193A (ja) 画像処理装置
CN1118193C (zh) 在数字视盘播放机中播放菜单的方法
WO2010041576A1 (ja) コンテンツの配信システム
US7853083B2 (en) Image processing apparatus and method, program recording medium, and program therefor
JP2005086734A (ja) 画像記録装置
US8401302B2 (en) Image processing apparatus, image processing method, and program
JP2004254065A (ja) 動画像中の代表画像抽出装置，動画像中の代表画像抽出方法，動画像中の代表画像抽出プログラムおよび動画像中の代表画像抽出プログラムの記録媒体
JP2008071293A (ja) ファイル管理システムおよびファイル管理方法
JP4066454B2 (ja) オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
JP2010263374A (ja) 記録再生装置及び記録再生方法
US20030091334A1 (en) Optical disk recording apparatus and method
KR20070030555A (ko) 디지털 비디오 레코더에서의 검색 제어방법
JP2009017478A (ja) 記録装置及び再生装置
JP4446311B2 (ja) 記録再生装置
JP2009044515A (ja) 情報処理システム、記録装置、携帯機器、情報処理方法、及びプログラム
KR101362594B1 (ko) 참고 특징 점을 이용한 피사체 영상 검색방법
US20100158483A1 (en) Image processing apparatus, method for controlling image processing apparatus, and recording medium
KR101137838B1 (ko) 캡션 신호 기록 및 재생 관리방법
KR101476184B1 (ko) 디브이디 재생 시스템과 디스플레이 장치 및 디브이디디스플레이 방법
CN103546711A (zh) 图像再生方法、图像再生程序及图像再生系统
EP1293911A1 (en) Method and apparatus for generating editing-related metadata
JP2003289486A (ja) 映像再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application