KR20220103109A - 파일 처리 장치 및 파일 처리 방법 - Google Patents

파일 처리 장치 및 파일 처리 방법 Download PDF

Info

Publication number
KR20220103109A
KR20220103109A KR1020227016320A KR20227016320A KR20220103109A KR 20220103109 A KR20220103109 A KR 20220103109A KR 1020227016320 A KR1020227016320 A KR 1020227016320A KR 20227016320 A KR20227016320 A KR 20227016320A KR 20220103109 A KR20220103109 A KR 20220103109A
Authority
KR
South Korea
Prior art keywords
image
file
encrypted
encryption key
item
Prior art date
Application number
KR1020227016320A
Other languages
English (en)
Inventor
료 진노우치
료고 이토
다이스케 후나모토
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220103109A publication Critical patent/KR20220103109A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0822—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using key encryption key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91357—Television signal processing therefor for scrambling ; for copy protection by modifying the video signal
    • H04N2005/91364—Television signal processing therefor for scrambling ; for copy protection by modifying the video signal the video signal being scrambled

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 기술은, 화상의 시청을 제한할 수 있도록 하는 파일 처리 장치 및 파일 처리 방법에 관한 것이다. 파일 제어부는, 화상을 제1 암호키로 암호화한 암호화 화상과, 제1 암호키를 제2 암호키로 암호화한 암호화 암호키를 연관시켜 저장한 파일을 생성한다. 또한, 파일 제어부는, 파일의 암호화 암호키를 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 제1 암호키에 의해, 암호화 화상을 화상으로 복호한다. 본 기술은, 예를 들면, 화상을 촬상하는 디지털 카메라 등에 적용할 수 있다.

Description

파일 처리 장치 및 파일 처리 방법
본 기술은 파일 처리 장치 및 파일 처리 방법에 관한 것으로, 특히, 예를 들면, 화상의 시청을 제한할 수 있도록 하는 파일 처리 장치 및 파일 처리 방법에 관한 것이다.
화상을, 효율적으로 저장하는 파일 포맷으로서, HEIF(High Efficiency Image File Format)가 있다(비특허문헌 1을 참조).
비특허문헌 1: ISO/IEC 23008-12:2017, Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 12: Image File Format
HEIF 파일이나, 그 외의 화상을 저장하는 파일에 대해서는, 이른바 저작권 보호나 초상권 보호 등의 관점에서, 파일에 저장된 화상의 시청을 제한할 수 있으면 편리하다.
본 기술은 이러한 상황을 감안하여 이루어진 것으로, 파일에 저장된 화상의 시청을 제한할 수 있도록 하는 것이다.
본 기술의 제1 파일 처리 장치는, 화상을 제1 암호키로 암호화한 암호화 화상(encrypted image)과, 상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키(encrypted encryption key)를 연관시켜 저장한 파일을 생성하는 파일 제어부를 구비하는 파일 처리 장치이다.
본 기술의 제1 파일 처리 방법은, 화상을 제1 암호키로 암호화한 암호화 화상과, 상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키를 연관시켜 저장한 파일을 생성하는 단계를 포함하는 파일 처리 방법이다.
본 기술의 제1 파일 처리 장치 및 파일 처리 방법에서는, 화상을 제1 암호키로 암호화한 암호화 화상과, 상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키를 연관시켜 저장한 파일이 생성된다.
본 기술의 제2 파일 처리 장치는, 화상을 제1 암호키로 암호화한 암호화 화상과, 상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키를 연관시켜 저장한 파일의 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하는 파일 제어부를 구비하는 파일 처리 장치이다.
본 기술의 제2 파일 처리 방법은, 화상을 제1 암호키로 암호화한 암호화 화상과, 상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키를 연관시켜 저장한 파일의 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하는 단계를 포함하는 파일 처리 방법이다.
본 기술의 제2 파일 처리 장치 및 파일 처리 방법에서는, 화상을 제1 암호키로 암호화한 암호화 화상과, 상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키를 연관시켜 저장한 파일의 상기 암호화 암호키가, 상기 제1 암호키로 복호되고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상이 상기 화상으로 복호된다.
한편, 제1 및 제2 파일 처리 장치는 독립한 장치이어도 되고, 1개의 장치를 구성하고 있는 내부 블록이어도 된다.
또한, 제1 및 제2 파일 처리 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다. 컴퓨터를, 제1 및 제2 파일 처리 장치로서 기능시키는 프로그램은, 기록 매체에 기록하거나, 또는 전송 매체를 통해 전송함으로써, 제공할 수 있다.
도 1은 본 기술을 적용한 디지털 카메라의 일 실시형태의 구성예를 나타내는 블록도이다.
도 2는 JPEG(Joint Photographic Experts Group)에 준거한 JPEG 파일의 포맷의 예를 나타내는 도면이다.
도 3은 ISO 베이스 미디어 파일 포맷의 예를 나타내는 도면이다.
도 4는 HEIF에 준거한 HEIF 파일의 포맷의 예를 나타내는 도면이다.
도 5는 이미지 아이템 형식의 HEIF 파일의 포맷의 예를 나타내는 도면이다.
도 6은 iprp 박스의 예를 나타내는 도면이다.
도 7은 이미지 시퀀스 형식의 HEIF 파일의 포맷의 예를 나타내는 도면이다.
도 8은 trak 박스의 예를 나타내는 도면이다.
도 9는 주 화상 및 섬네일 화상(thumbnail image)이 저장된 통상의 컬렉션 파일(collection file)의 예를 나타내는 도면이다.
도 10은 제1 연관형 컬렉션 파일의 예를 나타내는 도면이다.
도 11은 제2 연관형 컬렉션 파일의 예를 나타내는 도면이다.
도 12는 제3 연관형 컬렉션 파일의 예를 나타내는 도면이다.
도 13은 주 화상의 트랙 및 그 주 화상의 섬네일 화상의 트랙이 저장된 통상의 시퀀스 파일의 예를 나타내는 도면이다.
도 14는 연관형 시퀀스 파일의 예를 나타내는 도면이다.
도 15는 연관형 HEIF 파일을 생성하는 생성 처리의 예의 개요를 설명하는 플로우차트이다.
도 16은 연관형 HEIF 파일을 재생하는 재생 처리의 예의 개요를 설명하는 플로우차트이다.
도 17은 컬렉션 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 18은 스텝(S32)의 재생 대상 화상의 판독 처리의 예를 설명하는 플로우차트이다.
도 19는 스텝(S31)의 재생 대상 아이템 ID의 취득 처리의 제1 예를 설명하는 플로우차트이다.
도 20은 스텝(S31)의 재생 대상 아이템 ID의 취득 처리의 제2 예를 설명하는 플로우차트이다.
도 21은 제1 연관형 컬렉션 파일로부터 소정의 주 화상의 RAW 파일의 특정 정보로서의 uuid를 취득하는 처리의 예를 설명하는 플로우차트이다.
도 22는 제2 연관형 컬렉션 파일로부터 소정의 주 화상의 RAW 파일의 특정 정보로서의 uuid를 취득하는 처리의 예를 설명하는 플로우차트이다.
도 23은 제3 연관형 컬렉션 파일로부터 소정의 주 화상의 RAW 파일의 특정 정보로서의 uuid를 취득하는 처리의 예를 설명하는 플로우차트이다.
도 24는 컬렉션 파일로부터 주 화상의 아이템 ID의 리스트를 취득하는 처리의 예를 설명하는 플로우차트이다.
도 25는 시퀀스 파일로부터 소정의 시각 정보에 대한 주 화상(의 프레임)의 섬네일 화상을 재생하는 처리의 예를 설명하는 플로우차트이다.
도 26은 연관형 시퀀스 파일로부터 소정의 주 화상(의 프레임)의 RAW 파일의 특정 정보로서의 uuid를 취득하는 처리의 예를 설명하는 플로우차트이다.
도 27은 외부 데이터로서 주 화상의 RAW 파일을 채용하고 연관형 컬렉션 파일을 생성하는 경우의, RAW 파일에의 uuid의 저장의 예를 나타내는 도면이다.
도 28은 외부 데이터로서 주 화상의 RAW 파일을 채용하고 연관형 시퀀스 파일을 생성하는 경우의, RAW 파일에의 uuid의 저장의 예를 나타내는 도면이다.
도 29는 외부 데이터로서 주 화상의 WAV 파일을 채용하고 연관형 컬렉션 파일을 생성하는 경우의, WAV 파일에의 uuid의 저장의 예를 나타내는 도면이다.
도 30은 외부 데이터로서 주 화상의 WAV 파일을 채용하고 연관형 시퀀스 파일을 생성하는 경우의, WAV 파일에의 uuid의 저장의 예를 나타내는 도면이다.
도 31은 본 기술을 적용한 화상 처리 시스템의 제1 실시형태의 구성예를 나타내는 블록도이다.
도 32는 제1 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 33은 제2 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 34는 제3 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 35는 제4 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 36은 제5 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 37은 제6 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 38은 화상 처리 시스템(100)에 의해 제1 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 39는 화상 처리 시스템(100)에 의해 제1 암호화 HEIF 파일이 취급되는 경우에, 그 제1 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 40은 화상 처리 시스템(100)에 의해 제1 암호화 HEIF 파일이 취급되는 경우에, 그 제1 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 41은 화상 처리 시스템(100)에 의해 제2 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 42는 화상 처리 시스템(100)에 의해 제2 암호화 HEIF 파일이 취급되는 경우에, 그 제2 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 43은 화상 처리 시스템(100)에 의해 제2 암호화 HEIF 파일이 취급되는 경우에, 암호화 화상에 대응하는 비밀키를 입수할 수 있는 사용자만이, 그 암호화 화상을 복호한 주 화상을 시청하도록 제한하는 제한 처리의 예를 설명하는 플로우차트이다.
도 44는 화상 처리 시스템(100)에 의해 제2 암호화 HEIF 파일이 취급되는 경우에, 그 제2 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 45는 화상 처리 시스템(100)에 의해 제3 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 46은 화상 처리 시스템(100)에 의해 제3 암호화 HEIF 파일이 취급되는 경우에, 그 제3 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 47은 화상 처리 시스템(100)에 의해 제3 암호화 HEIF 파일이 취급되는 경우에, 그 제3 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 48은 화상 처리 시스템(100)에 의해 제4 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 49는 화상 처리 시스템(100)에 의해 제4 암호화 HEIF 파일이 취급되는 경우에, 그 제4 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 50은 화상 처리 시스템(100)에 의해 제4 암호화 HEIF 파일이 취급되는 경우에, 그 제4 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 51은 화상 처리 시스템(100)에 의해 제5 또는 제6 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 52는 화상 처리 시스템(100)에 의해 제5 또는 제6 암호화 HEIF 파일이 취급되는 경우에, 그 제5 또는 제6 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 53은 화상 처리 시스템(100)에 의해 제5 또는 제6 암호화 HEIF 파일이 취급되는 경우에, 암호화 화상에 대응하는 비밀키를 입수할 수 있는 사용자만이, 그 암호화 화상을 복호한 주 화상을 시청하도록 제한하는 제한 처리의 예를 설명하는 플로우차트이다.
도 54는 화상 처리 시스템(100)에 의해 제5 또는 제6 암호화 HEIF 파일이 취급되는 경우에, 그 제5 또는 제6 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 55는 본 기술을 적용한 화상 처리 시스템의 제2 실시형태의 구성예를 나타내는 블록도이다.
도 56은 디지털 카메라(210)의 구성예를 나타내는 블록도이다.
도 57은 grid 파일의 예를 나타내는 도면이다.
도 58은 디지털 카메라(210)가 행하는 암호화 grid 파일의 처리의 개요를 설명하는 도면이다.
도 59는 암호화 grid 파일의 예를 나타내는 도면이다.
도 60은 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에 행해지는 전처리의 제1 예를 설명하는 플로우차트이다.
도 61은 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에, 그 암호화 grid 파일을 생성하는 생성 처리의 제1 예를 설명하는 플로우차트이다.
도 62는 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에, 그 암호화 grid 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 63은 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에 행해지는 전처리의 제2 예를 설명하는 플로우차트이다.
도 64는 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에, 그 암호화 grid 파일을 생성하는 생성 처리의 제2 예를 설명하는 플로우차트이다.
도 65는 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에, 그 암호화 grid 파일을 생성하는 생성 처리의 제3 예를 설명하는 플로우차트이다.
도 66은 본 기술을 적용한 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도이다.
<본 기술을 적용한 디지털 카메라의 일 실시형태>
도 1은 본 기술을 적용한 디지털 카메라의 일 실시형태의 구성예를 나타내는 블록도이다.
디지털 카메라(10)는, 광학계(11), 이미지 센서(12), 신호 처리부(13), 미디어(14), 인터페이스(15 및 16), 버튼/키(17), 터치 패널(18), 액정 패널(19), 뷰파인더(20), 및 인터페이스(21) 등을 갖는다.
광학계(11)는 피사체로부터의 광을, 이미지 센서(12)에 집광한다.
이미지 센서(12)는, 광학계(11)로부터의 광을 수광하고, 광전 변환하는 촬상을 행함으로써, 전기 신호로서의 화상의 데이터를 생성하여, 신호 처리부(13)에 공급한다.
신호 처리부(13)는, 광학계/이미지 센서 제어부(41), 부호화 제어부(42), 파일 제어부(43), 미디어 제어부(44), 조작 제어부(45), 표시 제어부(46), 및, UI 제어부(47)를 갖는다.
광학계/이미지 센서 제어부(41)는, 광학계(11) 및 이미지 센서(12)를 제어하고, 그 제어에 따라 행해지는 촬상에 의해 얻어지는 화상(의 데이터)을 부호화 제어부(42)에 공급한다.
부호화 제어부(42)는, 광학계/이미지 센서 제어부(41)로부터의 화상을 표시 제어부(46)에 공급함과 함께, 필요에 따라 부호화하여, 파일 제어부(43)에 공급한다. 또한, 부호화 제어부(42)는, 파일 제어부(43)로부터 공급되는 화상을 필요에 따라 복호하여, 표시 제어부(46)에 공급한다.
파일 제어부(43)는, 부호화 제어부(42)로부터 공급되는 화상을 저장한 파일을 생성하여, 미디어 제어부(44)에 공급한다. 또한, 파일 제어부(43)는, 미디어 제어부(44)로부터 공급되는 파일의 재생, 즉, 파일에 저장된 화상 등의 데이터 판독 등을 행한다. 예를 들면, 파일로부터 판독된 화상은, 파일 제어부(43)로부터 부호화 제어부(42)에 공급된다.
미디어 제어부(44)는, 미디어(14) 및 인터페이스(15 및 16)와의 사이에서의 파일의 교환을 제어한다. 예를 들면, 미디어 제어부(44)는, 파일 제어부(43)로부터의 파일을, 미디어(14)에 기록시거나, 또는, 인터페이스(15 및 16)로부터 송신시킨다. 또한, 미디어 제어부(44)는, 미디어(14)로부터 파일을 판독하거나, 또는, 인터페이스(15 및 16)에 파일을 수신시켜, 파일 제어부(43)에 공급한다.
조작 제어부(45)는, 사용자에 의한 버튼/키(17) 또는 터치 패널(18)의 조작에 따라, 그 조작에 대응하는 조작 신호를, 필요한 블록에 공급한다.
표시 제어부(46)는, 부호화 제어부(42)로부터 공급되는 화상 등을, 액정 패널(19), 뷰파인더(20), 인터페이스(21)에 공급하여 표시시키는 표시 제어 등을 행한다.
UI 제어부(47)는 UI(User Interface) 제어를 담당한다.
미디어(14)는, 예를 들면, SD 카드 등의 기억 매체이다. 인터페이스(15)는, 예를 들면, WiFi(등록상표) 또는 이더넷(Ethernet)(등록상표) 등의 LAN(Local Area Network)의 인터페이스이다. 인터페이스(16)는, 예를 들면, USB(Universal Serial Bus)의 인터페이스이다. 버튼/키(17) 및 터치 패널(18)은, 디지털 카메라(10)에 지령 또는 그 밖의 정보를 입력할 때에, 사용자에 의해 조작된다. 터치 패널(18)은, 액정 패널(19)과 일체적으로 구성할 수 있다. 액정 패널(19) 및 뷰파인더(20)는, 표시 제어부(46)로부터 공급되는 화상 등을 표시한다. 인터페이스(21)는, HDMI(등록상표)(High-Definition Multimedia Interface) 또는 DP(Display Port) 등의 적어도 화상을 전송하는 인터페이스이다.
이상과 같이 구성되는 디지털 카메라(10)에서는, 광학계/이미지 센서 제어부(41)는, 이미지 센서(12)의 촬상에 의해 얻어지는 RAW 데이터의 화상(이하, RAW 화상이라고도 함)으로부터, 예를 들면, 그 RAW 화상과 동일한 해상도(화소 수)의 YUV의 화상을, HEIF 파일의 주 화상(master image)으로서 생성하여, 부호화 제어부(42)에 공급한다.
부호화 제어부(42)는, YUV의 주 화상으로부터, 액정 패널(19)이나 외부 디스플레이에서의 표시의 용도를 위해, 주 화상에 기초한 제1 다른 화상으로서의, 예를 들면, 주 화상보다 해상도가 낮은 YUV의 화상(이하, 스크린 네일 화상(screen nail image)이라고도 함)을 생성함과 함께, 인덱스 표시(일람 표시)의 용도를 위해, 주 화상에 기초한 제2 다른 화상으로서의, 예를 들면, 스크린 네일 화상보다 해상도가 낮은 YUV의 화상(이하, 섬네일 화상이라고도 함)을 생성한다. 부호화 제어부(42)는, 예를 들면, 스크린 네일 화상을 표시 제어부(46)를 통해 액정 패널(19)에 공급하여, 이른바 스루 화상(through image)으로서 표시시킨다. 섬네일 화상으로서는, 예를 들면, 장변이 320픽셀 이하의 사이즈의 화상을 채용할 수 있다. 주 화상과, 주 화상에 기초한 제1 다른 화상으로서의 스크린 네일 화상, 또는 주 화상에 기초한 제2 다른 화상으로서의 섬네일 화상의 사이즈(픽셀 수)의 비율은, 예를 들면, 200배 이하로 할 수 있다. 주 화상에 기초한 제1 다른 화상으로서의 스크린 네일 화상과, 주 화상에 기초한 제2 다른 화상으로서의 섬네일 화상의 사이즈의 비율도, 마찬가지로, 200배 이하로 할 수 있다. 스크린 네일 화상으로서는, 예를 들면, 해상도가 4K 이상인 화상을 채용할 수 있다. 또한, 스크린 네일 화상으로서는, 예를 들면, 사용자의 선택에 따라, 4K(QFHD) 또는 FHD의 화상을 채용할 수 있다. 나아가, 주 화상과 스크린 네일 화상으로서는, 동일한 해상도의 화상을 채용할 수 있다. 주 화상과 스크린 네일 화상으로서 동일한 해상도의 화상을 채용하는 경우, HEIF 파일에는, 주 화상과 스크린 네일 화상의 양쪽 모두를 저장할 수도 있고, 스크린 네일 화상을 저장하지 않고 주 화상을 저장할 수 있다. HEIF 파일에, 스크린 네일 화상을 저장하지 않고 주 화상을 저장하는 경우에는, 주 화상을 리사이즈하여, 스크린 네일 화상으로서 사용할 수 있다.
또한, 부호화 제어부(42)는, RAW 화상에 대응하는 주 화상, 스크린 네일 화상, 및 섬네일 화상(동일한 RAW 화상으로부터 생성된 주 화상, 스크린 네일 화상, 및 섬네일 화상)을 필요에 따라 부호화하여, RAW 화상과 함께, 파일 제어부(43)에 공급한다.
파일 제어부(43)는, RAW 화상이 저장된 RAW 파일을 생성함과 함께, 대응하는 주 화상, 스크린 네일 화상, 및 섬네일 화상(동일한 RAW 화상으로부터 생성된 주 화상, 스크린 네일 화상, 및 섬네일 화상)이 저장된 HEIF 파일, 또는 JPEG 파일 등을 생성하여, 미디어 제어부(44)에 공급한다. HEIF 파일이란, HEIF(High Efficiency Image File Format)에 준거한 파일이며, JPEG 파일이란, JPEG(Joint Photographic Experts Group)에 준거한 파일이다.
미디어 제어부(44)는, 파일 제어부(43)로부터의 RAW 파일과, HEIF 파일 또는 JPEG 파일을, 미디어(14)에 기록하거나, 또는, 인터페이스(15 또는 16)로부터 송신시킨다.
파일 제어부(43)에 있어서, HEIF 파일 및 JPEG 파일 중 어느 것을 생성할지는, 예를 들면, 사용자의 조작에 따라 선택할 수 있다. 또한, HEIF 파일에는, 후술하는 바와 같이, 이미지 아이템 형식과 이미지 시퀀스 형식이 있지만, 이미지 아이템 형식과 이미지 시퀀스 형식 중 어느 것을 채용할지는, 예를 들면, 사용자의 조작에 따라 선택할 수 있다. 나아가, 파일 제어부(43)에서는, 사용자의 조작에 따라, HEIF 파일과 JPEG 파일의 사이의 상호 변환을 행할 수 있다.
나아가, 파일 제어부(43)에서는, HEIF 파일의 생성 시에, HEIF 파일 외의 외부 데이터(HEIF 파일에 저장되어 있지 않은 데이터)와 연관되는 HEIF 파일 내의 내부 데이터(HEIF 파일에 저장된 데이터)와, 그 외부 데이터를 특정하는 특정 정보를 연관시켜, HEIF 파일에 저장할 수 있다. 내부 데이터와, 그 내부 데이터와 연관되는 외부 데이터의 특정 정보가 연관되어 저장된 HEIF 파일을, 연관형 HEIF 파일이라고도 한다. 연관형 HEIF 파일에는, 예를 들면, 내부 데이터와 특정 정보를 연관시키는 연관 정보를 저장하는 것 등에 의해, 내부 데이터와 특정 정보를 연관시켜 저장할 수 있다.
<JPEG 파일>
도 2는 JPEG(Joint Photographic Experts Group)에 준거한 JPEG 파일의 포맷의 예를 나타내는 도면이다.
JPEG 파일은, 예를 들면, Exif의 메타데이터, 섬네일 화상, XMP(Extensible Metadata Platform)(등록상표)의 메타데이터, 주 화상 및 간이 표시용 화상의 저장 장소(위치) 등을 나타내는 MPF, 주 화상, 및, 간이 표시용 화상이 저장되어 구성된다. 간이 표시용 화상으로서는, 예를 들면, 스크린 네일 화상을 채용할 수 있다.
<ISO 베이스 미디어 파일 포맷>
도 3은 ISO 베이스 미디어 파일 포맷의 예를 나타내는 도면이다.
HEIF(ISO/IEC 23008-12)는 ISO 베이스 미디어 파일 포맷(ISO/IEC 14496-12)에 준거한 파일 포맷이며, 따라서, HEIF 파일은 ISO 베이스 미디어 파일 포맷에 준거한다.
ISO 베이스 미디어 파일 포맷은, 데이터를 저장하는 컨테이너로서의 박스(box)라고 불리는 단위로 구성되고, 박스 구조라고 불리는 구조를 갖는다.
박스는 타입(box type) 및 실제 데이터(data) 등을 갖는다. 타입은 박스 내의 실제 데이터의 종류를 나타낸다. 실제 데이터로서는, 화상(정지화상, 동영상), 오디오, 자막(서브타이틀) 등의 재생 가능한 미디어 데이터, 속성명(필드명)과 그 속성명(으로 표현되는 변수)의 속성값(필드값), 그 밖의 각종 데이터를 채용할 수 있다.
나아가, 실제 데이터로서는, 박스를 채용할 수 있다. 즉, 박스는 실제 데이터로서 박스를 가질 수 있고, 이에 의해, 계층 구조로 할 수 있다.
ISO 베이스 미디어 파일 포맷에 준거한 베이스 미디어 파일은, ftyp 박스, moov 박스(MovieBox), meta 박스(MetaBox), 및 mdat 박스(MediaDataBox) 등을 가질 수 있다. ftyp 박스에는, 파일 포맷을 식별하는 식별 정보가 저장된다. moov 박스는 trak 박스 등을 저장할 수 있다. meta 박스는 iinf 박스, iprp 박스, iref 박스, iloc 박스 등을 저장할 수 있다. mdat 박스는 미디어 데이터(AV 데이터), 그 밖의 임의의 데이터를 저장할 수 있다.
HEIF는 이상과 같은 ISO 베이스 미디어 파일 포맷에 준거한다.
<HEIF 파일>
도 4는 HEIF에 준거한 HEIF 파일의 포맷의 예를 나타내는 도면이다.
HEIF 파일에는, 크게 나눠서, 이미지 아이템 형식과, 이미지 시퀀스 형식이 있다. 나아가, 이미지 아이템 형식에는, 후술하는 아이템을 1개만 갖는 싱글 이미지 형식과, 아이템을 복수 갖는 이미지 컬렉션 형식이 있다.
이미지 아이템 형식의 HEIF 파일은 ftyp 박스, meta 박스, 및 mdat 박스를 갖는다.
이미지 시퀀스 형식의 HEIF 파일은 ftyp 박스, moov 박스, 및 mdat 박스를 갖는다.
한편, HEIF 파일은 meta 박스 및 moov 박스 중 일방뿐만 아니라, 양쪽 모두를 가질 수도 있다.
ftyp 박스에는, 파일 포맷을 식별하는 식별 정보, 예를 들면, 파일이 이미지 아이템 형식 또는 이미지 시퀀스 형식의 HEIF 파일인 것 등이 저장된다.
meta 박스 및 moov 박스에는, mdat 박스에 저장되는 미디어 데이터의 재생이나 관리 등에 필요한, 예를 들면, 미디어 데이터의 저장 장소 등의 메타데이터가 저장된다.
mdat 박스에는, 미디어 데이터(AV 데이터) 등이 저장된다.
디지털 카메라(10)에 있어서, 이미지 아이템 형식과 이미지 시퀀스 형식의 HEIF 파일 중 어떤 HEIF 파일을 생성할지는, 예를 들면, 사용자의 조작에 따라 선택할 수 있다. 또한, HEIF 파일의 mdat 박스에, 화상을 부호화하여 저장하는 경우에는, 이미지 아이템 형식에 대해서는, 인트라 부호화만이 허용되고, 이미지 시퀀스 형식에 대해서는, 인트라 부호화 및 인터 부호화가 허용된다. 따라서, 예를 들면, HEIF 파일에 저장된 데이터에의 고속 액세스를 우선하는 경우에는, 이미지 아이템 형식의 HEIF 파일의 생성을 선택하고, HEIF 파일의 사이즈(데이터량)를 작게 하는 것을 우선하는 경우에는, 이미지 시퀀스 형식의 HEIF 파일의 생성을 선택할 수 있다.
도 5는 이미지 아이템 형식의 HEIF 파일의 포맷의 예를 나타내는 도면이다.
이미지 아이템 형식의 HEIF 파일에서는, ftyp 박스에, 이미지 아이템 형식의 HEIF 파일인 것을 나타내는 정보, 예를 들면, mif1 등이 (속성값으로서) 저장된다.
meta 박스에는, iinf 박스, iref 박스, iprp 박스, 및 iloc 박스가 저장된다.
iinf 박스에는, mdat 박스에 저장된 미디어 데이터(AV 데이터)인 아이템의 수(를 나타내는 속성명과 속성값) 등이 저장된다. 아이템이란, 이미지 아이템 형식의 HEIF 파일의 mdat 박스에 저장되는 1개의 데이터이며, 예를 들면, 1매(화면)의 화상이 아이템이다. 본 명세서에서는, 정지화상 및 동영상에 관계없이, 화상 1매를 프레임이라고도 한다. 1프레임은 1아이템이다.
iref 박스에는, 아이템끼리의 관련을 나타내는 정보가 저장된다. 예를 들면, mdat 박스에는, 대응하는 주 화상, 스크린 네일 화상, 및 섬네일 화상의 각각을 아이템으로서 저장할 수 있다. mdat 박스에, 주 화상으로서의 아이템 I1, 스크린 네일 화상으로서의 아이템 I2, 및 섬네일 화상으로서의 아이템 I3이 저장되는 경우, iref 박스에는, 아이템 I2가 아이템 I1로서의 주 화상의 스크린 네일 화상인 것을 나타내는 정보나, 아이템 I3이 아이템 I1로서의 주 화상의 섬네일 화상인 것을 나타내는 정보가 저장된다.
iprp 박스에는, 아이템의 프로퍼티(property)에 관한 정보가 저장된다.
iloc 박스에는, mdat 박스에 저장된 아이템의 저장 장소에 관한 정보가 저장된다.
이미지 아이템 형식의 (HEIF 파일의) mdat 박스에는, 아이템으로서의, 예를 들면, 화상의 프레임이 저장된다. mdat 박스에는, 1개 이상의 아이템을 저장할 수 있다. 또한, mdat 박스에는, 아이템으로서의 프레임을 부호화하여 저장할 수 있다. 다만, 이미지 아이템 형식의 mdat 박스에 저장하는 아이템으로서의 프레임의 부호화는, 인트라 부호화로 제한된다. 아이템으로서의 프레임을 부호화하는 부호화 방식(코덱)으로서는, 예를 들면, HEVC 등을 채용할 수 있다.
도 6은 도 5의 iprp 박스의 예를 나타내는 도면이다.
iprp 박스에는, 아이템의 프로퍼티에 관한 ipco 박스 및 ipma 박스가 저장된다. ipco 박스에는, mdat 박스에 저장된 아이템의 프로퍼티, 예를 들면, 아이템으로서의 화상의 코덱에 관한 코덱 정보나 사이즈에 관한 화상 사이즈 정보가 저장된다. ipma 박스에는, mdat 박스에 저장된 아이템의, ipco 박스에 저장된 프로퍼티로의 인덱스(포인터)가 저장된다.
도 7은 이미지 시퀀스 형식의 HEIF 파일의 포맷의 예를 나타내는 도면이다.
이미지 시퀀스 형식의 HEIF 파일에서는, ftyp 박스에, 이미지 시퀀스 형식의 HEIF 파일인 것을 나타내는 정보, 예를 들면, msf1 등이 저장된다.
moov 박스에는, trak 박스가 저장된다. trak 박스에는, mdat 박스에 저장되는 트랙에 관한 정보가 저장된다.
트랙은, 화상이나 음성 등의 1개의 독립한, 타임 라인에 따라 재생되는 미디어 데이터로 구성된다. 예를 들면, 트랙은, 엘레멘터리 스트림(elementary stream)이 되는 1프레임 이상의 화상으로 구성된다. mdat 박스에 저장되는 트랙에 대해서는, 복수의 트랙, 예를 들면, 동시에 기록된 화상 및 음성 각각의 트랙을, 동시에 재생할 수 있다.
트랙의 미디어 데이터는, 샘플이라고 불리는 단위로 구성된다. 샘플이란, HEIF 파일 내의 미디어 데이터에 액세스하는 경우의, 최소 단위(액세스 단위)이다. 따라서, 샘플보다 미세한 단위로, HEIF 파일 내의 미디어 데이터에 액세스할 수는 없다.
화상의 미디어 데이터에 대해서는, 예를 들면, 1프레임 등이 1샘플이 된다. 또한, 음성의 미디어 데이터에 대해서는, 예를 들면, 그 음성의 미디어 데이터의 규격으로 정해진 1오디오 프레임 등이 1샘플이 된다.
이미지 시퀀스 형식의 (HEIF 파일의) mdat 박스에 있어서, 트랙의 미디어 데이터는, 청크(chunk)라고 불리는 단위로 배치된다. 청크는, 논리적으로 연속한 어드레스에 배치되는 하나 이상의 샘플의 집합이다.
mdat 박스에, 미디어 데이터로서의 복수의 트랙이 저장되는 경우, 그 복수의 트랙은, 청크 단위로, 인터리브하여 배치된다.
이상과 같이, 이미지 시퀀스 형식의 mdat 박스에는, 화상이나 음성 등의 미디어 데이터로 구성되는 하나 이상의 트랙이 저장된다.
mdat 박스에는, 트랙을 구성하는 화상의 프레임을 부호화하여 저장할 수 있다. 이미지 시퀀스 형식의 mdat 박스에 저장하는 트랙을 구성하는 프레임의 부호화에는, GOP(Group of Picture)로서, long GOP를 채용함과 함께, 인트라 부호화 및 인터 부호화의 어느 것도 채용할 수 있다. 트랙을 구성하는 프레임을 부호화하는 코덱으로서는, 예를 들면, HEVC 등을 채용할 수 있다.
도 8은 trak 박스의 예를 나타내는 도면이다.
trak 박스에는, tkhd 박스 및 mdia 박스를 저장할 수 있다. tkhd 박스에는, trak 박스가 관리하는 트랙의 작성 일시 등의, 트랙의 헤더 정보가 저장된다. mdia 박스에는, minf 박스 등이 저장된다. minf 박스에는, stbl 박스가 저장된다. stbl 박스에는, 트랙의 샘플, 나아가서는, 청크에 액세스하기 위한 정보가 저장되는 stsd 박스, stsc 박스, stsz 박스, 및 stco 박스가 저장된다. stsd 박스에는, 트랙의 코덱에 관한 코덱 정보가 저장된다. stsc 박스에는, 청크 사이즈(1청크의 샘플 수)가 저장된다. stsz 박스에는, 샘플 사이즈가 저장된다. stco 박스에는, 청크 오프셋, 즉, mdat 박스에 저장된 트랙의 각 청크의 배치 위치의 오프셋이 저장된다.
여기서, 이미지 아이템 형식의 HEIF 파일을 컬렉션 파일이라고도 하고, 이미지 시퀀스 형식의 HEIF 파일을 시퀀스 파일이라고도 한다. 나아가, 이미지 아이템 형식의 연관형 HEIF 파일을 연관형 컬렉션 파일이라고도 하고, 이미지 시퀀스 형식의 연관형 HEIF 파일을 연관형 시퀀스 파일이라고도 한다.
디지털 카메라(10)에서는, 주 화상, 나아가서는, 필요한 스크린 네일 화상 및 섬네일 화상 중 일방 또는 양쪽 모두가 저장된 HEIF 파일(연관형 HEIF 파일을 포함함)을 생성할 수 있다.
<컬렉션 파일>
도 9는 주 화상 및 섬네일 화상이 저장된 통상의 컬렉션 파일의 예를 나타내는 도면이다.
여기서, 통상의 컬렉션 파일이란, 컬렉션 파일 내의 내부 데이터와, 외부 데이터의 특정 정보가 연관되어 있지 않은 컬렉션 파일을 의미한다.
이제, 컬렉션 파일의 mdat 박스에는, 프레임(아이템)이 HEVC에 의해 부호화되어 저장되는 것으로 한다.
ftyp 박스에는, 파일 포맷을 식별하는 식별 정보로서, 이미지 아이템 형식인 것과, 코덱이 HEVC인 것을 나타내는 heic가 저장된다.
iinf 박스에는, mdat 박스에 저장된 아이템의 수(아이템 수)가 저장된다. 도 9에서는, 아이템 ID#1에 의해 특정되는 주 화상(이하, 주 화상 Item#1로도 기재함), 주 화상 Item#2, 아이템 ID#101에 의해 특정되는 섬네일 화상(이하, 섬네일 화상 Item#101로도 기재함), 섬네일 화상 Item#102의 총 4개의 아이템(프레임)이 mdat 박스에 저장되어 있다. 따라서, 아이템 수는 4이다. 한편, 섬네일 화상 Item#101은 주 화상 Item#1의 섬네일 화상이며, 섬네일 화상 Item#102는 주 화상 Item#2의 섬네일 화상이다.
iinf 박스에는, 나아가, 예를 들면, mdat 박스에 저장된 아이템마다 infe 박스가 저장된다. infe 박스에는, 아이템을 특정하는 아이템 ID와, 아이템 타입이 등록된다. 도 9에서는, 주 화상 Item#1 및 Item#2, 및, 섬네일 화상 Item#101 및 Item#102 각각의 infe 박스가 존재한다.
iref 박스에는, mdat 박스에 저장된 아이템끼리를 연관시키는 정보로서, 예를 들면, thmb 박스가 저장된다. thmb 박스는, 주 화상과 그 주 화상의 섬네일 화상을 연관시키는 정보로서의 참조원과 참조처(reference destination)가 대응지어져 저장된다. thmb 박스에 있어서, 참조원은 주 화상의 아이템 ID를 나타내고, 참조처는, 참조원의 아이템 ID에 의해 특정되는 주 화상의 섬네일 화상의 아이템 ID를 나타낸다. 따라서, 참조원에 대응지어져 있는 참조처에 의하면, 참조원이 나타내는 아이템 ID에 의해 특정되는 주 화상의 섬네일 화상의 아이템 ID를 인식할 수 있다. 또한, 참조처에 대응지어져 있는 참조원에 의하면, 참조처가 나타내는 아이템 ID에 의해 특정되는 섬네일 화상의 주 화상의 아이템 ID를 인식할 수 있다.
iprp 박스에는, 도 6에서 설명한 바와 같이, ipco 박스 및 ipma 박스가 저장된다. ipco 박스에는, 도 6에서 설명한 바와 같이, mdat 박스에 저장된 아이템으로서의 프레임의 프로퍼티, 예를 들면, 코덱에 관한 코덱 정보나 사이즈에 관한 화상 사이즈 정보가 저장된다. ipma 박스에는, 도 6에서 설명한 바와 같이, mdat 박스에 저장된 아이템의, ipco 박스에 저장된 프로퍼티로의 인덱스가 저장된다.
iloc 박스에는, 도 6에서 설명한 바와 같이 mdat 박스에 있어서의 아이템의 저장 장소에 관한 정보가 저장된다. 도 9에서는, iloc 박스에는, 아이템 수가 4인 것이 저장되어 있다. 나아가, iloc 박스에는, mdat 박스에 저장된 주 화상 Item#1 및 Item#2, 및, 섬네일 화상 Item#101 및 Item#102 각각의 저장 장소에의 오프셋 및 사이즈가 아이템 ID와 대응지어져 저장되어 있다.
이하, 도 9의 통상의 컬렉션 파일에, 내부 데이터와 외부 데이터의 특정 정보를 연관시켜 저장한 연관형 컬렉션 파일에 대해 설명한다.
도 10은 제1 연관형 컬렉션 파일의 예를 나타내는 도면이다.
여기서, 이하에서는, HEIF 파일 내의 내부 데이터로서의 주 화상과 연관되는 외부 데이터로서, 예를 들면, 그 주 화상의 RAW 화상(이 저장된 RAW 파일)을 채용하는 것으로 한다.
제1 연관형 컬렉션 파일에는, 내부 데이터로서의 주 화상과, 외부 데이터로서의 RAW 화상이 저장된 RAW 파일(에 저장된 RAW 화상)의 특정 정보를 연관시키는 연관 정보를 저장함으로써, 주 화상과 RAW 화상이 저장된 RAW 파일의 특정 정보가 연관되어 저장된다. 나아가, 제1 연관형 컬렉션 파일에서는, 연관 정보가, meta 박스에 저장된다.
외부 데이터로서의 RAW 화상이 저장된 RAW 파일의 특정 정보로서는, RAW 파일의 파일명이나, RAW 파일에 대하여 발행된 uuid(Universally Unique Identifier), URL(Uniform Resource Locator), 그 밖에, RAW 파일(에 저장된 RAW 화상)을 특정할 수 있는 임의의 정보를 채용할 수 있다.
제1 연관형 컬렉션 파일에 대해서는, meta 박스에 저장되는 새로운 박스로서, 연관 정보가 저장되는 연관 정보 저장 박스가 정의되어, meta 박스에 저장된다. 제1 연관형 컬렉션 파일의 연관 정보 저장 박스에는, 예를 들면, 주 화상을 특정하는 아이템 ID와, 그 주 화상에 연관되는 (RAW 화상이 저장된) RAW 파일(에 저장된 RAW 화상)을 특정하는 특정 정보로서의 uuid가 대응지어진 연관 정보가 저장된다. 나아가, 연관 정보 저장 박스에는, RAW 파일(에 저장된 RAW 화상)과 연관되는 주 화상의 수(주 화상 수)가 저장된다. 연관 정보 저장 박스에 저장되는 주 화상 수는, RAW 파일과 연관되는 주 화상의 수이므로, mdat 박스에 저장되어 있는 주 화상의 수 이하의 값이 된다.
도 10에서는, 주 화상 Item#1의 RAW 파일의 uuid(주 화상 Item#1과 연관된 RAW 화상의 uuid)가 UUID#1로 되어 있고, 주 화상 Item#2의 RAW 파일의 uuid가 UUID#2로 되어 있다. 이제, uuid가 UUID#i인 RAW 파일을, RAW 파일 UUID#i이라고 기술하는 것으로 하면, 도 10에서는, 주 화상 Item#1의 아이템 ID#1과 RAW 파일 UUID#1의 uuid가 대응지어지고, 또한, 주 화상 Item#2의 아이템 ID#2와 RAW 파일 UUID#2의 uuid가 대응지어진 연관 정보가, 연관 정보 저장 박스에 저장되어 있다.
도 11은 제2 연관형 컬렉션 파일의 예를 나타내는 도면이다.
제2 연관형 컬렉션 파일에는, 제1 연관 컬렉션 파일과 마찬가지로, 내부 데이터로서의 주 화상과, 외부 데이터로서의 RAW 파일의 특정 정보를 연관시키는 연관 정보를 저장함으로써, 주 화상과 RAW 파일의 특정 정보가 연관되어 저장된다. 다만, 제2 연관형 컬렉션 파일에서는, 연관 정보가 mdat 박스에 저장된다.
제2 연관형 컬렉션 파일에 대해서는, 예를 들면, 제1 연관 컬렉션 파일의 경우와 마찬가지의 연관 정보가, 아이템으로서, mdat 박스에 저장된다. 도 11에서는, 연관 정보가, 아이템 ID#201의 아이템으로서, mdat 박스에 저장되어 있다.
이상과 같이, 제2 연관형 컬렉션 파일에서는, 아이템 Item#201로서의 연관 정보가 mdat 박스에 저장됨에 따라, meta 박스에 저장되는 정보가, 도 9의 통상의 컬렉션 파일의 경우와 다르다. 제2 연관형 컬렉션 파일에서는, 아이템 Item#201로서의 연관 정보의 메타데이터가 meta 박스에 저장된다.
구체적으로는, 제2 연관형 컬렉션 파일에서는, iinf 박스 및 iloc 박스에 저장되는 아이템 수가, 도 9의 경우의 4로부터, 그 4에, 아이템 Item#201의 1을 더한 5가 된다. 나아가, iinf 박스에 아이템 Item#201에 대한 infe 박스가 추가됨과 함께, iloc 박스에 아이템 Item#201의 저장 장소에의 오프셋 및 사이즈가 추가된다. 아이템 Item#201에 대한 infe 박스에는, 아이템 Item#201의 아이템 ID#201과, 아이템 Item#201이 연관 정보인 것을 나타내는 아이템 타입 IDIF(identifying data info)가 저장된다. IDIF는, 아이템이 연관 정보인 것을 나타내는, 새롭게 정의된 속성값(필드값)이다.
도 12는 제3 연관형 컬렉션 파일의 예를 나타내는 도면이다.
제3 연관형 컬렉션 파일에서는, 외부 데이터로서의 RAW 파일의 특정 정보를, 특정 정보마다, 아이템으로서, mdat 박스에 저장함과 함께, 내부 데이터로서의 주 화상과, 외부 데이터로서의 RAW 파일의 특정 정보를 연관시키는 연관 정보를, meta 박스에 저장함으로써, 주 화상과 RAW 파일의 특정 정보가 연관되어 저장된다. 다만, 제3 연관형 컬렉션 파일에서는, 연관 정보는, 아이템으로서의 주 화상의 아이템 ID와, 아이템으로서의 (RAW 파일의) 특정 정보의 아이템 ID를 대응지은 정보이며, meta 박스 내의 iref 박스에 저장되는 cdsc 박스에 저장된다.
cdsc 박스에는, 주 화상과 그 주 화상의 RAW 파일의 특정 정보 각각으로서의 아이템끼리를 연관시키는 정보로서의 참조원과 참조처를 대응지어 저장할 수 있다. cdsc 박스에 있어서, 참조원은, 주 화상의 아이템 ID를 나타내고, 참조처는, 참조원의 아이템 ID에 의해 특정되는 주 화상의 RAW 파일의 아이템으로서의 특정 정보의 아이템 ID를 나타낸다.
도 12에서는, 주 화상 Item#1의 RAW 파일의 특정 정보로서의 uuid인 UUID#1이, 아이템 Item#201로서, mdat 박스에 저장되고, 주 화상 Item#2의 RAW 파일의 특정 정보로서의 uuid인 UUID#2가, 아이템 Item#202로서, mdat 박스에 저장되어 있다. 나아가, 주 화상 Item#1의 아이템 ID#1과, 특정 정보 UUID#1의 아이템 ID#201을, 각각 참조원과 참조처로서 대응지은 연관 정보가 저장된 cdsc 박스가, iref 박스에 저장되고, 주 화상 Item#2의 아이템 ID#2와, 특정 정보 UUID#2의 아이템 ID#202를, 각각 참조원과 참조처로서 대응지은 연관 정보가 저장된 cdsc 박스가, iref 박스에 저장되어 있다.
<시퀀스 파일>
도 13은 주 화상의 트랙 및 그 주 화상의 섬네일 화상의 트랙이 저장된 통상의 시퀀스 파일의 예를 나타내는 도면이다.
여기서, 통상의 시퀀스란, 시퀀스 파일 내의 내부 데이터와, 외부 데이터의 특정 정보가 연관되어 있지 않은 시퀀스 파일을 의미한다.
이제, 시퀀스 파일의 mdat 박스에는, 프레임이 HEVC에 의해 부호화되어 저장되는 것으로 한다.
ftyp 박스에는, 파일 포맷을 식별하는 식별 정보로서, 이미지 시퀀스 형식인 것과, 코덱이 HEVC인 것을 나타내는 hevc가 저장된다.
moov 박스에는, 도 7에서 설명한 바와 같이, mdat 박스에 저장되는 트랙 각각을 관리하는 trak 박스가 저장된다. 도 13에서는, 트랙 ID#1에 의해 특정되는 주 화상의 트랙(이하, 트랙 #1로도 기재함), 및 트랙 #1의 주 화상의 섬네일 화상의 트랙 #2가 mdat 박스에 저장되어 있다. 따라서, moov 박스에는, 트랙 #1을 관리하는 trak 박스와, 트랙 #2를 관리하는 trak 박스가 저장된다. 트랙 #2의 (선두로부터) n번째의 섬네일 화상(의 프레임)은, 트랙 #1의 n번째의 주 화상의 섬네일 화상이다.
시퀀스 파일은, 예를 들면, 디지털 카메라(10)에 의해 연사(連寫; continuous shooting)가 행해진 경우에, 그 연사에 의해 얻어지는 복수 프레임의 주 화상 및 섬네일 화상을, 각각, 1트랙으로서 기록하는 경우 등에 유용하다.
주 화상의 트랙 #1을 관리하는 trak 박스의 tkhd 박스에는, 트랙 #1을 특정하는 트랙 ID#1, 트랙 #1을 구성하는 주 화상의 화상 사이즈, 주 화상이 촬상되었을 때의 디지털 카메라(10)의 방향을 나타내는 회전 정보, 및 트랙 #1의 작성 일시가 저장된다. 섬네일 화상의 트랙 #2를 관리하는 trak 박스의 tkhd 박스에는, 트랙 #2를 특정하는 트랙 ID#2, 및 트랙 #2의 작성 일시가 저장된다.
trak 박스에는, 도 7에서 설명한 tkhd 박스 및 mdia 박스 외에, tref 박스를 저장할 수 있다. tref 박스에는, 그 tref 박스가 저장된 trak 박스가 관리하는 트랙과 관련되는 다른 트랙을 특정하는 트랙 ID, 및 트랙의 내용을 나타내는 정보 등이 저장된다. 도 13에서는, 트랙 #2를 관리하는 trak 박스 내에 tref 박스가 제공되어 있다. 그리고, 그 tref 박스에는, 트랙 #2와 관련되는 다른 트랙이 트랙 #1인 것(track_ID=1), 및 트랙 #2를 구성하는 데이터가 섬네일 화상인 것(트랙 #2가 섬네일 화상의 트랙인 것)(type=thmb)을 나타내는 정보가 저장되어 있다.
trak 박스의 mdia 박스에는, 도 8에서 설명한 minf 박스 외에, hdlr 박스를 저장할 수 있다. hdlr 박스에는, 그 hdlr 박스가 저장된 trak 박스가 관리하는 트랙을 구성하는 데이터의 종별을 나타내는 정보가 저장된다. 주 화상의 트랙 #1을 관리하는 trak 박스에 (저장되는 mdia 박스에) 저장되는 hdlr 박스에는, 트랙 #1을 구성하는 데이터가 픽처(프레임)인 것을 나타내는 정보(pict)가 저장되고, 섬네일 화상의 트랙 #2를 관리하는 trak 박스에 저장되는 hdlr 박스에는, 트랙 #2를 구성하는 데이터가 픽처인 것을 나타내는 정보가 저장된다.
minf 박스에 대해서는, 도 8에서 설명한 바와 같다.
이하, 도 13의 통상의 시퀀스 파일에, 내부 데이터와 외부 데이터의 특정 정보를 연관시켜 저장한 연관형 시퀀스 파일에 대해 설명한다.
도 14는 연관형 시퀀스 파일의 예를 나타내는 도면이다.
연관형 시퀀스 파일에서는, 외부 데이터로서의 RAW 파일의 특정 정보로서의 uuid의 (엘레멘터리) 스트림(Meta ES)의 트랙 #3이 mdat 박스에 추가됨과 함께, 그 트랙 #3을 관리하는 trak 박스가 moov 박스에 추가된다.
여기서, 트랙 #1은, 타임 라인 상에 늘어서는 주 화상의 1프레임 이상의 시계열이며, 트랙 #3은, 타임 라인 상에 늘어서는 주 화상의 각 프레임의 RAW 파일의 uuid의 시계열이다.
트랙 #3의 (선두로부터) n번째의 uuid는, 트랙 #1의 n번째의 주 화상의 프레임의 RAW 파일의 특정 정보이다. 또한, mdat 박스에 저장된 복수의 트랙(의 데이터)은, 1개의 타임 라인 상의 시각 정보에 따라 동기하여 재생할 수 있다. 따라서, 주 화상의 트랙 #1과, 트랙 #1을 구성하는 주 화상의 각 프레임의 RAW 파일의 uuid(의 스트림)의 트랙 #3을 mdat 박스에 저장함으로써, 트랙 #1의 n번째의 주 화상의 프레임과, 그 주 화상(의 프레임)의 RAW 파일의 uuid는, 연관되어 저장된다. 이 경우, 트랙 #1의 주 화상의 프레임과, 그 주 화상(의 프레임)의 RAW 파일의 uuid는, 타임 라인 상의 시각 정보에 의해 연관된다고 할 수 있다.
한편, 트랙 #3의 (선두로부터) n번째의 uuid는, 트랙 #1의 n번째의 프레임의 RAW 파일의 특정 정보이며, 트랙 #1을 구성하는 주 화상(의 프레임)과, 트랙 #3을 구성하는 uuid는, 트랙에 배치되는 순서에 따라 연관된다고 파악할 수도 있다.
연관형 시퀀스 파일에서는, RAW 파일의 uuid의 트랙 #3이 mdat 박스에 추가됨에 따라, 그 트랙 #3을 관리하는 trak 박스가 moov 박스에 추가된다.
RAW 파일의 uuid의 트랙 #3을 관리하는 trak 박스에는, tkhd 박스, tref 박스, 및 mdia 박스 등이 저장된다.
트랙 #3을 관리하는 trak 박스의 tkhd 박스에는, 트랙 #3을 특정하는 트랙 ID#3, 및 트랙 #3의 작성 일시가 저장된다.
트랙 #3을 관리하는 trak 박스의 tref 박스에는, 그 tref 박스가 저장된 trak 박스가 관리하는 트랙 #3과 관련되는 다른 트랙을 특정하는 트랙 ID, 및 트랙 #3의 내용을 나타내는 정보 등이 저장된다. 트랙 #3을 구성하는 uuid는, 트랙 #1을 구성하는 주 화상의 RAW 파일의 특정 정보이며, 트랙 #3은, 트랙 #1과 관련되어 있으므로, 도 14의 트랙 #3을 관리하는 trak 박스의 tref 박스에는, 트랙 #3과 관련되는 다른 트랙이 트랙 #1인 것(track_ID=1), 및 트랙 #3이 메타데이터(여기서는, 특정 정보)의 트랙인 것(type=cdsc)을 나타내는 정보가 저장된다.
트랙 #3을 관리하는 trak 박스의 mdia 박스에는, hdlr 박스 및 minf 박스가 저장된다. 트랙 #3을 관리하는 trak 박스에 있어서, hdlr 박스에는, 트랙 #3을 구성하는 데이터가 (주 화상의) 메타데이터인 것을 나타내는 정보가 저장되고, minf 박스에는, 트랙 #3에 대한 stsc 박스, stsc 박스, stsz 박스, 및 stco 박스가 저장된다.
<HEIF 파일의 생성 및 재생>
도 15는 연관형 HEIF 파일을 생성하는 생성 처리의 예의 개요를 설명하는 플로우차트이다.
생성 처리에서는, 스텝(S11)에 있어서, 파일 제어부(43)는, 주 화상의 프레임의 RAW 파일(RAW 화상)의 특정 정보로서의 uuid를 생성하고, 처리는 스텝(S12)으로 진행한다.
스텝(S12)에서는, 파일 제어부(43)는, 스텝(S11)에서 생성한 uuid를, 주 화상의 프레임의 RAW 파일(RAW 화상)에 할당하고, 처리는 스텝(S13)으로 진행한다.
스텝(S13)에서는, 파일 제어부(43)는, HEIF 파일에 주 화상의 프레임과, 그 프레임의 RAW 파일의 uuid를 연관시켜 저장한 연관형 HEIF 파일을 생성하고, 생성 처리를 종료한다.
도 16은 연관형 HEIF 파일을 재생하는 재생 처리의 예의 개요를 설명하는 플로우차트이다.
재생 처리에서는, 스텝(S21)에 있어서, 파일 제어부(43)는, 예를 들면, 미디어(14)에 기억된 HEIF 파일에 저장된 주 화상의 프레임의 각각을 식별하는 핸들의 핸들 리스트를 생성하고, 처리는 스텝(S22)으로 진행한다.
여기서, 주 화상의 프레임의 핸들은, 그 프레임이 저장된 HEIF 파일의 파일명을 포함한다. 컬렉션 파일에 저장된 주 화상의 프레임(아이템)의 핸들은, 그 프레임의 아이템 ID를 더 포함한다. 시퀀스 파일에 저장된 주 화상의 프레임의 핸들은, 그 프레임의 시각 정보를 더 포함한다. 주 화상의 프레임의 핸들에 의하면, 그 핸들에 대한 프레임을 일의(一意)적으로 식별(특정)할 수 있다.
한편, 시퀀스 파일에 저장된 주 화상의 프레임의 핸들에는, 프레임의 시각 정보 대신에, 프레임을 포함하는 트랙의 트랙 ID와, 그 트랙에 있어서의 프레임의 순서(몇 번째의 프레임인지)를 포함시킬 수 있다.
시퀀스 파일에 저장되는, 주 화상의 프레임으로 구성되는 트랙이, 1개이어도 복수이어도, 각 프레임의 시각 정보는 유니크하다. 따라서, 프레임의 시각 정보에 의하면, 시퀀스 파일에 복수의 트랙이 저장되어 있어도, 그 복수의 트랙 각각을 구성하는 프레임으로부터, 핸들에 포함되는 시각 정보의 프레임을 일의적으로 특정할 수 있다. 그 때문에, 주 화상의 프레임의 핸들에, 그 프레임의 시각 정보를 포함시키는 경우에는, 그 프레임이 존재하는 트랙의 트랙 ID가 없어도, 시각 정보에 대한 프레임을 일의적으로 특정할 수 있다.
핸들 리스트는, 미디어(14)에 기억된 HEIF 파일에 저장된 주 화상의 프레임 모두를 대상에 생성할 수도 있고, 특정한 작성 일시의 프레임 등의, 특정한 조건으로 좁힌 프레임만을 대상에 생성할 수도 있다.
파일 제어부(43)에 있어서, 핸들 리스트의 생성 후, HEIF 파일에의 액세스는, 필요에 따라, 핸들 리스트를 참조하여 행해진다.
스텝(S22)에서는, 예를 들면, 사용자가, 섬네일 화상의 표시를 행하도록, 디지털 카메라(10)를 조작하는 것 등을 기다려서, UI 제어부(47)는, 섬네일 화상의 표시를, 파일 제어부(43)에 요구한다. 파일 제어부(43)는, UI 제어부(47)로부터의 섬네일 화상의 표시 요구에 따라, 핸들 리스트의 핸들에 의해 식별되는 주 화상의 프레임의 섬네일 화상(의 프레임)을, HEIF 파일로부터 판독한다. 그리고, 파일 제어부(43)는, HEIF 파일로부터 판독된 섬네일 화상의 일람을, 예를 들면, 액정 패널(19)(도 1)에 표시시키고, 처리는 스텝(S22)으로부터 스텝(S23)으로 진행한다.
스텝(S23)에서는, 예를 들면, 사용자가, 섬네일 화상의 일람으로부터, 원하는 섬네일(의 프레임)을 선택하는 것 등을 기다려서, UI 제어부(47)는, 사용자가 선택한 섬네일 화상에 대응하는 주 화상을, 파일 제어부(43)에 요구한다. 파일 제어부(43)는, UI 제어부(47)로부터의 주 화상의 요구에 따라, 그 주 화상을 HEIF 파일로부터 판독한다. 파일 제어부(43)는, HEIF 파일로부터 판독된 주 화상을, 필요에 따라, 액정 패널(19)에 표시시킬 수 있다.
또는, UI 제어부(47)는, 사용자가 선택한 섬네일 화상에 대응하는 주 화상의 RAW 파일의 uuid를, 파일 제어부(43)에 요구한다. 파일 제어부(43)는, UI 제어부(47)로부터의 uuid의 요구에 따라, 그 uuid를, 연관형 HEIF 파일로부터 판독한다. 파일 제어부(43)는, 필요에 따라, 연관형 HEIF 파일로부터 판독된 uuid에 의해 특정되는 RAW 파일에 액세스할 수 있다.
도 17은 컬렉션 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
스텝(S31)에 있어서, 파일 제어부(43)는, 재생 대상의 화상(아이템)인 재생 대상 화상의 아이템 ID(이하, 재생 대상 아이템 ID라고도 함)의 취득을 행하고, 처리는 스텝(S32)으로 진행한다.
재생 대상 아이템 ID의 취득에서는, 예를 들면, 핸들 리스트의 임의의 핸들에 의해 식별되는 주 화상, 그 주 화상의 섬네일 화상, 섬네일 화상의 일람으로부터 사용자가 선택한 섬네일 화상(이하, 선택 섬네일 화상이라고도 함), 선택 섬네일 화상의 주 화상 등을, 재생 대상 화상으로 하여, 그 재생 대상 화상의 아이템 ID(재생 대상 아이템 ID)가 취득된다.
스텝(S32)에서는, 파일 제어부(43)는, 스텝(S31)에서 취득된 재생 대상 아이템 ID에 따라, 재생 대상 화상의 판독을 행한다.
재생 대상 화상의 판독에서는, 재생 대상 아이템 ID에 의해 특정되는 재생 대상 화상이, 컬렉션 파일로부터 판독된다.
도 18은 도 17의 스텝(S32)의 재생 대상 화상의 판독 처리의 예를 설명하는 플로우차트이다.
스텝(S41)에 있어서, 파일 제어부(43)는, 컬렉션 파일(도 9 내지 도 12)의 iloc 박스로부터 재생 대상 아이템 ID를 검색하고, 처리는 스텝(S42)으로 진행한다.
스텝(S42)에서는, 파일 제어부(43)는, iloc 박스에 있어서, 스텝(S41)에서 검색된 재생 대상 아이템 ID에 대응지어져 있는 오프셋 및 사이즈를 판독하고, 처리는 스텝(S43)으로 진행한다.
스텝(S43)에서는, 파일 제어부(43)는, 재생 대상 아이템 ID에 대응지어져 있는 오프셋 및 사이즈에 따라, 컬렉션 파일의 mdat 박스에 저장된 재생 대상 화상을 판독하고, 처리는 종료된다.
도 19는 도 17의 스텝(S31)의 재생 대상 아이템 ID의 취득 처리의 제1 예를 설명하는 플로우차트이다.
즉, 도 19는 섬네일 화상을 재생 대상 화상으로 하여, 그 재생 대상 화상인 섬네일 화상의 아이템 ID의 취득의 예를 나타내고 있다.
한편, 도 19에서는, 파일 제어부(43)는, 예를 들면, 핸들로부터, 재생 대상 화상으로서 섬네일 화상의 주 화상의 아이템 ID를 인식하고 있는 것으로 한다.
스텝(S51)에 있어서, 파일 제어부(43)는, 컬렉션 파일(도 9 내지 도 12)의 iref 박스 중의 thmb 박스로부터, 참조원이 주 화상의 아이템 ID에 일치하는 thmb 박스를 검색하고, 처리는 스텝(S52)으로 진행한다.
스텝(S52)에서는, 파일 제어부(43)는, 스텝(S51)에서 검색된, 참조원이 주 화상의 아이템 ID에 일치하는 thmb 박스 내의 참조처를, 재생 대상 화상으로서의 섬네일 화상의 아이템 ID로서 판독하고, 처리는 종료된다.
도 20은, 도 17의 스텝(S31)의 재생 대상 아이템 ID의 취득 처리의 제2 예를 설명하는 플로우차트이다.
즉, 도 20은 주 화상을 재생 대상 화상으로 하여, 그 재생 대상 화상인 주 화상의 아이템 ID의 취득의 예를 나타내고 있다.
한편, 도 20에서는, 예를 들면, 사용자가, 섬네일 화상의 일람으로부터 섬네일 화상(선택 섬네일 화상)을 선택하고, 파일 제어부(43)는, 그 선택 섬네일 화상의 아이템 ID를 인식하고 있는 것으로 한다.
스텝(S61)에 있어서, 파일 제어부(43)는, 컬렉션 파일(도 9 내지 도 12)의 iref 박스 중의 thmb 박스로부터, 참조처가 선택 섬네일 화상의 아이템 ID에 일치하는 thmb 박스를 검색하고, 처리는 스텝(S62)으로 진행한다.
스텝(S62)에서는, 파일 제어부(43)는, 스텝(S61)에서 검색된, 참조처가 선택 섬네일 화상의 아이템 ID에 일치하는 thmb 박스 내의 참조원을, 재생 대상 화상으로서의 주 화상의 아이템 ID로서 판독하고, 처리는 종료된다.
도 21은 도 10의 제1 연관형 컬렉션 파일로부터 소정의 주 화상의 RAW 파일의 특정 정보로서의 uuid를 취득하는 처리의 예를 설명하는 플로우차트이다.
한편, 도 21에서는, 예를 들면, 파일 제어부(43)는, 핸들 리스트 등에 의해, 소정의 주 화상의 아이템 ID를 인식하고 있는 것으로 한다.
스텝(S71)에 있어서, 파일 제어부(43)는, 제1 연관형 컬렉션 파일(도 10)의 연관 정보 저장 박스의 연관 정보로부터, 소정의 주 화상의 아이템 ID를 검색하고, 처리는 스텝(S72)으로 진행한다.
스텝(S72)에서는, 파일 제어부(43)는, 연관 정보에 있어서, 스텝(S71)에서 검색된 소정의 주 화상의 아이템 ID에 대응지어져 있는 uuid를 판독하고, 처리는 종료된다.
파일 제어부(43)는, 이상과 같이 판독된 uuid에 의해, 소정의 주 화상의 RAW 파일에 액세스할 수 있다.
도 22는 도 11의 제2 연관형 컬렉션 파일로부터 소정의 주 화상의 RAW 파일의 특정 정보로서의 uuid를 취득하는 처리의 예를 설명하는 플로우차트이다.
한편, 도 22에서는, 예를 들면, 파일 제어부(43)는, 핸들 리스트 등에 의해, 소정의 주 화상의 아이템 ID를 인식하고 있는 것으로 한다.
스텝(S81)에 있어서, 파일 제어부(43)는, 제2 연관형 컬렉션 파일(도 11)의 iinf 박스 내의 infe 박스로부터, 아이템이 연관 정보인 것을 나타내는 아이템 타입 IDIF의 infe 박스를 검색하고, 처리는 스텝(S82)으로 진행한다.
스텝(S82)에서는, 파일 제어부(43)는, 스텝(S81)에서 검색된, 아이템 타입 IDIF의 infe 박스로부터, 아이템으로서의 연관 정보의 아이템 ID를 판독하고, 처리는 스텝(S83)으로 진행한다.
스텝(S83)에서는, 파일 제어부(43)는, 제2 연관형 컬렉션 파일의 iloc 박스로부터, 스텝(S82)에서 판독된, 연관 정보의 아이템 ID를 검색하고, 처리는 스텝(S84)으로 진행한다.
스텝(S84)에서는, 파일 제어부(43)는, iloc 박스에 있어서, 스텝(S83)에서 검색된, 연관 정보의 아이템 ID에 대응지어져 있는 오프셋 및 사이즈를 판독하고, 처리는 스텝(S85)으로 진행한다.
스텝(S85)에서는, 파일 제어부(43)는, 스텝(S84)에서 판독된, 연관 정보의 아이템 ID에 대응지어져 있는 오프셋 및 사이즈에 따라, 제2 연관형 컬렉션 파일의 mdat 박스에 저장된 아이템으로서의 연관 정보를 판독하고, 처리는 스텝(S86)으로 진행한다.
스텝(S86)에서는, 파일 제어부(43)는, 스텝(S85)에서 판독된 연관 정보로부터, 소정의 주 화상의 아이템 ID를 검색하고, 처리는 스텝(S87)으로 진행한다.
스텝(S87)에서는, 파일 제어부(43)는, 연관 정보에 있어서, 스텝(S86)에서 검색된, 소정의 주 화상의 아이템 ID에 대응지어져 있는 uuid를 판독하고, 처리는 종료된다.
파일 제어부(43)는, 이상과 같이 판독된 uuid에 의해, 소정의 주 화상의 RAW 파일에 액세스할 수 있다.
도 23은 도 12의 제3 연관형 컬렉션 파일로부터 소정의 주 화상의 RAW 파일의 특정 정보로서의 uuid를 취득하는 처리의 예를 설명하는 플로우차트이다.
한편, 도 23에서는, 예를 들면, 파일 제어부(43)는, 핸들 리스트 등에 의해, 소정의 주 화상의 아이템 ID를 인식하고 있는 것으로 한다.
스텝(S91)에 있어서, 파일 제어부(43)는, 제3 연관형 컬렉션 파일(도 12)의 iref 박스 내의 cdsc 박스로부터, 참조원이 소정의 주 화상의 아이템 ID에 일치하는 cdsc 박스를 검색하고, 처리는 스텝(S92)으로 진행한다.
스텝(S92)에서는, 파일 제어부(43)는, 스텝(S91)에서 검색된, 참조원이 소정의 주 화상의 아이템 ID에 일치하는 cdsc 박스 내의 참조처를, 아이템으로서의, 소정의 주 화상의 RAW 파일의 특정 정보의 아이템 ID로서 판독하고, 처리는 스텝(S93)으로 진행한다.
스텝(S93)에서는, 파일 제어부(43)는, 제3 연관형 컬렉션 파일의 iloc 박스로부터, 스텝(S92)에서 판독된, 아이템으로서의 특정 정보의 아이템 ID를 검색하고, 처리는 스텝(S94)으로 진행한다.
스텝(S94)에서는, 파일 제어부(43)는, iloc 박스에 있어서, 스텝(S93)에서 검색된, 특정 정보의 아이템 ID에 대응지어져 있는 오프셋 및 사이즈를 판독하고, 처리는 스텝(S95)으로 진행한다.
스텝(S95)에서는, 파일 제어부(43)는, 스텝(S94)에서 판독된, 특정 정보의 아이템 ID에 대응지어져 있는 오프셋 및 사이즈에 따라, 제3 연관형 컬렉션 파일의 mdat 박스에 저장된, 소정의 주 화상의 RAW 파일의 특정 정보로서의 uuid를 판독하고, 처리는 종료된다.
파일 제어부(43)는, 이상과 같이 판독된 uuid에 의해, 소정의 주 화상의 RAW 파일에 액세스할 수 있다.
도 24는 컬렉션 파일로부터 주 화상의 아이템 ID의 리스트를 취득하는 처리의 예를 설명하는 플로우차트이다.
컬렉션 파일로부터 주 화상의 아이템 ID의 리스트를 취득하는 처리는, 예를 들면, 핸들 리스트를 생성하는 경우 등에 행해진다.
스텝(S101)에 있어서, 파일 제어부(43)는, 컬렉션 파일(도 9 내지 도 12)의 iinf 박스 내의 모든 infe 박스로부터, 아이템 ID를 판독하여, 주 화상의 아이템 ID의 리스트(이하, 주 화상 리스트라고도 함)에 등록하고, 처리는 스텝(S102)으로 진행한다.
스텝(S102)에서는, 파일 제어부(43)는, 컬렉션 파일의 iref 박스 내의 모든 박스로부터, 참조처로 되어 있는 아이템 ID를 판독하여, 주 화상 리스트로부터 제외하고, 처리는 종료된다.
이상의 처리 후, 주 화상 리스트에 등록되어 있는 아이템 ID가, 주 화상의 아이템 ID가 된다.
도 25는 시퀀스 파일로부터 소정의 시각 정보에 대한 주 화상(의 프레임)의 섬네일 화상을 재생하는 처리의 예를 설명하는 플로우차트이다.
한편, 도 25에서는, 예를 들면, 파일 제어부(43)는, 핸들 리스트 등에 의해, 소정의 주 화상의 시각 정보(또는 순서)를 인식하고 있는 것으로 한다.
스텝(S111)에 있어서, 파일 제어부(43)는, 시퀀스 파일(도 13 및 도 14)의 moov 박스 내의 trak 박스로부터, tref 박스에, 트랙을 구성하는 데이터가 섬네일 화상인 것을 나타내는 정보가 저장된 trak 박스, 즉, tref 박스 내의 type가 thmb로 되어 있는 trak 박스를, 소정의 시각 정보에 대한 주 화상의 섬네일 화상의 트랙을 관리하는 trak 박스로서 검색하고, 처리는 스텝(S112)으로 진행한다.
스텝(S112)에서는, 파일 제어부(43)는, 스텝(S111)에서 검색된 trak 박스 내의 tkhd 박스 내의 트랙 ID를, 소정의 시각 정보에 대한 주 화상의 섬네일 화상의 트랙의 트랙 ID로서 판독하고, 처리는 스텝(S113)으로 진행한다.
스텝(S113)에서는, 파일 제어부(43)는, 스텝(S112)에서 판독된 트랙 ID의 트랙을 재생하고, 그 트랙으로부터, 소정의 시각 정보(또는 순서)에 대한 섬네일 화상(의 프레임)을, 소정의 시각 정보에 대한 주 화상의 섬네일 화상으로서 취득하고, 처리는 종료된다.
한편, 시퀀스 파일에 저장된 화상의 트랙을 재생하는 처리는, MP4 파일의 동영상 재생의 처리와 마찬가지이다.
도 26은 연관형 시퀀스 파일로부터 소정의 주 화상(의 프레임)의 RAW 파일의 특정 정보로서의 uuid를 취득하는 처리의 예를 설명하는 플로우차트이다.
한편, 도 26에서는, 예를 들면, 파일 제어부(43)는, 핸들 리스트 등에 의해, 소정의 주 화상의 시각 정보(또는 순서)를 인식하고 있는 것으로 한다.
스텝(S121)에 있어서, 파일 제어부(43)는, 연관형 시퀀스 파일(도 14)의 moov 박스 내의 trak 박스로부터, tref 박스에, 트랙을 구성하는 데이터가 특정 정보인 것을 나타내는 정보가 저장된 trak 박스, 즉, tref 박스 내의 type가 cdsc로 되어 있는 trak 박스를, 특정 정보의 트랙을 관리하는 trak 박스로서 검색하고, 처리는 스텝(S122)으로 진행한다.
스텝(S122)에서는, 파일 제어부(43)는, 스텝(S121)에서 검색된 trak 박스 내의 tkhd 박스 내의 트랙 ID를, 특정 정보의 트랙의 트랙 ID로서 판독하고, 처리는 스텝(S123)으로 진행한다.
스텝(S123)에서는, 파일 제어부(43)는, 스텝(S122)에서 판독된 트랙 ID의 트랙으로부터, 소정의 주 화상의 시각 정보(또는 순서)에 대한 특정 정보로서의 uuid를, 소정의 주 화상의 RAW 파일의 uuid로서 취득하고, 처리는 종료된다.
파일 제어부(43)는, 이상과 같이 취득된 uuid에 의해, 소정의 주 화상의 RAW 파일에 액세스할 수 있다.
이상과 같이, 파일 제어부(43)에서는, HEIF에 준거한 HEIF 파일에, HEIF 파일 내의 주 화상과, 그 주 화상과 연관되는, HEIF 파일 외의 외부 데이터를 특정하는 특정 정보를 연관시켜 저장한 연관형 HEIF 파일의 생성 및 재생을 행하므로, HEIF 파일 내에 저장되는 주 화상과, HEIF 파일 외의 외부 데이터를 연관시킬 수 있다.
또한, 특정 정보로서 uuid를 사용하는 경우에는, 외부 데이터의 파일명이 변경되더라도, uuid에 의해, HEIF 파일 내의 주 화상과, 파일명의 변경 후의 외부 데이터와의 연관을 유지할 수 있다.
<외부 데이터에 할당된 특정 정보의 저장>
도 27은 외부 데이터(가 저장된 파일)로서 주 화상의 RAW 파일을 채용하고 연관형 컬렉션 파일을 생성하는 경우의, RAW 파일에의 uuid의 저장의 예를 나타내는 도면이다.
한편, 도 27에서는, 연관형 컬렉션 파일로서, 제1 연관형 컬렉션 파일이 채용되고 있다.
RAW 파일은, 메타데이터로서의 Exif의 부속 정보를 저장하는 영역의 일부 영역으로서, 마커 노트(MakerNote)라고 불리는 영역을 갖는다.
파일 제어부(43)는, RAW 파일(RAW 화상)에 할당된 uuid를, 그 RAW 파일의, 예를 들면, 마커 노트에 저장할 수 있다.
도 27에서는, 연관형 컬렉션 파일에, 4개의 아이템으로서의 주 화상 Item#1, Item#2, Item#3, Item#4가 저장되고, 주 화상 Item#1, Item#2, Item#3, Item#4의 RAW 화상이 저장된 RAW 파일 #1, #2, #3, #4가 생성되어 있다. 그리고, RAW 파일 #i(RAW 화상)에는, UUID#i가 할당되고, 주 화상 Item#i와 그 주 화상 Item#i의 RAW 파일 #i의 UUID#i를 연관시키는 연관 정보로서, 주 화상 Item#i를 특정하는 아이템 ID#i와, 그 주 화상 Item#i에 연관되는 RAW 파일 #i의 UUID#i가 대응지어진 연관 정보가, 연관 정보 저장 박스에 저장되어 있다.
도 28은 외부 데이터로서 주 화상의 RAW 파일을 채용하고 연관형 시퀀스 파일을 생성하는 경우의, RAW 파일에의 uuid의 저장의 예를 나타내는 도면이다.
파일 제어부(43)는, 연관형 시퀀스 파일을 생성하는 경우에도, 도 27에서 설명한 연관형 컬렉션 파일을 생성하는 경우와 마찬가지로, RAW 파일에 할당된 uuid를 그 RAW 파일의 마커 노트에 저장할 수 있다.
도 28에서는, 연관형 시퀀스 파일에, 4개의 프레임으로서의 주 화상 #1, #2, #3, #4로 구성되는 트랙 #1이 저장되고, 주 화상 #1, #2, #3, #4의 RAW 화상이 저장된 RAW 파일 #1, #2, #3, #4가 생성되어 있다. 그리고, RAW 파일 #i에는, UUID#i가 할당되고, 연관형 시퀀스 파일에는, RAW 파일 #i의 UUID#i가, RAW 파일 #i(RAW 화상)에 대응하는 주 화상 #i와 동일한 시각 정보를 갖도록 배치되어 구성되는 트랙 #3이 저장되어 있다.
이상과 같이, RAW 파일 #i의 UUID#i가, RAW 파일 #i에 대응하는 주 화상 #i와 동일한 시각 정보를 갖도록 배치되어, 트랙 #3이 구성됨으로써, 트랙 #1의 i번째의 주 화상 #i와 트랙 #3의 i번째의 UUID#i, 즉, 주 화상 #i의 RAW 파일 #i의 UUID#i는, 연관되어, 연관형 시퀀스 파일에 저장된다.
이상에서는, 외부 데이터로서, 주 화상의 RAW 파일(RAW 화상)을 채용했지만, 외부 데이터로서는, 그 밖의 데이터를 채용할 수 있다. 외부 데이터로서는, 예를 들면, 주 화상의 촬상과 함께 녹음한 음성(사운드) 등을 채용할 수 있다. 음성을 저장하는 파일로서는, 예를 들면, WAV 포맷의 WAV 파일이나, MP4 포맷의 MP4 파일 등을 채용할 수 있다. 이하에서는, 음성을 저장한 파일로서, 예를 들면, WAV 파일을 채용하는 것으로 한다.
도 29는 외부 데이터(가 저장된 파일)로서 주 화상의 WAV 파일을 채용하고 연관형 컬렉션 파일을 생성하는 경우의, WAV 파일에의 uuid의 저장의 예를 나타내는 도면이다.
한편, 도 29에서는, 연관형 컬렉션 파일로서, 제1 연관형 컬렉션 파일이 채용되고 있다.
WAV 파일은, 메타데이터를 기술하는 영역의 일부 영역으로서, List 청크라고 불리는 영역을 갖는다.
파일 제어부(43)는, WAV 파일(음성)에 할당된 uuid를, 그 WAV 파일의, 예를 들면, List 청크에 저장할 수 있다.
도 29에서는, 연관형 컬렉션 파일에, 4개의 아이템으로서의 주 화상 Item#1, Item#2, Item#3, Item#4가 저장되고, 주 화상 Item#1, Item#2, Item#3, Item#4의 WAV 파일 #1, #2, #3, #4가 생성되어 있다. 그리고, WAV 파일 #i(음성)에는, UUID#i가 할당되고, 주 화상 Item#i와 그 주 화상 Item#i의 WAV 파일 #i의 UUID#i를 연관시키는 연관 정보로서, 주 화상 Item#i를 특정하는 아이템 ID#i와, 그 주 화상 Item#i에 연관되는 WAV 파일 #i의 UUID#i가 대응지어진 연관 정보가, 연관 정보 저장 박스에 저장되어 있다.
도 30은 외부 데이터로서 주 화상의 WAV 파일을 채용하고 연관형 시퀀스 파일을 생성하는 경우의, WAV 파일에의 uuid의 저장의 예를 나타내는 도면이다.
파일 제어부(43)는, 연관형 시퀀스 파일을 생성하는 경우에도, 도 29에서 설명한 연관형 컬렉션 파일을 생성하는 경우와 마찬가지로, WAV 파일에 할당된 uuid를 그 WAV 파일의 List 청크에 저장할 수 있다.
도 30에서는, 연관형 시퀀스 파일에, 4개의 프레임으로서의 주 화상 #1, #2, #3, #4로 구성되는 트랙 #1이 저장되고, 주 화상 #1, #2, #3, #4의 WAV 파일 #1, #2, #3, #4가 생성되어 있다. 그리고, WAV 파일 #i에는, UUID#i가 할당되고, 연관형 시퀀스 파일에는, WAV 파일 #i의 UUID#i가, WAV 파일 #i에 대응하는 주 화상 #i와 동일한 시각 정보를 갖도록 배치되어 구성되는 트랙 #3이 저장되어 있다.
이상과 같이, WAV 파일 #i의 UUID#i가, WAV 파일 #i에 대응하는 주 화상 #i와 동일한 시각 정보를 갖도록 배치되어, 트랙 #3이 구성됨으로써, 트랙 #1의 i번째의 주 화상 #i와 트랙 #3의 i번째의 UUID#i, 즉, 주 화상 #i의 WAV 파일 #i의 UUID#i는, 연관되어, 연관형 시퀀스 파일에 저장된다.
한편, 본 기술은, HEIF 파일 외에, HEIF 파일 이외의 박스 구조를 갖는, 예를 들면, ISO 베이스 미디어 파일, MP4 파일, Miaf 파일 등에 적용할 수 있다.
또한, 본 기술은, 그 밖에, 예를 들면, 박스 구조를 갖지 않는, 화상(주 화상)과, 그 화상의 해상도를 저하시킨 다른 화상을 저장하는 파일 등에 적용할 수 있다.
나아가, 본 기술은, 외부 데이터를, HEIF 파일 내의 주 화상에 연관시키는 경우 외에, HEIF 파일 내의 스크린 네일 화상이나 섬네일 화상에 연관시키는 경우에 적용할 수 있다.
또한, 본 기술은, 그 밖에, 예를 들면, 외부 데이터를, HEIF 파일 내의 주 화상 등의 화상 이외의 내부 데이터에 연관시키는 경우에 적용할 수 있다.
<본 기술을 적용한 화상 처리 시스템의 제1 실시형태>
도 31은 본 기술을 적용한 화상 처리 시스템의 제1 실시형태의 구성예를 나타내는 블록도이다.
도 31에 있어서, 화상 처리 시스템(100)은, 도 1의 디지털 카메라(10)와, 예를 들면, 클라우드 컴퓨터 등의 외부 계산기(101)로 구성된다. 디지털 카메라(10)와 외부 계산기(101)는, 인터넷 등의 네트워크를 통해 통신을 행할 수 있다.
여기서, 디지털 카메라(10)에 의해 촬상된 화상의, 이른바 저작권 보호나, 그 화상에 찍히는 사람의 초상권 보호 등을 위해, 화상의 시청을 제한하고자 하는 경우가 있다.
이에, 화상 처리 시스템(100)에서는, 디지털 카메라(10)에 있어서, 연관형 HEIF 파일을 이용한 암호화 HEIF 파일을 생성함으로써, 디지털 카메라(10)에 의해 촬상된 화상의 시청을 제한할 수 있다.
한편, 이하에서는, 설명을 간단하게 하기 위해, HEIF 파일에 저장되는 주 화상을 대상으로, 시청을 제한하는 것으로 한다. 다만, 본 기술에서는, HEIF 파일에 저장되는 주 화상 이외의 임의의 미디어 데이터의 시청을 제한할 수 있다. 또한, 본 기술에서는, HEIF 파일 이외의 ISO 베이스 미디어 파일(에 준거한 파일), 나아가서는, ISO 베이스 미디어 파일 이외의 임의의 파일에 적용할 수 있다.
디지털 카메라(10)(도 1)에서는, 파일 제어부(43)는, HEIF 파일에 저장되는 주 화상을 제1 암호키로 암호화한 암호화 화상과, 제1 암호키를 제2 암호키로 암호화한 암호화 암호키를 연관시켜 저장한 HEIF 파일을, 암호화 HEIF 파일로서 생성할 수 있다.
파일 제어부(43)는, 암호화 HEIF 파일에 저장되는 암호화 화상과, 그 암호화 화상을 얻는 암호화에 사용한 제1 암호키를 암호화한 암호화 암호키와의 연관에, 연관형 HEIF 파일에 저장되는 주 화상과 외부 데이터의 특정 정보와의 연관을 이용할 수 있다. 즉, 파일 제어부(43)는, 연관형 HEIF 파일에 저장되는 주 화상과 외부 데이터의 특정 정보와의 연관과 마찬가지로 하여, 암호화 HEIF 파일에 저장되는 암호화 화상과 암호화 암호키의 연관을 행할 수 있다.
또한, 파일 제어부(43)는, 암호화 HEIF 파일의 암호화 암호키를 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 제1 암호키에 의해, 암호화 화상을 원래의 주 화상으로 복호할 수 있다.
제1 암호키 및 제2 암호키는, 디지털 카메라(10)로부터 외부 계산기(101)에 요구할 수 있다. 외부 계산기(101)는, 디지털 카메라(10)로부터 제1 암호키 및 제2 암호키의 요구가 있으면, 제1 암호키 및 제2 암호키를 생성하여, 디지털 카메라(10)에 제공(송신)한다. 한편, 제1 암호키 및 제2 암호키는, 디지털 카메라(10)에 의해 생성할 수 있다. 또한, 제1 암호키 및 제2 암호키 중 일방을, 디지털 카메라(10)에 의해 생성하고, 타방을, 외부 계산기(101)에 의해 생성할 수 있다.
제1 암호키 및 제2 암호키로서는, 임의의 암호 방식의 암호키를 채용할 수 있다. 또한, 제1 암호키 및 제2 암호키로서는, 동일한 암호 방식의 암호키를 채용할 수도 있고, 서로 다른 암호 방식의 암호키를 채용할 수도 있다.
본 실시형태에서는, 예를 들면, 제1 암호키로서, 공통키 암호 방식의 공통키를 채용하는 것으로 하고, 제2 암호키로서, 공개키 암호 방식의 공개키를 채용하는 것으로 한다.
공통키의 생성의 처리 부하는, 공개키 암호 방식의 공개키 및 비밀키의 생성의 처리 부하에 비교하여 가볍기 때문에, 디지털 카메라(10)에 있어서, 용이하게 행할 수 있다. 그리고, 공통키에 의하면, 공개키 및 비밀키에 비교하여, 데이터량이 비교적 큰 화상의 암호화 및 복호를, 단시간에 행할 수 있다.
또한, 제2 암호키로서, 공개키 암호 방식의 공개키를 채용함으로써, 그 공개키로 암호화되는 공통키의 비닉성(confidentiality)을 향상시킬 수 있다.
본 실시형태에서는, 공통키의 생성을 디지털 카메라(10)에 의해 행하고, 공개키 및 비밀키의 생성과 관리를, 외부 계산기(101)에 의해 행하는 것으로 한다.
이상과 같이, 디지털 카메라(10)에 있어서, HEIF 파일에 저장되는 주 화상을 제1 암호키로서의 공통키로 암호화한 암호화 화상과, 그 공통키를 제2 암호키로서의 공개키로 암호화한 암호화 암호키를 연관시켜 저장한 HEIF 파일을, 암호화 HEIF 파일로서 생성함으로써, 암호화 암호키를 얻는 암호화에 사용한 공개키에 대응하는 비밀키(또는 암호화 암호키로 암호화되기 전의 공통키)를 입수(취득)할 수 있는 사용자만이 주 화상을 시청할 수 있도록, 주 화상의 시청을 제한할 수 있다.
이하, 연관형 HEIF 파일 중, 예를 들면, 도 12의 제3 연관형 컬렉션 파일(의 연관)을 이용한 암호화 HEIF 파일에 대해 설명한다. 다만, 암호화 HEIF 파일로서는, 제3 연관형 컬렉션 파일 이외의 연관형 HEIF 파일(제1 연관형 컬렉션 파일, 제2 연관형 컬렉션 파일, 또는 연관형 시퀀스 파일)을 이용한 HEIF 파일을 생성할 수 있다.
한편, 이하의 암호화 HEIF 파일의 설명에서는, 이미 설명한 HEIF 파일(연관형 HEIF 파일을 포함함)과 공통 부분에 대해서는, 적절히 설명을 생략한다.
<암호화 HEIF 파일>
도 32는 제1 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 32에서는, mdat 박스에, 아이템 Item#1, Item#2, Item#201, Item#202가 저장되어 있다. 아이템 Item#1은, 주 화상 1을 공통키로 (공통키 암호 방식에 의해) 암호화한 암호화 화상이며, 아이템 Item#2는, 주 화상 2를 공통키로 암호화한 암호화 화상이다. 상이한 주 화상의 암호화에는, 상이한 공통키를 사용할 수 있다. 예를 들면, 아이템 Item#1로서의 암호화 화상(이하, 암호화 화상 Item#1로도 기재함)을 얻는 암호화에 사용되는 공통키와, 암호화 화상 Item#2를 얻는 암호화에 사용되는 공통키는, 서로 다른 공통키이다. 한편, 상이한 주 화상의 암호화에는, 필요에 따라, 동일한 공통키를 사용할 수 있다.
아이템 Item#201은, 주 화상 1의 암호화에 사용된 공통키를 공개키로 (공개키 암호 방식에 의해) 암호화한 암호화 암호키이며, 아이템 Item#202는, 주 화상 2의 암호화에 사용된 공통키를 공개키로 암호화한 암호화 암호키이다. 상이한 공개키의 암호화에는, 상이한 (비밀키에 대응하는) 공개키를 사용할 수 있다. 예를 들면, 아이템 Item#201로서의 암호화 암호키(이하, 암호화 암호키 Item#201로도 기재함)를 얻는 암호화에 사용되는 공개키와, 암호화 암호키 Item#202를 얻는 암호화에 사용되는 공개키는, 서로 다른 공개키이다. 한편, 상이한 공통키의 암호화에는, 필요에 따라, 동일한 공개키를 사용할 수 있다.
도 32에 있어서, 흰색 자물쇠 마크는, 공통키로 암호화되어 있는 것을 나타내고, 빗금친 자물쇠 마크는, 공개키로 암호화되어 있는 것을 나타낸다. 후술하는 도면에서도 마찬가지이다.
제1 암호화 HEIF 파일에서는, 예를 들면, mdat 박스에 저장된 주 화상과 특정 정보를 연관시키는 연관 정보를 meta 박스에 저장함으로써, 주 화상과 특정 정보를 연관시키는 제3 연관형 컬렉션 파일(도 12)과 마찬가지로, mdat 박스에 저장된 암호화 화상 Item#i와, 그 암호화 화상 Item#i를 얻는 암호화에 사용된 공통키를 공개키로 암호화한 암호화 암호키 Item#200+i를 연관시키는 연관 정보를 meta 박스에 저장함으로써, 암호화 화상 Item#i와 암호화 암호키 Item#200+i가 연관된다.
암호화 화상 Item#i와 암호화 암호키 Item#200+i를 연관시키는 연관 정보는, 제3 연관 컬렉션 파일과 마찬가지로, 암호화 화상 Item#i의 아이템 ID#i와, 암호화 암호키 Item#200+i의 아이템 ID를 대응짓는 정보이며, meta 박스 내의 iref 박스에 저장되는 cdsc 박스에 저장된다.
도 32에서는, 암호화 화상 Item#1의 아이템 ID#1과, 그 암호화 화상 Item#1을 얻는 암호화에 사용된 공통키를 공개키로 암호화한 암호화 암호키 Item#201의 아이템 ID#201을, 각각 참조원과 참조처로서 대응짓는 연관 정보가 저장된 cdsc 박스가 iref 박스에 저장되고, 암호화 화상 Item#2의 아이템 ID#2와, 그 암호화 화상 Item#2를 얻는 암호화에 사용된 공통키를 공개키로 암호화한 암호화 암호키 Item#202의 아이템 ID#202를, 각각 참조원과 참조처로서 대응짓는 연관 정보가 저장된 cdsc 박스가 iref 박스에 저장되어 있다.
제1 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 대해서는, 그 암호화 화상 Item#i에 대응하는 비밀키, 즉, 암호화 화상 Item#i를 얻는 암호화에 사용된 공통키의 암호화에 사용된 공개키에 대응하는 비밀키를 입수할 수 있는 경우, 파일 제어부(43)는, 암호화 화상 Item#i에 연관된 암호화 암호키 Item#200+i를, 비밀키에 의해, 공통키로 복호하고, 그 복호에 의해 얻어지는 공통키에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다. 따라서, 주 화상 i의 시청을, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다.
제1 암호화 HEIF 파일에 있어서, 암호화 암호키 Item#200+i의 infe 박스에서는, 암호화 암호키 Item#200+i의 아이템 타입(Item Type)이, 암호키(여기서는, 공통키)를 나타내는, 예를 들면, ECKI(Encryption key for Item)로 설정된다. 암호키를 나타내는 아이템 타임의 속성값은, ECKI에 한정되는 것이 아니다. 파일 제어부(43)는, 암호화 화상 Item#i를 복호하는 경우, 참조원이 암호화 화상 Item#i의 아이템 ID#i로 되어 있는 cdsc 박스의 참조처의 아이템 ID를, 암호화 화상 Item#i에 대응하는 암호화 암호키 Item#200+i, 즉, 암호화 화상 Item#i의 암호화에 사용된 공통키를 암호화한 암호화 암호키 Item#200+i의 아이템 ID#200+i로서 특정하고, 그 아이템 ID#200+i에 따라, mdat 박스로부터, 아이템 ID#200+i의 암호화 암호키 Item#200+i를 취득하여 (판독하여) 복호한다. cdsc 박스의 참조처의 아이템 ID에 의해 특정되는 아이템이, 암호화 암호키인지 여부는, 그 아이템 ID에 의해 특정되는 아이템의 infe 박스에 설정된 아이템 타입으로부터 인식(판정)할 수 있다.
도 33은 제2 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 33에서는, 도 32와 마찬가지로, mdat 박스에, 암호화 화상 Item#1 및 Item#2, 및 암호화 암호키 Item#201 및 Item#202가 저장되어 있다. 나아가, 도 33에서는, mdat 박스에, 평문(plain text)의 공통키 Item#301 및 Item#302가 저장되어 있다. 암호화 암호키 Item#200+i는, 아이템으로서의 평문의 공통키 Item#300+i를, 비밀키로 암호화한 것이다. 여기서, 평문이란, 암호화되어 있지 않은 상태의 데이터를 의미한다.
제2 암호화 HEIF 파일에서는, 평문의 공통키 Item#300+i는, 그 공통키 Item#300+i에 대응하는 암호화 암호키 Item#200+i, 즉, 공통키 Item#300+i를 암호화함으로써 얻어지는 암호화 암호키 Item#200+i와 마찬가지로, 암호화 화상 Item#i(에 대응하는 주 화상 i)와 연관되어 저장된다.
도 33에서는, 도 32에 나타낸 cdsc 박스에 더하여, 암호화 화상 Item#1의 아이템 ID#1과, 그 암호화 화상 Item#1에 대응하는 평문의 공통키 Item#301(암호화 화상 Item#1을 얻는 암호화에 사용된 공통키 Item#301)의 아이템 ID#301을, 각각 참조원과 참조처로서 대응짓는 연관 정보가 저장된 cdsc 박스가 iref 박스에 저장되어 있다. 나아가, 암호화 화상 Item#2의 아이템 ID#2와, 그 암호화 화상 Item#2에 대응하는 평문의 공통키 Item#302의 아이템 ID#302를, 각각 참조원과 참조처로서 대응짓는 연관 정보가 저장된 cdsc 박스가 iref 박스에 저장되어 있다.
제2 암호화 HEIF 파일에 있어서, mdat 박스에 저장된 평문의 공통키 Item#300+i는, 사용자의 조작에 따라 삭제할 수 있다. 예를 들면, 암호화 화상 Item#i를 복호한 주 화상 i의 시청을 특정한 사용자(암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자)로 제한하는 경우, 파일 제어부(43)는, 사용자의 조작에 따라, mdat 박스에 저장된 평문의 공통키 Item#300+i를 삭제한다. 이에 의해, 암호화 화상 Item#i는, 그 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 없는 한 복호할 수 없게 된다.
즉, mdat 박스에 평문의 공통키 Item#300+i가 저장되어 있지 않은 경우에는, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 없으면, 암호화 화상 Item#i를 복호할 수는 없다. 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 경우, 제1 암호화 HEIF 파일과 마찬가지로, 파일 제어부(43)는, 제2 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 연관된 암호화 암호키 Item#200+i를, 대응하는 비밀키에 의해, 공통키로 복호하고, 그 복호에 의해 얻어지는 공통키에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다.
한편, mdat 박스에 평문의 공통키 Item#300+i가 저장되어 있는 경우에는, 파일 제어부(43)는, 제2 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 연관된 평문의 공통키 Item#300+i에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다.
따라서, 제2 암호화 HEIF 파일에서는, mdat 박스에 평문의 공통키 Item#300+i가 저장되어 있는 경우에는, 암호화 화상 Item#i에 대응하는 비밀키의 입수에 관계없이, 암호화 화상 Item#i를 주 화상 i로 복호할 수 있어, 임의의 사용자가 주 화상 i를 시청할 수 있다.
이상으로부터, 제2 암호화 HEIF 파일에 의하면, 사용자는, 시청의 제한을 행할 필요가 없는 주 화상에 대해서는, 그 주 화상(을 암호화한 암호화 화상)에 연관된 평문의 공통키를, mdat 박스에 남겨둠으로써, 임의의 사용자에 의한 시청을 허가할 수 있다. 또한, 사용자는, 시청의 제한을 행하고자 하는 주 화상에 대해서는, 그 주 화상에 연관된 평문의 공통키를 mdat 박스로부터 삭제함으로서, 임의의 사용자에 의한 시청을 제한할 수 있다.
한편, 제2 암호화 HEIF 파일에 있어서, 평문의 공통키 Item#300+i의 infe 박스에서는, 암호화 암호키 Item#200+i의 infe 박스와 마찬가지로, 평문의 공통키 Item#300+i의 아이템 타입(Item Type)이, 암호키를 나타내는 ECKI로 설정된다.
도 34는 제3 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 34에서는, 도 32와 마찬가지로, mdat 박스에, 암호화 화상 Item#1 및 Item#2, 및 암호화 암호키 Item#201 및 Item#202가 저장되어 있다.
다만, 제3 암호화 HEIF 파일에서는, 암호화 암호키 Item#200+i는, 주 화상 i와 연관되는 외부 데이터를 특정하는 특정 정보로서의 uuid와, 주 화상 i의 암호화에 사용된 공통키를, 비밀키로 암호화한 특정 정보 포함 암호키(specific-information-containing encryption key)로 되어 있어, 이하, 특정 정보 포함 암호키 Item#200+i로도 기재한다.
도 34의 제3 암호화 HEIF 파일에서는, 주 화상 1을 공통키로 암호화한 암호화 화상 Item#1과, 주 화상 1과 연관되는 RAW 파일 ARW#1(에 저장된 RAW 데이터)에 할당된 UUID#1, 및, 주 화상 1의 암호화에 사용된 공통키를 비밀키로 암호화한 특정 정보 포함 암호키 Item#201이, iref 박스의 cdsc 박스에 저장된 연관 정보에 의해 연관되어, mdat 박스에 저장되어 있다. 나아가, 주 화상 2를 공통키로 암호화한 암호화 화상 Item#2와, 주 화상 2와 연관되는 WAV 파일 WAV#2에 할당된 UUID#2, 및, 주 화상 2의 암호화에 사용된 공통키를, 비밀키로 암호화한 특정 정보 포함 암호키 Item#202가, iref 박스의 cdsc 박스에 저장된 연관 정보에 의해 연관되어, mdat 박스에 저장되어 있다.
제3 암호화 HEIF 파일에 대해서는, 제1 암호화 HEIF 파일과 마찬가지로, 제3 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 경우, 파일 제어부(43)는, 암호화 화상 Item#i에 연관된 특정 정보 포함 암호키 Item#200+i를, 비밀키에 의해, 공통키 및 UUID#i로 복호하고, 그 복호에 의해 얻어지는 공통키에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다. 따라서, 주 화상 i의 시청을, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다.
나아가, 제3 암호화 HEIF 파일에 대해서는, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 경우에는, 그 비밀키를 사용한 특정 정보 포함 암호키 Item#200+i의 복호에 의해 얻어지는 UUID#i에 의해 특정되는 외부 데이터, 즉, 주 화상 i와 연관된 외부 데이터에 액세스할 수 있다. 따라서, 주 화상 i에 연관된 외부 데이터에의 액세스를, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다. 나아가, 주 화상 i에 연관되는 외부 데이터의 특정 정보로서의 uuid의 개찬(改竄; falsification)을 방지할 수 있다.
도 35는 제4 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 35에서는, 제4 암호화 HEIF 파일은, 제3 암호화 HEIF 파일(도 34)과 마찬가지로 구성된다.
다만, 제4 암호화 HEIF 파일에 대해서는, 주 화상 i에 연관된 외부 데이터가, 그 주 화상 i의 암호화에 사용된 공통키로 암호화된다. 도 35에서는, RAW 파일 ARW#1(에 저장된 RAW 데이터)이, 그 RAW 파일 ARW#1에 연관된 주 화상 1의 암호화에 사용된 공통키로 암호화되어 있다. 나아가, WAV 파일 WAV#2(에 저장된 음성)가, 그 WAV 파일 WAV#2에 연관된 주 화상 2의 암호화에 사용된 공통키로 암호화되어 있다.
제4 암호화 HEIF 파일에 대해서는, 제3 암호화 HEIF 파일과 마찬가지로, 제4 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 경우, 파일 제어부(43)는, 암호화 화상 Item#i에 연관된 특정 정보 포함 암호키 Item#200+i를, 비밀키에 의해, 공통키 및 UUID#i로 복호하고, 그 복호에 의해 얻어지는 공통키에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다. 따라서, 주 화상 i의 시청을, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다.
나아가, 제4 암호화 HEIF 파일에 대해서는, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 경우에는, 그 비밀키를 사용한 특정 정보 포함 암호키 Item#200+i의 복호에 의해 얻어지는 UUID#i에 의해 특정되는, 암호화된 외부 데이터, 즉, 주 화상 i와 연관된, 암호화된 외부 데이터에 액세스하는 것, 나아가서는, 특정 정보 포함 암호키 Item#200+i의 복호에 의해 얻어지는 공통키에 의해, 암호화된 외부 데이터를 원래의 외부 데이터로 복호할 수 있다. 따라서, 주 화상 i에 연관된 외부 데이터의 시청 등을, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다. 나아가, 주 화상 i에 연관되는 외부 데이터의 특정 정보로서의 uuid의 개찬을 방지할 수 있다.
도 36은 제5 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 36에서는, 도 34와 마찬가지로, mdat 박스에, 암호화 화상 Item#1 및 Item#2, 및, 특정 정보 포함 암호키 Item#201 및 Item#202가 저장되어 있다. 나아가, 도 36에서는, mdat 박스에, 평문의 공통키 및 특정 정보로서의 UUID#1의 세트(이하, 공통키 세트라고도 함) Item#301, 및, 평문의 공통키 및 특정 정보로서의 UUID#2의 공통키 세트 Item#302가 저장되어 있다.
공통키 세트 Item#300+i를 구성하는 공통키는, 주 화상 i의 암호화에 사용된 공통키이다. 또한, 공통키 세트 Item#300+i를 구성하는 UUID#i는, 주 화상 i(을 암호화한 암호화 화상 Item#i)에 연관된 외부 데이터를 특정하는 특정 정보로서의 uuid이다. 특정 정보 포함 암호키 Item#200+i는, 공통키 세트 Item#300+i를, 비밀키로 암호화한 것이다.
제5 암호화 HEIF 파일에서는, 평문의 공통키 및 UUID#i의 공통키 세트 Item#300+i는, 그 공통키 세트 Item#300+i를 암호화한 특정 정보 포함 암호키 Item#200+i와 마찬가지로, 암호화 화상 Item#i와 연관되어 저장된다.
도 36에서는, 도 34에 나타낸 cdsc 박스에 더하여, 암호화 화상 Item#1의 아이템 ID#1과, 공통키 세트 Item#301의 아이템 ID#301을, 각각 참조원과 참조처로서 대응짓는 연관 정보가 저장된 cdsc 박스가 iref 박스에 저장되어 있다. 나아가, 암호화 화상 Item#2의 아이템 ID#2와, 공통키 세트 Item#302의 아이템 ID#302를, 각각 참조원과 참조처로서 대응짓는 연관 정보가 저장된 cdsc 박스가 iref 박스에 저장되어 있다.
제5 암호화 HEIF 파일에 있어서, mdat 박스에 저장된(평문의) 공통키 세트 Item#300+i는, 사용자의 조작에 따라 삭제할 수 있다. 예를 들면, 암호화 화상 Item#i를 복호한 주 화상 i의 시청을 특정한 사용자로 제한하는 경우, 파일 제어부(43)는, 사용자의 조작에 따라, mdat 박스에 저장된 공통키 세트 Item#300+i를 삭제한다. 이에 의해, 암호화 화상 Item#i는, 그 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 없는 한 복호할 수 없게 된다. 나아가, 암호화 화상 Item#i(에 대응하는 주 화상 i)에 연관된 외부 데이터에 대해서는, 그 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 없는 한 액세스할 수 없게 된다.
즉, mdat 박스에 공통키 세트 Item#300+i가 저장되어 있지 않은 경우에는, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 없으면, 암호화 화상 Item#i를 복호하는 것, 및, 암호화 화상 Item#i에 연관된 외부 데이터에 액세스할 수는 없다. 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 경우, 제3 암호화 HEIF 파일(도 34)과 마찬가지로, 파일 제어부(43)는, 제5 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 연관된 특정 정보 포함 암호키 Item#200+i를, 대응하는 비밀키에 의해, 공통키 및 UUID#i로 복호하고, 그 복호에 의해 얻어지는 공통키에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다. 나아가, 특정 정보 포함 암호키 Item#200+i의 복호에 의해 얻어지는 UUID#i에 따라, 암호화 화상 Item#i에 연관된 외부 데이터(여기서는, RAW 파일 ARW#1 또는 WAV 파일 WAV#2)에 액세스할 수 있다.
한편, mdat 박스에 공통키 세트 Item#300+i가 저장되어 있는 경우에는, 파일 제어부(43)는, 제5 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 연관된 공통키 세트 Item#300+i를 구성하는 공통키에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다. 나아가, 파일 제어부(43)는, 제5 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 연관된 공통키 세트 Item#300+i를 구성하는 UUID#i에 따라, 암호화 화상 Item#i에 연관된 외부 데이터에 액세스할 수 있다.
따라서, 제5 암호화 HEIF 파일에서는, mdat 박스에 (평문의) 공통키 세트 Item#300+i가 저장되어 있는 경우에는, 암호화 화상 Item#i에 대응하는 비밀키의 입수에 관계없이, 임의의 사용자가, 주 화상 i를 시청하는 것, 및, 주 화상 i에 연관된 외부 데이터에 액세스할 수 있다.
이상으로부터, 제5 암호화 HEIF 파일에 의하면, 사용자는, 시청의 제한을 행할 필요가 없는 주 화상에 대해서는, 그 주 화상에 연관된 공통키 세트를, mdat 박스에 남겨둠으로써, 임의의 사용자에 의한 시청을 허가할 수 있다. 나아가, 그러한 주 화상에 연관된 외부 데이터에 대해, 임의의 사용자에 의한 액세스를 허가할 수 있다.
또한, 사용자는, 시청의 제한을 행하고자 하는 주 화상에 대해서는, 그 주 화상에 연관된 공통키 세트를, mdat 박스로부터 삭제함으로써, 임의의 사용자에 의한 시청을 제한할 수 있다. 나아가, 그러한 주 화상에 연관된 외부 데이터에 대해, 임의의 사용자에 의한 액세스를 제한할 수 있다.
한편, 제5 암호화 HEIF 파일에 있어서, 공통키 세트 Item#300+i의 infe 박스(아이템 ID#300+i의 infe 박스)에서는, 특정 정보 포함 암호키 Item#200+i의 infe 박스와 마찬가지로, 공통키 세트 Item#300+i의 아이템 타입(Item Type)이, 암호키를 나타내는 ECKI로 설정된다.
도 37은 제6 암호화 HEIF 파일의 예를 나타내는 도면이다.
도 37에서는, 제6 암호화 HEIF 파일은 제5 암호화 HEIF 파일(도 36)과 마찬가지로 구성된다.
다만, 제6 암호화 HEIF 파일에 대해서는, 제4 암호화 HEIF 파일(도 35)과 마찬가지로, 주 화상 i에 연관된 외부 데이터가, 그 주 화상 i의 암호화에 사용된 공통키로 암호화된다. 도 37에서는, RAW 파일 ARW#1이, 그 RAW 파일 ARW#1에 연관된 주 화상 1의 암호화에 사용된 공통키로 암호화되고, WAV 파일 WAV#2가, 그 WAV 파일 WAV#2에 연관된 주 화상 2의 암호화에 사용된 공통키로 암호화되어 있다.
제6 암호화 HEIF 파일에 대해서는, 제5 암호화 HEIF 파일과 마찬가지로, mdat 박스에 공통키 세트 Item#300+i가 삭제되지 않고, 저장된 채로 되어 있는 경우에는, 파일 제어부(43)는, 제6 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 연관된 공통키 세트 Item#300+i를 구성하는 공통키에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다. 나아가, 파일 제어부(43)는, 제6 암호화 HEIF 파일에 저장된 암호화 화상 Item#i에 연관된 공통키 세트 Item#300+i를 구성하는 UUID#i에 따라, 암호화 화상 Item#i에 연관된, 암호화된 외부 데이터에 액세스하고, 그 암호화된 외부 데이터를, 공통키 세트 Item#300+i를 구성하는 공통키에 의해, 원래의 외부 데이터로 복호할 수 있다.
따라서, 제6 암호화 HEIF 파일에서는, mdat 박스에 (평문의) 공통키 세트 Item#300+i가 저장되어 있는 경우에는, 암호화 화상 Item#i에 대응하는 비밀키의 입수에 관계없이, 임의의 사용자가, 주 화상 i를 시청하는 것, 및, 주 화상 i에 연관된 외부 데이터에 액세스하여 시청 등을 할 수 있다.
한편, 사용자는, 시청의 제한을 행하고자 하는 주 화상 i에 대해, 그 주 화상 i에 연관된 공통키 세트 Item#300+i를, mdat 박스로부터 삭제함으로써, 임의의 사용자에 의한 시청을 제한할 수 있다. 나아가, 그러한 주 화상 i에 연관된 외부 데이터에 대해, 임의의 사용자에 의한 액세스 및 시청 등을 제한할 수 있다. 또한, 주 화상 i에 연관되는 외부 데이터의 특정 정보로서의 uuid의 개찬을 방지할 수 있다.
또한, 제6 암호화 HEIF 파일에 대해서는, 주 화상 i에 연관된 공통키 세트 Item#300+i가 mdat 박스로부터 삭제된 경우에도, 그 주 화상 i를 암호화한 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있을 때에는, 파일 제어부(43)는, 암호화 화상 Item#i에 연관된 특정 정보 포함 암호키 Item#200+i를, 비밀키에 의해, 공통키 및 UUID#i로 복호하고, 그 복호에 의해 얻어지는 공통키에 의해, 암호화 화상 Item#i를 원래의 주 화상 i로 복호할 수 있다. 따라서, 주 화상 i의 시청을, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다.
나아가, 제6 암호화 HEIF 파일에 대해서는, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있을 때에는, 그 비밀키를 사용한 특정 정보 포함 암호키 Item#200+i의 복호에 의해 얻어지는 UUID#i에 의해 특정되는, 암호화된 외부 데이터, 즉, 주 화상 i와 연관된, 암호화된 외부 데이터에 액세스하는 것, 나아가서는, 특정 정보 포함 암호키 Item#200+i의 복호에 의해 얻어지는 공통키에 의해, 암호화된 외부 데이터를 원래의 외부 데이터로 복호할 수 있다. 따라서, 주 화상 i에 연관된 외부 데이터의 시청 등을, 암호화 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다. 나아가, 주 화상 i에 연관되는 외부 데이터의 특정 정보로서의 uuid의 개찬을 방지할 수 있다.
도 38은 화상 처리 시스템(100)에 의해 제1 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
전처리는, 예를 들면, 디지털 카메라(10)의 제조 직후나, 디지털 카메라(10)에 의해 촬상을 행하기 전 등에 행해진다.
전처리에서는, 스텝(S211)에 있어서, 화상 처리 시스템(100)의 디지털 카메라(10)는, 공개키의 요구를 외부 계산기(101)로 송신하고, 처리는 스텝(S212)로 진행한다.
스텝(S212)에서는, 외부 계산기(101)는, 디지털 카메라(10)로부터의 공개키의 요구를 수신하고, 그 공개키의 요구에 따라, 공개키와 대응하는 비밀키를 생성하고, 처리는 스텝(S213)으로 진행한다.
스텝(S213)에서는, 외부 계산기(101)는 공개키를 디지털 카메라(10)로 송신하고, 처리는 스텝(S214)로 진행한다.
스텝(S214)에서는, 디지털 카메라(10)는, 외부 계산기(101)로부터의 공개키를 미디어(14) 등에 기억하고, 전처리는 종료된다.
한편, 디지털 카메라(10)에서는, 제1 암호화 HEIF 파일을 기억하는 미디어(14)의 잔용량 등에 따라, 예를 들면, 미디어(14)에 기억할 수 있는 주 화상의 수와 동등한 수의 공개키의 요구를 외부 계산기(101)로 송신할 수 있다. 이 경우, 외부 계산기(101)에서는, 공개키의 요구에 따른 수의 공개키가 생성되어, 디지털 카메라(10)에 기억된다. 디지털 카메라(10)에서는, 주 화상마다 다른 공개키로, 그 주 화상의 암호화에 사용된 공통키가 암호화된다.
도 39는 화상 처리 시스템(100)에 의해 제1 암호화 HEIF 파일이 취급되는 경우에, 그 제1 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
생성 처리는, 예를 들면, 화상(주 화상)의 촬상을 행하도록, 사용자가 디지털 카메라(10)를 조작한 경우 등에 개시된다.
생성 처리에서는, 스텝(S221)에 있어서, 디지털 카메라(10)는, 예를 들면, 사용자의 조작에 따라, 화상을 촬상하고, 처리는 스텝(S222)로 진행한다.
스텝(S222)에서는, 디지털 카메라(10)의 파일 제어부(43)는, 공통키를 생성하고, 처리는 스텝(S223)으로 진행한다.
스텝(S223)에서는, 파일 제어부(43)는, 스텝(S221)의 화상의 촬상에 의해 얻어지는 주 화상을, 스텝(S222)에서 생성된 공통키로 암호화함으로써, 암호화 화상을 생성하고, 처리는 스텝(S224)로 진행한다.
스텝(S224)에서는, 파일 제어부(43)는, 전처리에서 기억된 공개키 중, 아직, 공통키의 암호화에 사용되고 있지 않은 공개키 1개를, 주목 공개키로서 선택한다. 나아가, 파일 제어부(43)는, 주 화상의 암호화에 사용된 공통키를, 주목 공개키로 암호화함으로써, 암호화 암호키를 생성하고, 처리는 스텝(S224)로부터 스텝(S225)로 진행한다.
스텝(S225)에서는, 파일 제어부(43)는, 스텝(S223)에서 생성된 암호화 화상과, 스텝(S224)에서 생성된 암호화 암호키를 연관시켜 저장한 제1 암호화 HEIF 파일을 생성하고, 생성 처리는 종료된다.
도 40은 화상 처리 시스템(100)에 의해 제1 암호화 HEIF 파일이 취급되는 경우에, 그 제1 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
재생 처리는, 예를 들면, 화상(주 화상)의 재생을 행하도록, 사용자가 디지털 카메라(10)를 조작한 경우 등에 개시된다.
재생 처리에서는, 스텝(S231)에 있어서, 디지털 카메라(10)의 파일 제어부(43)는, 예를 들면, 사용자의 조작에 따라, 재생 대상의 제1 암호화 HEIF 파일을 선택하고, 그 제1 암호화 HEIF 파일로부터, 재생 대상의 암호화 화상을 선택한다. 나아가, 파일 제어부(43)는, 재생 대상의 제1 암호화 HEIF 파일로부터, 재생 대상의 암호화 화상에 연관된 암호화 암호키(암호화 화상에 대응하는 암호화 암호키)를 취득하고(판독하고), 처리는 스텝(S231)로부터 스텝(S232)로 진행한다.
스텝(S232)에서는, 파일 제어부(43)는, 재생 대상의 암호화 화상에 대응하는 비밀키의 취득을 시도하고, 처리는 스텝(S233)으로 진행한다.
예를 들면, 파일 제어부(43)는, 재생 대상의 암호화 화상에 대응하는 비밀키를, 외부 계산기(101)에 요구한다. 외부 계산기(101)는, 예를 들면, 암호화 화상에 대응하는 비밀키에 대응지어 사용자 ID 및 비밀번호를 미리 기억하고 있다. 외부 계산기(101)는, 사용자 ID 및 비밀번호의 입력을, 디지털 카메라(10)의 사용자에게 촉구하고, 사용자 ID 및 비밀번호의 입력을 기다려, 인증을 행한다. 외부 계산기(101)는, 인증이 성공한 경우, 예를 들면, 재생 대상의 암호화 화상에 대응하는 비밀키와 대응되어 기억된 사용자 ID 및 비밀번호가 사용자가 입력한 사용자 ID 및 비밀번호와 일치한 경우, 재생 대상의 암호화 화상에 대응하는 비밀키를 디지털 카메라(10)로 송신한다.
한편, 외부 계산기(101)는, 인증이 실패한 경우, 그 취지를 디지털 카메라(10)로 송신한다.
디지털 카메라(10)에서는, 파일 제어부(43)가, 외부 계산기(101)로부터 재생 대상의 암호화 화상에 대응하는 비밀키가 송신되어 온 경우, 그 비밀키를 취득한다.
스텝(S233)에서는, 파일 제어부(43)가, 이상과 같이 하여, 비밀키를 취득할 수 있었는지 여부를 판정한다.
스텝(S233)에 있어서, 비밀키를 취득할 수 없었다고 판정된 경우, 처리는, 스텝(S234)로 진행한다. 스텝(S234)에서는, 디지털 카메라(10)는, 에러 처리를 행하고, 예를 들면, 액정 패널(19)에, 화상의 복호에 실패한 취지 등의 에러 메세지를 표시하고, 재생 처리는 종료된다. 따라서, 재생 대상의 암호화 화상에 대응하는 비밀키를 입수할 수 없는 사용자는, 재생 대상의 암호화 화상을 복호한 주 화상을 시청할 수 없다.
한편, 스텝(S233)에 있어서, 비밀키를 취득할 수 있었다고 판정된 경우, 처리는 스텝(S235)로 진행한다.
스텝(S235)에서는, 파일 제어부(43)는, 스텝(S231)에서 취득된 암호화 암호키를, 스텝(S232)에서 취득된 비밀키에 의해, 공통키로 복호하고, 처리는 스텝(S236)으로 진행한다.
스텝(S236)에서는, 파일 제어부(43)는, 재생 대상의 암호화 화상을, 스텝(S236)에서 복호된 공통키에 의해, 주 화상으로 복호하여, 액정 패널(19)에 표시시키고, 재생 처리는 종료된다.
도 41은 화상 처리 시스템(100)에 의해 제2 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 41의 전처리에서는, 스텝(S251 내지 S254)에 있어서, 도 38의 전처리의 스텝(S211 내지 S214)과 각각 마찬가지의 처리가 행해진다.
도 42는 화상 처리 시스템(100)에 의해 제2 암호화 HEIF 파일이 취급되는 경우에, 그 제2 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 42의 생성 처리에서는, 스텝(S261 내지 S264)에 있어서, 도 39의 생성 처리의 스텝(S221 내지 S224)와 각각 마찬가지의 처리가 행해진다.
그리고, 스텝(S265)에 있어서, 파일 제어부(43)는, 스텝(S263)에서 생성된 암호화 화상과, 스텝(S262)에서 생성된 공통키, 및, 스텝(S264)에서 생성된 암호화 암호키 각각을 연관시켜 저장한 제2 암호화 HEIF 파일을 생성하고, 생성 처리는 종료된다.
도 43은 화상 처리 시스템(100)에 의해 제2 암호화 HEIF 파일이 취급되는 경우에, 암호화 화상에 대응하는 비밀키를 입수할 수 있는 사용자만이, 그 암호화 화상을 복호한 주 화상을 시청하도록 제한하는 제한 처리의 예를 설명하는 플로우차트이다.
예를 들면, 제한 처리를 행하도록, 사용자가 디지털 카메라(10)를 조작하면, 스텝(S271)에 있어서, 파일 제어부(43)는, 예를 들면, 사용자의 조작에 따라, 재생 대상의 제2 암호화 HEIF 파일을 선택하고, 그 제2 암호화 HEIF 파일로부터, 평문의 공통키와, 그 평문의 공통키가 연관되어 있는 암호화 화상을 취득하고(판독하고), 처리는 스텝(S272)로 진행한다.
스텝(S272)에서는, 파일 제어부(43)는, 스텝(S271)에서 취득된 암호화 화상을, 동일하게 스텝(S271)에서 취득된 공통키에 의해, 주 화상으로 복호하여, 액정 패널(19)에 표시시키고, 처리는 스텝(S273)으로 진행한다.
스텝(S273)에서는, 파일 제어부(43)는, 사용자가, 스텝(S272)에서 표시된 주 화상의 시청을 제한하도록, 디지털 카메라(10)를 조작하는 제한 조작을 행했는지 여부를 판정한다.
스텝(S273)에 있어서, 제한 조작이 행해지고 있지 않다고 판정된 경우, 제한 처리는 종료된다.
또한, 스텝(S273)에 있어서, 제한 조작이 행해졌다고 판정된 경우, 처리는 스텝(S274)로 진행하고, 파일 제어부(43)는, 스텝(S271)에서 취득된 평문의 공통키를, 제2 암호화 HEIF 파일로부터 삭제하고, 제한 처리는 종료된다.
이상과 같이, 제2 암호화 HEIF 파일로부터, 암호화 화상에 연관된 평문의 공통키가 삭제됨으로써, 그 암호화 화상에 대응하는 비밀키를 입수할 수 있는 사용자만이, 그 암호화 화상을 복호한 주 화상을 시청하도록 제한할 수 있다.
도 44는 화상 처리 시스템(100)에 의해 제2 암호화 HEIF 파일이 취급되는 경우에, 그 제2 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 44의 재생 처리에서는, 스텝(S281)에 있어서, 파일 제어부(43)는, 예를 들면, 사용자의 조작에 따라, 재생 대상의 제2 암호화 HEIF 파일을 선택하고, 그 제2 암호화 HEIF 파일로부터 재생 대상의 암호화 화상을 선택한다. 그리고, 파일 제어부(43)는, 재생 대상의 제2 암호화 HEIF 파일에, 재생 대상의 암호화 화상에 연관된 평문의 공통키가 저장되어 있는지 여부를 판정한다.
스텝(S281)에 있어서, 평문의 공통키가 저장되어 있다고 판정된 경우, 처리는 스텝(S287)로 진행한다.
스텝(S287)에서는, 파일 제어부(43)는, 재생 대상의 암호화 화상을, 그 암호화 화상에 연관된 평문의 공통키에 의해, 주 화상으로 복호하여, 액정 패널(19)에 표시시키고, 재생 처리는 종료된다.
한편, 스텝(S281)에 있어서, 평문의 공통키가 저장되어 있지 않다고 판정된 경우, 즉, 평문의 공통키가, 도 43의 제한 처리에 의해 삭제된 경우, 처리는 스텝(S282)로 진행한다.
스텝(S282) 내지 스텝(S287)에서는, 도 40의 재생 처리의 스텝(S231 내지 S236)과 각각 마찬가지의 처리가 행해진다.
도 45는 화상 처리 시스템(100)에 의해 제3 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 45의 전처리에서는, 스텝(S311 내지 S314)에 있어서, 도 38의 전처리의 스텝(S211 내지 S214)와 각각 마찬가지의 처리가 행해진다.
도 46은 화상 처리 시스템(100)에 의해 제3 암호화 HEIF 파일이 취급되는 경우에, 그 제3 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 46의 생성 처리에서는, 스텝(S321 내지 S323)에 있어서, 도 39의 생성 처리의 스텝(S221 내지 S223)과 각각 마찬가지의 처리가 행해진다.
그리고, 스텝(S324)에서는, 파일 제어부(43)는, 전처리에서 기억된 공개키 중, 아직, 공통키의 암호화에 사용되고 있지 않은 공개키 1개를, 주목 공개키로서 선택한다. 또한, 파일 제어부(43)는, 주 화상에 연관되는 외부 데이터(예를 들면, 주 화상의 RAW 데이터 등)에, 특정 정보로서의 uuid를 할당한다. 그리고, 파일 제어부(43)는, 주 화상의 암호화에 사용된 공통키와, 주 화상에 연관되는 외부 데이터의 uuid를, 주목 공개키로 암호화함으로써, 특정 정보 포함 암호키를 생성하고, 처리는 스텝(S324)로부터 스텝(S325)로 진행한다.
스텝(S325)에서는, 파일 제어부(43)는, 스텝(S323)에서 생성된 암호화 화상과, 스텝(S324)에서 생성된 특정 정보 포함 암호키를 연관시켜 저장한 제3 암호화 HEIF 파일을 생성하고, 생성 처리는 종료된다.
도 47은 화상 처리 시스템(100)에 의해 제3 암호화 HEIF 파일이 취급되는 경우에, 그 제3 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 47의 재생 처리에서는, 스텝(S331)에 있어서, 디지털 카메라(10)의 파일 제어부(43)는, 예를 들면, 사용자의 조작에 따라, 재생 대상의 제3 암호화 HEIF 파일을 선택하고, 그 제3 암호화 HEIF 파일로부터, 재생 대상의 암호화 화상을 선택한다. 나아가, 파일 제어부(43)는, 재생 대상의 제3 암호화 HEIF 파일로부터, 재생 대상의 암호화 화상에 연관된 특정 정보 포함 암호키를 취득하고, 처리는 스텝(S331)로부터 스텝(S332)로 진행한다.
스텝(S332)에서는, 파일 제어부(43)는, 예를 들면, 도 40의 스텝(S233)과 마찬가지로, 재생 대상의 암호화 화상에 대응하는 비밀키의 취득을 시도하고, 처리는 스텝(S333)으로 진행한다.
스텝(S333)에서는, 파일 제어부(43)가, 비밀키를 취득할 수 있었는지 여부를 판정한다.
스텝(S333)에 있어서, 비밀키를 취득할 수 없었다고 판정된 경우, 처리는 스텝(S334)로 진행한다. 스텝(S334)에서는, 디지털 카메라(10)는, 도 40의 스텝(S234)과 마찬가지로, 에러 처리를 행하고, 재생 처리는 종료된다.
한편, 스텝(S333)에 있어서, 비밀키를 취득할 수 있었다고 판정된 경우, 처리는 스텝(S335)로 진행한다.
스텝(S335)에서는, 파일 제어부(43)는, 스텝(S331)에서 취득된 특정 정보 포함 암호키를, 스텝(S332)에서 취득된 비밀키에 의해, 특정 정보로서의 uuid 및 공통키로 복호하고, 처리는 스텝(S336)으로 진행한다.
스텝(S336)에서는, 파일 제어부(43)는, 재생 대상의 암호화 화상을, 스텝(S335)에서 복호된 공통키에 의해, 주 화상으로 복호하여, 액정 패널(19)에 표시시키고, 처리는 스텝(S337)로 진행한다.
스텝(S337)에서는, 파일 제어부(43)는, 스텝(S336)에서 복호된 uuid에 의해 특정되는 외부 데이터를 취득하고, 재생 처리는 종료된다. 외부 데이터는, 예를 들면, 사용자의 조작 등에 따라 재생 등 된다.
도 48은 화상 처리 시스템(100)에 의해 제4 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 48의 전처리에서는, 스텝(S351 내지 S354)에 있어서, 도 38의 전처리의 스텝(S211 내지 S214)와 각각 마찬가지의 처리가 행해진다.
도 49는 화상 처리 시스템(100)에 의해 제4 암호화 HEIF 파일이 취급되는 경우에, 그 제4 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 49의 생성 처리에서는, 스텝(S361 내지 S363)에 있어서, 도 46의 생성 처리의 스텝(S321 내지 S323)과 각각 마찬가지의 처리가 행해진다.
그리고, 스텝(S364)에서는, 파일 제어부(43)는, 주 화상에 연관되는 외부 데이터(예를 들면, 주 화상의 RAW 데이터 등)를, 그 주 화상의 암호화에 사용한 공통키로 암호화하고, 처리는 스텝(S365)로 진행한다.
스텝(S365)에서는, 파일 제어부(43)는, 전처리에서 기억된 공개키 중, 아직, 공통키의 암호화에 사용되고 있지 않은 공개키 1개를 주목 공개키로서 선택한다. 또한, 파일 제어부(43)는, 주 화상에 연관되는 외부 데이터(스텝(S364)에서 암호화된 외부 데이터)에, 특정 정보로서의 uuid를 할당하여 있다. 그리고, 파일 제어부(43)는, 주 화상의 암호화에 사용된 공통키와, 주 화상에 연관되는 외부 데이터의 uuid를, 주목 공개키로 암호화함으로써, 특정 정보 포함 암호키를 생성하고, 처리는 스텝(S365)로부터 스텝(S366)으로 진행한다.
스텝(S366)에서는, 파일 제어부(43)는, 스텝(S363)에서 생성된 암호화 화상과, 스텝(S365)에서 생성된 특정 정보 포함 암호키를 연관시켜 저장한 제4 암호화 HEIF 파일을 생성하고, 처리는 스텝(S367)로 진행한다.
스텝(S367)에서는, 파일 제어부(43)는, 스텝(S364)에서 암호화된 외부 데이터를 저장한 파일을 생성하여, 예를 들면, 미디어(14)에 기억시키고, 생성 처리는 종료된다.
도 50은 화상 처리 시스템(100)에 의해 제4 암호화 HEIF 파일이 취급되는 경우에, 그 제4 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 50의 재생 처리에서는, 스텝(S371 내지 S377)에 있어서, 도 47의 스텝(S331 내지 S337)과 각각 마찬가지의 처리가 행해진다.
그리고, 스텝(S378)에 있어서, 파일 제어부(43)는, 스텝(S377)에서 취득된 외부 데이터를, 스텝(S375)에서 복호된 공통키에 의해 복호하고, 재생 처리는 종료된다.
즉, 제4 암호화 HEIF 파일에 대해서는, 스텝(S377)에서 취득된 외부 데이터는, 공통키에 의해 암호화되어 있기 때문에, 스텝(S378)에서는, 그 암호화된 외부 데이터가 공통키에 의해 복호된다.
도 51은 화상 처리 시스템(100)에 의해 제5 또는 제6 암호화 HEIF 파일이 취급되는 경우에 행해지는 전처리의 예를 설명하는 플로우차트이다.
도 41의 전처리에서는, 스텝(S451 내지 S454)에 있어서, 도 38의 전처리의 스텝(S211 내지 S214)와 각각 마찬가지의 처리가 행해진다.
도 52는 화상 처리 시스템(100)에 의해 제5 또는 제6 암호화 HEIF 파일이 취급되는 경우에, 그 제5 또는 제6 암호화 HEIF 파일을 생성하는 생성 처리의 예를 설명하는 플로우차트이다.
도 52의 생성 처리에서는, 스텝(S461 및 S462)에 있어서, 도 39의 생성 처리의 스텝(S221 및 S222)와 각각 마찬가지의 처리가 행해진다.
그리고, 스텝(S463)에서는, 파일 제어부(43)는, 스텝(S461)의 화상의 촬상에 의해 얻어지는 주 화상을, 스텝(S462)에서 생성된 공통키로 암호화함으로써, 암호화 화상을 생성하고, 처리는 스텝(S464)로 진행한다.
한편, 제6 HEIF 파일에 대해서는, 스텝(S463)에서는, 나아가, 파일 제어부(43)는, 주 화상에 연관되는 외부 데이터를, 그 주 화상의 암호화에 사용한 공통키로 암호화한다.
스텝(S464)에서는, 파일 제어부(43)는, 전처리에서 기억된 공개키 중, 아직, 공통키의 암호화에 사용되고 있지 않은 공개키 1개를 주목 공개키로서 선택한다. 또한, 파일 제어부(43)는, 주 화상에 연관되는 외부 데이터에, 특정 정보로서의 uuid를 할당하여 있다. 그리고, 파일 제어부(43)는, 주 화상의 암호화에 사용된 공통키와, 주 화상에 연관되는 외부 데이터의 uuid와의 공통키 세트를, 주목 공개키로 암호화함으로써, 특정 정보 포함 암호키를 생성하고, 처리는 스텝(S464)로부터 스텝(S465)로 진행한다.
스텝(S465)에서는, 파일 제어부(43)는, 스텝(S463)에서 생성된 암호화 화상과, 스텝(S464)에서 생성된 특정 정보 포함 암호키, 및, 그 특정 정보 포함 암호키로 암호화되기 전의 (평문의) 공통키 세트 각각을 연관시켜 저장한 제5 또는 제6 암호화 HEIF 파일을 생성하고, 생성 처리는 종료된다.
한편, 제6 HEIF 파일에 대해서는, 스텝(S465)에서는, 나아가, 파일 제어부(43)는, 스텝(S463)에서 암호화된 외부 데이터를 저장한 파일을 생성하고, 예를 들면, 미디어(14)에 기억시킨다.
도 53은 화상 처리 시스템(100)에 의해 제5 또는 제6 암호화 HEIF 파일이 취급되는 경우에, 암호화 화상에 대응하는 비밀키를 입수할 수 있는 사용자만이, 그 암호화 화상을 복호한 주 화상을 시청하도록 제한하는 제한 처리의 예를 설명하는 플로우차트이다.
도 53의 제한 처리에서는, 스텝(S471)에 있어서, 파일 제어부(43)는, 예를 들면, 사용자의 조작에 따라, 재생 대상의 제5 또는 제6 암호화 HEIF 파일을 선택하고, 그 제5 또는 제6 암호화 HEIF 파일로부터, (평문의) 공통키 세트와, 그 공통키 세트가 연관되어 있는 암호화 화상을 취득하고, 처리는 스텝(S472)로 진행한다.
스텝(S472)에서는, 파일 제어부(43)는, 스텝(S471)에서 취득된 암호화 화상을, 동일하게 스텝(S471)에서 취득된 공통키 세트를 구성하는 공통키에 의해, 주 화상으로 복호하여, 액정 패널(19)에 표시시키고, 처리는 스텝(S473)으로 진행한다.
스텝(S473)에서는, 파일 제어부(43)는, 사용자가, 스텝(S472)에서 표시된 주 화상의 시청을 제한하도록, 디지털 카메라(10)를 조작하는 제한 조작을 행했는지 여부를 판정한다.
스텝(S473)에 있어서, 제한 조작이 행해지고 있지 않다고 판정된 경우, 제한 처리는 종료된다.
또한, 스텝(S473)에 있어서, 제한 조작이 행해졌다고 판정된 경우, 처리는 스텝(S474)로 진행하고, 파일 제어부(43)는, 스텝(S471)에서 취득된 공통키 세트를, 제5 또는 제6 암호화 HEIF 파일로부터 삭제하고, 제한 처리는 종료된다.
이상과 같이, 제5 또는 제6 암호화 HEIF 파일로부터, 암호화 화상에 연관된 평문의 공통키가 삭제됨으로써, 그 암호화 화상에 대응하는 비밀키를 입수할 수 있는 사용자만이, 그 암호화 화상을 복호한 주 화상을 시청하고, 그 주 화상에 연관된 외부 데이터에 액세스하도록 제한할 수 있다.
도 54는 화상 처리 시스템(100)에 의해 제5 또는 제6 암호화 HEIF 파일이 취급되는 경우에, 그 제5 또는 제6 암호화 HEIF 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
도 54의 재생 처리에서는, 스텝(S481)에 있어서, 파일 제어부(43)는, 예를 들면, 사용자의 조작에 따라, 재생 대상의 제5 또는 제6 암호화 HEIF 파일을 선택하고, 그 제5 또는 제6 암호화 HEIF 파일로부터, 재생 대상의 암호화 화상을 선택한다. 그리고, 파일 제어부(43)는, 재생 대상의 제5 또는 제6 암호화 HEIF 파일에, 재생 대상의 암호화 화상에 연관된 평문의 공통키 세트가 저장되어 있는지 여부를 판정한다.
스텝(S481)에 있어서, 공통키 세트가 저장되어 있다고 판정된 경우, 처리는 스텝(S487)로 진행한다.
스텝(S487)에서는, 파일 제어부(43)는, 재생 대상의 암호화 화상을, 그 암호화 화상에 연관된 공통키 세트를 구성하는 공통키에 의해, 주 화상으로 복호하여, 액정 패널(19)에 표시시키고, 처리는 스텝(S488)로 진행한다.
스텝(S488)에서는, 파일 제어부(43)는, 재생 대상의 암호화 화상에 연관된 공통키 세트를 구성하는 uuid에 의해 특정되는 외부 데이터를 취득하고, 재생 처리는 종료된다.
한편, 제6 HEIF 파일에 대해서는, 외부 데이터는 암호화되어 있기 때문에, 스텝(S488)에서는, 나아가, 파일 제어부(43)는, 공통키 세트를 구성하는 uuid에 의해 특정되는, 암호화된 외부 데이터를 취득한 후, 그 암호화된 외부 데이터를, 공통키 세트를 구성하는 공통키에 의해 복호한다.
한편, 스텝(S481)에 있어서, 공통키 세트가 저장되어 있지 않다고 판정된 경우, 즉, 공통키 세트가, 도 53의 제한 처리에 의해 삭제된 경우, 처리는 스텝(S482)로 진행한다.
스텝(S482) 내지 스텝(S488)에서는, 도 47의 재생 처리의 스텝(S331 내지 S337)과 각각 마찬가지의 처리가 행해지고, 재생 처리는 종료된다.
한편, 제6 HEIF 파일에 대해서는, 외부 데이터는 암호화되어 있기 때문에, 스텝(S488)에서는, 나아가, 파일 제어부(43)는, 스텝(S486)에서 특정 정보 포함 암호키를 복호함으로써 얻어지는 uuid에 의해 특정되는, 암호화된 외부 데이터를 취득한 후, 그 암호화된 외부 데이터를, 스텝(S486)에서 특정 정보 포함 암호키를 복호함으로써 얻어지는 공통키에 의해 복호한다.
<본 기술을 적용한 화상 처리 시스템의 제2 실시형태>
도 55는 본 기술을 적용한 화상 처리 시스템의 제2 실시형태의 구성예를 나타내는 블록도이다.
한편, 도면 중, 도 31의 화상 처리 시스템(100)과 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있어, 이하에서는, 그 설명은 적절히 생략한다.
도 55에 있어서, 화상 처리 시스템(200)은, 디지털 카메라(210)와 외부 계산기(101)로 구성된다.
따라서, 화상 처리 시스템(200)은, 외부 계산기(101)를 갖는 점에서, 도 31의 화상 처리 시스템(100)과 공통되고, 디지털 카메라(10) 대신에, 디지털 카메라(210)를 갖는 점에서, 화상 처리 시스템(100)과 다르다.
도 56은 디지털 카메라(210)의 구성예를 나타내는 블록도이다.
한편, 도면 중, 도 1의 디지털 카메라(10)와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있어, 이하에서는, 그 설명은 적절히 생략한다.
디지털 카메라(210)는 광학계(11) 내지 인터페이스(21)를 가지며, 신호 처리부(13)는, 광학계/이미지 센서 제어부(41) 내지 UI 제어부(47), 및 인식부(211)를 갖는다.
따라서, 디지털 카메라(210)는, 광학계(11) 내지 인터페이스(21)를 갖는 점, 및, 신호 처리부(13)가 광학계/이미지 센서 제어부(41) 내지 UI 제어부(47)를 갖는 점에서, 도 1의 디지털 카메라(10)와 공통된다.
다만, 디지털 카메라(210)는, 신호 처리부(13)에 인식부(211)가 새롭게 설치되어 있는 점에서, 디지털 카메라(10)와 다르다.
인식부(211)에는, 광학계/이미지 센서 제어부(41)로부터 주 화상(의 데이터)이 공급된다.
인식부(211)는, 광학계/이미지 센서 제어부(41)로부터의 주 화상을 대상으로 화상 인식을 행한다. 인식부(211)는, 화상 인식에 의해, 주 화상에 찍히는 피사체를 인식 대상으로 하여 인식하고, 그 인식 결과를 파일 제어부(43)에 공급한다.
인식부(211)에 있어서, 피사체를 인식하는 인식 알고리즘으로서는, 주 화상에 찍히는 임의의 피사체를 인식 대상으로 하여, 그 피사체가, 예를 들면, 사람, 자동차, 상표 등과 같이, 인식 대상으로서의 피사체의 종류를 식별(분류)하는 알고리즘을 채용할 수도 있고, 특정한 종류의 피사체를 인식 대상으로 하여, 개체를 식별하는 인식 알고리즘, 즉, 예를 들면, 사람에 대해, 개인을 식별하는 인식 알고리즘을 채용할 수도 있다.
또한, 디지털 카메라(210)에는, 다른 센서(212)를 설치하고, 인식부(211)에서는, 주 화상 외에, 다른 센서(212)의 센싱 결과도 사용하여, 주 화상에 찍히는 피사체를 인식할 수 있다. 다른 센서(212)로서는, 예를 들면, GPS(Global Positioning System) 센서, 방위 센서, 심도(측거) 센서 등을 채용할 수 있다. 인식부(211)에서는, GPS 센서나 방위 센서의 센싱 결과로부터, 현재 위치를 특정하고, 그 현재 위치에 존재할 수 있는 피사체로 인식 대상을 제한함으로써, 주 화상에 찍히는 피사체의 인식 정밀도를 향상시킬 수 있다. 또한, 인식부(211)에서는, 심도 센서의 센싱 결과로부터, 피사체까지의 거리를 화소값으로 하는 거리 화상을 생성하고, 주 화상 외에, 거리 화상도 사용하여, 주 화상에 찍히는 피사체를 인식함으로써, 낮은 조도에서의 인식 정밀도를 향상시킬 수 있다.
여기서, HEIF의 아이템 타입으로서, grid가 있다. 아이템 타입이 grid인 주 화상에 대해서는, 주 화상을 동일 사이즈의 분할 화상으로 분할하여 얻어지는 복수의 분할 화상(tile) 각각이 아이템으로서, HEIF 파일에 저장된다. 아이템 타입이 grid인 주 화상은, 아이템으로서의 복수의 분할 화상으로부터 재구성된다. 아이템 타입이 grid인 아이템(여기서는, 주 화상), 즉, 복수의 분할 화상으로 분할되는 주 화상(및 복수의 분할 화상으로부터 재구성되는 주 화상)을, 그리드 아이템이라고도 말한다.
디지털 카메라(210)에 있어서, 파일 제어부(43)는, 주 화상 전체가 아니라, 주 화상을 분할한 분할 화상의 단위로 암호화를 행할 수 있다. 예를 들면, 파일 제어부(43)는, 인식부(211)로부터의 인식 결과에 따라, 주 화상에 있어서, 소정의 피사체가 찍히는 분할 화상의 단위로 암호화를 행할 수 있다.
이하, 분할 화상의 단위로 암호화를 행하는 경우의 암호화 HEIF 파일의 처리에 대해 설명하지만, 그 전에, 아이템 타입이 grid인 주 화상이 저장된 HEIF 파일(이하, grid 파일이라고도 함)에 대해 설명한다.
<grid 파일>
도 57은 grid 파일의 예를 나타내는 도면이다.
도 57의 grid 파일에서는, 주 화상이, 횡×종이 3×3개인 분할 화상 Item#1 내지 Item#9로 분할되고, 그 분할 화상 Item#1 내지 Item#9가 아이템으로서, mdat 박스에 저장되어 있다.
도 57에 있어서, mdat 박스에 저장된 아이템은, 분할 화상 Item#1 내지 Item#9의 9개의 아이템이지만, iinf 박스 및 iloc 박스 내의 아이템 수는 10으로 되어 있다. 이것은, 분할 화상 Item#1 내지 Item#9의 9개의 아이템 외에, 그 분할 화상 Item#1 내지 Item#9로부터 재구성되는 그리드 아이템으로서의 주 화상(재구성 화상)을 아이템으로서 카운트하기 때문이다. 도 57에서는, 그리드 아이템으로서의 주 화상의 아이템 ID는 10으로 되어 있고, 설명의 편의상, 이러한 주 화상을 주 화상 Item#10이라고 기재한다.
그리드 아이템으로서의 주 화상 #10에 대해서는, 미디어 데이터가 mdat 박스에 저장되지 않고, 대신에, meta 박스에 idat 박스가 저장된다. idat 박스에는, 수평 grid 수, 수직 grid 수, 수평 출력 사이즈, 및 수직 출력 사이즈가 저장된다. 수평 grid 수 및 수직 grid 수는, 그리드 아이템으로서의 주 화상 #10을 구성하는 분할 화상 #1 내지 #9의 횡방향 및 종방향의 수를 각각 나타낸다. 수평 출력 사이즈 및 수직 출력 사이즈는, 분할 화상 #1 내지 #9로부터 재구성되는 그리드 아이템으로서의 주 화상 #10의 횡방향 및 종방향의 사이즈를 각각 나타낸다.
나아가, 그리드 아이템으로서의 주 화상 #10에 대해서는, iloc 박스에, 그 주 화상 #10의 저장 장소에 관한 정보(오프셋 및 사이즈)가 저장되지만, 이 정보는, 그리드 아이템으로서의 주 화상 #10의 idat 박스의 저장 장소를 나타낸다.
도 57의 grid 파일은, 분할 화상 Item#1 내지 Item#9와, 그 분할 화상 Item#1 내지 Item#9로부터 재구성되는 주 화상 Item#10의 10개의 아이템이 저장되어 있음에 따라, 10개의 infe 박스를 갖는다. 도 9에서 설명한 바와 같이, infe 박스에는, 아이템을 특정하는 아이템 ID와, 아이템 타입이 저장(등록)되지만, 그리드 아이템으로서의 주 화상 Item#10의 infe 박스에는, 주 화상 Item#10의 아이템 타입으로서, 그리드 아이템을 나타내는 grid가 저장된다.
grid 파일에서는, iref 박스에 dimg 박스가 저장된다. dimg 박스에는, 그리드 아이템과, 그 그리드 아이템을 구성하는 분할 화상을 연관시키는 정보가 저장된다. 예를 들면, dimg 박스에는, 분할 화상의 아이템 ID가 참조처로서 저장됨과 함께, 그 분할 화상으로부터 재구성되는 그리드 아이템으로서의 주 화상의 아이템 ID가 참조원으로서 저장된다. 도 57에서는, 분할 화상 Item#1 내지 Item#9의 아이템 ID#1 내지 #9가 참조처로서 저장되고, 주 화상 Item#10의 아이템 ID#10이 참조원으로서 저장되어 있다. 그 외에, dimg 박스에는, 분할 화상의 수를 나타내는 참조 카운터가 저장된다.
이상과 같은 grid 파일에 대해서는, 파일 제어부(43)는, 주 화상 Item#10의 infe 박스에 저장된 아이템 타입 grid로부터, 주 화상 Item#10이 복수의 분할 화상으로부터 재구성되는 재구성 화상(그리드 아이템)인 것을 인식할 수 있다. 나아가, 파일 제어부(43)는, dimg 박스에 저장된 참조원과 참조처로부터, 분할 화상으로부터 재구성되는 주 화상 Item#10의 아이템 ID#10과, 그 주 화상 Item#10의 재구성에 사용되는 분할 화상 Item#1 내지 Item#9의 아이템 ID#1 내지 #9를 특정할 수 있다. 또한, 파일 제어부(43)는, idat 박스에 저장된 수평 grid 수 및 수직 grid 수, 및, 수평 출력 사이즈 및 수직 출력 사이즈로부터, 주 화상 #10을 구성하는 분할 화상 #1 내지 #9의 횡방향 및 종방향의 수, 및, 그 분할 화상 #1 내지 #9로부터 재구성되는 주 화상의 #10의 횡방향 및 종방향의 사이즈를 특정할 수 있다.
파일 제어부(43)는, dimg 박스로부터 특정된 아이템 ID#1 내지 #9의 분할 화상 Item#1 내지 Item#9로부터, idat 박스로부터 특정된 횡방향 및 종방향의 수의 분할 화상으로 구성되는, idat 박스로부터 특정된 사이즈의, dimg 박스로부터 특정된 아이템 ID#10의 주 화상 Item#10을 재구성할 수 있다.
디지털 카메라(210)(도 56)에서는, 파일 제어부(43)는, 주 화상을 분할한 분할 화상을 공통키(제1 암호키)로 암호화한 암호화 화상으로서의 암호화 분할 화상(encrypted divisional image)과, 그 공통키를 공개키(제2 암호키)로 암호화한 암호화 암호키를 연관시켜 저장한 grid 파일을, 암호화 grid 파일로서 생성할 수 있다. 암호화 grid 파일은, 암호화 HEIF 파일의 일종이다.
파일 제어부(43)는, 암호화 grid 파일에 저장되는 암호화 분할 화상과, 그 암호화 분할 화상을 얻는 암호화에 사용한 공통키를 암호화한 암호화 암호키와의 연관에, 연관형 HEIF 파일에 저장되는 주 화상과 외부 데이터의 특정 정보와의 연관을 이용할 수 있다. 즉, 파일 제어부(43)는, 연관형 HEIF 파일에 저장되는 주 화상과 외부 데이터의 특정 정보와의 연관과 마찬가지로 하여, 암호화 grid 파일에 저장되는 암호화 분할 화상과 암호화 암호키의 연관을 행할 수 있다.
또한, 파일 제어부(43)는, 암호화 grid 파일의 암호화 암호키를, 공통키로 복호하고, 그 복호에 의해 얻어지는 공통키에 의해, 암호화 분할 화상을 원래의 분할 화상으로 복호할 수 있다. 나아가, 파일 제어부(43)는, 분할 화상을 배열함으로써, 주 화상으로서의 재구성 화상을 재구성할 수 있다.
<암호화 grid 파일의 처리>
도 58은 디지털 카메라(210)가 행하는 암호화 grid 파일의 처리의 개요를 설명하는 도면이다.
암호화 grid 파일의 생성시에는, 디지털 카메라(210)(도 56)에 있어서, 인식부(211)가, 예를 들면, 사람의 얼굴을 인식 대상으로 하여, 주 화상에 찍히는 사람의 얼굴을 인식하고, 그 인식 결과를 파일 제어부(43)에 공급한다.
파일 제어부(43)는, 인식부(211)로부터의 인식 결과에 따라, 예를 들면, 주 화상을 분할한 분할 화상 중, 인식 대상이 인식된 분할 화상(인식 대상으로서의 사람의 얼굴이 찍히는 분할 화상)에 대해서는, 공통키에 의해, 암호화 분할 화상으로 암호화하여, 암호화 grid 파일에 저장한다. 인식 대상이 인식된 분할 화상 이외의 분할 화상에 대해서는, 인식 대상이 인식된 분할 화상과 마찬가지로, 공통키에 의해, 암호화 분할 화상으로 암호화하여, 암호화 grid 파일에 저장할 수도 있고, 암호화하지 않고(평문인 채로), 암호화 grid 파일에 저장할 수도 있다. 여기서는, 인식 대상이 인식된 분할 화상 이외의 분할 화상에 대해서는, 암호화하지 않고, 암호화 grid 파일에 저장하는 것으로 한다.
파일 제어부(43)는, 암호화 HEIF 파일의 경우와 마찬가지로, 분할 화상의 암호화에 사용한 공통키를, 공개키에 의해 암호화 암호키로 암호화하고, 그 암호화 암호키를, 대응하는 암호화 분할 화상(그 암호화 암호키를 복호한 공개키에 의해 암호화된 분할 화상)에 연관시켜, 암호화 grid 파일에 저장한다.
암호화 grid 파일의 재생시에는, 디지털 카메라(210)에 있어서, 파일 제어부(43)는, 암호화 grid 파일에 저장된 분할 화상 및 암호화 분할 화상으로부터, 주 화상으로서의 재구성 화상을 재구성한다.
공개키에 대응하는 비밀키를 입수할 수 있는 경우, 주 화상으로서의 재구성 화상의 재구성에서는, 파일 제어부(43)는, 암호화 분할 화상에 연관된 암호화 암호키를, 비밀키에 의해, 공통키로 복호하고, 그 공통키에 의해, 암호화 분할 화상을 원래의 분할 화상으로 복호한다. 나아가, 파일 제어부(43)는, 암호화 grid 파일에 저장된 (평문의) 분할 화상, 및, 암호화 분할 화상의 복호에 의해 얻어진 분할 화상을 배열하여, 주 화상으로서의 재구성 화상을 재구성한다. 따라서, 이 경우, 원래의 주 화상에 찍히는 인식 대상으로서의 피사체, 여기서는, 사람의 얼굴이 찍히는 재구성 화상을 얻을 수 있다.
한편, 공개키에 대응하는 비밀키를 입수할 수 없는 경우, 주 화상으로서의 재구성 화상의 재구성에서는, 파일 제어부(43)는, 암호화 grid 파일에 저장된 (평문의) 분할 화상, 및, 암호화 분할 화상 (또는, 암호화 분할 화상을 나타내는, 예를 들면, 패턴이 없는 한가지 색의 화상 등)을 배열하여, 주 화상으로서의 재구성 화상을 재구성한다. 따라서, 이 경우, 원래의 주 화상에 찍히는 인식 대상으로서의 피사체, 여기서는, 사람의 얼굴이 찍혀 있지 않은 (비닉된) 재구성 화상이 얻어진다.
이상으로부터, 암호화 grid 파일에 의하면, 인식 대상으로서의 피사체의 시청을, 공개키에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다.
한편, 디지털 카메라(210)에서는, 암호화 분할 화상이, 대응하는 분할 화상에 찍히는 피사체마다 다른 공통키로 암호화되고, 분할 화상의 암호화에 사용된 공통키가, 피사체마다 다른 공개키로 암호화되도록 할 수 있다.
즉, 디지털 카메라(210)에서는, 분할 화상에 대해서는, 분할 화상에 찍히는 인식 대상으로서의 피사체마다 다른 공통키로 암호화할 수 있다. 나아가, 분할 화상에 찍히는 인식 대상으로서의 피사체마다 다른 공통키에 대해서는, 그 인식 대상으로서의 피사체마다 다른 공개키(따라서, 비밀키도 다름)로 암호화할 수 있다.
예를 들면, 사람의 얼굴을 인식 대상으로 하여, 도 58에 나타내는 바와 같이, 주 화상에 찍히는 사람(A)의 얼굴 및 사람(B)의 얼굴이 인식된 경우에는, 사람(A)의 얼굴이 찍히는 분할 화상과, 사람(B)의 얼굴이 찍히는 분할 화상은, 서로 다른 공통키로 암호화할 수 있다. 나아가, 사람(A)의 얼굴이 찍히는 분할 화상의 암호화에 사용된 공통키와, 사람(B)의 얼굴이 찍히는 분할 화상의 암호화에 사용된 공통키는, 서로 다른 공개키(KA와 KB)로 각각 암호화할 수 있다.
이 경우, 공개키(KA)에 대응하는 비밀키를 입수할 수 있는 경우에는, 사람(A)의 얼굴이 찍히는 재구성 화상이 재구성되고, 공개키(KB)에 대응하는 비밀키를 입수할 수 있는 경우에는, 사람(B)의 얼굴이 찍히는 재구성 화상이 재구성된다. 따라서, 사람(A)의 얼굴의 시청을, 공개키(KA)에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있고, 사람(B)의 얼굴의 시청을, 공개키(KB)에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다.
이상과 같이, 피사체마다, 그 피사체를 시청할 수 있는 사용자를 제한할 수 있다.
또한, 여기서는, 사람이라고 하는 특정한 1종류의 피사체를 인식 대상으로 하여, 개체를 식별하는 것으로 하였지만, 복수 종류의 피사체를 인식 대상으로 하여, 인식 대상으로서의 피사체의 종류를 식별할 수 있다. 예를 들면, 사람과 상표를 인식 대상으로서 식별할 수 있다. 이 경우, 인식 대상으로서의 피사체의 종류마다, 즉, 사람과 상표의 각각에 대해, 상이한 공통키 및 공개키를 사용하여 암호화를 행할 수 있다.
나아가, 인식부(211)에 있어서, 인식 대상으로 하는 피사체는, 사용자의 조작에 따라 설정할 수 있다. 예를 들면, 전술한 바와 같이, 사람이라고 하는 특정한 1종류의 피사체를 인식 대상으로 하여 개체를 식별할지, 또는 사람과 상표를 인식 대상으로서 식별할지는, 사용자의 조작에 따라 설정할 수 있다.
<암호화 grid 파일>
도 59는 암호화 grid 파일의 예를 나타내는 도면이다.
도 59의 암호화 grid 파일은, 도 57의 grid 파일에 대응하는 암호화 grid 파일이다. 즉, 도 59의 암호화 grid 파일은, 도 57의 grid 파일에 저장된 분할 화상 Item#1 내지 Item#9를, 분할 화상의 단위로 암호화한 암호화 화상으로서의 암호화 분할 화상 Item#1 내지 Item#9가 저장된 암호화 grid 파일이다.
한편, 도 59에서는, iloc 박스의 내용 및 idat 박스에 대해서는, 도시를 생략하고 있지만, 도 57과 마찬가지로 되어 있다.
도 59의 암호화 grid 파일은, (평문의) 분할 화상 Item#1 내지 Item#9 대신에, 암호화 분할 화상 Item#1 내지 Item#9가, 아이템으로서, mdat 박스에 저장되어 있는 점에서, 도 57의 grid 파일과 다르다. 또한, 도 59의 암호화 grid 파일은, 암호화 분할 화상 Item#1 내지 Item#9를 얻는 암호화에 사용된 공통키가 공개키로 암호화된 암호화 암호키 Item#11 내지 Item#19가, 아이템으로서, mdat 박스에 새롭게 저장되어 있는 점에서, 도 57의 grid 파일과 다르다. 나아가, 도 59의 암호화 grid 파일은, iref 박스에, 연관 정보가 저장된 cdsc 박스가 새롭게 저장되어 있는 점에서, 도 57의 grid 파일과 다르다.
한편, 도 59의 암호화 grid 파일에서는, 도 57의 grid 파일에 비교하여, 암호화 암호키 Item#11 내지 Item#19분만큼 아이템이 증가하고 있다. 그 때문에, 도 59의 암호화 grid 파일에서는, iinf 박스 내의 아이템 수가 19로 되어 있고, 이러한 점에서, 도 59의 암호화 grid 파일은, 아이템 수가 10으로 되어 있는 도 57의 grid 파일과 다르다. 나아가, 도 59의 암호화 grid 파일은, 도 57의 grid 파일에 비교하여 증가하고 있는 암호화 암호키 Item#11 내지 Item#19분만큼, infe 박스가 새롭게 설치되어 있는 점에서, 도 57의 grid 파일과 다르다.
도 59에서는, 예를 들면, 암호화 분할 화상 Item#1 내지 Item#9으로 암호화되기 전의 분할 화상 1 내지 9 각각에 상이한 인식 대상으로서의 피사체가 찍혀 있고, 그 때문에, 분할 화상 1 내지 9는, 각각 상이한 공통키에 의해, 암호화 분할 화상 Item#1 내지 Item#9로 암호화되어 있다. 나아가, 상이한 인식 대상으로서의 피사체가 찍히는 분할 화상 1 내지 9의 암호화에 사용된 공통키는, 각각 상이한 공개키에 의해, 암호화 암호키 Item#11 내지 Item#19로 암호화되어 있다.
암호화 grid 파일에서는, 예를 들면, (제1 내지 제6) 암호화 HEIF 파일과 마찬가지로, 암호화 분할 화상 Item#i와, 그 암호화 분할 화상 Item#i를 얻는 암호화에 사용된 공통키를 공개키로 암호화한 암호화 암호키 Item#10+i를 연관시키는 연관 정보를 cdsc 박스에 저장함으로써, 암호화 분할 화상 Item#i와 암호화 암호키 Item#10+i가 연관된다.
암호화 grid 파일에 저장된 암호화 분할 화상 Item#i에 대해서는, 그 암호화 분할 화상 Item#i에 대응하는 비밀키(암호화 분할 화상 Item#i를 얻는 암호화에 사용된 공통키의 암호화에 사용된 공개키에 대응하는 비밀키)를 입수할 수 있는 경우, 파일 제어부(43)는, 암호화 분할 화상 Item#i에 연관된 암호화 암호키 Item#10+i를, 비밀키에 의해, 공통키로 복호하고, 그 복호에 의해 얻어지는 공통키에 의해, 암호화 분할 화상 Item#i를, 원래의 분할 화상 i로 복호할 수 있다. 따라서, 주 화상을 분할한 각 분할 화상 i에 대해서는, 분할 화상 i(에 찍히는 피사체)의 시청을, 암호화 분할 화상 Item#i에 대응하는 비밀키를 입수할 수 있는 사용자로 제한할 수 있다.
파일 제어부(43)는, 암호화 분할 화상 Item#i를 복호하는 경우, 참조원이 암호화 분할 화상 Item#i의 아이템 ID#i로 되어 있는 cdsc 박스의 참조처의 아이템 ID를, 암호화 분할 화상 Item#i에 대응하는 암호화 암호키 Item#10+i, 즉, 암호화 화상 Item#i의 암호화에 사용된 공통키를 암호화한 암호화 암호키 Item#10+i의 아이템 ID#10+i로서 특정하고, 그 아이템 ID#10+i에 따라, mdat 박스로부터, 암호화 암호키 Item#10+i를 취득하여 복호한다.
한편, 도 59의 암호화 grid 파일에서는, 주 화상을 구성하는 9개의 분할 화상 1 내지 9의 모두가, 암호화 분할 화상 Item#1 내지 Item#9로 암호화되어 있지만, 주 화상을 구성하는 분할 화상 1 내지 9는, 모두가 암호화될 필요는 없다. 즉, 주 화상을 구성하는 분할 화상 1 내지 9에 대해서는, 인식 대상으로서의 피사체가 찍히는 분할 화상만을 암호화할 수 있다.
도 60은 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에 행해지는 전처리의 제1 예를 설명하는 플로우차트이다.
전처리의 제1 예에서는, 스텝(S511)에 있어서, 화상 처리 시스템(200)의 디지털 카메라(210)는, 소정의 수의 공개키의 요구를 외부 계산기(101)로 송신하고, 처리는 스텝(S512)로 진행한다.
예를 들면, 인식부(211)에 있어서, 사람을 인식 대상으로 하여, 개체를 식별하는 것이 설정되어 있는 경우에는, 디지털 카메라(210)의 이른바 스루 화상을 표시하기 위해 촬상된 화상을 사용하여 얼굴 인식이 행해짐으로써, 인식 대상으로서의 사람(개체)의 수가 특정되고, 그 인식 대상으로서의 사람의 수만큼의 공개키가 요구된다.
또한, 예를 들면, 디지털 카메라(210)에서는, 얼굴을 비닉하고자 하는 사람의 정보를 사용자에게서 입력받고, 그 정보에 따라, 얼굴을 비닉하고자 하는 사람의 수만큼의 공개키가 요구된다.
스텝(S512 내지 S514)에서는, 도 38의 스텝(S212 내지 S214)과 각각 마찬가지의 처리가 행해진다. 이에 의해, 디지털 카메라(210)에서는, 필요한 수, 예를 들면, 얼굴을 비닉하고자 하는 사람의 수만큼의 공개키가 기억된다.
도 61은 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에, 그 암호화 grid 파일을 생성하는 생성 처리의 제1 예를 설명하는 플로우차트이다.
생성 처리의 제1 예에서는, 스텝(S521)에 있어서, 디지털 카메라(210)는, 예를 들면, 사용자의 조작에 따라 화상을 촬상하고, 처리는 스텝(S522)로 진행한다.
스텝(S522)에서는, 인식부(211)는, 스텝(S521)에서 촬상된 화상을 사용하여 화상 인식을 행하고, 처리는 스텝(S523)으로 진행한다.
스텝(S523)에서는, 파일 제어부(43)는, 인식부(211)의 화상 인식에서 인식된 인식 대상에 따라, 스텝(S521)의 화상 촬상에 의해 얻어지는 주 화상을 분할하도록, 부호화 제어부(42)를 제어한다. 부호화 제어부(42)는, 파일 제어부(43)의 제어에 따라, 예를 들면, 상이한 인식 대상이 상이한 분할 화상에 찍히도록(1개의 분할 화상에 1 이하의 인식 대상이 찍히도록), 주 화상을 복수의 분할 화상으로 분할하여, 파일 제어부(43)에 공급하고, 처리는 스텝(S523)으로부터 스텝(S524)로 진행한다.
스텝(S524)에서는, 파일 제어부(43)는, 인식부(211)의 화상 인식에서 인식된 인식 대상 각각에 대해, 상이한 공통키를 생성하고, 처리는 스텝(S525)로 진행한다.
스텝(S525)에서는, 파일 제어부(43)는, 주 화상을 분할한 분할 화상 중, 인식부(211)의 화상 인식에서 인식된 인식 대상이 찍히는 분할 화상을, 그 인식 대상에 대한 공통키로 암호화함으로써, 암호화 분할 화상을 생성하고, 처리는 스텝(S526)으로 진행한다.
스텝(S526)에서는, 파일 제어부(43)는, 인식부(211)의 화상 인식에서 인식된 인식 대상 각각에 대한 공통키를, 전처리의 제1 예에서 기억된 공개키로 암호화함으로써, 인식 대상마다의 암호화 암호키를 생성하고, 처리는 스텝(S527)로 진행한다. 한편, 상이한 인식 대상에 대한 공통키는, 상이한 공개키로 암호화된다.
스텝(S527)에서는, 파일 제어부(43)는, 주 화상을 분할한 분할 화상 중, 인식 대상이 찍혀 있지 않은 분할 화상을 저장함과 함께, 스텝(S525)에서 생성된 암호화 분할 화상과, 스텝(S526)에서 생성된, 그 암호화 분할 화상에 대응하는 암호화 암호키(암호화 분할 화상의 암호화에 사용된 공통키를 암호화한 암호화 암호키)를 연관시켜 저장한 암호화 grid 파일을 생성하고, 생성 처리는 종료된다.
한편, HEIF에서는, 주 화상이 동일 사이즈의 복수의 분할 화상으로 분할된다. 이 때문에, 주 화상이, 1 이하의 인식 대상이 찍히는 분할 화상으로 분할되는 경우에는, 1개의 인식 대상이, 복수의 분할 화상에 걸쳐 찍히는 경우가 있다. 1개의 인식 대상이, 복수의 분할 화상에 걸쳐 찍히는 경우, 그 복수의 분할 화상은, 동일한 공통키로 암호화할 수 있다.
또한, 여기서는, 화상 인식에서 인식된 인식 대상마다 공통키를 생성하고, 인식 대상이 찍히는 분할 화상을, 그 인식 대상에 대한 공통키로 암호화하는 것으로 하였다. 다만, 공통키는, 그 외에, 예를 들면, 화상 인식에서 인식된 인식 대상이 찍히는 분할 화상마다 생성하고, 인식 대상이 찍히는 분할 화상을, 그 분할 화상에 대한 공통키로 암호화할 수 있다.
도 62는 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에, 그 암호화 grid 파일을 재생하는 재생 처리의 예를 설명하는 플로우차트이다.
재생 처리에서는, 스텝(S531)에 있어서, 디지털 카메라(210)의 파일 제어부(43)는, 예를 들면, 사용자의 조작에 따라, 재생 대상의 암호화 grid 파일을 선택하고, 그 암호화 grid 파일로부터 재생 대상의 주 화상을 선택한다. 나아가, 파일 제어부(43)는, 재생 대상의 주 화상을 구성하는 분할 화상 및 암호화 분할 화상을 사용하여, 주 화상을 재구성하여, 액정 패널(19)에 표시시킨다.
스텝(S531)에서 재구성되는 주 화상에서는, 암호화 분할 화상의 영역은, 그 영역에 찍히는 피사체가 보이지 않는 상태로 되어 있고, 스텝(S531)에 있어서, 그러한 주 화상이 표시된 후, 처리는 스텝(S532)로 진행한다.
스텝(S532)에서는, 예를 들면, 사용자가, 스텝(S531)에서 표시된 주 화상 상의 암호화 분할 화상을 지정하면, 파일 제어부(43)는, 사용자가 지정한 암호화 분할 화상을, 주목 암호화 분할 화상으로 선택한다. 나아가, 파일 제어부(43)는, 재생 대상의 암호화 grid 파일로부터, 주목 암호화 분할 화상에 연관된 암호화 암호키(암호화 분할 화상에 대응하는 암호화 암호키)를 취득하고, 처리는 스텝(S532)로부터 스텝(S533)으로 진행한다.
스텝(S533)에서는, 파일 제어부(43)는, 예를 들면, 도 40의 스텝(S232)와 마찬가지로, 주목 암호화 분할 화상에 대응하는 비밀키(주목 암호화 분할 화상을 얻는 암호화에 사용된 공개키에 대응하는 비밀키)의 취득을 시도하고, 처리는 스텝(S534)로 진행한다.
스텝(S534)에서는, 파일 제어부(43)가, 주목 암호화 분할 화상에 대응하는 비밀키를 취득할 수 있었는지 여부를 판정한다.
스텝(S534)에 있어서, 비밀키를 취득할 수 없었다고 판정된 경우, 처리는 스텝(S535)로 진행하고, 도 40의 스텝(S234)와 마찬가지의 에러 처리가 행해지고, 재생 처리는 종료된다. 따라서, 주목 암호화 분할 화상에 대응하는 비밀키를 입수할 수 없는 사용자는, 주목 암호화 분할 화상을 복호한 분할 화상에 찍히는 주 화상을 시청할 수 없다.
한편, 스텝(S534)에 있어서, 비밀키를 취득할 수 있었다고 판정된 경우, 처리는 스텝(S536)으로 진행한다.
스텝(S536)에서는, 파일 제어부(43)는 스텝(S532)에서 취득된 암호화 암호키를, 스텝(S533)에서 취득된 비밀키에 의해, 공통키로 복호하고, 처리는 스텝(S537)로 진행한다.
스텝(S537)에서는, 파일 제어부(43)는, 주목 암호화 분할 화상을, 스텝(S536)에서 복호된 공통키에 의해, 분할 화상으로 복호하고, 처리는 스텝(S538)로 진행한다.
스텝(S538)에서는, 파일 제어부(43)는, 주목 암호화 분할 화상 대신에, 그 주목 암호화 분할 화상을 복호한 분할 화상을 사용하여, 주 화상을 재구성하여, 액정 패널(19)에 표시시키고, 재생 처리는 종료된다.
도 63은 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에 행해지는 전처리의 제2 예를 설명하는 플로우차트이다.
전처리의 제2 예에서는, 스텝(S611)에 있어서, 화상 처리 시스템(200)의 디지털 카메라(210)는, 소정의 수의 공개키의 요구를 외부 계산기(101)로 송신하고, 처리는 스텝(S612)로 진행한다.
예를 들면, 주 화상을 동일 사이즈의 분할 화상으로 분할하는 분할 방법, 즉, 예를 들면, 주 화상을 구성하는 분할 화상의 횡 및 종의 수가 미리 설정되어 있는 경우에는, 주 화상을 구성하는 분할 화상의 수만큼의 공개키가 요구된다.
스텝(S512 내지 S514)에서는, 도 38의 스텝(S212 내지 S214)와 각각 마찬가지의 처리가 행해진다. 이에 의해, 디지털 카메라(210)에서는, 필요할 수 있는 최대 수, 즉, 주 화상을 구성하는 분할 화상의 수만큼의 공개키가, 주 화상을 구성하는 분할 화상 각각에 대한 공개키로서 취득되어 기억된다.
도 64는 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에, 그 암호화 grid 파일을 생성하는 생성 처리의 제2 예를 설명하는 플로우차트이다.
생성 처리의 제2 예에서는, 스텝(S621)에 있어서, 디지털 카메라(210)는, 예를 들면, 사용자의 조작에 따라 화상을 촬상하고, 처리는 스텝(S622)로 진행한다.
스텝(S622)에서는, 파일 제어부(43)는, 스텝(S621)의 화상의 촬상에 의해 얻어지는 주 화상을 분할하도록 부호화 제어부(42)를 제어한다. 부호화 제어부(42)는, 파일 제어부(43)의 제어에 따라, 예를 들면, 주 화상을, 미리 설정된 분할 방법에 의해 동일 사이즈의 복수의 분할 화상으로 분할하여, 파일 제어부(43)에 공급하고, 처리는 스텝(S622)로부터 스텝(S623)으로 진행한다.
스텝(S623)에서는, 인식부(211)는, 스텝(S621)에서 촬상된 화상을 사용하여 화상 인식을 행하고, 처리는 스텝(S624)로 진행한다.
스텝(S624)에서는, 파일 제어부(43)는, 주 화상을 구성하는 복수의 분할 화상 중, 인식부(211)의 화상 인식에서 인식된 인식 대상이 찍히는 분할 화상 각각에 대해, 공통키를 생성하고, 처리는 스텝(S625)로 진행한다.
스텝(S625)에서는, 파일 제어부(43)는, 주 화상을 분할한 분할 화상 중, 인식부(211)의 화상 인식에서 인식된 인식 대상이 찍히는 분할 화상을, 그 분할 화상에 대한 공통키로 암호화함으로써, 암호화 분할 화상을 생성하고, 처리는 스텝(S626)으로 진행한다.
스텝(S626)에서는, 파일 제어부(43)는, 인식부(211)의 화상 인식에서 인식된 인식 대상이 찍히는 분할 화상에 대한 공통키를, 전처리의 제2 예에서 기억된, 그 분할 화상에 대한 공개키로 암호화함으로써, 인식 대상이 찍히는 분할 화상마다의 암호화 암호키를 생성하고, 처리는 스텝(S626)으로부터 스텝(S627)로 진행한다.
스텝(S627)에서는, 파일 제어부(43)는, 주 화상을 분할한 분할 화상 중, 인식 대상이 찍혀 있지 않은 분할 화상을 저장함과 함께, 스텝(S625)에서 생성된 암호화 분할 화상과, 스텝(S626)에서 생성된, 그 암호화 분할 화상에 대응하는 암호화 암호키를 연관시켜 저장한 암호화 grid 파일을 생성하고, 생성 처리는 종료된다.
생성 처리의 제2 예에서 생성된 암호화 grid 파일을 재생하는 재생 처리는, 예를 들면, 도 62와 마찬가지이기 때문에, 설명을 생략한다.
도 65는 화상 처리 시스템(200)에 의해 암호화 grid 파일이 취급되는 경우에, 그 암호화 grid 파일을 생성하는 생성 처리의 제3 예를 설명하는 플로우차트이다.
생성 처리의 제1 및 제2 예에서는, 각각, 전처리의 제1 및 제2 예에 의해 디지털 카메라(210)에 미리 기억된 공개키에 의해, 공통키를 암호화하는 것으로 하였지만, 생성 처리의 제3 예에서는, 전처리를 행하지 않고, 생성 처리에 있어서, 필요한 공개키가 취득된다.
생성 처리의 제3 예에서는, 스텝(S721 및 S722)에 있어서, 도 61의 스텝(S521 및 S522)와 마찬가지의 처리가 각각 행해지고, 처리는 스텝(S723)으로 진행한다.
스텝(S723)에서는, 디지털 카메라(210)는, 스텝(S722)에서 인식부(211)의 화상 인식에서 인식된 인식 대상 중 새로운 인식 대상에 대해, 공개키를 취득하여 기억하고, 처리는 스텝(S724)로 진행한다.
즉, 디지털 카메라(210)는, 인식부(211)의 화상 인식에서 인식된 인식 대상을 기억하고 있고, 새로운 인식 대상이 인식되면, 그 새로운 인식 대상에 대한 공개키를 취득하여 기억한다. 구체적으로는, 디지털 카메라(210)는, 새로운 인식 대상의 수만큼의 공개키의 요구를 외부 계산기(101)로 송신한다. 외부 계산기(101)는, 디지털 카메라(210)로부터의 공개키의 요구에 따라, 새로운 인식 대상에 대해, 공개키와 대응하는 비밀키를 생성하고, 공개키를 디지털 카메라(210)로 송신한다. 디지털 카메라(210)는, 외부 계산기(101)로부터의 새로운 인식 대상에 대한 공개키를 수신하여 기억한다.
스텝(S724)에서는, 파일 제어부(43)는, 인식부(211)의 화상 인식에서 인식된 인식 대상에 따라, 스텝(S721)의 화상의 촬상에 의해 얻어지는 주 화상을 분할하도록 부호화 제어부(42)를 제어한다. 부호화 제어부(42)는, 파일 제어부(43)의 제어에 따라, 예를 들면, 도 61의 스텝(S523)과 마찬가지로, 주 화상을 복수의 분할 화상으로 분할하여, 파일 제어부(43)에 공급하고, 처리는 스텝(S724)로부터 스텝(S725)로 진행한다.
스텝(S725)에서는, 파일 제어부(43)는, 인식부(211)의 화상 인식에서 인식된 인식 대상 각각에 대해 공통키를 생성하고, 처리는 스텝(S726)으로 진행한다.
스텝(S726)에서는, 파일 제어부(43)는, 주 화상을 분할한 분할 화상 중, 인식부(211)의 화상 인식에서 인식된 인식 대상이 찍히는 분할 화상을, 그 인식 대상에 대한 공통키로 암호화함으로써, 암호화 분할 화상을 생성하고, 처리는 스텝(S727)로 진행한다.
스텝(S727)에서는, 파일 제어부(43)는, 인식부(211)의 화상 인식에서 인식된 인식 대상 각각에 대한 공통키를, 그 인식 대상에 대한 공개키로 암호화함으로써, 인식 대상마다의 암호화 암호키를 생성하고, 처리는 스텝(S728)로 진행한다.
스텝(S728)에서는, 파일 제어부(43)는, 주 화상을 분할한 분할 화상 중, 인식 대상이 찍혀 있지 않은 분할 화상을 저장함과 함께, 스텝(S726)에서 생성된 암호화 분할 화상과, 스텝(S727)에서 생성된, 그 암호화 분할 화상에 대응하는 암호화 암호키를 연관시켜 저장한 암호화 grid 파일을 생성하고, 생성 처리는 종료된다.
한편, 여기서는, 화상 인식에서 인식된 인식 대상마다 공통키를 생성하고, 인식 대상이 찍히는 분할 화상을, 그 인식 대상에 대한 공통키로 암호화하는 것으로 하였다. 다만, 공통키는, 그 외에, 예를 들면, 화상 인식에서 인식된 인식 대상이 찍히는 분할 화상마다 생성하고, 인식 대상이 찍히는 분할 화상을, 그 분할 화상에 대한 공통키로 암호화할 수 있다.
<본 기술을 적용한 컴퓨터의 설명>
다음으로, 상술한 파일 제어부(43)와 다른 신호 처리부(13)(도 1)를 구성하는 각 블록의 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터 등에 인스톨된다.
도 66은 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도이다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(905)나 ROM(903)에 미리 기록해 둘 수 있다.
또는, 프로그램은, 드라이브(909)에 의해 구동되는 리무버블 기록 매체(911)에 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(911)는, 이른바 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(911)로서는, 예를 들면, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
한편, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(911)로부터 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통해, 컴퓨터에 다운로드하고, 내장한 하드 디스크(905)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들면, 다운로드 사이트로부터, 디지털 위성방송용의 인공위성을 통해, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해, 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는 CPU(Central Processing Unit)(902)를 내장하고 있고, CPU(902)에는, 버스(901)를 통해, 입출력 인터페이스(910)가 접속되어 있다.
CPU(902)는, 입출력 인터페이스(910)를 통해, 사용자에 의해, 입력부(907)가 조작 등이 됨으로써 지령이 입력되면, 그에 따라, ROM(Read Only Memory)(903)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(902)는, 하드 디스크(905)에 저장된 프로그램을, RAM(Random Access Memory)(904)에 로드하여 실행한다.
이에 의해, CPU(902)는, 상술한 플로우차트에 따른 처리, 또는 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(902)는, 그 처리 결과를, 필요에 따라, 예를 들면, 입출력 인터페이스(910)를 통해, 출력부(906)로부터 출력, 또는, 통신부(908)로부터 송신, 나아가서는, 하드 디스크(905)에 기록 등 시킨다.
한편, 입력부(907)는 키보드, 마우스, 마이크 등으로 구성된다. 또한, 출력부(906)는 LCD(Liquid Crystal Display)이나 스피커 등으로 구성된다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 플로우차트로서 기재된 순서에 따라 시계열로 행하여질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 또는 개별로 실행되는 처리(예를 들면, 병렬 처리 또는 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 나아가, 프로그램은, 먼 곳의 컴퓨터로 전송되어 실행되는 것이어도 된다.
나아가, 본 명세서에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성요소가 동일 하우징 중에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되며 네트워크를 통해 접속되어 있는 복수의 장치, 및 1개의 하우징 중에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두, 시스템이다.
한편, 본 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들면, 본 기술은 1개의 기능을 네트워크를 통해 복수의 장치에서 분담하여, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 플로우차트에서 설명한 각 스텝은, 1개의 장치로 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
나아가, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치로 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 다른 효과가 있어도 된다.
한편, 본 기술은 이하의 구성을 취할 수 있다.
<1>
화상을 제1 암호키로 암호화한 암호화 화상과,
상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키
를 연관시켜 저장한 파일을 생성하는 파일 제어부를 구비하는 파일 처리 장치.
<2>
상기 파일에, 평문의 상기 제1 암호키가 더 저장된 <1>에 기재된 파일 처리 장치.
<3>
상기 암호화 암호키는, 상기 화상과 연관되는 상기 파일 외의 외부 데이터를 특정하는 특정 정보와, 상기 제1 암호키를, 상기 제2 암호키로 암호화한 특정 정보 포함 암호키인 <1>에 기재된 파일 처리 장치.
<4>
상기 외부 데이터가 상기 제1 암호키로 암호화된 <3>에 기재된 파일 처리 장치.
<5>
상기 파일에 평문의 상기 특정 정보와 상기 제1 암호키가 더 저장된 <3> 또는 <4>에 기재된 파일 처리 장치.
<6>
상기 암호화 화상은, 상기 화상을 분할한 분할 화상을 상기 제1 암호키로 암호화한 암호화 분할 화상인 <1> 또는 <2>에 기재된 파일 처리 장치.
<7>
상기 암호화 분할 화상이, 대응하는 상기 분할 화상에 찍히는 피사체마다 다른 상기 제1 암호키로 암호화되고,
상기 분할 화상의 암호화에 사용된 상기 제1 암호키가, 상기 피사체마다 다른 상기 제2 암호키로 암호화된 <6>에 기재된 파일 처리 장치.
<8>
상기 화상이, 상기 화상에 찍히는 피사체에 따라 상기 분할 화상으로 분할된 <6> 또는 <7>에 기재된 파일 처리 장치.
<9>
상기 제1 암호키는 공통키 암호 방식의 공통키이며,
상기 제2 암호키는 공개키 암호 방식의 공개키이며,
상기 파일은 HEIF(High Efficiency Image File Format) 파일인, <1> 내지 <8> 중 어느 하나에 기재된 파일 처리 장치.
<10>
화상을 제1 암호키로 암호화한 암호화 화상과,
상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키
를 연관시켜 저장한 파일을 생성하는 단계를 포함하는 파일 처리 방법.
<11>
화상을 제1 암호키로 암호화한 암호화 화상과,
상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키
를 연관시켜 저장한 파일의 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하는 파일 제어부를 구비하는 파일 처리 장치.
<12>
상기 파일 제어부는,
상기 파일에 평문의 상기 제1 암호키가 더 저장되어 있는 경우, 상기 평문의 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하고,
상기 파일에 평문의 상기 제1 암호키가 저장되어 있지 않은 경우, 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하는 <11>에 기재된 파일 처리 장치.
<13>
상기 암호화 암호키는, 상기 화상과 연관되는 상기 파일 외의 외부 데이터를 특정하는 특정 정보와, 상기 제1 암호키를, 상기 제2 암호키로 암호화한 특정 정보 포함 암호키이며,
상기 파일 제어부는, 상기 특정 정보 포함 암호키를, 상기 특정 정보와 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 특정 정보에 의해 특정되는 상기 외부 데이터를 취득하는 <11>에 기재된 파일 처리 장치.
<14>
상기 파일 제어부는, 상기 외부 데이터가 상기 제1 암호키로 암호화되어 있는 경우, 상기 제1 암호키에 의해, 암호화되어 있는 상기 외부 데이터를 복호하는 <13>에 기재된 파일 처리 장치.
<15>
상기 파일 제어부는,
상기 파일에 평문의 상기 특정 정보와 상기 제1 암호키가 더 저장되어 있는 경우, 상기 평문의 상기 특정 정보에 의해 특정되는 상기 외부 데이터를 취득하고,
상기 파일에 평문의 상기 특정 정보와 상기 제1 암호키가 저장되어 있지 않은 경우, 상기 특정 정보 포함 암호키를, 상기 특정 정보와 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 특정 정보에 의해 특정되는 상기 외부 데이터를 취득하는 <13> 또는 <14>에 기재된 파일 처리 장치.
<16>
상기 암호화 화상은, 상기 화상을 분할한 분할 화상을 상기 제1 암호키로 암호화한 암호화 분할 화상이며,
상기 파일 제어부는, 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 분할 화상을 상기 분할 화상으로 복호하는 <11> 또는 <12>에 기재된 파일 처리 장치.
<17>
상기 암호화 분할 화상이, 대응하는 상기 분할 화상에 찍히는 피사체마다 다른 상기 제1 암호키로 암호화되고,
상기 분할 화상의 암호화에 사용된 상기 제1 암호키가, 상기 피사체마다 다른 상기 제2 암호키로 암호화되어 있고,
상기 파일 제어부는, 주목하는 주목 피사체에 대한 상기 제1 암호키를 암호화한 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 주목 피사체에 대한 상기 제1 암호키에 의해, 상기 주목 피사체가 찍히는 상기 암호화 분할 화상을 상기 분할 화상으로 복호하는 <16>에 기재된 파일 처리 장치.
<18>
상기 화상이, 상기 화상에 찍히는 피사체에 따라, 상기 분할 화상으로 분할된 <16> 또는 <17>에 기재된 파일 처리 장치.
<19>
상기 제1 암호키는 공통키 암호 방식의 공통키이며,
상기 제2 암호키는 공개키 암호 방식의 공개키이며,
상기 파일은 HEIF(High Efficiency Image File Format) 파일인 <11> 내지 <18> 중 어느 하나에 기재된 파일 처리 장치.
<20>
화상을 제1 암호키로 암호화한 암호화 화상과,
상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키
를 연관시켜 저장한 파일의 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하는 단계를 포함하는 파일 처리 방법.
10: 디지털 카메라
11: 광학계
13: 신호 처리부
14: 미디어
15, 16: 인터페이스
17: 버튼/키
18: 터치 패널
19: 액정 패널
20: 뷰 파인더
21: 인터페이스
41: 광학계/이미지 센서 제어부
42: 부호화 제어부
43: 파일 제어부
44: 미디어 제어부
45: 조작 제어부
46: 표시 제어부
47: UI 제어부
901: 버스
902: CPU
903: ROM
904: RAM
905: 하드 디스크
906: 출력부
907: 입력부
908: 통신부
909: 드라이브
910: 입출력 인터페이스
911: 리무버블 기록 매체

Claims (20)

  1. 화상을 제1 암호키로 암호화한 암호화 화상(encrypted image)과,
    상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키(encrypted encryption key)
    를 연관시켜 저장한 파일을 생성하는 파일 제어부를 구비하는, 파일 처리 장치.
  2. 제1항에 있어서,
    상기 파일에 평문(plain text)의 상기 제1 암호키가 더 저장된, 파일 처리 장치.
  3. 제1항에 있어서,
    상기 암호화 암호키는, 상기 화상과 연관되는 상기 파일 외의 외부 데이터를 특정하는 특정 정보와, 상기 제1 암호키를, 상기 제2 암호키로 암호화한 특정 정보 포함 암호키(specific-information-containing encryption key)인, 파일 처리 장치.
  4. 제3항에 있어서,
    상기 외부 데이터가 상기 제1 암호키로 암호화된, 파일 처리 장치.
  5. 제3항에 있어서,
    상기 파일에 평문의 상기 특정 정보와 상기 제1 암호키가 더 저장된, 파일 처리 장치.
  6. 제1항에 있어서,
    상기 암호화 화상은, 상기 화상을 분할한 분할 화상을 상기 제1 암호키로 암호화한 암호화 분할 화상(encrypted divisional image)인, 파일 처리 장치.
  7. 제6항에 있어서,
    상기 암호화 분할 화상이, 대응하는 상기 분할 화상에 찍히는 피사체마다 다른 상기 제1 암호키로 암호화되고,
    상기 분할 화상의 암호화에 사용된 상기 제1 암호키가, 상기 피사체마다 다른 상기 제2 암호키로 암호화된, 파일 처리 장치.
  8. 제6항에 있어서,
    상기 화상이, 상기 화상에 찍히는 피사체에 따라 상기 분할 화상으로 분할된, 파일 처리 장치.
  9. 제1항에 있어서,
    상기 제1 암호키는 공통키 암호 방식의 공통키이며,
    상기 제2 암호키는 공개키 암호 방식의 공개키이며,
    상기 파일은 HEIF(High Efficiency Image File Format) 파일인, 파일 처리 장치.
  10. 화상을 제1 암호키로 암호화한 암호화 화상과,
    상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키
    를 연관시켜 저장한 파일을 생성하는 단계를 포함하는, 파일 처리 방법.
  11. 화상을 제1 암호키로 암호화한 암호화 화상과,
    상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키
    를 연관시켜 저장한 파일의 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하는 파일 제어부를 구비하는, 파일 처리 장치.
  12. 제11항에 있어서,
    상기 파일 제어부는,
    상기 파일에 평문의 상기 제1 암호키가 더 저장되어 있는 경우, 상기 평문의 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하고,
    상기 파일에 평문의 상기 제1 암호키가 저장되어 있지 않은 경우, 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하는, 파일 처리 장치.
  13. 제11항에 있어서,
    상기 암호화 암호키는, 상기 화상과 연관되는 상기 파일 외의 외부 데이터를 특정하는 특정 정보와, 상기 제1 암호키를, 상기 제2 암호키로 암호화한 특정 정보 포함 암호키이며,
    상기 파일 제어부는, 상기 특정 정보 포함 암호키를, 상기 특정 정보와 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 특정 정보에 의해 특정되는 상기 외부 데이터를 취득하는, 파일 처리 장치.
  14. 제13항에 있어서,
    상기 파일 제어부는, 상기 외부 데이터가 상기 제1 암호키로 암호화되어 있는 경우, 상기 제1 암호키에 의해, 암호화되어 있는 상기 외부 데이터를 복호하는, 파일 처리 장치.
  15. 제13항에 있어서,
    상기 파일 제어부는,
    상기 파일에 평문의 상기 특정 정보와 상기 제1 암호키가 더 저장되어 있는 경우, 상기 평문의 상기 특정 정보에 의해 특정되는 상기 외부 데이터를 취득하고,
    상기 파일에 평문의 상기 특정 정보와 상기 제1 암호키가 저장되어 있지 않은 경우, 상기 특정 정보 포함 암호키를, 상기 특정 정보와 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 특정 정보에 의해 특정되는 상기 외부 데이터를 취득하는, 파일 처리 장치.
  16. 제11항에 있어서,
    상기 암호화 화상은, 상기 화상을 분할한 분할 화상을 상기 제1 암호키로 암호화한 암호화 분할 화상이며,
    상기 파일 제어부는, 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 분할 화상을 상기 분할 화상으로 복호하는, 파일 처리 장치.
  17. 제16항에 있어서,
    상기 암호화 분할 화상이, 대응하는 상기 분할 화상에 찍히는 피사체마다 다른 상기 제1 암호키로 암호화되고,
    상기 분할 화상의 암호화에 사용된 상기 제1 암호키가, 상기 피사체마다 다른 상기 제2 암호키로 암호화되어 있고,
    상기 파일 제어부는, 주목하는 주목 피사체에 대한 상기 제1 암호키를 암호화한 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 주목 피사체에 대한 상기 제1 암호키에 의해, 상기 주목 피사체가 찍히는 상기 암호화 분할 화상을 상기 분할 화상으로 복호하는, 파일 처리 장치.
  18. 제16항에 있어서,
    상기 화상이, 상기 화상에 찍히는 피사체에 따라 상기 분할 화상으로 분할된, 파일 처리 장치.
  19. 제11항에 있어서,
    상기 제1 암호키는 공통키 암호 방식의 공통키이며,
    상기 제2 암호키는 공개키 암호 방식의 공개키이며,
    상기 파일은 HEIF(High Efficiency Image File Format) 파일인, 파일 처리 장치.
  20. 화상을 제1 암호키로 암호화한 암호화 화상과,
    상기 제1 암호키를 제2 암호키로 암호화한 암호화 암호키
    를 연관시켜 저장한 파일의 상기 암호화 암호키를 상기 제1 암호키로 복호하고, 그 복호에 의해 얻어지는 상기 제1 암호키에 의해, 상기 암호화 화상을 상기 화상으로 복호하는 단계를 포함하는 파일 처리 방법.
KR1020227016320A 2019-11-21 2020-11-06 파일 처리 장치 및 파일 처리 방법 KR20220103109A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019210539 2019-11-21
JPJP-P-2019-210539 2019-11-21
PCT/JP2020/041495 WO2021100491A1 (ja) 2019-11-21 2020-11-06 ファイル処理装置及びファイル処理方法

Publications (1)

Publication Number Publication Date
KR20220103109A true KR20220103109A (ko) 2022-07-21

Family

ID=75981205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227016320A KR20220103109A (ko) 2019-11-21 2020-11-06 파일 처리 장치 및 파일 처리 방법

Country Status (6)

Country Link
US (1) US20230006818A1 (ko)
EP (1) EP4050841A4 (ko)
JP (1) JPWO2021100491A1 (ko)
KR (1) KR20220103109A (ko)
CN (1) CN114731276A (ko)
WO (1) WO2021100491A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020196006A1 (ko) * 2019-03-28 2020-10-01

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4442583B2 (ja) * 2006-04-24 2010-03-31 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法及び画像処理用プログラム
JP2008118606A (ja) * 2006-10-12 2008-05-22 Excellead Technology:Kk コンテンツ配信装置、コンテンツ配信システム
EP2154815A4 (en) * 2007-05-30 2012-11-14 Fujitsu Ltd IMAGE ENCRYPTION DEVICE, IMAGE KEYING DEVICE, METHOD AND PROGRAM
JP5911795B2 (ja) * 2012-12-28 2016-04-27 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像形成方法
US20150035999A1 (en) * 2013-08-05 2015-02-05 Nvidia Corporation Method for sharing digital photos securely

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: ISO/IEC 23008-12:2017, Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 12: Image File Format

Also Published As

Publication number Publication date
EP4050841A1 (en) 2022-08-31
EP4050841A4 (en) 2022-12-14
WO2021100491A1 (ja) 2021-05-27
CN114731276A (zh) 2022-07-08
JPWO2021100491A1 (ko) 2021-05-27
US20230006818A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
JP5371489B2 (ja) 画像管理装置およびその制御方法、ならびに、プログラムおよび記憶媒体
EP1920607A1 (en) Method and apparatus for encoding multimedia contents and method and system for applying encoded multimedia contents
WO2013118505A1 (ja) マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路
US20220269716A1 (en) File processing device, file processing method, and program
US20210274018A1 (en) Method and apparatus for determining supplementary parameters of electronic content
US11792281B2 (en) Method and apparatus for determining supplementary parameters of electronic content
WO2021100491A1 (ja) ファイル処理装置及びファイル処理方法
WO2020196006A1 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム
US20220309035A1 (en) File processing device, file processing method, and program
EP3975544A1 (en) File processing device, file processing method, and program
JP7218105B2 (ja) ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
US20230104640A1 (en) File processing device, file processing method, and program
EP4106325A1 (en) File processing device, file processing method, and program
WO2021117481A1 (ja) データ処理装置、データ処理方法、及び、プログラム
US20230124473A1 (en) Image processing device and image processing method
JP4700542B2 (ja) 撮像装置
JP2011035494A (ja) 映像音声管理装置、再生装置、及び映像音声管理システム
JP2006295515A (ja) 録画再生端末装置及び録画コンテンツの管理方法