JP2024044783A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2024044783A JP2024044783A JP2022150527A JP2022150527A JP2024044783A JP 2024044783 A JP2024044783 A JP 2024044783A JP 2022150527 A JP2022150527 A JP 2022150527A JP 2022150527 A JP2022150527 A JP 2022150527A JP 2024044783 A JP2024044783 A JP 2024044783A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- file
- data
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 148
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 110
- 230000008569 process Effects 0.000 claims description 89
- 238000004590 computer program Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 28
- 238000003384 imaging method Methods 0.000 description 25
- 101150056441 Pctp gene Proteins 0.000 description 22
- 238000004891 communication Methods 0.000 description 16
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】画像ファイル内に格納された優先表示対象ではないデータがプライバシー情報を含む構造であるかを識別可能とする画像処理装置、方法及びプログラムを提供する。【解決手段】方法は、複数の画像及びメタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する。該データにプライバシー情報を含めることが可能なファイル構造であると判定した場合、該データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する。【選択図】図3
Description
本発明は、画像ファイルを取り扱うための技術に関するものである。
近年、複数の静止画像や動画像を符号化し、1つの画像ファイルとして格納するファイルフォーマットが存在しており、静止画像のバーストのような画像シーケンス等、関連性の高い画像群等を容易に管理することが期待される。例えば、ISO/IEC23008-12で国際標準化されているHEIF(High Efficiency Image File Format)と呼ばれるファイル形式では、H.265(HEVC)、H.266(VVC)、AV1等のコーデックで符号化した静止画像を1つの画像ファイルとして格納できる。このようなファイルフォーマットについては、メタデータを含む規範的な構造が定められており、メタデータと格納画像を関連付ける方法、及び特定の形式のメタデータの構成が規定されている。また、メタデータの領域に記述することで、派生画像(Derived Image)と呼ばれるような、複数の静止画像で構成される1つのイメージ表現を、画像ファイルとして記録することができる。複数の画像を格納可能な構造であることから、第一優先で表示する画像を指定するための仕組みとして、メタデータとしてプライマリアイテムを指定することが可能となっている。
特許文献1は、動画の一部の空間的部分のみを抽出して再生可能なよう、動画の全体フレームを分割したタイルのそれぞれに対応するサブ映像と、これらの合成体としての全体フレームに係る全体映像と、をカプセル化するファイル構造を開示している。
一方で、画像ファイル内に格納するメタデータとして、Exifが知られている。このExifメタデータを用いて、撮影時の条件や、撮影した場所に関するGPS情報等、様々なデータを画像データに関連づけて1つのファイルに格納可能となっている。GPS情報等のデータは、画像ファイルに格納された画像を再生表示する際、通常は表示対象とならない。そのため、画像ファイルにGPS情報が付加されていることをエンドユーザが知らずに、画像ファイルをインターネット等に公開した際に、意図せずプライバシー情報が流出してしまう、ということが起こり得る。このような課題に対し、特許文献2では、インターネット等の通信網経由で撮影画像ファイルを転送する場合に、画像ファイルに含まれる、画像情報以外の付加情報を自動削除する。これにより、必要最小限の画像情報のみを有する画像ファイルを転送し、撮影情報、個人情報の流出を防止する。
特許文献1に記載のファイルは、1つのファイル内に様々なメタデータや複数の画像データを格納可能である。そのため、特許文献2のような方法で画像情報以外の付加情報を自動削除するようにしても、必ずしもプライバシーを保護できているとは限らない。すなわち、通常は画像ファイルを再生表示した際に優先表示対象とならない画像データ自体や、表示対象とならない画像部分、メタデータ等にプライバシー情報が含まれていることが考えられる。本発明では、画像ファイル内に格納された優先表示対象ではないデータがプライバシー情報を含む構造であるかを識別可能とするための技術を提供する。
本発明の一様態は、複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置であって、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御手段とを備えることを特徴とする。
本発明の構成によれば、画像ファイル内に格納された優先表示対象ではないデータがプライバシー情報を含む構造であるかを識別可能とするための技術を提供することができる。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
先ず、画像処理装置として機能する本実施形態に係る画像ファイル生成装置100のハードウェア構成例について、図1のブロック図を用いて説明する。画像ファイル生成装置100には、カメラ付きのノート型/デスクトップ型のPC(パーソナルコンピュータ)、スマートフォン、タブレット端末装置、などのコンピュータ装置が適用可能である。
先ず、画像処理装置として機能する本実施形態に係る画像ファイル生成装置100のハードウェア構成例について、図1のブロック図を用いて説明する。画像ファイル生成装置100には、カメラ付きのノート型/デスクトップ型のPC(パーソナルコンピュータ)、スマートフォン、タブレット端末装置、などのコンピュータ装置が適用可能である。
撮像部104は、レンズなどの光学系、CMOSセンサやCCDなどの撮像素子、該撮像素子からの出力信号に基づいて撮像画像を生成する画像処理回路、などを含む。撮像素子は、光学系を介して該撮像素子の撮像面に結像された光学像を光電変換することで、該光学像に対応するアナログ画像信号を出力する。画像処理回路は、該アナログ画像信号に対するノイズ除去やゲイン処理やデモザイク処理などの処理を行う回路、該アナログ画像信号をA/D変換してディジタル画像信号に変換するA/D変換回路、等を含む。そして、これらの回路により、上記のアナログ画像信号からディジタル画像信号(撮像画像(画像データ))を生成し、該生成した撮像画像を出力する。
撮像部104が動画像を撮像した場合、該撮像部104からは該動画像における各フレームの画像が撮像画像として出力され、該撮像部104が定期的若しくは不定期的に静止画像を撮像する場合、該撮像部104からは該静止画像が撮像画像として出力される。
ROM102には、画像ファイル生成装置100の設定データ、画像ファイル生成装置100の起動に係るコンピュータプログラムやデータ、画像ファイル生成装置100の基本動作に係るコンピュータプログラムやデータ、などが格納されている。
RAM103は、撮像部104から取得した撮像画像を格納するためのエリア、ROM102や不揮発性メモリ110からロードされたコンピュータプログラムやデータを格納するためのエリア、を有する。またRAM103は、画像処理部105から出力されたデータを格納するためのエリア、通信部108を介して外部から受信したデータを格納するためのエリア、を有する。また、RAM103は、CPU101や画像処理部105が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM103は、各種のエリアを適宜提供することができる。
CPU101は、ROM102やRAM103に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU101は、画像ファイル生成装置100全体の動作制御を行うと共に、画像ファイル生成装置100が行う処理として説明する各種の処理を実行もしくは制御する。
操作入力部107は、キーボード、マウス、タッチパネル等のユーザインターフェースであり、ユーザが操作することで各種の指示をCPU101に対して入力することができる。
不揮発性メモリ110は、SDカード、コンパクトフラッシュ(登録商標)、フラッシュメモリ等の、記憶容量が比較的大きい不揮発性の記憶装置(大容量情報記憶装置)である。不揮発性メモリ110には、OS(オペレーティングシステム)、画像ファイル生成装置100が行う処理として説明する各種の処理をCPU101に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。また、不揮発性メモリ110には、画像ファイル生成装置100によって生成された画像ファイルや、通信部108を介して外部装置から受信した画像ファイル等を保存するようにしても良い。
不揮発性メモリ110に保存されているコンピュータプログラムやデータは、CPU101による制御に従って適宜RAM103にロードされ、CPU101による処理対象となる。
画像処理部105は、撮像画像に対する各種の画像処理を実行する。画像処理は、例えば、ガンマ変換、色空間変換、ホワイトバランス、露出補正等の現像に係る処理を含む。また画像処理部105は、撮像画像の解析処理や2以上の撮像画像を合成する合成処理を実行可能であってもよい。本実施形態では説明を簡単にするために、1つの画像処理部105というハードウェアにおいて、これらの画像処理が実行されるものとして説明するが、これらの処理は一部または全部が異なるハードウェアにおいて実行されても良い。
符号化/復号部111は、H.265(HEVC)、H.264(AVC)、H.266(VVC)、AV1、JPEGなどに従う動画像や生成画像のコーデックである。符号化/復号部111は、画像ファイル生成装置100が扱う静止画像や動画像の符号化や復号を実行する。
処理部112は、画像符号化/復号部111が静止画像や動画像を符号化することで生成した符号化データを取得し、該符号化データを用いて、所定のファイルフォーマット(例えばHEIF)に準拠した画像ファイルを生成する。具体的には、処理部112は、静止画像や画像シーケンス等を含む画像ファイルに格納される符号化データの解析処理を実行し、静止画像や画像シーケンスに関する情報の生成や、符号化データに関するパラメータ情報の取得を行う。そして、処理部112は、これらの情報をメタデータとして生成し、該生成したメタデータを、符号化データと共に画像ファイルに格納する。なお、処理部112は、HEIFに限らず、例えば、MPEGにおいて規定される他の動画ファイルフォーマットやJPEG等のフォーマットに準拠した画像ファイルを生成することもできる。画像ファイルに含める符号化データは、RAM103や不揮発性メモリ110などに予め格納された符号化データであっても良いし、通信部108を介して外部装置から受信してRAM103や不揮発性メモリ110に格納された符号化データであっても良い。
また、処理部112は、画像ファイルに格納されたメタデータを解析して、静止画像や画像シーケンスの再生時のメタデータ処理を行う。また処理部112は、画像ファイルに格納する画像の領域を識別する情報の生成や、領域情報と画像とを関連づけるメタデータの生成等を行う。また処理部112は、画像や領域情報に関連づける注釈情報に関するメタデータの生成を行う。また処理部112は、静止画像や画像シーケンスの再生時には、これらメタデータの解析処理を行う。
生成部113は、画像ファイルの編集処理、再生処理において、処理部112が生成したメタデータに基づいて、UI表示するプライバシー情報を含むことが可能なファイル構造であることを示す識別情報の生成を行う。ここで、「UI表示」とは、UI(ユーザインターフェース)に表示することを意味する。識別情報の生成に際しては、判定部114によるメタデータの構造解析処理の結果が用いられるものであってもよい。
判定部114は、格納対象として取得された「処理部112により構成されたメタデータ」を解析し、プライバシー情報を格納可能な構造として構成されたか否かを判定する。
表示部106は、液晶ディスプレイ(LCD)やタッチパネル画面等の、画像ファイル生成装置100と一体となって構成される、あるいは画像ファイル生成装置100に着脱可能に設けられた表示装置である。表示部106は、撮像部104が撮像した撮像画像をリアルタイムで表示するライブビュー表示や、各種設定等の情報/GUI(Graphical User Interface)の表示を行う装置として使用される。また、表示部106は、生成された画像ファイルを再生した際の画像表示を行う装置としても使用される。つまり表示部106はCPU101による処理/制御結果を画像や文字などでもって表示する装置である。なお、表示部106は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。
また、表示部106がタッチパネルである態様では、操作入力部107は、タッチパネルセンサを含むものであってもよい。この場合、操作入力部107は、タッチパネルセンサに対する操作入力がなされたことを検出すると、その旨を示す制御信号をCPU101に出力する。
通信部108は、外部装置との通信インタフェースである。通信部108は、例えばネットワークに接続して伝送フレームの送受信を行うネットワークインタフェースであってもよい。この場合、通信部108は、例えば、イーサネット(登録商標)による有線LAN接続が可能なPHYおよびMAC(伝送メディア制御処理)であってもよい。あるいは、通信部108が無線LANに接続可能な場合、通信部108は、IEEE802.11a/b/g/n/ac/ax等の無線LAN制御を実行するコントローラ、RF回路、アンテナを含むものであってよい。
撮像部104、ROM102、RAM103、CPU101、操作入力部107、不揮発性メモリ110、画像処理部105、表示部106、通信部108、は何れもシステムバス109に接続されている。
なお、本実施形態では、図1に示した機能部は、回路やプロセッサを含むハードウェアで実装するものとして説明するが、これに限られるものではない。例えば、図1に示した機能部のうち一部(例えば、画像処理部105)をソフトウェア(コンピュータプログラム)で実装しても良い。この場合、このようなコンピュータプログラムは不揮発性メモリ110に保存され、必要に応じてRAM103にロードされ、CPU101による処理対象となる。
また、図1に示した機能部のうち幾つかの機能部をまとめた1つの機能部をハードウェアまたはソフトウェアで実装するようにしても良いし、1つの機能部を機能別に分割したそれぞれの機能部をハードウェアまたはソフトウェアで実装するようにしても良い。
また、図1では、画像ファイル生成装置100は撮像部104を有しているが、撮像部104は外付けの装置であっても良い。例えば、撮像部104と画像ファイル生成装置100とを有線/無線のネットワークを介して接続し、画像ファイル生成装置100は撮像部104により生成された撮像画像を該ネットワークを介して取得するようにしても良い。
次に、画像ファイル生成装置100による画像ファイルの生成について説明する。上述したように、画像ファイル生成装置100が生成する画像ファイルは、複数の撮像画像を格納可能であり、これに付帯する情報を含んで構成される。以下では、画像ファイルのファイルフォーマットとしてHEIFを採用し、これに準拠した画像ファイル(HEIFファイル)を生成するべく、画像ファイル生成装置100の各機能部が必要な情報を導出し、付帯するメタデータを構成する態様について説明する。しかしながら、これに限られるものではなく、生成する画像ファイルに採用されるファイルフォーマットは、例えばMPEGにおいて規定される他の動画ファイルフォーマットやJPEG等のフォーマットであってもよい。
先ず、HEIFファイルのファイル構造について、図2を用いて説明する。図2に示されるように、HEIFファイル200は、概して以下の5つのボックス(格納領域)を有する。
1つ目のボックス(格納領域)は、FileTypeBox(‘ftyp’ボックス)201である。‘ftyp’ボックス201には、HEIFファイル200のリーダ(Reader)が該HEIFファイル200の仕様を識別するためのブランド名を格納する。
2つ目のボックス(格納領域)は、PrivacyConsiderationTypeBox(‘pctp’ボックス)202である。‘pctp’ボックス202は、HEIFファイル200のメタデータ構造から第一優先での表示対象とはならない画像やメタデータにプライバシー情報を格納可能な構造であるか否かを、構造種別毎に識別可能とするボックスである。‘pctp’ボックス202の構成の詳細については後述する。
3つ目のボックス(格納領域)は、MetaBox(‘meta’ボックス)203である。図2に示す如く、‘meta’ボックス203には、撮像画像に係る複数種類の情報がそれぞれ異なるボックスに分離して格納される。
4つ目のボックス(格納領域)は、MovieBox(‘moov’ボックス)204である。‘moov’ボックス204には、HEIFファイル200に格納された動画像や音声などのプレゼンテーションに関する各種情報を記述するためのメタデータが格納される。なお、格納されるデータが画像シーケンスの場合、動画像に関する各種情報を記述する仕組みを用いてメタデータを格納するが、動画像と異なり、時限情報についてはオプショナルな情報となる。また、HEIFファイル200に動画像や音声などのシーケンスを含めない場合は、MovieBox(‘moov’ボックス)204はHEIFファイル200には格納されない。
5つ目のボックス(格納領域)は、MediaDataBox(‘mdat’ボックス)205である。‘mdat’ボックス205には、符号化データ(画像データ)241~242が符号化ビットストリームとして格納される。また、‘mdat’ボックス205には、画像内の領域を示す領域情報データ243が格納される。さらに、‘mdat’ボックス205には、撮像部104による撮像時の情報等を格納するExifデータブロック244が格納される。本実施形態では、符号化データ241~242、領域情報データ243、Exifデータブロック244を格納する領域として‘mdat’ボックス205を採用する態様を説明する。しかし、該領域として、例えば‘idat’ボックスや‘imda’ボックス等のボックス構造を採用するものであってもよい。なお、以下の説明において、‘mdat’ボックス205に格納される符号化データ241~242は、「画像データ」または「符号化データ」として適宜文言を異ならせて言及する。
HandlerReferenceBox(‘hdlr’ボックス)211は、‘meta’ボックス203の構造を解析するためのハンドラタイプの宣言を格納する。本実施形態に係る画像ファイル生成装置100で生成されるHEIFファイル200では、‘meta’ボックス203に格納されるアンタイムドデータを記述するメタデータは静止画像を対象とする。そのため‘hdlr’ボックス211には静止画像を対象とすることを識別するためハンドラタイプ名‘pict’がセットされるものとする。
PrimaryItemBox(‘pitm’ボックス)212は、HEIFファイル200が格納する画像アイテムのうちの代表アイテムとする符号化データの識別子(アイテムID)を指定する。第一優先のアイテムに指定された画像アイテムが通常表示対象となる画像として再生表示が行われる。
ItemLocationBox(‘iloc’ボックス)213は、HEIFファイル200における画像アイテムをはじめとする、各情報アイテムの格納場所を示す情報を格納する。‘iloc’ボックス213は、代表的には、画像アイテムの格納場所を、HEIFファイル200の先頭からのバイトオフセット及び該先頭からのデータ長として記述する。即ち、‘iloc’ボックス213の情報により、‘mdat’ボックス205に格納される符号化データ241~242、領域情報データ243、Exifデータブロックの位置を特定することができる。
ItemInfoBox(‘iinf’ボックス)214は、HEIFファイル200に含まれる全アイテムについて、アイテムID、アイテム種別を示すアイテムタイプ等の基本的な情報(アイテム情報)を定義する。アイテム情報には符号化画像アイテムや派生画像アイテムなどの画像アイテムだけでなく、画像内の領域を示す領域アイテムやExifデータブロックを示すExif情報アイテムなどが指定される。
ItemReferenceBox(‘iref’ボックス)215は、HEIFファイル200に含まれるアイテム間の関連付けを記述する情報を格納する。‘iref’ボックス215は、画像アイテムが撮像画像である態様では、画像アイテムとその撮像情報(Exifデータ等)のアイテムの関連付けを記述するために使用される。また複数の画像アイテムが派生画像の関係にある態様では、該画像アイテム間の関連付けを記述するために使用される。画像アイテム内の領域を示す態様では、該画像アイテムと領域アイテムとの間の関連付けを記述するために使用される。それぞれのアイテムの関連づけはアイテム参照タイプが指定され、アイテム参照の種別が識別可能となる。また、from_item_ID及びto_item_IDにiinfボックスで指定したアイテムIDを記述することで各アイテム間の参照関係を記述する。
ItemPropertiesBox(‘iprp’ボックス)216は、HEIFファイル200に含まれる情報アイテムについての各種属性情報(アイテムプロパティ)を格納する。より詳しくは、‘iprp’ボックス216は、属性情報を記述するItemPropertyContainerBox(‘ipco’ボックス)221と、属性情報と各アイテムとの関連付けを示すItemPropertyAssociation(‘ipma’ボックス)ボックス222と、を含む。
‘ipco’ボックス221は、例えば、HEVC画像アイテムの復号に必要となるHEVCパラメータセットを示すエントリデータ、画像アイテムの幅と高さをピクセル単位で示すエントリデータ等の属性情報を格納するものであってよい。また、アイテムプロパティとして任意のテキスト情報を指定可能な属性情報も指定可能である。
図7に示すAccessibilityTextProperty(‘altt’)は、任意のテキスト情報を格納可能な属性情報の一例である。図7に示すAccessibilityTextPropertyには、定義701に示す4文字コード‘altt‘が含まれ、この4文字コードを用いてAccessibilityTextPropertyを識別する。alttプロパティはalt_text702を含み、HTMLの代替テキストと同様に、画像を表示できない場合に画像の代替テキストとして使用するのに適した文字列が含まれる。alttプロパティはさらにalt_lang703を含み、代替テキストで使用される言語がIETF RFC5646に準拠した言語タグ文字列で表される。同じアイテムに複数のalttプロパティが関連づけられている場合、それらは異なる言語で指定された選択肢を表し、リーダは適切なものを選択可能である。同じalt_lang値を持つプロパティは、最大で1つ同じアイテムに関連づけられる。
また、図8に示すUserDescriptionProperty(‘udes’)も同様に、任意のテキスト情報を格納可能な属性情報の一例である。図8に示すUserDescriptionPropertyには、定義801に示す4文字コード‘udes‘が含まれ、この4文字コードを用いてUserDescriptionPropertyを識別する。udesプロパティはユーザ定義の名称情報(name)803、注釈記述情報(description)804、及びタグ情報(tags)805を含み、アイテムまたはエンティティグループに関連付け可能とする。udesプロパティはさらに名称情報(lang)802を含み、udesプロパティで使用される言語がIETF RFC5646に準拠した言語タグ文字列で表される。同じアイテムまたはエンティティグループに複数のudesプロパティが関連づけられている場合、それらは異なる言語で指定された選択肢を表し、リーダは適切なものを選択可能である。ここで、名称情報803は、udesプロパティが関連付けられたアイテムまたはエンティティグループの名称を、人間が可読な態様で示す情報である。また、注釈記述情報804は、udesプロパティが関連付けられたアイテムまたはエンティティグループについての説明、あるいは注釈として提示する文章を、人間が可読な態様で示す情報である。また、タグ情報805は、udesプロパティが関連付けられたアイテムまたはエンティティグループに対応付けられる、ユーザ定義または自動で割り当てられるタグを示す情報であり、例えばカンマ区切りで複数のタグを含むことが可能に構成される。
図7、図8に示したアイテムプロパティは任意のテキスト情報を含むことが可能なことから、その記述内容によってはプライバシーを含むことが可能なメタデータとなっている。つまりこのような任意のテキスト情報を含むプロパティがHEIFファイル内に含まれ、アイテムプロパティの中にプライバシーを含む記述がされていることがあり得る。また、アイテムプロパティは通常表示を意図したデータではない。そのため、HEIFファイル内にこのようなアイテムプロパティが含まれていても、その記述が含まれていることを認識せずに転送や、Web等で公開してしまう恐れのあるデータとして含まれる可能性がある。
また、アイテムプロパティとして指定可能な属性情報として画像を出力する際に画像を変換して表示することを意図したTransfomativePropertyを指定することも可能である。これは例えば、画像を回転して表示させるための回転情報を示したデータや、画像をクロップ(切り抜いて)表示させるための切り抜き情報を示したデータ等を格納するものであってもよい。
図2に戻って、‘ipma’ボックス222は、情報アイテムのID(アイテムID)を用いて、アイテムのそれぞれについて、‘ipco’ボックス221に格納された属性情報との関連付けを示すエントリデータを格納する。なお、Exifデータブロック情報アイテムなど、アイテムに関連づける属性情報がない場合は関連付けを示すエントリデータは格納しない。
ItemDataBox(‘idat’ボックス)223は、HEIFファイル200に含まれるアイテムに関するデータを格納する。‘idat’ボックス223には、例えば派生画像アイテムを記述するためのデータ構造が格納される。ここで、‘idat’ボックス223に格納され得る派生画像アイテムのデータ構造の一例を図9及び図10を用いて説明する。
図9に示すデータ構造は、グリッド派生画像を記述するためのデータ構造である。iinfボックスで示したアイテムタイプが‘grid’のアイテムは、再構成された画像が所定のグリッド順で1つ以上の入力画像から構成される派生画像アイテムを定義する。派生画像アイテムの入力画像は、irefボックスを用いてdimg参照タイプのアイテムリファレンスが指定され、to_item_IDに指定した画像アイテムIDが入力画像として派生画像を構成する。すべての入力画像は同じ幅、高さで構成される。グリッド派生画像アイテムデータは図9に示す如く、該データ構造で扱うパラメータのサイズ(FieldLength)を示すデータサイズ情報901を含む。本実施形態では、グリッド派生画像データ構造で扱うサイズとして16bitと32bitを切り替え可能に構成されており、flagsの値に基づいていずれかのデータサイズに決定される。また、グリッド派生画像アイテムデータは、派生画像への入力画像の行数を示すrow_minus_one902と、1行あたりの入力画像の数(列数)を示すcolumns_minus_one903と、を含む。row_minus_one902およびcolumns_minus_one903のそれぞれの値には、行数または列数より1つ少ない値が指定される。なお、アイテム参照として記述するto_item_IDに指定する画像アイテムIDの個数は、row×columnsの数と一致しなければならない。入力イメージは、irefボックスでアイテム参照指定された順に入力され、最初に一番上の行の左から右の順に入力され、次に2番目の行の左から右と以降順に入力される。さらに、グリッド派生画像アイテムデータは、グリッド派生画像として出力する画像の幅および高さをそれぞれ示すoutput_width904およびoutput_height905を含む。入力画像の幅×columnsがoutput_width以上である場合、入力画像の高さ×rowsがoutput_height以上である場合は、グリッドとして構成したすべての画像の右及び下の画像はoutput_widhth及びoutput_heightにトリミングして画像を出力する。このように、グリッド派生画像は、たとえ第一優先画像(最も優先的に表示される画像)としてpitmにアイテムIDが指定されていたとしても、そのインプットとなる画像のすべてのピクセル情報を表示対象としない可能性がある。つまり、output_width及びoutput_heightでトリミングして画像を出力することから、その構成方法によっては右及び下の画像の一部は出力対象とならない。この出力対象とならない右及び下の画像部分内にプライバシー情報が写り込んでいたとしても、通常表示対象とならないことから、ユーザは容易に気付くことはできない。つまり、画像部分内にプライバシー情報が含まれていたとしても、そのことを認識しないまま、転送や、Web等で公開してしまう恐れのあるデータとして含まれる可能性がある。
また、図10に示すデータ構造は、オーバーレイ派生画像を記述するためのデータ構造である。iinfボックスで示したアイテムタイプが‘iovl’のアイテムは1つ以上の入力画像をより大きなキャンバス内の指定されたレイヤ順序でオーバーレイすることによって構成される派生画像アイテムを定義する。派生画像アイテムの入力画像は、irefボックスを用いてdimg参照タイプのアイテムリファレンスが指定され、to_item_IDに指定した画像アイテムIDが入力画像として派生画像を構成する。入力画像としてアイテムリファレンスに最初に指定された画像が一番下のレイヤに、最後に指定された画像が一番上のレイヤに出力される。オーバーレイ派生画像データは、図10に示す如く、入力イメージのピクセルが特定のピクセル位置にない場合に使用される、チャンネルごとのピクセル値示すcanvas_fill_value1001を含む。塗りつぶしの値は、RGB値及び透明度を示すAで指定する。また、オーバーレイ派生画像データは、該オーバーレイ派生画像データ構造で扱うパラメータのサイズ(FieldLength)を示すデータサイズ情報1002を含む。本実施形態では、オーバーレイ派生画像データ構造で扱うサイズとして16bitと32bitを切り替え可能に構成されており、flagsの値に基づいていずれかのデータサイズに決定される。さらにオーバーレイ派生画像データは、オーバーレイ派生画像として出力するキャンバスとなる画像の幅および高さのサイズをのそれぞれ示すoutput_width1003およびoutput_height1004を含む。また、オーバーレイ派生画像データは、キャンバスの左上隅からの入力画像が配置されるオフセットを指定するhorizontal_offset1005及びvertical_offset1006を含む。入力画像のオフセット及び入力画像のサイズにより、キャンバスサイズを超えるピクセル位置に配置される画像部分は再構成されたオーバーレイ派生画像には含まれない。このように、オーバーレイ派生画像は、たとえ第一優先画像としてpitmにアイテムIDが指定されていたとしても、そのインプットとなる画像のすべてのピクセル情報を表示対象としない可能性がある。つまり、output_width及びoutput_heightで指定したキャンバスサイズを超えるピクセル位置に配置される画像部分は派生画像に含まれないことから、その構成方法によっては画像の一部は出力対象とならない。また、オーバーレイ表示する際に別のインプット画像によってオーバーレイ表示されるインプット画像の一部のピクセルについても出力対象とはならない。この出力対象とならない画像部分内にプライバシー情報が写り込んでいたとしても通常表示対象とならないことから、ユーザーは容易に気付くことはできない。つまり、画像部分内にプライバシー情報が含まれていたとしても、そのことを認識しないまま、転送や、Web等で公開してしまう恐れのあるデータとして含まれる可能性がある。
図2に戻って、MoovieHeaderBox(‘mvhd’ボックス)231は、HEIFファイル200に含まれるプレゼンテーションについて、moovボックス内のメディアに依存しないプレゼンテーション全体に関連する全体的な情報を格納する。
TrackBox(‘trak’ボックス)232は、HEIFファイル200に含まれるプレゼンテーションの単一トラック用のコンテナボックスである。プレゼンテーションは1つ以上のトラックで構成され、各トラックは、独自の時間的および空間的情報を持つ。
TrackHeaderBox(‘tkhd’ボックス)233は、各トラックに1つ格納されるボックスで、トラックを識別するtrack_IDやトラックの特性情報を格納する。
また各トラックには、関連するMediaBox(‘mdia’ボックス)234が含まれ、MediaHeaderBox(‘mdhd’ボックス)235、HandlerReferenceBox(‘hdlr’ボックス)236、MediaInformationBox(‘minf’ボックス)237などのメディアデータに関する情報を格納する。HandlerReferenceBox(‘hdlr’)236には、Mediaボックスの構造を解析するためのハンドラタイプの宣言を格納する。動画像を示す場合‘vide’が、音声を示す場合‘soun’が、画像のシーケンスを示す場合‘pict’が、ハンドラタイプとして指定される。
次に、‘mdat’ボックス205に格納される領域情報データ(RegionItem)243のデータ構造について、図11にその定義を示す。なお、以下の説明において、‘mdat’ボックス205に格納される領域情報データ243は、「領域アイテム」または「Region item」として適宜文言を異ならせて言及する場合がある。iinfボックスで示したアイテムタイプが‘rgan’のアイテムは、画像内の領域を識別することを意図した領域アイテムを定義する。領域情報データと符号化データとの関連づけは、irefボックスを用いてcdsc参照タイプのアイテムリファレンスが指定され、画像内の領域を定義する。図11に示す如く、1つの領域情報データ243は、該データ構造で扱うパラメータのサイズ(field_size)を示すデータサイズ情報1101を含む。本実施形態では、領域情報データ243内のデータ構造で扱うサイズとして16bitと32bitを切り替え可能に構成されており、flagsの値に基づいていずれかのデータサイズに決定される。
加えて、領域情報データ243は、領域情報データ243に係る領域を定義するための参照空間の2次元サイズを示した空間サイズ情報1102を含む。HEIFファイルが複数種類の画像サイズの画像データを格納可能であり、また編集によりその画像サイズを変更可能であることを踏まえると、格納された画像データの画像サイズのそれぞれについて領域情報データ243を格納することは効率的でない。このため、本実施形態では、領域情報データ243が対象とする画像データサイズを全体に対して割り当てる参照空間を導入し、該参照空間について領域の各種情報を定めることで、画像データの画像サイズに依らない領域定義を相対的に行う。例えば、参照空間を1024画素×512画素とする態様において、同画像サイズの画像データについて特定される領域は、後述の領域形状情報1104で示される位置と幅及び高さと等しい値で該画像データ中に定められる。一方、2048画素×1024画素の画像データについて特定される領域は、後述の領域形状情報1104で示される位置と幅及び高さを2倍にした値で、該画像データ中に定められる。即ち、領域情報データ243は、領域を画像データの全体における相対的な位置・形状として定義するものであり、空間サイズ情報1102は、該全体に対して割り当てる参照空間の2次元サイズを定める。図11に示されるように、空間サイズ情報1102は、参照空間の幅を示すreference_widthと、参照空間の高さを示すreference_heightと、を含む。
また、領域情報データ243は、領域情報データ243により定義される領域の数(region_count)を示す領域数情報1103と、定義される領域のそれぞれについて領域の形状(geometry_type)を示す領域形状情報1104と、を含む。本実施形態の領域情報データ243では、領域の形状として、点(point)、矩形(rectangle)、楕円(ellipse)、多角形(polygon)、連続直線(polyline)、参照マスク(referenced mask)及びインラインマスク(inline mask)が選択可能に構成されており、geometry_typeの値によって形状が特定される。なお、本実施形態では、領域として7種類の2次元形状を選択可能であるものとして説明するが、これに限られるものではない。画像データ中の任意の空間を特定可能であれば、例えば、線(line)や三角形(triangle)、自由曲線(free curve)や3D形状等を領域形状情報1104に用いてもよいことは容易に理解されよう。ここで、領域形状情報1104は、形状がいずれであるかによって領域特定の具体的なパラメータの記述方法が異なる。
形状が点(geometry_typeが0)である場合、領域は、参照空間における該点の座標を示す位置情報(x、y)1105で特定される。
また、形状が矩形(geometry_typeが1)である場合、領域は、参照空間における該矩形の左上の点(基準点)の座標を示す位置情報(x、y)1106と、該矩形の幅(width)及び高さ(height)を示す形状定義情報1107と、で特定される。
また、形状が楕円(geometry_typeが2)である場合、領域は、参照空間における該楕円の中心の座標を示す位置情報(x、y)1108と、該楕円のx軸方向の半径(radius_x)及びy軸方向の半径(radius_y)の長さを示す形状定義情報1109と、で特定される。
また、形状が多角形(geometry_typeが3)及び連続直線(geometry_typeが6)である場合、領域は、参照空間における該多角形の頂点の数を示す頂点数情報1110と、各頂点の座標を示す位置情報(px、py)1111と、で特定される。
また、形状が参照マスク(geometry_typeが4)である場合、マスク画像アイテムとして定義された別のアイテムをirefボックスの参照タイプmaskを用いて符号化画像データと関連づけられる。そして領域は、参照空間における矩形の左上の点(基準点)の座標を示す位置情報(x、y)1112と、該参照マスクの幅(width)及び高さ(height)を示す形状定義情報1113と、で特定される。なお、幅及び高さに0が指定された場合、サイズ情報は参照マスク画像アイテムにアイテムプロパティとしてサイズ情報を関連づけるものとする。
また、形状がインラインマスク(geometry_typeが5)である場合、data1118に格納されたマスクイメージ内の値が1であるピクセルに対応する画像データ部分が領域を示す。領域は、参照空間における矩形の左上の点(基準点)の座標を示す位置情報(x、y)1114と、該参照マスクの幅(width)及び高さ(height)を示す形状定義情報1115と、で特定される。
加えて、領域情報データ243には、データに含まれるマスクに適用されるコーディング方法を示すmask_coding_method1116が含まれる。mask_coding_method1116の値が0の場合、マスクに符号化は適応されず、mask_coding_method1116の値が1の場合、RFC1951で定義されるdeflate圧縮が適応されていることを示す。他の値は予約され規定されていない。
mask_coding_parameters1117は、符号化されたマスクデータを正常に処理するために必要な追加の符号化パラメータを示す。mask_coding_method1116の値が1の場合、mask_coding_parameters1117は、コーディングされたマスク配列データのバイト数を示す。mask_coding_parametersの値は、mask_coding_methodの値が1より大きい場合に予約される。
data1118には、インラインマスクのピクセルを含むマスクのコード化された表現または圧縮されていない表現がラスタスキャン順に含まれる。各ピクセルは1ビットで表され、8ピクセルが1バイトにパックされる。バイトパッキングはビッグエンディアン順である。マスクの幅が8ピクセルの倍数でない場合は、各ラインの最後にパディングを入れないものとする。最後のデータバイトだけが0に設定されたビットでパディングされる。
次に、HEIFファイル200のファイルレベルに格納されるPrivacyConsiderationTypeBox(‘pctp’ボックス)202のデータ構造について、図6にその定義を示す。
定義601に示されるように、PrivacyConsiderationTypeBoxは、Boxタイプ‘pctp‘を含み、4文字コード’pctp‘で識別可能なBoxである。
定義602のentry_countは、HEIFファイル200に含まれるメタデータ構造から第一優先での表示対象とはならない画像(非第一優先画像)やメタデータにプライバシー情報を格納可能な構造の種別の数を示す値を含む。なお、いずれの種別のプライバシー情報をも格納可能な構造ではない場合、entry_countに0を指定するようにしてもよい。これにより、プライバシー情報を含めることが可能な構造であるか否かを判定済みのファイルであることを示すことができる。
定義603のprivacy_consideration_typeは、プライバシー情報を格納可能な構造の種別を示すタイプ情報である。
定義604は、プライバシー情報を格納可能な構造ではあるが、プライバシー情報が含まれないことが判定済みのデータであることを示す。
定義603及び定義604は、定義602のentry_countに示した数の分の識別情報を含む。定義603のprivacy_consideration_typeには、構造の種別を示す値が格納される。
例えば、タイプが1の場合、第一優先画像であるpitmにグリッド派生画像アイテムが指定されており、出力対象とならない右及び下の画像部分が存在することを示す。つまり、入力画像の一部がトリミングされて表示されない部分を含む構成であることを示すパラメータである。なお、グリッド派生画像がpitmに指定されていても、派生画像出力にあたって、入力画像の一部がトリミングされない場合、本タイプには該当しない。つまり入力画像の幅×columnsがoutput_widthと一致し、かつ入力画像の高さ×rowsがoutput_heightに一致する場合である。
タイプが2の場合は、第一優先画像であるpitmにオーバーレイ派生画像が指定され、キャンバス外に配置される入力画像の部分がある場合、及び他の入力画像によってオーバーレイ表示されることで出力対象とならない入力画像の部分が存在する構成であることを示す。
タイプが3の場合は、第一優先画像に指定された画像アイテムにクロップ変換アイテムプロパティが適応されている構造であることを示す。クロップ変換アイテムプロパティが適応されることによって表示対象とならない画像部分がpitmに指定された画像アイテムに含まれることを示す。
タイプが4の場合は、pitmに指定された画像アイテムと関連がない、または関連があっても出力表示に影響のない別の画像アイテムが含まれるファイル構成であることを示す。例えば、第一優先画像のサムネイル画像アイテムや、第一優先画像が派生画像の場合のインプット画像となる画像アイテムは含まれていたとしても本タイプには該当しない。一方で、イメージコレクションやスライドショーなどのエンティティグループとして第一優先画像と他の画像アイテムが同一グループとして格納されていた場合は、第一優先表示にあたっての出力表示に影響はない。そのため、本タイプのプライバシーを含むことが可能なファイル構造として種別が識別される。
タイプが5の場合は、HEIFファイル内がイメージシーケンスを含むファイル構造であることを示す。これはmoovボックス内に画像のシーケンスが第一優先画像となる静止画像とは別に格納されている場合が想定される。例えば、画像シーケンスのうちの1つの画像が第一優先画像として指定されていたとしても、シーケンス内の別画像にプライバシーを含む情報が写り込んでいる可能性があることを示す。さらには、静止画像とは関連のない画像シーケンスが含まれている場合も含まれる。本タイプは、すでに規定されているブランド定義やファイル拡張子等でも識別可能となる場合がある。
タイプが6の場合は、任意のテキスト情報を記述可能なアイテムプロパティが含まれていることを示す。これは前述したAccessibilityTextPropertyやUserDescriptionPropertyが含まれている場合となる。このようなプロパティは、第一優先画像に関連づけられているか否かに関わらず、ファイル内にこのようなプロパティが含まれている場合は対象となる。
タイプが7の場合は、領域アイテムが第一優先画像に関連づけられている種別である。第一優先画像に関連づけられた領域アイテムは表示する装置によっては表示対象とする場合も含まれるが、表示対象としなければならないというものではないため、機器によって対応が異なる。さらに領域アイテムとして参照マスクやインラインマスクが指定された場合は、マスクによって第一優先画像の部分が表示されない場合があることを示す。
タイプが8の場合は、画像の領域外を指定した領域アイテムが第一優先画像に関連づけられている種別であることを示す。このような場合、たとえ領域アイテムを表示対象とする機器であっても、表示対象とはならないことが起こり得る。このようなファイルのメタデータ構成であることを識別可能とする。
タイプが9の場合は、Exifデータブロックがファイルに含まれることを示す種別であることを示す。これは特にGPS情報がExifデータブロックに含まれる場合が想定されるが、その他のExifデータブロック情報を対象としてもよい。
タイプが10の場合は、その他プライバシーを含めることが可能なHEIFファイルデータ構造であることを示す種別情報であることを示す。タイプ11は予約される。
このように、通常表示対象とはならないデータがHEIFファイルにプライバシー情報を含めることが可能なデータ構造として含まれている場合に、ユーザや再生装置が容易に識別可能な情報として格納される。これは、プライバシー情報が実際にHEIFファイルに含まれているか否かに関わらず、そのようなデータを格納可能なファイル構造であるか否かに基づいて格納される識別情報である。さらに、そのようなデータ構造であったとしても、ユーザがプライバシーを含まないと判定済みのデータ構造については、プライバシーを含まないことを判定済みであることを示す識別情報no_pravacy_flag604を格納する。これにより、プライバシーを含むことが可能なデータ構造であったとしても、プライバシーに関するケアが不要なファイルとして扱うことが可能である。なお、本ボックス構造は一例であり、またタイプ種別についてもその他の形態であってもよい。
ここで、図5を参照して本実施形態の画像ファイル生成装置100が出力する出力ファイル(画像ファイル)の一例を説明する。なお、本実施形態では画像ファイルはファイルデータ構造として4種類のプライバシー情報を格納可能な種別を含むデータがファイルに格納するよう構成されるものとする。
図5の例では、‘mdat’ボックス205に対応する記述505に示されるように、HEVCの符号化データ(HEVC Image Data及びHEVC Image Sequence Data)241~242と、領域情報データ(Region item Data)243と、Exifデータブロック(Exif Data Block)244と、を格納した画像ファイルを例示している。記述523に示されるように、領域情報データ243は、図11に示した定義に準拠しており、画像サイズを4032画素×3024画素とする参照空間について矩形状の領域を特定している。また同記述で特定される領域は、領域の参照空間における基準点の座標(x0, y0)と画像サイズ(w0×h0)が指定されている。
記述501は、‘ftyp’ボックス201に対応しており、HEIFファイルに準拠するブランド定義のタイプ値major-brandとして‘mif1’が格納され、互換性のあるブランド定義のタイプ値compatible-brandsとして‘heic’が格納されている。
記述502は、‘pctp’ボックス202に対応しており、HEIFファイルに格納されたデータ及びメタデータからプライバシー情報を格納可能な構造か否かを識別可能とする。本出力フィルの例では、4種類のプライバシー情報を格納可能な構造であることを示しており(entry_countが4)、記述511~514にそれぞれのタイプ情報が格納されている。
記述511は、本実施形態に係る画像ファイル生成装置100が出力するHEIFファイルがpitmにグリッド画像がアイテムを指定しており、グリッドの右ないし下がトリミングされて出力される形態のグリッド派生画像を含む構造であることを示している。さらに、記述511では、本種別で示されるデータ構造(グリッド画像の出力されない部分)にはプライバシー情報を含んでいないことを判定済みであることを示す情報として、no_privacy_flagに1が指定されている。
記述512は、本実施形態に係る画像ファイル生成装置100が出力するHEIFファイルがイメージシーケンスを含むデータ構造であることを示している。また記述511と同様、本種別で示されるデータ構造(イメージシーケンス)では、プライバシー情報を含んでいないことを判定済みであることを示す情報として、no_privacy_flagに1が指定されている。
記述513は、本実施形態に係る画像ファイル生成装置100が出力するHEIFが任意のテキスト情報を含むアイテムプロパティを含むデータ構造であることを示している。さらに記述513では、no_privacy_flagに0が指定されており、本データ構造(任意のテキストを含むアイテムプロパティ)はプライバシー情報を含んでいる可能性があることを示している。
記述514は、本実施形態に係る画像ファイル生成装置100が出力するHEIFファイルがExifデータブロックを含むデータ構造であることを示している。さらに記述514では、本種別で示されるデータ構造(Exifデータブロック)では、プライバシー情報を含んでいないことを判定済みであることを示す情報として、no_privacy_flagに1が指定されている。
次に、‘meta’ボックス203に対応する記述503において、出力ファイル例において格納されたアンタイムドデータを記述したメタデータの各種情報が示されている。
記述515は、‘hdlr’ボックス211に対応しており、指定するMetaDataBox(meta)のハンドラタイプは‘pict’である。
記述516は、‘pitm’ボックス212に対応しており、item_IDとして25が格納され、第一優先画像として表示対象とする画像のIDが指定されている。
記述517は、‘iinf’ボックス214に対応しており、アイテムのそれぞれについて、アイテム情報(アイテムID(item_ID)及びアイテムタイプ(item_type))を示す。各アイテムをitem_IDで識別可能とし、item_IDで識別されるアイテムがどのような種類のアイテムであるかを示す。図5の例では、28個のアイテムが格納されるため、entry_countが28であり、記述517には28種類の情報が並び、それぞれアイテムID及びアイテムタイプが指定されている。図示される画像ファイルでは、1~24番目の情報が、タイプhvc1のHEVC符号化画像アイテムである。また、25番目の情報が、アイテムタイプgridのグリッド派生画像アイテムである。また、26番目の情報が、サムネイル画像となるアイテムタイプhvc1のHEVC符号化画像アイテム、27番目の情報が、領域を示すアイテムタイプrganの領域アイテム、28番目の情報が、Exifデータブロックを示すアイテムタイプExifのメタデータアイテムである。そのため、記述514に示したように、本実施形態に係る画像ファイル生成装置100が出力するHEIFファイルがExifデータブロックを含むデータ構造であることを示している。
記述518は、‘iloc’ボックス213に対応しており、それぞれのアイテムのHEIFファイル内の格納位置、データサイズの情報が指定されている。例えばitem_IDが1の符号化画像アイテムは、ファイル内のオフセットが01の場所に、サイズがL1バイトであることを示しており、mdatBox内のデータの位置が特定される。
記述519は、‘iref’ボックス215に対応しており、各アイテム間の参照関係(関連づけ)を示す。記述531に示すアイテム参照には、参照タイプが派生画像であることを示すdimgが指定されている。またfrom_item_IDに指定されたitem_ID=25のグリッド派生画像アイテムから、to_item_IDに指定されたitem_ID=1~24のHEVC符号化画像アイテムを参照していることが示されている。これにより、派生画像アイテムへの入力画像としてitem_ID=1~24の符号化画像アイテムが指定される。また、記述532に示すアイテム参照には、参照タイプにサムネイル関係を示すthmbが指定されている。from_item_IDに指定されたitem_ID=26のHEVC符号化画像アイテムから、to_item_IDに指定されたitem_ID=25のグリッド派生画像アイテムを参照していることが示されている。これにより、item_ID=26のHEVC符号化画像アイテムは、item_ID=25のグリッド派生画像アイテムのサムネイル画像であることを示している。記述533、記述534に示すアイテム参照には、参照タイプにコンテンツ記述関係を示すcdscが指定されている。記述533では、from_item_IDに指定されたitem_ID=27の領域情報アイテムから、to_item_IDに指定されたitem_ID=25のグリッド派生画像アイテムを参照していることが示されている。これにより、item_ID=27の領域情報アイテムは、item_ID=25のグリッド派生画像アイテム内の部分領域を示している。記述534では、from_item_IDに指定されたitem_ID=28のExifデータブロックアイテムから、to_item_IDに指定されたitem_ID=25のグリッド派生画像アイテムを参照していることが示されている。これにより、item_ID=28のExifデータブロックアイテムは、item_ID=25のグリッド派生画像アイテムの撮像時の情報を記述していることを示している。
記述520は、‘idat’ボックス223に対応しており、アイテムID=25のグリッド派生画像アイテムのデータ構造が指定されている。本実施形態のHEIFファイルでは、グリッド派生画像のrows_minus_oneに3が、columuns_minus_oneに5がそれぞれ指定されている。これにより、4×6の入力画像がグリッド派生画像として構成されることを示している。なお、記述531に示したアイテム参照の入力画像数として指定された24個のアイテム数とグリッドの個数である4×6(=24)は一致する値が指定されている。個数またoutput_widthに4032が、output_heightに3024がそれぞれ指定されており、幅4032画素(ピクセル)、高さ3024画素(ピクセル)の画像として構成される。
記述521は、‘iprp’ボックス216に対応しており、‘ipco’ボックス221に対応する記述535と、‘ipma’ボックス222に対応する記述536と、を含む。記述535は、各アイテムに使用され得る属性情報をエントリデータとして列挙している。図示されるように、記述535は、符号化パラメータを示す1番目、2番目のエントリとアイテムの表示ピクセルサイズを示す3番目、4番目、5番目のエントリに加え、注釈記述情報を示す6番目のエントリを含む。注釈記述情報にはlangが日本語(JP)であり、nameに「連絡先電話番号」がセットされており、descriptionに「090-1234―5678」がセットされており、tagsには「個人情報」がセットされている。このように、記述513の識別情報で任意のテキストを含むアイテムプロパティにプライバシー情報を含んでいる可能性があることを示したように、実際にプライバシー情報を含んだファイルとして出力されている。記述535に列挙された属性情報は、‘ipma’ボックス222に対応する記述536のエントリデータにおいて、HEIFファイルに格納される各アイテムに関連付けられる。図5の例では、item_ID=1~24の画像アイテムには共通の‘ispe’(property_indexが4)が関連付けられ、同一の画像サイズ1024画素×1024画素の画像であることが示されている。また同様に、item_IDが1~24の画像アイテムには共通の‘hvcC’(property_indexが1)が関連付けられ、同一の符号化パラメータであることが示されている。一方、item_ID=25~27のアイテムには異なるアイテムプロパティがそれぞれ関連づけられている。item_ID=25の派生画像アイテムには‘ispe’(property_indexが3)が関連付けられ、画像サイズ4032画素×3024画素であることが示されている。記述520のグリッド派生画像のデータ構造でも述べたように、本出力ファイル例に示したグリッド派生画像の行と列にそれぞれインプット画像を当てはめると、画像サイズは6×1024の幅と4×1024の高さとなり、派生画像サイズである4032画素×3024画素の方が小さくなるため、グリッドにインプット画像を配置した後に、下と右の部分画像はトリミングされる。そのため、記述511では、トリミングされる部分は通常表示対象とはならず、この部分にプライバシーを含む画像が写り込んでいる可能性のあるデータ構造であることが示されている。item_ID=26の画像アイテムには‘ispe’(property_indexが5)が関連付けられ、画像サイズが768画素×576画素の画像であることが示されている。また同様に、item_ID=26の画像アイテムには‘hvcC’(property_indexが2)が関連付けられ、符号化パラメータが示されている。item_ID=27の領域情報アイテムには‘udes’(property_indexが6)が関連付けられ、領域に対する注釈情報が示されている。このように、‘udes’プロパティの関連付けにより、領域に対する注釈情報の付与が実現される。なお、item_ID=28のExifデータブロックアイテムにはいずれのアイテムプロパティも関連づけられていない。そのため、対応するエントリ情報は格納されない。
記述504は、‘moov’ボックス204に対応し、プレゼンテーションに関する各種情報が指定される。記述522は、‘hdlr’ボックス236に対応し、Mediaボックスの構造を解析するためのハンドラタイプの宣言として‘pict’が指定されている。これにより、記述504内に指定されたmoovボックスやtrackボックス以下のプレゼンテーションに関する各種情報及び対応する符号化データについては、画像シーケンスが格納されていることを示している。そのため、記述512に示したように、イメージシーケンス内に含まれるすべての画像は通常表示対象とはならないため、表示対象とはならない画像にプライバシーを含む画像が写り込んでいる可能性のあるデータ構造であることが示されている。
なお、本実施形態では、図6に示した定義にてプライバシー情報を含むことが可能でデータ構造を識別する情報を示す構成とするものとして説明する。しかし、識別情報の構成はこれに限られるものでなく、また、メタデータへの情報の含め方も図5に示される態様に限られるものではない。
次に、画像ファイル生成装置100が、プライバシー情報を格納可能なファイル構造のHEIFファイルを生成するために行う生成処理について、図3のフローチャートに従って説明する。なお、図3のフローチャートに従った生成処理は、例えば、ユーザが操作入力部107を操作して本撮像に係る操作入力を行ったことをCPU101が検知したことをトリガにして開始されるものとして説明する。しかし、図3のフローチャートに従った生成処理を開始するためのトリガは、特定の種類のトリガに限らない。
ステップS301では、CPU101は、撮像部104及び画像処理部105を制御して、HEIFファイルに格納する一連の画像データを取得する。なお、CPU101は、不揮発性メモリ110に予め保存されている画像群を、HEIFファイルに格納する一連の画像データとして取得しても良い。また、CPU101は、通信部108を介して外部装置から受信した画像群を、HEIFファイルに格納する一連の画像データとして取得しても良い。また、CPU101は、画像処理部105を制御して、処理部112に、画像データと共にHEIFファイルに格納するメタデータを生成させる。
ステップS302では、処理部112は、生成したメタデータを取得する。そしてステップS303では、判定部114は、処理部112が取得したメタデータのメタデータ構造の解析処理を行う。ステップS302における解析処理の詳細について、図4のフローチャートに従って説明する。
ステップS401では、判定部114は、HEIFファイルに格納するメタデータのpitmボックスに指定されたプライマリ画像アイテムが派生画像であるか否かを判定する。
この判定の結果、プライマリ画像アイテムが派生画像である場合には、処理はステップS402に進み、プライマリ画像アイテムが派生画像ではない場合には、処理はステップS409に進む。
ステップS402では、判定部114は、派生画像アイテムがグリッド派生画像アイテムであるか否かを判定する。この判定の結果、派生画像アイテムがグリッド派生画像アイテムである場合には、処理はステップS403に進み、派生画像アイテムがグリッド派生画像アイテムではない場合には、処理はステップS405に進む。
ステップS405では、判定部114は、派生画像アイテムがオーバーレイ派生画像アイテムであるか否かを判定する。この判定の結果、派生画像アイテムがオーバーレイ派生画像アイテムである場合には、処理はステップS406に進み、派生画像アイテムがオーバーレイ派生画像アイテムではない場合には、処理はステップS408に進む。
なお、ステップS401、ステップS402、ステップS405の判定処理は、具体的には、pitmボックスに指定されたアイテムIDが示すアイテムのiinfボックス内のエントリのアイテムタイプをチェックすることによって行われる。アイテムタイプがgridの場合には、処理はステップS403へ進むことになり、アイテムタイプがiovlの場合には、処理はステップS406へ進むことになり、アイテムタイプがidenの場合には、処理はステップS408へ進むことになる。また、その他のアイテムタイプの場合には、処理はステップS409へ進むことになる。
ステップS403では、処理部112は、グリッド派生画像のデータ構造及びインプット画像の画像サイズから、グリッド派生画像にインプット画像を構成(配置)する。そして処理部112は、グリッド派生画像のデータ構造が示す出力画像サイズと、グリッドの行及び列とインプット画像のサイズから算出されるインプット画像配置後のトータル画像サイズと、を比較する。この比較の結果、出力画像サイズがトータル画像サイズよりも小さくなる場合、つまり入力画像の一部をトリミングしてグリッド派生画像を出力する構成であるか否かを判定する。
この判定の結果、「入力画像の一部をトリミングしてグリッド派生画像を出力する構成である」場合には、処理はステップS404に進む。一方、この判定の結果、「入力画像の一部をトリミングしてグリッド派生画像を出力する構成ではない」(トータル画像サイズと出力画像サイズが一致する)場合には、処理はステップS409に進む。
なお、出力画像サイズの方が大きくなる場合は仕様上許容されていない。ステップS404においてグリッド派生画像で表示されない部分の画像にプライバシー情報を含むことが可能な構造であることを示す情報をRAM103に格納しておき、後段の処理で解析結果を参照可能とする。
ステップS406では、処理部112は、イメージオーバーレイ派生画像のデータ構造及び、インプット画像の画像サイズからイメージオーバーレイ派生画像にインプット画像を構成(配置)する。まず、処理部112は、イメージオーバーレイ派生画像のデータ構造が示す出力画像(キャンバス)サイズと各インプット画像に適応するオフセット情報及び、インプット画像それぞれが示す画像サイズからキャンバスからはみ出るインプット画像が構成されているかを判定する。次に、処理部112は、イメージオーバーレイ派生画像のデータ構造が示す各インプット画像に適応するオフセット情報及び、インプット画像それぞれが示す画像サイズから重なりあうインプット画像部分が構成されているかを判定する。
この2つの判定の結果、この2つの判定の両方において該当するインプット画像がある場合には、処理はステップS407に進む。一方、この2つの判定において、いずれの画像もそのように構成されていない場合には、処理はステップS409に進む。
ステップS407では、処理部112は、イメージオーバーレイ派生画像で表示されない部分の画像にプライバシー情報を含むことが可能な構造であることを示す情報をRAM103に格納し、後段の処理で解析結果を参照可能とする。
ステップS408では、処理部112は、アイデンティティ派生画像が参照する画像アイテムのメタデータを取得する。具体的には、処理部112は、派生画像アイテムの入力画像となる画像に適応されているアイテムプロパティやアイテム情報またアイテム参照情報を取得する。
ステップS401~ステップS403、S405~S407の判定処理は、派生画像アイテムに対する処理であるが、派生画像のインプット画像がさらに派生画像である場合、インプット画像に対しても同様の処理を行うものとする。
ステップS409では、判定部114は、代表画像アイテムに指定された画像またはそのインプット画像となる画像のアイテムプロパティ情報を取得し、cropアイテムプロパティが適応されているか否かを判定する。
このような判定の結果、cropアイテムプロパティが適応されている場合には、処理はステップS410に進み、cropアイテムプロパティが適応されていない場合には、処理はステップS411に進む。
ステップS410では、処理部112は、優先的に表示する対象(優先表示対象)となるpitmに指定された画像またはその派生画像の入力画像に画像の切り取り変換処理を適応して表示を行う構造であることを示す情報をRAM103に格納し、後段の処理で解析結果を参照可能とする。切り取り変換処理を適応することにより、切り取られて表示されない部分の画像にプライバシーを含む構造であることを記録する。
ステップS411では、判定部114は、プライマリ画像に指定された画像アイテムと表示の上で関連のない画像が含まれているか否かを判定する。この判定の結果、プライマリ画像に指定された画像アイテムと表示の上で関連のない画像が含まれている場合には、処理はステップS412に進む。一方、この判定の結果、プライマリ画像に指定された画像アイテムと表示の上で関連のない画像が含まれていない場合には、処理はステップS413に進む。
この判定では、pitmに指定された画像アイテムのアイテム参照情報やエンティティグループ情報を確認する。そのうえで、第一優先画像のサムネイル画像アイテムや、第一優先画像が派生画像の場合のインプット画像となる画像アイテムは関連があるため、該当しない。一方で、イメージコレクションやスライドショーなどのエンティティグループとして第一優先画像と他の画像アイテムが同一グループとして格納されていた場合、第一優先表示にあたっての出力表示に影響はない関連のない画像アイテムが含まれていると判定する。
ステップS412では、生成部113は、表示対象とはなっていない画像アイテムがHEIFファイル内に含まれることで通常表示対象とはならない画像を含む構造であることを示す識別情報をRAM103に格納して、後段の処理で解析結果を参照可能とする。
ステップS413では、判定部114は、HEIFファイル内に画像のプレゼンテーションないし画像のシーケンスが含まれているか否かを判定する。これは、HEIFファイル内に格納されたメタデータからmoovボックスが格納されているかを判定し、さらにその中のhdlrボックスが示すハンドラタイプから判定を行う。
このような判定の結果、HEIFファイル内に画像のプレゼンテーションないし画像のシーケンスが含まれている場合には、処理はステップS414に進む。一方、HEIFファイル内に画像のプレゼンテーションないし画像のシーケンスが含まれていない場合には、処理はステップS415に進む。
ステップS414では、生成部113は、画像のシーケンス及びプレゼンテーション内の画像の1つが第一優先画像に指定されていたとしても、画像のシーケンス及びプレゼンテーション内の別画像(フレーム)にプライバシーを含む情報が写り込んでいる可能性があることを識別可能にする識別情報を生成してRAM103に格納する。識別情報はRAM103に格納して、後段の処理で解析結果を参照可能とする。
ステップS415では、判定部114は、HEIFファイル内に任意のテキスト情報を格納可能なメタデータが含まれているかを判定する。この判定では、AccessibilityTextPropertyやUserDescriptionPropertyが格納されているかを判定することを想定するが、その他の任意のテキスト情報を格納可能なメタデータであればよい。例えば、HEIFが格納可能なHEIF規格以外で定義されたメタデータ等を対象としてもよい。
このような判定の結果、HEIFファイル内に任意のテキスト情報を格納可能なメタデータが含まれている場合には、処理はステップS416に進む。一方、HEIFファイル内に任意のテキスト情報を格納可能なメタデータが含まれていない場合には、処理はステップS417に進む。
ステップS416では、生成部113は、任意のテキスト情報としてプライバシー情報を記述可能なデータ構造であることを識別可能にする識別情報を生成し、該識別情報をRAM103に格納して、後段の処理で解析結果を参照可能とする。
ステップS417では、判定部114は、領域情報アイテムが画像アイテムに関連づけられているか否かを判定する。この判定の結果、領域情報アイテムが画像アイテムに関連づけられている場合には、処理はステップS418に進む。一方、領域情報アイテムが画像アイテムに関連づけられていない場合には、処理はステップS421に進む。
ステップS418では、生成部113は、領域情報が画像に関連づけられていることで、表示対象とならないまたは領域を抽出する情報によってプライバシーが含む可能性のある構造であることを識別可能とする識別情報を生成する。そして生成部113は、該生成した識別情報をRAM103に格納して、後段の処理で解析結果を参照可能とする。
ステップS419では、判定部114は、関連づけられた領域情報が画像の表示枠外(表示対象外)に関連づけられているか否かを判定する。この判定の結果、関連づけられた領域情報が画像の表示枠外に関連づけられている場合には、処理はステップS420に進む。一方、関連づけられた領域情報が画像の表示枠外に関連づけられていない場合には、処理はステップS421に進む。
ステップS420では、生成部113は、領域情報アイテムに指定する座標情報やサイズ情報から関連づけられた画像の表示対象領域外を示すように領域が指定されていることを識別可能とする識別情報を生成する。そして生成部113は、該生成した識別情報をRAM103に格納し、後段の処理で解析結果を参照可能にする。
ステップS421では、判定部114は、HEIFファイルにGPS情報を含むEXIFデータブロックが含まれているかを判定する。この判定の結果、HEIFファイルにGPS情報を含むEXIFデータブロックが含まれている場合には、処理はステップS422に進む。一方、HEIFファイルにGPS情報を含むEXIFデータブロックが含まれていない場合には、処理はステップS304に進む。
ステップS422では、生成部113は、HEIFファイル内に格納されたExif情報にGPS情報が含まれることにより、プライバシーを含むことが可能な構造であることを識別可能とする識別情報を生成する。そして生成部113は、該生成した識別情報をRAM103に格納し、後段の処理で解析結果を参照可能にする。なお、本実施形態では、Exif情報に含まれるデータのうちGPS情報のみを対象としたが、その他の情報を対象としてもよい。例えば、作者情報等のExif情報として格納されるデータを個別に特定するようにしてもよいし、Exifデータ全体を対象としてもよい。
このように、HEIFファイルデータ構造の解析処理により、プライバシー情報を格納可能な構造であることがその種別毎に識別可能とする。なお、本実施形態では、以上の解析処理によって種別情報を含めて判定可能としたが、対象とする種別情報はいくつかの種別をまとめて識別可能としてもよいし、また別の種別を判定可能としてもよい。
図3に戻って、次に、ステップS304では、判定部114は、上記のメタデータ構造の解析処理で得られた解析結果から、プライバシー情報を格納可能なファイル構造であるか否かを判定する。具体的には、図4のフローチャートに解析処理における1以上の判定ステップにおいて、プライバシー情報を含むことが可能な構造であると判定されたか否かを判定する。
このような判定の結果、図4のフローチャートに解析処理における1以上の判定ステップにおいて、プライバシー情報を含むことが可能な構造であると判定された場合には、処理はステップS305に進む。一方、図4のフローチャートに解析処理における何れの判定ステップでも、プライバシー情報を含むことが可能な構造であると判定されなかった場合には、図3のフローチャートに従った処理は終了する。
なお、いずれのプライバシー情報も含まない構造であったとしても、ステップS303の解析処理を実行済みであることを示すために、‘pctp’ボックス202を付与するようにしてもよい。この場合、entry_countとして0を格納する。
ステップS305では、生成部113は、プライバシー情報を含めることが可能な構造の種別毎にRAM103に格納した識別情報から、メタデータとして識別情報を生成する。より詳しくは、図6に示したPrivacyConsiderationTypeBoxを該当するタイプを識別可能なように構成して生成する。
ステップS306では、処理部112は、Fileレベルのメタデータとしてメタデータ領域に識別情報をftypボックスの後に挿入して付与する。また、処理部112は、図6に示したpctpボックスが識別する情報には同一の要因のエントリを複数含めるようにしてもよい。例えば、処理部112は、任意のテキスト情報を含むメタデータが複数ある場合は、そのメタデータ(プロパティ)毎にエントリを含めても良いし、プロパティが関連づけられている画像毎にエントリを含めてもよい。
ステップS307では、処理部112は、HEIFファイルを生成する。より詳しくは、処理部112は、RAM103に格納した上記の各種の情報に基づいてHEIFファイルの最終的なメタデータを構成する。そして処理部112は、HEIFファイルに係る‘ftyp’ボックス201の情報、‘pctp’ボックス202の情報、該最終的なメタデータを格納した‘meta’ボックス203の情報や‘moov’ボックス204の情報、及び一連の画像データと領域情報データ等を格納した‘mdat’ボックス205の情報を結合する。このような結合により、HEIFファイルが生成される。
そしてCPU101は、このようにして生成されたHEIFファイルをRAM103から読み出し、該読み出したHEIFファイルを不揮発性メモリ110に保存する。なお、HEIFファイルの出力先は不揮発性メモリ110に限らない。例えば、CPU101は、HEIFファイルを通信部108を介して外部装置に対して送信しても良いし、不揮発性メモリ110とは異なるメモリ装置に保存しても良い。
このように、本実施形態に係る画像ファイル生成装置100では、画像ファイル内に格納するメタデータ及びデータ構造を解析し、プライバシー情報を含むことが可能な構造であるか否かをメタデータとして付与することで容易に識別可能とした。また、どのような種別のメタデータ及びデータ構造によりプライバシー情報を含むことが可能かを種別毎に識別可能とした。メタデータとして付与された識別情報から画像ファイルに格納されたデータにプライバシー情報を含むことが可能な構造であるか否かを容易に識別可能することができる。
なお、HEIFファイルに格納する画像データは、1つの静止画像が格納されたHEIFファイルを含むものであってもよいし、JPEG等の静止画像ファイルを含むものであってもよい。あるいは、一連の画像データは、複数の静止画像が格納されたHEIFファイルに符号化された画像データであってもよいし、符号化されていないRAW画像データであってもよい。
次に、プライバシー情報を格納可能なファイル構造のHEIFファイルを編集するために画像ファイル生成装置100が行う編集処理について、図12のフローチャートに従って説明する。
なお、本編集処理は、プライバシー情報を格納可能な構造であることを種別毎に示すメタデータが格納されたHEIFファイルをユーザが確認することで、プライバシー情報が含まれているか否かをユーザが判定する処理として説明する。なお、画像解析やデータ解析等によって対象データにプライバシーとして扱われるべき情報が含まれているかどうかを判定し、ユーザによる目視確認による判定処理を代用してもよいものとする。
ステップS1201では、CPU101は、不揮発メモリ110に格納されたHEIFファイルを取得する。なお、本フローチャートに従ったHEIFファイルへの編集処理は、図3のフローチャートに従った処理によって不揮発メモリ110に出力する前のRAM103におけるHEIFファイルに対して実施してもよい。また、ステップS1201では、HEIFファイルを不揮発性メモリ110から取得することに限らず、例えばHEIFファイルを通信部108を介して外部装置から受信しても良い。そしてCPU101は処理部112を制御して、ファイルレベルに格納されたメタデータを取得する。具体的には、CPU101は、図2のpctp’ボックス202のメタデータ情報を取得する。
ステップS1202では、判定部114は、プライバシー情報を含めることが可能なデータ構造であることを示す識別情報が付与されているか否かを判定する。この判定の結果、プライバシー情報を含めることが可能なデータ構造であることを示す識別情報が付与されている場合には、処理はステップS1203に進む。一方、プライバシー情報を含めることが可能なデータ構造であることを示す識別情報が付与されていない場合には、図12のフローチャートに従った処理は終了する。
なお、ステップS1201の処理において’pctp’ボックス202が格納されていない場合は、図4のフローチャートに従った解析処理を実施して、’pctp’ボックス202の情報を生成してもよい。
ステップS1203では、CPU101は、プライバシー情報を含めることが可能な構造種別情報を1つ取得する。具体的には、CPU101は、’pctp’ボックス202に含まれる種別を示すエントリ情報を取得する。
ステップS1204では、CPU101は、ステップS1203で取得した構造種別情報を元に、プライバシーが含まれる候補となる画像およびメタデータを、表示部106に表示させる(表示制御)。なお、すでに図6の定義604に示したno_privacy_flagに1が設定されている場合は、ステップS1204の処理をスキップしてもよいし、再確認のためにプライバシーを含まないと判定されていることを識別可能な画面を表示部106に表示させても良い。
ここで、図5のHEIFファイル例に示した4種類の種別情報それぞれについて、図13、図14、図15、図16を参照して、プライバシー情報を含めることが可能な種別(privacy_consideration_type)毎に表示部106に表示する画像及びメタデータの表示画面例を示す。
図13に示した画像は、UI表示するグリッド派生画像の例を示している。破線1301は、通常の再生装置において出力表示されるグリッド派生画像の範囲を示している。この破線1301で示した画像のサイズは、グリッド派生画像のデータ構造におけるoutput_widthとoutput_heightから得られる画像サイズである。また、破線1302で示した画像のサイズは、グリッド派生画像について入力される画像サイズと派生画像の行及び列の情報から決定されるグリッド派生画像を出力画像サイズでトリミングしない場合の画像である。ステップS1204の処理では、破線1302内の画像すべてが表示対象となり、また、トリミングする範囲を示した破線1301が識別可能となるように表示される。また、グリッド派生画像のインプット画像それぞれが1310~1329に示されるように配置されており、入力画像それぞれの境界を識別可能なようにグリッドラインが表示されている。図13に示されるように、グリッド派生画像を構成するために入力画像をグリッド配置し、トリミングする範囲を識別可能なように表示する。これにより、破線1301と破線1302との間に含まれる部分画像内にプライバシー情報を含んでいるかどうかをユーザが判定可能となる。なお、図13に示した画像では、入力画像1329の部分に「連絡先電話番号」と「03-1234-5678」が識別可能な形で画像内に写り込んでいるため、ユーザはこの情報がプライバシー考慮しなければならない情報であるかを判断する。
次に、図14は、UI表示する任意のテキスト情報を含むUserDescriptionPropertyがHEIFファイルに含まれていることを示す画像表示の例を示している。破線1401に示した範囲が表示部106に表示される画像及びメタデータの表示範囲を示している。また、画像1402は、pitmに指定された画像である。記述1403は、図8に示したUserDescriptionPropertyである。記述1404は、UserDescriptionPropertyの注釈記述情報におけるlangが日本語(JP)であることを示している。記述1405は、nameに「マイク」がセットされていることを示している。記述1406は、descriptionとして「03-1111―2222」がセットされていることを示しており、記述1407は、tagsとして「連絡先電話番号」がセットされていることを示している。
次に、図15は、UI表示する画像シーケンスがHEIFファイルに含まれていることを示す画像表示の例を示している。範囲1501が、表示部106に表示される画像の表示範囲を示している。また、画像1502、1503、1504のそれぞれは、画像シーケンスとして格納されている画像である。また、破線1505は、本表示が記述233のtrakボックスに格納される単位を示しており、1つの画像シーケンスであることを示している。なお、画像シーケンスのうちの1つの画像がpitmとして指定された画像アイテムとして抽出されている場合は、その旨が識別可能なように強調表示するなどしてもよい。
次に、図16は、UI表示するExifデータブロック情報がGPS情報と共にHEIFファイルに含まれていることを示す画像表示の例を示している。破線1601に示した範囲が表示部106に表示される画像及びExifデータの表示範囲を示している。また、画像1602は、pitmに指定された画像である。また記述1603は、Exifデータとして格納された撮像情報であり、画像の情報や、撮像した機材であるカメラに関するメーカー名情報、絞りや露出といった撮像条件などが含まれる。
なお、本表示例では、すべての情報が表示しきれていないため、適宜表示を切り替えるなどしてもよい。また、情報1604は、Exifデータに含まれるGPS情報を示している。HEIFファイルに含まれる画像を撮像した場所が特定可能な情報として表示されている。
次に、ユーザは操作入力部107を操作して、画像ファイル生成装置100が表示部106に表示した情報にプライバシー情報が含まれているどうかを入力する。この際の入力処理として、表示部106は図17に示すような入力画面を表示する。CPU101は、コンソール1701を図13~16に示した画像と共に表示部106に表示し、ユーザは内容に応じて「はい」ボタン1702または「いいえ」ボタン1703を、操作入力部107を操作して選択する。よってステップS1205では、CPU101は、このようなユーザにする選択操作を受け付ける。
ステップS1206では、CPU101は、ユーザが操作入力部107を操作して「はい」ボタン1702を選択した(「プライバシー情報が含まれている」を選択した)のか、「いいえ」ボタン1703を選択した(「プライバシー情報が含まれていない」を選択した)のか、を判定する。
この判定の結果、ユーザが操作入力部107を操作して「はい」ボタン1702を選択した(「プライバシー情報が含まれている」を選択した)場合には、処理はステップS1208に進む。一方、ユーザが操作入力部107を操作して「いいえ」ボタン1703を選択した(「プライバシー情報が含まれていない」を選択した)場合には、処理はステップS1207に進む。no_privacy_flag情報の変更は行わない。
ステップS1207では、CPU101は、プライバシー情報を含めることが可能な構造種別情報のメタデータにプライバシー情報を含まないことを識別可能な情報を付与する。具体的には、CPU101は、判定した’pctp’ボックス202に格納されたprivacy_consideration_typeに対応するno_privacy_flag情報に1をセットする。
ステップS1208では、CPU101は、すべてのプライバシー情報を含めることが可能な構造情報を判定したかを確認する。この確認の結果、未判定のプライバシー情報を含めることが可能な種別がある場合には、処理はステップS1203に進み、すべてのプライバシー情報を含めることが可能な構造情報を判定した場合には、図12のフローチャートに従った処理は終了する。
なお、本実施形態では、種別毎に1つの画像データやメタデータをチェックするようにしたが、構造種別によっては複数のプライバシー情報を含むことが可能な要因が格納されることがあるため、容易毎にチェックを行うようにしてもよい。また、図6に示した’pctp’ボックス202が識別する情報には同一の要因のエントリを複数含めるようにしてもよい。
このように、本実施形態に係る画像ファイル生成装置100では、プライバイシー情報を含めることが可能な構造であると判定された画像データないしメタデータについて、その種別毎に識別情報をメタデータとして格納した。さらに、その種別毎に実際にプライバシー情報が含まれているか否かを確認した結果を追加で付与することで、プライバシー情報を格納可能な構造であることを示すだけでなく、プライバシー情報が含まれているか否かをファイルレベルで容易に識別可能とした。これにより、どのような種別のデータによって画像ファイル内にプライバシー情報を含んでいるかを容易に確認可能となる。また、必要に応じてそのようなプライバシー情報をあとから削除することが容易になる。
次に、上記のようにして生成されたHEIFファイルを再生(表示)するために画像ファイル生成装置100が行う再生処理について、図20のフローチャートに従って説明する。なお、HEIFファイルを再生する装置は画像ファイル生成装置100に限らない。
なお、本再生処理は、例えば、画像ファイル生成装置100が再生モードに設定されている状態において、HEIFファイルの再生指示に係る操作入力が検出された際に開始されるものとして説明する。
ステップS2001では、CPU101は、再生指示がなされた再生対象のHEIFファイル(対象ファイル)を取得する。より詳しくは、ステップS2001ではCPU101は、不揮発性メモリ110に保存されているHEIFファイルのうち、ユーザが操作入力部107を操作して再生対象として指定した(再生指示した)HEIFファイルをRAM103に読み出す(取得する)。なお、RAM103に再生対象のHEIFファイルを取得するための方法は特定の方法に限らない。例えばネットワーク上のサーバに保存されているHEIFファイル群のうちユーザが操作入力部107を操作して再生対象として指定した(再生指示した)HEIFファイルを通信部108を介して該サーバから受信してRAM103に取得するようにしても良い。
ステップS2002では、CPU101は、ステップS2001で取得したHEIFファイルからメタデータを取得し、処理部112は、該取得したメタデータを解析することで、該HEIFファイルの構造を取得する。
ステップS2003では、CPU101は、ステップS2002で取得したメタデータの‘pitm’ボックス212の情報に基づいて代表アイテムを特定する。そして、符号化/復号部111は、該代表アイテムの符号化データ241を復号し、代表画像に指定された画像アイテムに関するメタデータから、対応する符号化データを取得して復号する。
ステップS2004では、CPU101は、ステップS2003で復号した各種のデータをRAM103における所定のバッファに格納する。以下では、復号されてRAM103における所定のバッファに格納された代表アイテムの画像データを「代表画像データ」と称する。
ステップS2005では、判定部114は、メタデータにプライバシー情報を含めることが可能な構造であることを示す識別情報が付与されているか否かを判定する。この判定の結果、識別情報が付与されている場合には、処理はステップS2006に進み、識別情報が付与されていない場合には、処理はステップS2011に進む。具体的には、HEIFファイルのファイルレベルのメタデータに’pctp’ボックス202が付与されているかを判定する。図3のフローチャートに従った画像ファイル生成処理によって出力されたHEIFファイルであった場合はこのようなメタデータが付与されているが、本実施形態で示した以外の方法で生成されたHEIFファイルではこのようなデータは付与されていない。そのため、’pctp’ボックス202が付与されていない場合は、ステップS2011においてCPU101は、メタデータ構造の解析処理を行うことになる。ステップS2011における処理は、上記のステップS303と同様の処理であり、図4のフローチャートに従った処理である。
ステップS2012では、判定部114は、ステップS2011における解析処理の結果、プライバシー情報を含めることが可能なファイル構造であると判定されたかを判定する。
このような判定の結果、プライバシー情報を含めることが可能なファイル構造である場合には、処理はステップS2014に進み、プライバシー情報を含めることが可能なファイル構造ではない場合には、処理はステップS2013に進む。
ステップS2013では、CPU101は、ステップS2004でバッファに格納した代表画像データを表示部106に表示させる。ステップS2006では、CPU101は、プライバシー情報を含めることが可能な構造種別情報を取得する。具体的には、’pctp’ボックス202に格納された識別情報である。
ステップS2007では、判定部114は、プライバシー情報を含まないことを示す識別情報がすべての種別に付与されているか否かを判定する。具体的には、判定部114は、entry_count毎に付与されたprivacy_consideration_type情報毎のno_privacy_flagが1であるか否かを判定する。さらに、判定部114は、’pctp’ボックス202に格納されたentry_countが0であるかを判定する。
このような判定の結果、すべてのno_privacy_flagが1に設定されているか、’pctp’ボックス202に格納されたentry_countが0である場合、プライバシー情報を含まないと判定され、処理はステップS2013に進む。一方、プライバシー情報を含まないと判定されていない場合には、処理はステップS2008に進む。
ステップS2008では、判定部114は、プライバイシー情報を含まないことを示す識別情報が指定されたいずれかの種別に付与されているか否かを判定する。この判定の結果、識別情報が指定されたいずれかの種別に付与されている場合には、処理はステップS2009に進み、識別情報が指定されたいずれかの種別にも付与されていない場合には、処理はステップS2014に進む。これは、’pctp’ボックス202のentry_countに1以上の値が指定され、いずれのno_pravacy_flagも1に設定されていない場合である。この場合は、図12に示したプライバシー情報を含むことが可能な構造であるが、プライバシー情報が含まれていないことを判定する編集処理が行われていないHEIFファイルとして扱う。一方で、プライバシー情報を含むことが可能な構造を示す種別情報に付与された、プライバシー情報を含まないことを示す識別情報のいずれかがプライバシーを含まないと判定されていた場合、処理はステップS2009に進む。具体的には、entry_countが示す個数分のno_privacy_flagのいずれかが1に指定され、いずれかが0に指定されている場合である。この場合は、図12に示したプライバシー情報を含んでいるか否かの判定処理が行われてHEIFファイルとして扱う、いずれか一つでもプライバイシー情報を含んでいないと判定されていない場合は、プライバシー情報を含んだファイルとして扱う。
ステップS2009では、CPU101は、プライバシー情報を含んでいることを示す識別表示情報を種別毎に生成する。ステップS2010では、CPU101は、ステップS2009で生成した識別表示情報と、ステップS2004でバッファに格納した代表画像データと、表示部106に表示させる。
ステップS2014では、CPU101は、プライバシー情報を含めることが可能なファイル構造であることを示す識別表示情報を種別毎に生成する。
ステップS2015では、CPU101は、ステップS2014で生成した識別表示情報と、ステップS2004でバッファに格納した代表画像データと、を表示部106に表示させる。
ステップS2010やステップS2015で代表画像データとともに表示する種別識別表示情報の表示例を図21に示す。図21は、ステップS2010やステップS2015で表示するUI画面の例を示している。
破線2101は、UI画面全体を示しており、代表画像データ2102を含む。画像2103、2104は、構造種別毎の識別表示画像の例である。画像2103は、グリッド画像がトリミングされることで下、右部分の画像の一部が表示されないことを示しており、図13に示した画像と同等の情報である。また、画像2104は、画像シーケンスがHEIFファイルに含まれていることを示しており、図15に示した画像と同等の情報である。これらの表示を代表画像データと共に表示することで、HEIFファイル内にプライバシー情報を含んでいる可能性をUI表示で識別可能としている。
なお、ステップS2010におけるUI表示、ステップS2015におけるUI表示、については、例えば、ステップS2010では画像2103、2104を赤枠で表示し、ステップS2015では画像2103、2014を黄枠で表示するなどして表示色を切り替えることを想定している。つまり、ステップS2010では、プライバシー情報を含んでいることを示すように識別可能とし、ステップS2015では、プライバシー情報を含んでいる可能性を識別可能とするように、表示色を切り替えることを示している。なお、枠の色の違いだけでなく、アイコン表示を行うなどして表示を切り替えるようにしてもよい。
図20に示した処理では、代表画像と共に画像を表示する処理について説明した。図18、図19では、その他の形態として同様の処理をHEIFファイルに対して行って、画像として代表画像と共に表示する代わりに、警告表示としてダイアログボックスを表示する際の表示例を示している。例えば、このようなHEIFファイルを、ネットワークを介して送信する場合にこのようなダイアログボックスを用いて警告表示を行うことで、ユーザーが送信する前の確認として用いることが可能となる。
図18において、ダイアログボックス1801は、警告表示を行う際に表示を行うダイアログボックスである。ダイアログボックス1801内には警告を示すためのテキスト表示が行われている。ボタン1802は、そのようなファイルであってもそのまま処理を継続してもよいことを入力するためのUIボタンである。ボタン1803は、例えば送信などの処理を中断するためのUIボタンである。ボタン1804を選択することで、どのような種別の情報を含んでいるかの種別情報を表示することを選択する。
図18では、このように種別情報を別途表示するためのUIボタンを設けたが、図19では、警告表示のダイアログボックス自体に初めから種別情報を識別可能なテキスト記述を含める。
ダイアログボックス1901内にテキスト表示としてHEIFファイルに含まれるプライバシーを含むことが可能な構造種別を識別可能なテキスト情報が記述されている。ボタン1902は、ボタン1802と同様のUIボタンである。ボタン1903は、ボタン1803と同様のUIボタンである。
図18のダイアログボックス1801や図19のダイアログボックス1901に対する操作(例えば、UIボタンの選択操作)は、例えば、ユーザが操作入力部107を操作して行う。
本実施形態では、ネットワーク転送を行うタイミング等で、ダイアログボックス表示を行うようにしたが、このような表示に限らず、ファイルを示すアイコン表示として同様に識別可能なUI表示を行うようにしてもよい。その他、UI画面として識別可能な識別情報を保存する形態であればよい。またクラウド等のネットワーク上のストレージに保存してある画像ファイルのアクセス権を変更する際にこのような警告表示をするようにしてもよい。例えば、クラウド上のプライベートアクセス領域から公開領域に移す場合や、アクセス権を公開アクセスに変更する場合が考えられる。またその他、画像ファイルにアクセス可能なユーザに変更が入る際に行うことが考えられる。
また本実施形態によれば、複数の画像データをメタデータと関連づけて格納する画像ファイルの利用時に、第一優先表示対象とはならないデータにプライバシー情報を含めることが可能な構造としてファイルが構成されているかを容易に判別することができる。また、プライバシー情報を含めることが可能な構造種別を識別可能とすることで、どのような種別のデータ構造によりプライバシー情報を含むことが可能であるかを判別でき、実際にプライバシー情報が含まれているかの確認が容易になる。さらに、プライバシー情報を含むことが可能な構造であっても、プライバシー情報を含んでいないと判定済みであることを示すことで、画像ファイル利用時に都度プライバシー情報を含んでいるかどうかを判定しなくてもよい。また、このようなプライバシー情報を含む可能性のある構造を示す識別情報や判定済みの結果を用いて、必要に応じて画像ファイルを再構成することが可能となる。具体的には、プライバシー情報を含んでいる構造を削除することや、画像をトランスコードして画像の一部を画像ファイルから削除することが考えられる。また、削除するのみならず、ネットワークを介した画像ファイルの送信を該画像ファイルのみ行わないように制御することが考えられる。同様に、オリジナルの画像ファイルは残したまま、プライバシー情報を含まないデータのみで画像ファイルを再構成することも可能である。
なお、上述した本実施形態では、画像ファイルに格納されるプライバシー情報を含めることが可能な構造を示すメタデータの生成は、画像ファイルの生成時に行うものものとして説明したが、これに限らない。例えば、生成された画像ファイルの利用時や編集時の、異なるタイミングで行われた解析処理の結果をメタデータとして画像ファイルに追加してもよい。この場合、同時にプライバシー情報を含むことが可能な構造であっても、プライバシー情報が含まれていない判定を実施してもよい。より詳しくは、例えば、画像ファイルに既に格納されている画像データ及びメタデータの構造を解析し、順次プライバシー情報が含まれているか否かの判定をユーザに行わせるようにしてもよい。
また、上述した本実施形態では、通常表示対象となる画像部分にプライバシーを含む内容が写り込んでいても、識別情報を付与する対象とはしていないが、このような種別を含めてプライバシー情報が含まれるかをユーザに判定させるようにしてもよい。
[第2の実施形態]
第1の実施形態において説明した画像ファイル生成装置100は、1台の機器で構成しても良いし、複数台の機器で構成しても良い。後者の場合、それぞれの機器は同じ構成を有していなくても良い。その場合、画像ファイル生成装置100は例えば、上記のフローチャートに従った処理を実行する1台以上の機器、ストレージとして機能する機器、など、それぞれが役割を持つ機器の集合であっても良い。
第1の実施形態において説明した画像ファイル生成装置100は、1台の機器で構成しても良いし、複数台の機器で構成しても良い。後者の場合、それぞれの機器は同じ構成を有していなくても良い。その場合、画像ファイル生成装置100は例えば、上記のフローチャートに従った処理を実行する1台以上の機器、ストレージとして機能する機器、など、それぞれが役割を持つ機器の集合であっても良い。
また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ(情報)の構成/取得方法/送信先/送信元/格納場所、などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本明細書の発明は、以下の画像処理装置、画像処理方法、コンピュータプログラムを含む。
(項目1)
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置であって、
前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御手段と
を備えることを特徴とする画像処理装置。
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置であって、
前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御手段と
を備えることを特徴とする画像処理装置。
(項目2)
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置であって、
前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成手段と
を備えることを特徴とする画像処理装置。
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置であって、
前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成手段と
を備えることを特徴とする画像処理装置。
(項目3)
前記識別情報はさらに、どのような種別のプライバシー情報を含むことが可能なファイル構造であるかを識別可能な種別情報を含むことを特徴とする項目1または2に記載の画像処理装置。
前記識別情報はさらに、どのような種別のプライバシー情報を含むことが可能なファイル構造であるかを識別可能な種別情報を含むことを特徴とする項目1または2に記載の画像処理装置。
(項目4)
前記種別情報は、再生表示する際に第一優先での表示対象とならない画像が含まれることを示す情報であることを特徴とする項目3に記載の画像処理装置。
前記種別情報は、再生表示する際に第一優先での表示対象とならない画像が含まれることを示す情報であることを特徴とする項目3に記載の画像処理装置。
(項目5)
前記種別情報は、派生画像または変換によって表示されない画像部分を含むことを示す情報であることを特徴とする項目3に記載の画像処理装置。
前記種別情報は、派生画像または変換によって表示されない画像部分を含むことを示す情報であることを特徴とする項目3に記載の画像処理装置。
(項目6)
前記種別情報は、再生表示する際に第一優先での表示対象として指定されていない画像シーケンスであることを特徴とする項目3に記載の画像処理装置。
前記種別情報は、再生表示する際に第一優先での表示対象として指定されていない画像シーケンスであることを特徴とする項目3に記載の画像処理装置。
(項目7)
前記種別情報は、任意のテキスト情報を格納可能なメタデータであることを特徴とする項目3に記載の画像処理装置。
前記種別情報は、任意のテキスト情報を格納可能なメタデータであることを特徴とする項目3に記載の画像処理装置。
(項目8)
前記任意のテキスト情報は、代替のテキスト情報であることを特徴とする項目7に記載の画像処理装置。
前記任意のテキスト情報は、代替のテキスト情報であることを特徴とする項目7に記載の画像処理装置。
(項目9)
前記任意のテキスト情報は、ユーザの記述情報および領域情報に付加される注釈の情報であることを特徴とする項目7に記載の画像処理装置。
前記任意のテキスト情報は、ユーザの記述情報および領域情報に付加される注釈の情報であることを特徴とする項目7に記載の画像処理装置。
(項目10)
前記種別情報は、画像の表示対象外に関連づけられた領域のデータであることを特徴とする項目3に記載の画像処理装置。
前記種別情報は、画像の表示対象外に関連づけられた領域のデータであることを特徴とする項目3に記載の画像処理装置。
(項目11)
前記種別情報は、位置情報を含むメタデータであることを示す情報であることを特徴とする項目3に記載の画像処理装置。
前記種別情報は、位置情報を含むメタデータであることを示す情報であることを特徴とする項目3に記載の画像処理装置。
(項目12)
前記識別情報は、ファイルレベルのメタデータとして前記画像ファイルに付与されることを特徴とする項目1ないし11の何れか1項目に記載の画像処理装置。
前記識別情報は、ファイルレベルのメタデータとして前記画像ファイルに付与されることを特徴とする項目1ないし11の何れか1項目に記載の画像処理装置。
(項目13)
前記識別情報は、画像ファイル内のいずれかのデータを表示する際にユーザインターフェースにて表示される情報であることを特徴とする項目1ないし12の何れか1項目に記載の画像処理装置。
前記識別情報は、画像ファイル内のいずれかのデータを表示する際にユーザインターフェースにて表示される情報であることを特徴とする項目1ないし12の何れか1項目に記載の画像処理装置。
(項目14)
前記識別情報は、画像ファイルを外部に送信する際に警告表示されることを特徴とする項目1ないし13の何れか1項目に記載の画像処理装置。
前記識別情報は、画像ファイルを外部に送信する際に警告表示されることを特徴とする項目1ないし13の何れか1項目に記載の画像処理装置。
(項目15)
前記生成手段は、前記プライバシー情報を含めることが可能なファイル構造であっても、プライバシーを含まないと判断された場合に、プライバシーを含まないことを示すメタデータをさらに画像ファイルに付与することを特徴とする項目2に記載の画像処理装置。
前記生成手段は、前記プライバシー情報を含めることが可能なファイル構造であっても、プライバシーを含まないと判断された場合に、プライバシーを含まないことを示すメタデータをさらに画像ファイルに付与することを特徴とする項目2に記載の画像処理装置。
(項目16)
さらに、
前記画像ファイルをネットワークを介して転送する指示を受け付けると、前記画像ファイル内にプライバシー情報を含めることが可能なファイル構造である場合に、プライバシー情報を含む可能性のあるファイルを転送しようとしている旨の警告を表示する手段を備えることを特徴とする項目1ないし15の何れか1項目に記載の画像処理装置。
さらに、
前記画像ファイルをネットワークを介して転送する指示を受け付けると、前記画像ファイル内にプライバシー情報を含めることが可能なファイル構造である場合に、プライバシー情報を含む可能性のあるファイルを転送しようとしている旨の警告を表示する手段を備えることを特徴とする項目1ないし15の何れか1項目に記載の画像処理装置。
(項目17)
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
前記画像処理装置の表示制御手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御工程と
を備えることを特徴とする画像処理方法。
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
前記画像処理装置の表示制御手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御工程と
を備えることを特徴とする画像処理方法。
(項目18)
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置が行う画像処理方法であって、
前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
前記画像処理装置の生成手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成工程と
を備えることを特徴とする画像処理方法。
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置が行う画像処理方法であって、
前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
前記画像処理装置の生成手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成工程と
を備えることを特徴とする画像処理方法。
(項目19)
コンピュータを、項目1から16のいずれか1項目に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
コンピュータを、項目1から16のいずれか1項目に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:画像ファイル生成装置 101:CPU 102:ROM 103:RAM 104:撮像部 105:画像処理部 106:表示部 107:操作入力部 108:通信部 109:システムバス 110:不揮発性メモリ 111:符号化/復号部 112:処理部 113:生成部 114:判定部
Claims (19)
- 複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置であって、
前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御手段と
を備えることを特徴とする画像処理装置。 - 複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置であって、
前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成手段と
を備えることを特徴とする画像処理装置。 - 前記識別情報はさらに、どのような種別のプライバシー情報を含むことが可能なファイル構造であるかを識別可能な種別情報を含むことを特徴とする請求項1に記載の画像処理装置。
- 前記種別情報は、再生表示する際に第一優先での表示対象とならない画像が含まれることを示す情報であることを特徴とする請求項3に記載の画像処理装置。
- 前記種別情報は、派生画像または変換によって表示されない画像部分を含むことを示す情報であることを特徴とする請求項3に記載の画像処理装置。
- 前記種別情報は、再生表示する際に第一優先での表示対象として指定されていない画像シーケンスであることを特徴とする請求項3に記載の画像処理装置。
- 前記種別情報は、任意のテキスト情報を格納可能なメタデータであることを特徴とする請求項3に記載の画像処理装置。
- 前記任意のテキスト情報は、代替のテキスト情報であることを特徴とする請求項7に記載の画像処理装置。
- 前記任意のテキスト情報は、ユーザの記述情報および領域情報に付加される注釈の情報であることを特徴とする請求項7に記載の画像処理装置。
- 前記種別情報は、画像の表示対象外に関連づけられた領域のデータであることを特徴とする請求項3に記載の画像処理装置。
- 前記種別情報は、位置情報を含むメタデータであることを示す情報であることを特徴とする請求項3に記載の画像処理装置。
- 前記識別情報は、ファイルレベルのメタデータとして前記画像ファイルに付与されることを特徴とする請求項1に記載の画像処理装置。
- 前記識別情報は、画像ファイル内のいずれかのデータを表示する際にユーザインターフェースにて表示される情報であることを特徴とする請求項1に記載の画像処理装置。
- 前記識別情報は、画像ファイルを外部に送信する際に警告表示されることを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記プライバシー情報を含めることが可能なファイル構造であっても、プライバシーを含まないと判断された場合に、プライバシーを含まないことを示すメタデータをさらに画像ファイルに付与することを特徴とする請求項2に記載の画像処理装置。
- さらに、
前記画像ファイルをネットワークを介して転送する指示を受け付けると、前記画像ファイル内にプライバシー情報を含めることが可能なファイル構造である場合に、プライバシー情報を含む可能性のあるファイルを転送しようとしている旨の警告を表示する手段を備えることを特徴とする請求項1に記載の画像処理装置。 - 複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
前記画像処理装置の表示制御手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御工程と
を備えることを特徴とする画像処理方法。 - 複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置が行う画像処理方法であって、
前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
前記画像処理装置の生成手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022150527A JP2024044783A (ja) | 2022-09-21 | 2022-09-21 | 画像処理装置、画像処理方法 |
US18/462,525 US20240095387A1 (en) | 2022-09-21 | 2023-09-07 | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022150527A JP2024044783A (ja) | 2022-09-21 | 2022-09-21 | 画像処理装置、画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024044783A true JP2024044783A (ja) | 2024-04-02 |
Family
ID=90243814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022150527A Pending JP2024044783A (ja) | 2022-09-21 | 2022-09-21 | 画像処理装置、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240095387A1 (ja) |
JP (1) | JP2024044783A (ja) |
-
2022
- 2022-09-21 JP JP2022150527A patent/JP2024044783A/ja active Pending
-
2023
- 2023-09-07 US US18/462,525 patent/US20240095387A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240095387A1 (en) | 2024-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11876994B2 (en) | Description of image composition with HEVC still image file format | |
US20220007087A1 (en) | Method and apparatus for generating media data | |
US11962809B2 (en) | Image data encapsulation with referenced description information | |
US10778993B2 (en) | Methods and apparatus for deriving composite tracks with track grouping | |
KR102038783B1 (ko) | 이미지 데이터 캡슐화 | |
JP6960528B2 (ja) | メディアコンテンツを生成および処理するための方法、装置、およびコンピュータプログラム | |
US11582496B2 (en) | Method, device, and computer program for transmitting media content | |
JP6708649B2 (ja) | 画像データのカプセル化 | |
US20210176509A1 (en) | Method, device, and computer program for transmitting media content | |
JP2023068006A (ja) | 撮像装置、及び、撮像装置の制御方法 | |
US20240107049A1 (en) | Information processing device and information processing method | |
JP2024044783A (ja) | 画像処理装置、画像処理方法 | |
WO2024004449A1 (ja) | 情報処理装置、情報処理方法、コンピュータプログラム | |
US20230140152A1 (en) | Image processing apparatus, image capturing apparatus, control method, and storage medium | |
JP2024006878A (ja) | 情報処理装置、撮像装置、情報処理方法、コンピュータプログラム | |
JP2022109138A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2021064883A (ja) | ファイル生成装置、ファイル生成方法、およびプログラム |