JP2024044783A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】画像ファイル内に格納された優先表示対象ではないデータがプライバシー情報を含む構造であるかを識別可能とする画像処理装置、方法及びプログラムを提供する。【解決手段】方法は、複数の画像及びメタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する。該データにプライバシー情報を含めることが可能なファイル構造であると判定した場合、該データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する。【選択図】図３

Description

本発明は、画像ファイルを取り扱うための技術に関するものである。

近年、複数の静止画像や動画像を符号化し、１つの画像ファイルとして格納するファイルフォーマットが存在しており、静止画像のバーストのような画像シーケンス等、関連性の高い画像群等を容易に管理することが期待される。例えば、ＩＳＯ／ＩＥＣ２３００８－１２で国際標準化されているＨＥＩＦ（High Efficiency Image File Format）と呼ばれるファイル形式では、Ｈ．２６５（ＨＥＶＣ）、Ｈ．２６６（ＶＶＣ）、ＡＶ１等のコーデックで符号化した静止画像を１つの画像ファイルとして格納できる。このようなファイルフォーマットについては、メタデータを含む規範的な構造が定められており、メタデータと格納画像を関連付ける方法、及び特定の形式のメタデータの構成が規定されている。また、メタデータの領域に記述することで、派生画像（Derived Image）と呼ばれるような、複数の静止画像で構成される１つのイメージ表現を、画像ファイルとして記録することができる。複数の画像を格納可能な構造であることから、第一優先で表示する画像を指定するための仕組みとして、メタデータとしてプライマリアイテムを指定することが可能となっている。

特許文献１は、動画の一部の空間的部分のみを抽出して再生可能なよう、動画の全体フレームを分割したタイルのそれぞれに対応するサブ映像と、これらの合成体としての全体フレームに係る全体映像と、をカプセル化するファイル構造を開示している。

一方で、画像ファイル内に格納するメタデータとして、Ｅｘｉｆが知られている。このＥｘｉｆメタデータを用いて、撮影時の条件や、撮影した場所に関するＧＰＳ情報等、様々なデータを画像データに関連づけて１つのファイルに格納可能となっている。ＧＰＳ情報等のデータは、画像ファイルに格納された画像を再生表示する際、通常は表示対象とならない。そのため、画像ファイルにＧＰＳ情報が付加されていることをエンドユーザが知らずに、画像ファイルをインターネット等に公開した際に、意図せずプライバシー情報が流出してしまう、ということが起こり得る。このような課題に対し、特許文献２では、インターネット等の通信網経由で撮影画像ファイルを転送する場合に、画像ファイルに含まれる、画像情報以外の付加情報を自動削除する。これにより、必要最小限の画像情報のみを有する画像ファイルを転送し、撮影情報、個人情報の流出を防止する。

特開２０２０－１２７２４４号公報 特開２００４－３４３６２７号公報

特許文献１に記載のファイルは、１つのファイル内に様々なメタデータや複数の画像データを格納可能である。そのため、特許文献２のような方法で画像情報以外の付加情報を自動削除するようにしても、必ずしもプライバシーを保護できているとは限らない。すなわち、通常は画像ファイルを再生表示した際に優先表示対象とならない画像データ自体や、表示対象とならない画像部分、メタデータ等にプライバシー情報が含まれていることが考えられる。本発明では、画像ファイル内に格納された優先表示対象ではないデータがプライバシー情報を含む構造であるかを識別可能とするための技術を提供する。

本発明の一様態は、複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置であって、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御手段とを備えることを特徴とする。

本発明の構成によれば、画像ファイル内に格納された優先表示対象ではないデータがプライバシー情報を含む構造であるかを識別可能とするための技術を提供することができる。

画像ファイル生成装置１００のハードウェア構成例を示すブロック図。 ＨＥＩＦファイルの構造例を示す図。 画像ファイル生成処理のフローチャート。 画像ファイルのメタデータ構造解析処理のフローチャート。 出力されるＨＥＩＦファイルの一例を示す図。 ＰｒｉｖａｃｙＣｏｎｓｉｄｅｒａｔａｉｏｎＴｙｐｅＢｏｘ構造を示す図。 ＡｃｃｅｓｓｉｂｉｌｉｔｙＴｅｘｔＰｒｏｐａｒｔｙ構造を示す図。 ＵｓｅｒＤｅｓｃｒｉｐｔｉｏｎＰｒｏｐｅｒｔｙ構造を示す図。 ＩｍａｇｅＧｒｉｄ派生画像構造を示す図。 ＩｍａｇｅＯｖｅｒｌａｙ派生画像構造を示す図。 ＲｅｇｉｏｎＩｔｅｍ構造を示す図。 メタデータ変更のファイル編集処理のフローチャート。 ＩｍａｇｅＧｒｉｄ画像の一例を示す図。 ＵｓｅｒＤｅｓｃｒｉｐｔｉｏｎＰｒｏｐｅｒｔｙを含む画像の一例を示す図。 ファイル編集処理時に表示する画像シーケンスの一例を示す図。 ファイル編集処理時に表示するＥｘｉｆＧＰＳ情報を含む画像の一例を示す図。 ファイル編集処理時に表示する選択ＵＩの一例を示す図。 画像ファイル送信時にプライバシー情報を含む構造であることを警告表示するＵＩ表示の一例を示す図。 画像ファイル送信時にプライバシー情報を含む構造であることを種別情報と共に警告表示するＵＩ表示の一例を示す図。 画像ファイル再生処理のフローチャート。 画像ファイル再生処理における表示ＵＩの一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
先ず、画像処理装置として機能する本実施形態に係る画像ファイル生成装置１００のハードウェア構成例について、図１のブロック図を用いて説明する。画像ファイル生成装置１００には、カメラ付きのノート型／デスクトップ型のＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置、などのコンピュータ装置が適用可能である。

撮像部１０４は、レンズなどの光学系、ＣＭＯＳセンサやＣＣＤなどの撮像素子、該撮像素子からの出力信号に基づいて撮像画像を生成する画像処理回路、などを含む。撮像素子は、光学系を介して該撮像素子の撮像面に結像された光学像を光電変換することで、該光学像に対応するアナログ画像信号を出力する。画像処理回路は、該アナログ画像信号に対するノイズ除去やゲイン処理やデモザイク処理などの処理を行う回路、該アナログ画像信号をＡ／Ｄ変換してディジタル画像信号に変換するＡ／Ｄ変換回路、等を含む。そして、これらの回路により、上記のアナログ画像信号からディジタル画像信号（撮像画像（画像データ））を生成し、該生成した撮像画像を出力する。

撮像部１０４が動画像を撮像した場合、該撮像部１０４からは該動画像における各フレームの画像が撮像画像として出力され、該撮像部１０４が定期的若しくは不定期的に静止画像を撮像する場合、該撮像部１０４からは該静止画像が撮像画像として出力される。

ＲＯＭ１０２には、画像ファイル生成装置１００の設定データ、画像ファイル生成装置１００の起動に係るコンピュータプログラムやデータ、画像ファイル生成装置１００の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

ＲＡＭ１０３は、撮像部１０４から取得した撮像画像を格納するためのエリア、ＲＯＭ１０２や不揮発性メモリ１１０からロードされたコンピュータプログラムやデータを格納するためのエリア、を有する。またＲＡＭ１０３は、画像処理部１０５から出力されたデータを格納するためのエリア、通信部１０８を介して外部から受信したデータを格納するためのエリア、を有する。また、ＲＡＭ１０３は、ＣＰＵ１０１や画像処理部１０５が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０３は、各種のエリアを適宜提供することができる。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、画像ファイル生成装置１００全体の動作制御を行うと共に、画像ファイル生成装置１００が行う処理として説明する各種の処理を実行もしくは制御する。

操作入力部１０７は、キーボード、マウス、タッチパネル等のユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。

不揮発性メモリ１１０は、ＳＤカード、コンパクトフラッシュ（登録商標）、フラッシュメモリ等の、記憶容量が比較的大きい不揮発性の記憶装置（大容量情報記憶装置）である。不揮発性メモリ１１０には、ＯＳ（オペレーティングシステム）、画像ファイル生成装置１００が行う処理として説明する各種の処理をＣＰＵ１０１に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。また、不揮発性メモリ１１０には、画像ファイル生成装置１００によって生成された画像ファイルや、通信部１０８を介して外部装置から受信した画像ファイル等を保存するようにしても良い。

不揮発性メモリ１１０に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

画像処理部１０５は、撮像画像に対する各種の画像処理を実行する。画像処理は、例えば、ガンマ変換、色空間変換、ホワイトバランス、露出補正等の現像に係る処理を含む。また画像処理部１０５は、撮像画像の解析処理や２以上の撮像画像を合成する合成処理を実行可能であってもよい。本実施形態では説明を簡単にするために、１つの画像処理部１０５というハードウェアにおいて、これらの画像処理が実行されるものとして説明するが、これらの処理は一部または全部が異なるハードウェアにおいて実行されても良い。

符号化／復号部１１１は、Ｈ．２６５（ＨＥＶＣ）、Ｈ．２６４（ＡＶＣ）、Ｈ．２６６（ＶＶＣ）、ＡＶ１、ＪＰＥＧなどに従う動画像や生成画像のコーデックである。符号化／復号部１１１は、画像ファイル生成装置１００が扱う静止画像や動画像の符号化や復号を実行する。

処理部１１２は、画像符号化／復号部１１１が静止画像や動画像を符号化することで生成した符号化データを取得し、該符号化データを用いて、所定のファイルフォーマット（例えばＨＥＩＦ）に準拠した画像ファイルを生成する。具体的には、処理部１１２は、静止画像や画像シーケンス等を含む画像ファイルに格納される符号化データの解析処理を実行し、静止画像や画像シーケンスに関する情報の生成や、符号化データに関するパラメータ情報の取得を行う。そして、処理部１１２は、これらの情報をメタデータとして生成し、該生成したメタデータを、符号化データと共に画像ファイルに格納する。なお、処理部１１２は、ＨＥＩＦに限らず、例えば、ＭＰＥＧにおいて規定される他の動画ファイルフォーマットやＪＰＥＧ等のフォーマットに準拠した画像ファイルを生成することもできる。画像ファイルに含める符号化データは、ＲＡＭ１０３や不揮発性メモリ１１０などに予め格納された符号化データであっても良いし、通信部１０８を介して外部装置から受信してＲＡＭ１０３や不揮発性メモリ１１０に格納された符号化データであっても良い。

また、処理部１１２は、画像ファイルに格納されたメタデータを解析して、静止画像や画像シーケンスの再生時のメタデータ処理を行う。また処理部１１２は、画像ファイルに格納する画像の領域を識別する情報の生成や、領域情報と画像とを関連づけるメタデータの生成等を行う。また処理部１１２は、画像や領域情報に関連づける注釈情報に関するメタデータの生成を行う。また処理部１１２は、静止画像や画像シーケンスの再生時には、これらメタデータの解析処理を行う。

生成部１１３は、画像ファイルの編集処理、再生処理において、処理部１１２が生成したメタデータに基づいて、ＵＩ表示するプライバシー情報を含むことが可能なファイル構造であることを示す識別情報の生成を行う。ここで、「ＵＩ表示」とは、ＵＩ（ユーザインターフェース）に表示することを意味する。識別情報の生成に際しては、判定部１１４によるメタデータの構造解析処理の結果が用いられるものであってもよい。

判定部１１４は、格納対象として取得された「処理部１１２により構成されたメタデータ」を解析し、プライバシー情報を格納可能な構造として構成されたか否かを判定する。

表示部１０６は、液晶ディスプレイ（ＬＣＤ）やタッチパネル画面等の、画像ファイル生成装置１００と一体となって構成される、あるいは画像ファイル生成装置１００に着脱可能に設けられた表示装置である。表示部１０６は、撮像部１０４が撮像した撮像画像をリアルタイムで表示するライブビュー表示や、各種設定等の情報／ＧＵＩ（Graphical User Interface）の表示を行う装置として使用される。また、表示部１０６は、生成された画像ファイルを再生した際の画像表示を行う装置としても使用される。つまり表示部１０６はＣＰＵ１０１による処理／制御結果を画像や文字などでもって表示する装置である。なお、表示部１０６は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

また、表示部１０６がタッチパネルである態様では、操作入力部１０７は、タッチパネルセンサを含むものであってもよい。この場合、操作入力部１０７は、タッチパネルセンサに対する操作入力がなされたことを検出すると、その旨を示す制御信号をＣＰＵ１０１に出力する。

通信部１０８は、外部装置との通信インタフェースである。通信部１０８は、例えばネットワークに接続して伝送フレームの送受信を行うネットワークインタフェースであってもよい。この場合、通信部１０８は、例えば、イーサネット（登録商標）による有線ＬＡＮ接続が可能なＰＨＹおよびＭＡＣ（伝送メディア制御処理）であってもよい。あるいは、通信部１０８が無線ＬＡＮに接続可能な場合、通信部１０８は、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ／ａｘ等の無線ＬＡＮ制御を実行するコントローラ、ＲＦ回路、アンテナを含むものであってよい。

撮像部１０４、ＲＯＭ１０２、ＲＡＭ１０３、ＣＰＵ１０１、操作入力部１０７、不揮発性メモリ１１０、画像処理部１０５、表示部１０６、通信部１０８、は何れもシステムバス１０９に接続されている。

なお、本実施形態では、図１に示した機能部は、回路やプロセッサを含むハードウェアで実装するものとして説明するが、これに限られるものではない。例えば、図１に示した機能部のうち一部（例えば、画像処理部１０５）をソフトウェア（コンピュータプログラム）で実装しても良い。この場合、このようなコンピュータプログラムは不揮発性メモリ１１０に保存され、必要に応じてＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

また、図１に示した機能部のうち幾つかの機能部をまとめた１つの機能部をハードウェアまたはソフトウェアで実装するようにしても良いし、１つの機能部を機能別に分割したそれぞれの機能部をハードウェアまたはソフトウェアで実装するようにしても良い。

また、図１では、画像ファイル生成装置１００は撮像部１０４を有しているが、撮像部１０４は外付けの装置であっても良い。例えば、撮像部１０４と画像ファイル生成装置１００とを有線／無線のネットワークを介して接続し、画像ファイル生成装置１００は撮像部１０４により生成された撮像画像を該ネットワークを介して取得するようにしても良い。

次に、画像ファイル生成装置１００による画像ファイルの生成について説明する。上述したように、画像ファイル生成装置１００が生成する画像ファイルは、複数の撮像画像を格納可能であり、これに付帯する情報を含んで構成される。以下では、画像ファイルのファイルフォーマットとしてＨＥＩＦを採用し、これに準拠した画像ファイル（ＨＥＩＦファイル）を生成するべく、画像ファイル生成装置１００の各機能部が必要な情報を導出し、付帯するメタデータを構成する態様について説明する。しかしながら、これに限られるものではなく、生成する画像ファイルに採用されるファイルフォーマットは、例えばＭＰＥＧにおいて規定される他の動画ファイルフォーマットやＪＰＥＧ等のフォーマットであってもよい。

先ず、ＨＥＩＦファイルのファイル構造について、図２を用いて説明する。図２に示されるように、ＨＥＩＦファイル２００は、概して以下の５つのボックス（格納領域）を有する。

１つ目のボックス（格納領域）は、FileTypeBox（‘ｆｔｙｐ’ボックス）２０１である。‘ｆｔｙｐ’ボックス２０１には、ＨＥＩＦファイル２００のリーダ（Ｒｅａｄｅｒ）が該ＨＥＩＦファイル２００の仕様を識別するためのブランド名を格納する。

２つ目のボックス（格納領域）は、PrivacyConsiderationTypeBox（‘ｐｃｔｐ’ボックス）２０２である。‘ｐｃｔｐ’ボックス２０２は、ＨＥＩＦファイル２００のメタデータ構造から第一優先での表示対象とはならない画像やメタデータにプライバシー情報を格納可能な構造であるか否かを、構造種別毎に識別可能とするボックスである。‘ｐｃｔｐ’ボックス２０２の構成の詳細については後述する。

３つ目のボックス（格納領域）は、MetaBox（‘ｍｅｔａ’ボックス）２０３である。図２に示す如く、‘ｍｅｔａ’ボックス２０３には、撮像画像に係る複数種類の情報がそれぞれ異なるボックスに分離して格納される。

４つ目のボックス（格納領域）は、MovieBox（‘ｍｏｏｖ’ボックス）２０４である。‘ｍｏｏｖ’ボックス２０４には、ＨＥＩＦファイル２００に格納された動画像や音声などのプレゼンテーションに関する各種情報を記述するためのメタデータが格納される。なお、格納されるデータが画像シーケンスの場合、動画像に関する各種情報を記述する仕組みを用いてメタデータを格納するが、動画像と異なり、時限情報についてはオプショナルな情報となる。また、ＨＥＩＦファイル２００に動画像や音声などのシーケンスを含めない場合は、MovieBox（‘ｍｏｏｖ’ボックス）２０４はＨＥＩＦファイル２００には格納されない。

５つ目のボックス（格納領域）は、MediaDataBox（‘ｍｄａｔ’ボックス）２０５である。‘ｍｄａｔ’ボックス２０５には、符号化データ（画像データ）２４１～２４２が符号化ビットストリームとして格納される。また、‘ｍｄａｔ’ボックス２０５には、画像内の領域を示す領域情報データ２４３が格納される。さらに、‘ｍｄａｔ’ボックス２０５には、撮像部１０４による撮像時の情報等を格納するＥｘｉｆデータブロック２４４が格納される。本実施形態では、符号化データ２４１～２４２、領域情報データ２４３、Ｅｘｉｆデータブロック２４４を格納する領域として‘ｍｄａｔ’ボックス２０５を採用する態様を説明する。しかし、該領域として、例えば‘ｉｄａｔ’ボックスや‘ｉｍｄａ’ボックス等のボックス構造を採用するものであってもよい。なお、以下の説明において、‘ｍｄａｔ’ボックス２０５に格納される符号化データ２４１～２４２は、「画像データ」または「符号化データ」として適宜文言を異ならせて言及する。

HandlerReferenceBox（‘ｈｄｌｒ’ボックス）２１１は、‘ｍｅｔａ’ボックス２０３の構造を解析するためのハンドラタイプの宣言を格納する。本実施形態に係る画像ファイル生成装置１００で生成されるＨＥＩＦファイル２００では、‘ｍｅｔａ’ボックス２０３に格納されるアンタイムドデータを記述するメタデータは静止画像を対象とする。そのため‘ｈｄｌｒ’ボックス２１１には静止画像を対象とすることを識別するためハンドラタイプ名‘ｐｉｃｔ’がセットされるものとする。

PrimaryItemBox（‘ｐｉｔｍ’ボックス）２１２は、ＨＥＩＦファイル２００が格納する画像アイテムのうちの代表アイテムとする符号化データの識別子（アイテムＩＤ）を指定する。第一優先のアイテムに指定された画像アイテムが通常表示対象となる画像として再生表示が行われる。

ItemLocationBox（‘ｉｌｏｃ’ボックス）２１３は、ＨＥＩＦファイル２００における画像アイテムをはじめとする、各情報アイテムの格納場所を示す情報を格納する。‘ｉｌｏｃ’ボックス２１３は、代表的には、画像アイテムの格納場所を、ＨＥＩＦファイル２００の先頭からのバイトオフセット及び該先頭からのデータ長として記述する。即ち、‘ｉｌｏｃ’ボックス２１３の情報により、‘ｍｄａｔ’ボックス２０５に格納される符号化データ２４１～２４２、領域情報データ２４３、Ｅｘｉｆデータブロックの位置を特定することができる。

ItemInfoBox（‘ｉｉｎｆ’ボックス）２１４は、ＨＥＩＦファイル２００に含まれる全アイテムについて、アイテムＩＤ、アイテム種別を示すアイテムタイプ等の基本的な情報（アイテム情報）を定義する。アイテム情報には符号化画像アイテムや派生画像アイテムなどの画像アイテムだけでなく、画像内の領域を示す領域アイテムやＥｘｉｆデータブロックを示すＥｘｉｆ情報アイテムなどが指定される。

ItemReferenceBox（‘ｉｒｅｆ’ボックス）２１５は、ＨＥＩＦファイル２００に含まれるアイテム間の関連付けを記述する情報を格納する。‘ｉｒｅｆ’ボックス２１５は、画像アイテムが撮像画像である態様では、画像アイテムとその撮像情報（Ｅｘｉｆデータ等）のアイテムの関連付けを記述するために使用される。また複数の画像アイテムが派生画像の関係にある態様では、該画像アイテム間の関連付けを記述するために使用される。画像アイテム内の領域を示す態様では、該画像アイテムと領域アイテムとの間の関連付けを記述するために使用される。それぞれのアイテムの関連づけはアイテム参照タイプが指定され、アイテム参照の種別が識別可能となる。また、from_item_ID及びto_item_IDにｉｉｎｆボックスで指定したアイテムＩＤを記述することで各アイテム間の参照関係を記述する。

ItemPropertiesBox（‘ｉｐｒｐ’ボックス）２１６は、ＨＥＩＦファイル２００に含まれる情報アイテムについての各種属性情報（アイテムプロパティ）を格納する。より詳しくは、‘ｉｐｒｐ’ボックス２１６は、属性情報を記述するItemPropertyContainerBox（‘ｉｐｃｏ’ボックス）２２１と、属性情報と各アイテムとの関連付けを示すItemPropertyAssociation（‘ｉｐｍａ’ボックス）ボックス２２２と、を含む。

‘ｉｐｃｏ’ボックス２２１は、例えば、ＨＥＶＣ画像アイテムの復号に必要となるＨＥＶＣパラメータセットを示すエントリデータ、画像アイテムの幅と高さをピクセル単位で示すエントリデータ等の属性情報を格納するものであってよい。また、アイテムプロパティとして任意のテキスト情報を指定可能な属性情報も指定可能である。

図７に示すAccessibilityTextProperty（‘ａｌｔｔ’）は、任意のテキスト情報を格納可能な属性情報の一例である。図７に示すAccessibilityTextPropertyには、定義７０１に示す４文字コード‘ａｌｔｔ‘が含まれ、この４文字コードを用いてAccessibilityTextPropertyを識別する。ａｌｔｔプロパティはalt_text７０２を含み、ＨＴＭＬの代替テキストと同様に、画像を表示できない場合に画像の代替テキストとして使用するのに適した文字列が含まれる。ａｌｔｔプロパティはさらにalt_lang７０３を含み、代替テキストで使用される言語がＩＥＴＦ ＲＦＣ５６４６に準拠した言語タグ文字列で表される。同じアイテムに複数のａｌｔｔプロパティが関連づけられている場合、それらは異なる言語で指定された選択肢を表し、リーダは適切なものを選択可能である。同じalt_lang値を持つプロパティは、最大で１つ同じアイテムに関連づけられる。

また、図８に示すUserDescriptionProperty（‘ｕｄｅｓ’）も同様に、任意のテキスト情報を格納可能な属性情報の一例である。図８に示すUserDescriptionPropertyには、定義８０１に示す４文字コード‘ｕｄｅｓ‘が含まれ、この４文字コードを用いてUserDescriptionPropertyを識別する。ｕｄｅｓプロパティはユーザ定義の名称情報（name）８０３、注釈記述情報（description）８０４、及びタグ情報（tags）８０５を含み、アイテムまたはエンティティグループに関連付け可能とする。ｕｄｅｓプロパティはさらに名称情報（ｌａｎｇ）８０２を含み、ｕｄｅｓプロパティで使用される言語がＩＥＴＦ ＲＦＣ５６４６に準拠した言語タグ文字列で表される。同じアイテムまたはエンティティグループに複数のｕｄｅｓプロパティが関連づけられている場合、それらは異なる言語で指定された選択肢を表し、リーダは適切なものを選択可能である。ここで、名称情報８０３は、ｕｄｅｓプロパティが関連付けられたアイテムまたはエンティティグループの名称を、人間が可読な態様で示す情報である。また、注釈記述情報８０４は、ｕｄｅｓプロパティが関連付けられたアイテムまたはエンティティグループについての説明、あるいは注釈として提示する文章を、人間が可読な態様で示す情報である。また、タグ情報８０５は、ｕｄｅｓプロパティが関連付けられたアイテムまたはエンティティグループに対応付けられる、ユーザ定義または自動で割り当てられるタグを示す情報であり、例えばカンマ区切りで複数のタグを含むことが可能に構成される。

図７、図８に示したアイテムプロパティは任意のテキスト情報を含むことが可能なことから、その記述内容によってはプライバシーを含むことが可能なメタデータとなっている。つまりこのような任意のテキスト情報を含むプロパティがＨＥＩＦファイル内に含まれ、アイテムプロパティの中にプライバシーを含む記述がされていることがあり得る。また、アイテムプロパティは通常表示を意図したデータではない。そのため、ＨＥＩＦファイル内にこのようなアイテムプロパティが含まれていても、その記述が含まれていることを認識せずに転送や、Ｗｅｂ等で公開してしまう恐れのあるデータとして含まれる可能性がある。

また、アイテムプロパティとして指定可能な属性情報として画像を出力する際に画像を変換して表示することを意図したTransfomativePropertyを指定することも可能である。これは例えば、画像を回転して表示させるための回転情報を示したデータや、画像をクロップ（切り抜いて）表示させるための切り抜き情報を示したデータ等を格納するものであってもよい。

図２に戻って、‘ｉｐｍａ’ボックス２２２は、情報アイテムのＩＤ（アイテムＩＤ）を用いて、アイテムのそれぞれについて、‘ｉｐｃｏ’ボックス２２１に格納された属性情報との関連付けを示すエントリデータを格納する。なお、Ｅｘｉｆデータブロック情報アイテムなど、アイテムに関連づける属性情報がない場合は関連付けを示すエントリデータは格納しない。

ItemDataBox（‘ｉｄａｔ’ボックス）２２３は、ＨＥＩＦファイル２００に含まれるアイテムに関するデータを格納する。‘ｉｄａｔ’ボックス２２３には、例えば派生画像アイテムを記述するためのデータ構造が格納される。ここで、‘ｉｄａｔ’ボックス２２３に格納され得る派生画像アイテムのデータ構造の一例を図９及び図１０を用いて説明する。

図９に示すデータ構造は、グリッド派生画像を記述するためのデータ構造である。ｉｉｎｆボックスで示したアイテムタイプが‘ｇｒｉｄ’のアイテムは、再構成された画像が所定のグリッド順で１つ以上の入力画像から構成される派生画像アイテムを定義する。派生画像アイテムの入力画像は、ｉｒｅｆボックスを用いてｄｉｍｇ参照タイプのアイテムリファレンスが指定され、to_item_IDに指定した画像アイテムＩＤが入力画像として派生画像を構成する。すべての入力画像は同じ幅、高さで構成される。グリッド派生画像アイテムデータは図９に示す如く、該データ構造で扱うパラメータのサイズ（FieldLength）を示すデータサイズ情報９０１を含む。本実施形態では、グリッド派生画像データ構造で扱うサイズとして１６ｂｉｔと３２ｂｉｔを切り替え可能に構成されており、flagsの値に基づいていずれかのデータサイズに決定される。また、グリッド派生画像アイテムデータは、派生画像への入力画像の行数を示すrow_minus_one９０２と、１行あたりの入力画像の数（列数）を示すcolumns_minus_one９０３と、を含む。row_minus_one９０２およびcolumns_minus_one９０３のそれぞれの値には、行数または列数より１つ少ない値が指定される。なお、アイテム参照として記述するto_item_IDに指定する画像アイテムIDの個数は、row×columnsの数と一致しなければならない。入力イメージは、ｉｒｅｆボックスでアイテム参照指定された順に入力され、最初に一番上の行の左から右の順に入力され、次に２番目の行の左から右と以降順に入力される。さらに、グリッド派生画像アイテムデータは、グリッド派生画像として出力する画像の幅および高さをそれぞれ示すoutput_width９０４およびoutput_height９０５を含む。入力画像の幅×columnsがoutput_width以上である場合、入力画像の高さ×rowsがoutput_height以上である場合は、グリッドとして構成したすべての画像の右及び下の画像はoutput_widhth及びoutput_heightにトリミングして画像を出力する。このように、グリッド派生画像は、たとえ第一優先画像（最も優先的に表示される画像）としてｐｉｔｍにアイテムＩＤが指定されていたとしても、そのインプットとなる画像のすべてのピクセル情報を表示対象としない可能性がある。つまり、output_width及びoutput_heightでトリミングして画像を出力することから、その構成方法によっては右及び下の画像の一部は出力対象とならない。この出力対象とならない右及び下の画像部分内にプライバシー情報が写り込んでいたとしても、通常表示対象とならないことから、ユーザは容易に気付くことはできない。つまり、画像部分内にプライバシー情報が含まれていたとしても、そのことを認識しないまま、転送や、Ｗｅｂ等で公開してしまう恐れのあるデータとして含まれる可能性がある。

また、図１０に示すデータ構造は、オーバーレイ派生画像を記述するためのデータ構造である。ｉｉｎｆボックスで示したアイテムタイプが‘ｉｏｖｌ’のアイテムは１つ以上の入力画像をより大きなキャンバス内の指定されたレイヤ順序でオーバーレイすることによって構成される派生画像アイテムを定義する。派生画像アイテムの入力画像は、ｉｒｅｆボックスを用いてｄｉｍｇ参照タイプのアイテムリファレンスが指定され、to_item_IDに指定した画像アイテムＩＤが入力画像として派生画像を構成する。入力画像としてアイテムリファレンスに最初に指定された画像が一番下のレイヤに、最後に指定された画像が一番上のレイヤに出力される。オーバーレイ派生画像データは、図１０に示す如く、入力イメージのピクセルが特定のピクセル位置にない場合に使用される、チャンネルごとのピクセル値示すcanvas_fill_value１００１を含む。塗りつぶしの値は、ＲＧＢ値及び透明度を示すＡで指定する。また、オーバーレイ派生画像データは、該オーバーレイ派生画像データ構造で扱うパラメータのサイズ（FieldLength）を示すデータサイズ情報１００２を含む。本実施形態では、オーバーレイ派生画像データ構造で扱うサイズとして１６ｂｉｔと３２ｂｉｔを切り替え可能に構成されており、flagsの値に基づいていずれかのデータサイズに決定される。さらにオーバーレイ派生画像データは、オーバーレイ派生画像として出力するキャンバスとなる画像の幅および高さのサイズをのそれぞれ示すoutput_width１００３およびoutput_height１００４を含む。また、オーバーレイ派生画像データは、キャンバスの左上隅からの入力画像が配置されるオフセットを指定するhorizontal_offset１００５及びvertical_offset１００６を含む。入力画像のオフセット及び入力画像のサイズにより、キャンバスサイズを超えるピクセル位置に配置される画像部分は再構成されたオーバーレイ派生画像には含まれない。このように、オーバーレイ派生画像は、たとえ第一優先画像としてｐｉｔｍにアイテムＩＤが指定されていたとしても、そのインプットとなる画像のすべてのピクセル情報を表示対象としない可能性がある。つまり、output_width及びoutput_heightで指定したキャンバスサイズを超えるピクセル位置に配置される画像部分は派生画像に含まれないことから、その構成方法によっては画像の一部は出力対象とならない。また、オーバーレイ表示する際に別のインプット画像によってオーバーレイ表示されるインプット画像の一部のピクセルについても出力対象とはならない。この出力対象とならない画像部分内にプライバシー情報が写り込んでいたとしても通常表示対象とならないことから、ユーザーは容易に気付くことはできない。つまり、画像部分内にプライバシー情報が含まれていたとしても、そのことを認識しないまま、転送や、Ｗｅｂ等で公開してしまう恐れのあるデータとして含まれる可能性がある。

図２に戻って、MoovieHeaderBox（‘ｍｖｈｄ’ボックス）２３１は、ＨＥＩＦファイル２００に含まれるプレゼンテーションについて、ｍｏｏｖボックス内のメディアに依存しないプレゼンテーション全体に関連する全体的な情報を格納する。

TrackBox（‘ｔｒａｋ’ボックス）２３２は、ＨＥＩＦファイル２００に含まれるプレゼンテーションの単一トラック用のコンテナボックスである。プレゼンテーションは１つ以上のトラックで構成され、各トラックは、独自の時間的および空間的情報を持つ。

TrackHeaderBox（‘ｔｋｈｄ’ボックス）２３３は、各トラックに１つ格納されるボックスで、トラックを識別するｔｒａｃｋ＿ＩＤやトラックの特性情報を格納する。

また各トラックには、関連するMediaBox（‘ｍｄｉａ’ボックス）２３４が含まれ、MediaHeaderBox（‘ｍｄｈｄ’ボックス）２３５、HandlerReferenceBox（‘ｈｄｌｒ’ボックス）２３６、MediaInformationBox（‘ｍｉｎｆ’ボックス）２３７などのメディアデータに関する情報を格納する。HandlerReferenceBox（‘ｈｄｌｒ’）２３６には、Ｍｅｄｉａボックスの構造を解析するためのハンドラタイプの宣言を格納する。動画像を示す場合‘ｖｉｄｅ’が、音声を示す場合‘ｓｏｕｎ’が、画像のシーケンスを示す場合‘ｐｉｃｔ’が、ハンドラタイプとして指定される。

次に、‘ｍｄａｔ’ボックス２０５に格納される領域情報データ（RegionItem）２４３のデータ構造について、図１１にその定義を示す。なお、以下の説明において、‘ｍｄａｔ’ボックス２０５に格納される領域情報データ２４３は、「領域アイテム」または「Region item」として適宜文言を異ならせて言及する場合がある。ｉｉｎｆボックスで示したアイテムタイプが‘ｒｇａｎ’のアイテムは、画像内の領域を識別することを意図した領域アイテムを定義する。領域情報データと符号化データとの関連づけは、ｉｒｅｆボックスを用いてｃｄｓｃ参照タイプのアイテムリファレンスが指定され、画像内の領域を定義する。図１１に示す如く、１つの領域情報データ２４３は、該データ構造で扱うパラメータのサイズ（field_size）を示すデータサイズ情報１１０１を含む。本実施形態では、領域情報データ２４３内のデータ構造で扱うサイズとして１６ｂｉｔと３２ｂｉｔを切り替え可能に構成されており、flagsの値に基づいていずれかのデータサイズに決定される。

加えて、領域情報データ２４３は、領域情報データ２４３に係る領域を定義するための参照空間の２次元サイズを示した空間サイズ情報１１０２を含む。ＨＥＩＦファイルが複数種類の画像サイズの画像データを格納可能であり、また編集によりその画像サイズを変更可能であることを踏まえると、格納された画像データの画像サイズのそれぞれについて領域情報データ２４３を格納することは効率的でない。このため、本実施形態では、領域情報データ２４３が対象とする画像データサイズを全体に対して割り当てる参照空間を導入し、該参照空間について領域の各種情報を定めることで、画像データの画像サイズに依らない領域定義を相対的に行う。例えば、参照空間を１０２４画素×５１２画素とする態様において、同画像サイズの画像データについて特定される領域は、後述の領域形状情報１１０４で示される位置と幅及び高さと等しい値で該画像データ中に定められる。一方、２０４８画素×１０２４画素の画像データについて特定される領域は、後述の領域形状情報１１０４で示される位置と幅及び高さを２倍にした値で、該画像データ中に定められる。即ち、領域情報データ２４３は、領域を画像データの全体における相対的な位置・形状として定義するものであり、空間サイズ情報１１０２は、該全体に対して割り当てる参照空間の２次元サイズを定める。図１１に示されるように、空間サイズ情報１１０２は、参照空間の幅を示すreference_widthと、参照空間の高さを示すreference_heightと、を含む。

また、領域情報データ２４３は、領域情報データ２４３により定義される領域の数（region_count）を示す領域数情報１１０３と、定義される領域のそれぞれについて領域の形状（geometry_type）を示す領域形状情報１１０４と、を含む。本実施形態の領域情報データ２４３では、領域の形状として、点（point）、矩形（rectangle）、楕円（ellipse）、多角形（polygon）、連続直線（polyline）、参照マスク（referenced mask）及びインラインマスク（inline mask）が選択可能に構成されており、geometry_typeの値によって形状が特定される。なお、本実施形態では、領域として７種類の２次元形状を選択可能であるものとして説明するが、これに限られるものではない。画像データ中の任意の空間を特定可能であれば、例えば、線（line）や三角形（triangle）、自由曲線（free curve）や３Ｄ形状等を領域形状情報１１０４に用いてもよいことは容易に理解されよう。ここで、領域形状情報１１０４は、形状がいずれであるかによって領域特定の具体的なパラメータの記述方法が異なる。

形状が点（geometry_typeが０）である場合、領域は、参照空間における該点の座標を示す位置情報（ｘ、ｙ）１１０５で特定される。

また、形状が矩形（geometry_typeが１）である場合、領域は、参照空間における該矩形の左上の点（基準点）の座標を示す位置情報（ｘ、ｙ）１１０６と、該矩形の幅（width）及び高さ(height)を示す形状定義情報１１０７と、で特定される。

また、形状が楕円（geometry_typeが２）である場合、領域は、参照空間における該楕円の中心の座標を示す位置情報（ｘ、ｙ）１１０８と、該楕円のｘ軸方向の半径（radius_x）及びｙ軸方向の半径（radius_y）の長さを示す形状定義情報１１０９と、で特定される。

また、形状が多角形（geometry_typeが３）及び連続直線（geometry_typeが６）である場合、領域は、参照空間における該多角形の頂点の数を示す頂点数情報１１１０と、各頂点の座標を示す位置情報（px、py）１１１１と、で特定される。

また、形状が参照マスク（geometry_typeが４）である場合、マスク画像アイテムとして定義された別のアイテムをｉｒｅｆボックスの参照タイプｍａｓｋを用いて符号化画像データと関連づけられる。そして領域は、参照空間における矩形の左上の点（基準点）の座標を示す位置情報（ｘ、ｙ）１１１２と、該参照マスクの幅（width）及び高さ(height)を示す形状定義情報１１１３と、で特定される。なお、幅及び高さに０が指定された場合、サイズ情報は参照マスク画像アイテムにアイテムプロパティとしてサイズ情報を関連づけるものとする。

また、形状がインラインマスク（geometry_typeが５）である場合、data１１１８に格納されたマスクイメージ内の値が１であるピクセルに対応する画像データ部分が領域を示す。領域は、参照空間における矩形の左上の点（基準点）の座標を示す位置情報（ｘ、ｙ）１１１４と、該参照マスクの幅（width）及び高さ(height)を示す形状定義情報１１１５と、で特定される。

加えて、領域情報データ２４３には、データに含まれるマスクに適用されるコーディング方法を示すmask_coding_method１１１６が含まれる。mask_coding_method１１１６の値が０の場合、マスクに符号化は適応されず、mask_coding_method１１１６の値が１の場合、ＲＦＣ１９５１で定義されるdeflate圧縮が適応されていることを示す。他の値は予約され規定されていない。

mask_coding_parameters１１１７は、符号化されたマスクデータを正常に処理するために必要な追加の符号化パラメータを示す。mask_coding_method１１１６の値が１の場合、mask_coding_parameters１１１７は、コーディングされたマスク配列データのバイト数を示す。mask_coding_parametersの値は、mask_coding_methodの値が１より大きい場合に予約される。

data１１１８には、インラインマスクのピクセルを含むマスクのコード化された表現または圧縮されていない表現がラスタスキャン順に含まれる。各ピクセルは１ビットで表され、８ピクセルが１バイトにパックされる。バイトパッキングはビッグエンディアン順である。マスクの幅が８ピクセルの倍数でない場合は、各ラインの最後にパディングを入れないものとする。最後のデータバイトだけが０に設定されたビットでパディングされる。

次に、ＨＥＩＦファイル２００のファイルレベルに格納されるPrivacyConsiderationTypeBox（‘ｐｃｔｐ’ボックス）２０２のデータ構造について、図６にその定義を示す。

定義６０１に示されるように、PrivacyConsiderationTypeBoxは、Ｂｏｘタイプ‘ｐｃｔｐ‘を含み、４文字コード’ｐｃｔｐ‘で識別可能なＢｏｘである。

定義６０２のｅｎｔｒｙ＿ｃｏｕｎｔは、ＨＥＩＦファイル２００に含まれるメタデータ構造から第一優先での表示対象とはならない画像（非第一優先画像）やメタデータにプライバシー情報を格納可能な構造の種別の数を示す値を含む。なお、いずれの種別のプライバシー情報をも格納可能な構造ではない場合、ｅｎｔｒｙ＿ｃｏｕｎｔに０を指定するようにしてもよい。これにより、プライバシー情報を含めることが可能な構造であるか否かを判定済みのファイルであることを示すことができる。

定義６０３のｐｒｉｖａｃｙ＿ｃｏｎｓｉｄｅｒａｔｉｏｎ＿ｔｙｐｅは、プライバシー情報を格納可能な構造の種別を示すタイプ情報である。

定義６０４は、プライバシー情報を格納可能な構造ではあるが、プライバシー情報が含まれないことが判定済みのデータであることを示す。

定義６０３及び定義６０４は、定義６０２のｅｎｔｒｙ＿ｃｏｕｎｔに示した数の分の識別情報を含む。定義６０３のｐｒｉｖａｃｙ＿ｃｏｎｓｉｄｅｒａｔｉｏｎ＿ｔｙｐｅには、構造の種別を示す値が格納される。

例えば、タイプが１の場合、第一優先画像であるｐｉｔｍにグリッド派生画像アイテムが指定されており、出力対象とならない右及び下の画像部分が存在することを示す。つまり、入力画像の一部がトリミングされて表示されない部分を含む構成であることを示すパラメータである。なお、グリッド派生画像がｐｉｔｍに指定されていても、派生画像出力にあたって、入力画像の一部がトリミングされない場合、本タイプには該当しない。つまり入力画像の幅×columnsがoutput_widthと一致し、かつ入力画像の高さ×rowsがoutput_heightに一致する場合である。

タイプが２の場合は、第一優先画像であるｐｉｔｍにオーバーレイ派生画像が指定され、キャンバス外に配置される入力画像の部分がある場合、及び他の入力画像によってオーバーレイ表示されることで出力対象とならない入力画像の部分が存在する構成であることを示す。

タイプが３の場合は、第一優先画像に指定された画像アイテムにクロップ変換アイテムプロパティが適応されている構造であることを示す。クロップ変換アイテムプロパティが適応されることによって表示対象とならない画像部分がｐｉｔｍに指定された画像アイテムに含まれることを示す。

タイプが４の場合は、ｐｉｔｍに指定された画像アイテムと関連がない、または関連があっても出力表示に影響のない別の画像アイテムが含まれるファイル構成であることを示す。例えば、第一優先画像のサムネイル画像アイテムや、第一優先画像が派生画像の場合のインプット画像となる画像アイテムは含まれていたとしても本タイプには該当しない。一方で、イメージコレクションやスライドショーなどのエンティティグループとして第一優先画像と他の画像アイテムが同一グループとして格納されていた場合は、第一優先表示にあたっての出力表示に影響はない。そのため、本タイプのプライバシーを含むことが可能なファイル構造として種別が識別される。

タイプが５の場合は、ＨＥＩＦファイル内がイメージシーケンスを含むファイル構造であることを示す。これはｍｏｏｖボックス内に画像のシーケンスが第一優先画像となる静止画像とは別に格納されている場合が想定される。例えば、画像シーケンスのうちの１つの画像が第一優先画像として指定されていたとしても、シーケンス内の別画像にプライバシーを含む情報が写り込んでいる可能性があることを示す。さらには、静止画像とは関連のない画像シーケンスが含まれている場合も含まれる。本タイプは、すでに規定されているブランド定義やファイル拡張子等でも識別可能となる場合がある。

タイプが６の場合は、任意のテキスト情報を記述可能なアイテムプロパティが含まれていることを示す。これは前述したAccessibilityTextPropertyやUserDescriptionPropertyが含まれている場合となる。このようなプロパティは、第一優先画像に関連づけられているか否かに関わらず、ファイル内にこのようなプロパティが含まれている場合は対象となる。

タイプが７の場合は、領域アイテムが第一優先画像に関連づけられている種別である。第一優先画像に関連づけられた領域アイテムは表示する装置によっては表示対象とする場合も含まれるが、表示対象としなければならないというものではないため、機器によって対応が異なる。さらに領域アイテムとして参照マスクやインラインマスクが指定された場合は、マスクによって第一優先画像の部分が表示されない場合があることを示す。

タイプが８の場合は、画像の領域外を指定した領域アイテムが第一優先画像に関連づけられている種別であることを示す。このような場合、たとえ領域アイテムを表示対象とする機器であっても、表示対象とはならないことが起こり得る。このようなファイルのメタデータ構成であることを識別可能とする。

タイプが９の場合は、Ｅｘｉｆデータブロックがファイルに含まれることを示す種別であることを示す。これは特にＧＰＳ情報がＥｘｉｆデータブロックに含まれる場合が想定されるが、その他のＥｘｉｆデータブロック情報を対象としてもよい。

タイプが１０の場合は、その他プライバシーを含めることが可能なＨＥＩＦファイルデータ構造であることを示す種別情報であることを示す。タイプ１１は予約される。

このように、通常表示対象とはならないデータがＨＥＩＦファイルにプライバシー情報を含めることが可能なデータ構造として含まれている場合に、ユーザや再生装置が容易に識別可能な情報として格納される。これは、プライバシー情報が実際にＨＥＩＦファイルに含まれているか否かに関わらず、そのようなデータを格納可能なファイル構造であるか否かに基づいて格納される識別情報である。さらに、そのようなデータ構造であったとしても、ユーザがプライバシーを含まないと判定済みのデータ構造については、プライバシーを含まないことを判定済みであることを示す識別情報no_pravacy_flag６０４を格納する。これにより、プライバシーを含むことが可能なデータ構造であったとしても、プライバシーに関するケアが不要なファイルとして扱うことが可能である。なお、本ボックス構造は一例であり、またタイプ種別についてもその他の形態であってもよい。

ここで、図５を参照して本実施形態の画像ファイル生成装置１００が出力する出力ファイル（画像ファイル）の一例を説明する。なお、本実施形態では画像ファイルはファイルデータ構造として４種類のプライバシー情報を格納可能な種別を含むデータがファイルに格納するよう構成されるものとする。

図５の例では、‘ｍｄａｔ’ボックス２０５に対応する記述５０５に示されるように、ＨＥＶＣの符号化データ（HEVC Image Data及びHEVC Image Sequence Data）２４１～２４２と、領域情報データ（Region item Data）２４３と、Exifデータブロック（Exif Data Block）２４４と、を格納した画像ファイルを例示している。記述５２３に示されるように、領域情報データ２４３は、図１１に示した定義に準拠しており、画像サイズを４０３２画素×３０２４画素とする参照空間について矩形状の領域を特定している。また同記述で特定される領域は、領域の参照空間における基準点の座標（x0, y0）と画像サイズ（w0×h0）が指定されている。

記述５０１は、‘ｆｔｙｐ’ボックス２０１に対応しており、ＨＥＩＦファイルに準拠するブランド定義のタイプ値major-brandとして‘ｍｉｆ１’が格納され、互換性のあるブランド定義のタイプ値compatible-brandsとして‘ｈｅｉｃ’が格納されている。

記述５０２は、‘ｐｃｔｐ’ボックス２０２に対応しており、ＨＥＩＦファイルに格納されたデータ及びメタデータからプライバシー情報を格納可能な構造か否かを識別可能とする。本出力フィルの例では、４種類のプライバシー情報を格納可能な構造であることを示しており（ｅｎｔｒｙ＿ｃｏｕｎｔが４）、記述５１１～５１４にそれぞれのタイプ情報が格納されている。

記述５１１は、本実施形態に係る画像ファイル生成装置１００が出力するＨＥＩＦファイルがｐｉｔｍにグリッド画像がアイテムを指定しており、グリッドの右ないし下がトリミングされて出力される形態のグリッド派生画像を含む構造であることを示している。さらに、記述５１１では、本種別で示されるデータ構造（グリッド画像の出力されない部分）にはプライバシー情報を含んでいないことを判定済みであることを示す情報として、no_privacy_flagに１が指定されている。

記述５１２は、本実施形態に係る画像ファイル生成装置１００が出力するＨＥＩＦファイルがイメージシーケンスを含むデータ構造であることを示している。また記述５１１と同様、本種別で示されるデータ構造（イメージシーケンス）では、プライバシー情報を含んでいないことを判定済みであることを示す情報として、no_privacy_flagに１が指定されている。

記述５１３は、本実施形態に係る画像ファイル生成装置１００が出力するＨＥＩＦが任意のテキスト情報を含むアイテムプロパティを含むデータ構造であることを示している。さらに記述５１３では、no_privacy_flagに０が指定されており、本データ構造（任意のテキストを含むアイテムプロパティ）はプライバシー情報を含んでいる可能性があることを示している。

記述５１４は、本実施形態に係る画像ファイル生成装置１００が出力するＨＥＩＦファイルがＥｘｉｆデータブロックを含むデータ構造であることを示している。さらに記述５１４では、本種別で示されるデータ構造（Ｅｘｉｆデータブロック）では、プライバシー情報を含んでいないことを判定済みであることを示す情報として、no_privacy_flagに１が指定されている。

次に、‘ｍｅｔａ’ボックス２０３に対応する記述５０３において、出力ファイル例において格納されたアンタイムドデータを記述したメタデータの各種情報が示されている。

記述５１５は、‘ｈｄｌｒ’ボックス２１１に対応しており、指定するＭｅｔａＤａｔａＢｏｘ（ｍｅｔａ）のハンドラタイプは‘ｐｉｃｔ’である。

記述５１６は、‘ｐｉｔｍ’ボックス２１２に対応しており、ｉｔｅｍ＿ＩＤとして２５が格納され、第一優先画像として表示対象とする画像のＩＤが指定されている。

記述５１７は、‘ｉｉｎｆ’ボックス２１４に対応しており、アイテムのそれぞれについて、アイテム情報（アイテムＩＤ（item_ID）及びアイテムタイプ（item_type））を示す。各アイテムをｉｔｅｍ＿ＩＤで識別可能とし、ｉｔｅｍ＿ＩＤで識別されるアイテムがどのような種類のアイテムであるかを示す。図５の例では、２８個のアイテムが格納されるため、entry_countが２８であり、記述５１７には２８種類の情報が並び、それぞれアイテムＩＤ及びアイテムタイプが指定されている。図示される画像ファイルでは、１～２４番目の情報が、タイプｈｖｃ１のＨＥＶＣ符号化画像アイテムである。また、２５番目の情報が、アイテムタイプｇｒｉｄのグリッド派生画像アイテムである。また、２６番目の情報が、サムネイル画像となるアイテムタイプｈｖｃ１のＨＥＶＣ符号化画像アイテム、２７番目の情報が、領域を示すアイテムタイプｒｇａｎの領域アイテム、２８番目の情報が、Ｅｘｉｆデータブロックを示すアイテムタイプＥｘｉｆのメタデータアイテムである。そのため、記述５１４に示したように、本実施形態に係る画像ファイル生成装置１００が出力するＨＥＩＦファイルがＥｘｉｆデータブロックを含むデータ構造であることを示している。

記述５１８は、‘ｉｌｏｃ’ボックス２１３に対応しており、それぞれのアイテムのＨＥＩＦファイル内の格納位置、データサイズの情報が指定されている。例えばｉｔｅｍ＿ＩＤが１の符号化画像アイテムは、ファイル内のオフセットが０１の場所に、サイズがＬ１バイトであることを示しており、ｍｄａｔＢｏｘ内のデータの位置が特定される。

記述５１９は、‘ｉｒｅｆ’ボックス２１５に対応しており、各アイテム間の参照関係（関連づけ）を示す。記述５３１に示すアイテム参照には、参照タイプが派生画像であることを示すｄｉｍｇが指定されている。またｆｒｏｍ＿ｉｔｅｍ＿ＩＤに指定されたｉｔｅｍ＿ＩＤ＝２５のグリッド派生画像アイテムから、ｔｏ＿ｉｔｅｍ＿ＩＤに指定されたｉｔｅｍ＿ＩＤ＝１～２４のＨＥＶＣ符号化画像アイテムを参照していることが示されている。これにより、派生画像アイテムへの入力画像としてｉｔｅｍ＿ＩＤ＝１～２４の符号化画像アイテムが指定される。また、記述５３２に示すアイテム参照には、参照タイプにサムネイル関係を示すｔｈｍｂが指定されている。ｆｒｏｍ＿ｉｔｅｍ＿ＩＤに指定されたｉｔｅｍ＿ＩＤ＝２６のＨＥＶＣ符号化画像アイテムから、ｔｏ＿ｉｔｅｍ＿ＩＤに指定されたｉｔｅｍ＿ＩＤ＝２５のグリッド派生画像アイテムを参照していることが示されている。これにより、ｉｔｅｍ＿ＩＤ＝２６のＨＥＶＣ符号化画像アイテムは、ｉｔｅｍ＿ＩＤ＝２５のグリッド派生画像アイテムのサムネイル画像であることを示している。記述５３３、記述５３４に示すアイテム参照には、参照タイプにコンテンツ記述関係を示すｃｄｓｃが指定されている。記述５３３では、ｆｒｏｍ＿ｉｔｅｍ＿ＩＤに指定されたｉｔｅｍ＿ＩＤ＝２７の領域情報アイテムから、ｔｏ＿ｉｔｅｍ＿ＩＤに指定されたｉｔｅｍ＿ＩＤ＝２５のグリッド派生画像アイテムを参照していることが示されている。これにより、ｉｔｅｍ＿ＩＤ＝２７の領域情報アイテムは、ｉｔｅｍ＿ＩＤ＝２５のグリッド派生画像アイテム内の部分領域を示している。記述５３４では、ｆｒｏｍ＿ｉｔｅｍ＿ＩＤに指定されたｉｔｅｍ＿ＩＤ＝２８のＥｘｉｆデータブロックアイテムから、ｔｏ＿ｉｔｅｍ＿ＩＤに指定されたｉｔｅｍ＿ＩＤ＝２５のグリッド派生画像アイテムを参照していることが示されている。これにより、ｉｔｅｍ＿ＩＤ＝２８のＥｘｉｆデータブロックアイテムは、ｉｔｅｍ＿ＩＤ＝２５のグリッド派生画像アイテムの撮像時の情報を記述していることを示している。

記述５２０は、‘ｉｄａｔ’ボックス２２３に対応しており、アイテムＩＤ＝２５のグリッド派生画像アイテムのデータ構造が指定されている。本実施形態のＨＥＩＦファイルでは、グリッド派生画像のrows_minus_oneに３が、columuns_minus_oneに５がそれぞれ指定されている。これにより、４×６の入力画像がグリッド派生画像として構成されることを示している。なお、記述５３１に示したアイテム参照の入力画像数として指定された２４個のアイテム数とグリッドの個数である４×６（＝２４）は一致する値が指定されている。個数またoutput_widthに４０３２が、output_heightに３０２４がそれぞれ指定されており、幅４０３２画素（ピクセル）、高さ３０２４画素（ピクセル）の画像として構成される。

記述５２１は、‘ｉｐｒｐ’ボックス２１６に対応しており、‘ｉｐｃｏ’ボックス２２１に対応する記述５３５と、‘ｉｐｍａ’ボックス２２２に対応する記述５３６と、を含む。記述５３５は、各アイテムに使用され得る属性情報をエントリデータとして列挙している。図示されるように、記述５３５は、符号化パラメータを示す１番目、２番目のエントリとアイテムの表示ピクセルサイズを示す３番目、４番目、５番目のエントリに加え、注釈記述情報を示す６番目のエントリを含む。注釈記述情報にはlangが日本語（ＪＰ）であり、nameに「連絡先電話番号」がセットされており、descriptionに「０９０－１２３４―５６７８」がセットされており、tagsには「個人情報」がセットされている。このように、記述５１３の識別情報で任意のテキストを含むアイテムプロパティにプライバシー情報を含んでいる可能性があることを示したように、実際にプライバシー情報を含んだファイルとして出力されている。記述５３５に列挙された属性情報は、‘ｉｐｍａ’ボックス２２２に対応する記述５３６のエントリデータにおいて、ＨＥＩＦファイルに格納される各アイテムに関連付けられる。図５の例では、item_ID＝１～２４の画像アイテムには共通の‘ｉｓｐｅ’（property_indexが４）が関連付けられ、同一の画像サイズ１０２４画素×１０２４画素の画像であることが示されている。また同様に、item_IDが１～２４の画像アイテムには共通の‘ｈｖｃＣ’（property_indexが１）が関連付けられ、同一の符号化パラメータであることが示されている。一方、item_ID＝２５～２７のアイテムには異なるアイテムプロパティがそれぞれ関連づけられている。item_ID＝２５の派生画像アイテムには‘ｉｓｐｅ’（property_indexが３）が関連付けられ、画像サイズ４０３２画素×３０２４画素であることが示されている。記述５２０のグリッド派生画像のデータ構造でも述べたように、本出力ファイル例に示したグリッド派生画像の行と列にそれぞれインプット画像を当てはめると、画像サイズは６×１０２４の幅と４×１０２４の高さとなり、派生画像サイズである４０３２画素×３０２４画素の方が小さくなるため、グリッドにインプット画像を配置した後に、下と右の部分画像はトリミングされる。そのため、記述５１１では、トリミングされる部分は通常表示対象とはならず、この部分にプライバシーを含む画像が写り込んでいる可能性のあるデータ構造であることが示されている。item_ID＝２６の画像アイテムには‘ｉｓｐｅ’（property_indexが５）が関連付けられ、画像サイズが７６８画素×５７６画素の画像であることが示されている。また同様に、item_ID＝２６の画像アイテムには‘ｈｖｃＣ’（property_indexが２）が関連付けられ、符号化パラメータが示されている。item_ID＝２７の領域情報アイテムには‘ｕｄｅｓ’（property_indexが６）が関連付けられ、領域に対する注釈情報が示されている。このように、‘ｕｄｅｓ’プロパティの関連付けにより、領域に対する注釈情報の付与が実現される。なお、item_ID＝２８のＥｘｉｆデータブロックアイテムにはいずれのアイテムプロパティも関連づけられていない。そのため、対応するエントリ情報は格納されない。

記述５０４は、‘ｍｏｏｖ’ボックス２０４に対応し、プレゼンテーションに関する各種情報が指定される。記述５２２は、‘ｈｄｌｒ’ボックス２３６に対応し、Ｍｅｄｉａボックスの構造を解析するためのハンドラタイプの宣言として‘ｐｉｃｔ’が指定されている。これにより、記述５０４内に指定されたｍｏｏｖボックスやｔｒａｃｋボックス以下のプレゼンテーションに関する各種情報及び対応する符号化データについては、画像シーケンスが格納されていることを示している。そのため、記述５１２に示したように、イメージシーケンス内に含まれるすべての画像は通常表示対象とはならないため、表示対象とはならない画像にプライバシーを含む画像が写り込んでいる可能性のあるデータ構造であることが示されている。

なお、本実施形態では、図６に示した定義にてプライバシー情報を含むことが可能でデータ構造を識別する情報を示す構成とするものとして説明する。しかし、識別情報の構成はこれに限られるものでなく、また、メタデータへの情報の含め方も図５に示される態様に限られるものではない。

次に、画像ファイル生成装置１００が、プライバシー情報を格納可能なファイル構造のＨＥＩＦファイルを生成するために行う生成処理について、図３のフローチャートに従って説明する。なお、図３のフローチャートに従った生成処理は、例えば、ユーザが操作入力部１０７を操作して本撮像に係る操作入力を行ったことをＣＰＵ１０１が検知したことをトリガにして開始されるものとして説明する。しかし、図３のフローチャートに従った生成処理を開始するためのトリガは、特定の種類のトリガに限らない。

ステップＳ３０１では、ＣＰＵ１０１は、撮像部１０４及び画像処理部１０５を制御して、ＨＥＩＦファイルに格納する一連の画像データを取得する。なお、ＣＰＵ１０１は、不揮発性メモリ１１０に予め保存されている画像群を、ＨＥＩＦファイルに格納する一連の画像データとして取得しても良い。また、ＣＰＵ１０１は、通信部１０８を介して外部装置から受信した画像群を、ＨＥＩＦファイルに格納する一連の画像データとして取得しても良い。また、ＣＰＵ１０１は、画像処理部１０５を制御して、処理部１１２に、画像データと共にＨＥＩＦファイルに格納するメタデータを生成させる。

ステップＳ３０２では、処理部１１２は、生成したメタデータを取得する。そしてステップＳ３０３では、判定部１１４は、処理部１１２が取得したメタデータのメタデータ構造の解析処理を行う。ステップＳ３０２における解析処理の詳細について、図４のフローチャートに従って説明する。

ステップＳ４０１では、判定部１１４は、ＨＥＩＦファイルに格納するメタデータのｐｉｔｍボックスに指定されたプライマリ画像アイテムが派生画像であるか否かを判定する。

この判定の結果、プライマリ画像アイテムが派生画像である場合には、処理はステップＳ４０２に進み、プライマリ画像アイテムが派生画像ではない場合には、処理はステップＳ４０９に進む。

ステップＳ４０２では、判定部１１４は、派生画像アイテムがグリッド派生画像アイテムであるか否かを判定する。この判定の結果、派生画像アイテムがグリッド派生画像アイテムである場合には、処理はステップＳ４０３に進み、派生画像アイテムがグリッド派生画像アイテムではない場合には、処理はステップＳ４０５に進む。

ステップＳ４０５では、判定部１１４は、派生画像アイテムがオーバーレイ派生画像アイテムであるか否かを判定する。この判定の結果、派生画像アイテムがオーバーレイ派生画像アイテムである場合には、処理はステップＳ４０６に進み、派生画像アイテムがオーバーレイ派生画像アイテムではない場合には、処理はステップＳ４０８に進む。

なお、ステップＳ４０１、ステップＳ４０２、ステップＳ４０５の判定処理は、具体的には、ｐｉｔｍボックスに指定されたアイテムＩＤが示すアイテムのｉｉｎｆボックス内のエントリのアイテムタイプをチェックすることによって行われる。アイテムタイプがｇｒｉｄの場合には、処理はステップＳ４０３へ進むことになり、アイテムタイプがｉｏｖｌの場合には、処理はステップＳ４０６へ進むことになり、アイテムタイプがｉｄｅｎの場合には、処理はステップＳ４０８へ進むことになる。また、その他のアイテムタイプの場合には、処理はステップＳ４０９へ進むことになる。

ステップＳ４０３では、処理部１１２は、グリッド派生画像のデータ構造及びインプット画像の画像サイズから、グリッド派生画像にインプット画像を構成（配置）する。そして処理部１１２は、グリッド派生画像のデータ構造が示す出力画像サイズと、グリッドの行及び列とインプット画像のサイズから算出されるインプット画像配置後のトータル画像サイズと、を比較する。この比較の結果、出力画像サイズがトータル画像サイズよりも小さくなる場合、つまり入力画像の一部をトリミングしてグリッド派生画像を出力する構成であるか否かを判定する。

この判定の結果、「入力画像の一部をトリミングしてグリッド派生画像を出力する構成である」場合には、処理はステップＳ４０４に進む。一方、この判定の結果、「入力画像の一部をトリミングしてグリッド派生画像を出力する構成ではない」（トータル画像サイズと出力画像サイズが一致する）場合には、処理はステップＳ４０９に進む。

なお、出力画像サイズの方が大きくなる場合は仕様上許容されていない。ステップＳ４０４においてグリッド派生画像で表示されない部分の画像にプライバシー情報を含むことが可能な構造であることを示す情報をＲＡＭ１０３に格納しておき、後段の処理で解析結果を参照可能とする。

ステップＳ４０６では、処理部１１２は、イメージオーバーレイ派生画像のデータ構造及び、インプット画像の画像サイズからイメージオーバーレイ派生画像にインプット画像を構成（配置）する。まず、処理部１１２は、イメージオーバーレイ派生画像のデータ構造が示す出力画像（キャンバス）サイズと各インプット画像に適応するオフセット情報及び、インプット画像それぞれが示す画像サイズからキャンバスからはみ出るインプット画像が構成されているかを判定する。次に、処理部１１２は、イメージオーバーレイ派生画像のデータ構造が示す各インプット画像に適応するオフセット情報及び、インプット画像それぞれが示す画像サイズから重なりあうインプット画像部分が構成されているかを判定する。

この２つの判定の結果、この２つの判定の両方において該当するインプット画像がある場合には、処理はステップＳ４０７に進む。一方、この２つの判定において、いずれの画像もそのように構成されていない場合には、処理はステップＳ４０９に進む。

ステップＳ４０７では、処理部１１２は、イメージオーバーレイ派生画像で表示されない部分の画像にプライバシー情報を含むことが可能な構造であることを示す情報をＲＡＭ１０３に格納し、後段の処理で解析結果を参照可能とする。

ステップＳ４０８では、処理部１１２は、アイデンティティ派生画像が参照する画像アイテムのメタデータを取得する。具体的には、処理部１１２は、派生画像アイテムの入力画像となる画像に適応されているアイテムプロパティやアイテム情報またアイテム参照情報を取得する。

ステップＳ４０１～ステップＳ４０３、Ｓ４０５～Ｓ４０７の判定処理は、派生画像アイテムに対する処理であるが、派生画像のインプット画像がさらに派生画像である場合、インプット画像に対しても同様の処理を行うものとする。

ステップＳ４０９では、判定部１１４は、代表画像アイテムに指定された画像またはそのインプット画像となる画像のアイテムプロパティ情報を取得し、ｃｒｏｐアイテムプロパティが適応されているか否かを判定する。

このような判定の結果、ｃｒｏｐアイテムプロパティが適応されている場合には、処理はステップＳ４１０に進み、ｃｒｏｐアイテムプロパティが適応されていない場合には、処理はステップＳ４１１に進む。

ステップＳ４１０では、処理部１１２は、優先的に表示する対象（優先表示対象）となるｐｉｔｍに指定された画像またはその派生画像の入力画像に画像の切り取り変換処理を適応して表示を行う構造であることを示す情報をＲＡＭ１０３に格納し、後段の処理で解析結果を参照可能とする。切り取り変換処理を適応することにより、切り取られて表示されない部分の画像にプライバシーを含む構造であることを記録する。

ステップＳ４１１では、判定部１１４は、プライマリ画像に指定された画像アイテムと表示の上で関連のない画像が含まれているか否かを判定する。この判定の結果、プライマリ画像に指定された画像アイテムと表示の上で関連のない画像が含まれている場合には、処理はステップＳ４１２に進む。一方、この判定の結果、プライマリ画像に指定された画像アイテムと表示の上で関連のない画像が含まれていない場合には、処理はステップＳ４１３に進む。

この判定では、ｐｉｔｍに指定された画像アイテムのアイテム参照情報やエンティティグループ情報を確認する。そのうえで、第一優先画像のサムネイル画像アイテムや、第一優先画像が派生画像の場合のインプット画像となる画像アイテムは関連があるため、該当しない。一方で、イメージコレクションやスライドショーなどのエンティティグループとして第一優先画像と他の画像アイテムが同一グループとして格納されていた場合、第一優先表示にあたっての出力表示に影響はない関連のない画像アイテムが含まれていると判定する。

ステップＳ４１２では、生成部１１３は、表示対象とはなっていない画像アイテムがＨＥＩＦファイル内に含まれることで通常表示対象とはならない画像を含む構造であることを示す識別情報をＲＡＭ１０３に格納して、後段の処理で解析結果を参照可能とする。

ステップＳ４１３では、判定部１１４は、ＨＥＩＦファイル内に画像のプレゼンテーションないし画像のシーケンスが含まれているか否かを判定する。これは、ＨＥＩＦファイル内に格納されたメタデータからｍｏｏｖボックスが格納されているかを判定し、さらにその中のｈｄｌｒボックスが示すハンドラタイプから判定を行う。

このような判定の結果、ＨＥＩＦファイル内に画像のプレゼンテーションないし画像のシーケンスが含まれている場合には、処理はステップＳ４１４に進む。一方、ＨＥＩＦファイル内に画像のプレゼンテーションないし画像のシーケンスが含まれていない場合には、処理はステップＳ４１５に進む。

ステップＳ４１４では、生成部１１３は、画像のシーケンス及びプレゼンテーション内の画像の１つが第一優先画像に指定されていたとしても、画像のシーケンス及びプレゼンテーション内の別画像（フレーム）にプライバシーを含む情報が写り込んでいる可能性があることを識別可能にする識別情報を生成してＲＡＭ１０３に格納する。識別情報はＲＡＭ１０３に格納して、後段の処理で解析結果を参照可能とする。

ステップＳ４１５では、判定部１１４は、ＨＥＩＦファイル内に任意のテキスト情報を格納可能なメタデータが含まれているかを判定する。この判定では、AccessibilityTextPropertyやUserDescriptionPropertyが格納されているかを判定することを想定するが、その他の任意のテキスト情報を格納可能なメタデータであればよい。例えば、ＨＥＩＦが格納可能なＨＥＩＦ規格以外で定義されたメタデータ等を対象としてもよい。

このような判定の結果、ＨＥＩＦファイル内に任意のテキスト情報を格納可能なメタデータが含まれている場合には、処理はステップＳ４１６に進む。一方、ＨＥＩＦファイル内に任意のテキスト情報を格納可能なメタデータが含まれていない場合には、処理はステップＳ４１７に進む。

ステップＳ４１６では、生成部１１３は、任意のテキスト情報としてプライバシー情報を記述可能なデータ構造であることを識別可能にする識別情報を生成し、該識別情報をＲＡＭ１０３に格納して、後段の処理で解析結果を参照可能とする。

ステップＳ４１７では、判定部１１４は、領域情報アイテムが画像アイテムに関連づけられているか否かを判定する。この判定の結果、領域情報アイテムが画像アイテムに関連づけられている場合には、処理はステップＳ４１８に進む。一方、領域情報アイテムが画像アイテムに関連づけられていない場合には、処理はステップＳ４２１に進む。

ステップＳ４１８では、生成部１１３は、領域情報が画像に関連づけられていることで、表示対象とならないまたは領域を抽出する情報によってプライバシーが含む可能性のある構造であることを識別可能とする識別情報を生成する。そして生成部１１３は、該生成した識別情報をＲＡＭ１０３に格納して、後段の処理で解析結果を参照可能とする。

ステップＳ４１９では、判定部１１４は、関連づけられた領域情報が画像の表示枠外（表示対象外）に関連づけられているか否かを判定する。この判定の結果、関連づけられた領域情報が画像の表示枠外に関連づけられている場合には、処理はステップＳ４２０に進む。一方、関連づけられた領域情報が画像の表示枠外に関連づけられていない場合には、処理はステップＳ４２１に進む。

ステップＳ４２０では、生成部１１３は、領域情報アイテムに指定する座標情報やサイズ情報から関連づけられた画像の表示対象領域外を示すように領域が指定されていることを識別可能とする識別情報を生成する。そして生成部１１３は、該生成した識別情報をＲＡＭ１０３に格納し、後段の処理で解析結果を参照可能にする。

ステップＳ４２１では、判定部１１４は、ＨＥＩＦファイルにＧＰＳ情報を含むＥＸＩＦデータブロックが含まれているかを判定する。この判定の結果、ＨＥＩＦファイルにＧＰＳ情報を含むＥＸＩＦデータブロックが含まれている場合には、処理はステップＳ４２２に進む。一方、ＨＥＩＦファイルにＧＰＳ情報を含むＥＸＩＦデータブロックが含まれていない場合には、処理はステップＳ３０４に進む。

ステップＳ４２２では、生成部１１３は、ＨＥＩＦファイル内に格納されたＥｘｉｆ情報にＧＰＳ情報が含まれることにより、プライバシーを含むことが可能な構造であることを識別可能とする識別情報を生成する。そして生成部１１３は、該生成した識別情報をＲＡＭ１０３に格納し、後段の処理で解析結果を参照可能にする。なお、本実施形態では、Ｅｘｉｆ情報に含まれるデータのうちＧＰＳ情報のみを対象としたが、その他の情報を対象としてもよい。例えば、作者情報等のＥｘｉｆ情報として格納されるデータを個別に特定するようにしてもよいし、Ｅｘｉｆデータ全体を対象としてもよい。

このように、ＨＥＩＦファイルデータ構造の解析処理により、プライバシー情報を格納可能な構造であることがその種別毎に識別可能とする。なお、本実施形態では、以上の解析処理によって種別情報を含めて判定可能としたが、対象とする種別情報はいくつかの種別をまとめて識別可能としてもよいし、また別の種別を判定可能としてもよい。

図３に戻って、次に、ステップＳ３０４では、判定部１１４は、上記のメタデータ構造の解析処理で得られた解析結果から、プライバシー情報を格納可能なファイル構造であるか否かを判定する。具体的には、図４のフローチャートに解析処理における１以上の判定ステップにおいて、プライバシー情報を含むことが可能な構造であると判定されたか否かを判定する。

このような判定の結果、図４のフローチャートに解析処理における１以上の判定ステップにおいて、プライバシー情報を含むことが可能な構造であると判定された場合には、処理はステップＳ３０５に進む。一方、図４のフローチャートに解析処理における何れの判定ステップでも、プライバシー情報を含むことが可能な構造であると判定されなかった場合には、図３のフローチャートに従った処理は終了する。

なお、いずれのプライバシー情報も含まない構造であったとしても、ステップＳ３０３の解析処理を実行済みであることを示すために、‘ｐｃｔｐ’ボックス２０２を付与するようにしてもよい。この場合、ｅｎｔｒｙ＿ｃｏｕｎｔとして０を格納する。

ステップＳ３０５では、生成部１１３は、プライバシー情報を含めることが可能な構造の種別毎にＲＡＭ１０３に格納した識別情報から、メタデータとして識別情報を生成する。より詳しくは、図６に示したPrivacyConsiderationTypeBoxを該当するタイプを識別可能なように構成して生成する。

ステップＳ３０６では、処理部１１２は、Ｆｉｌｅレベルのメタデータとしてメタデータ領域に識別情報をｆｔｙｐボックスの後に挿入して付与する。また、処理部１１２は、図６に示したｐｃｔｐボックスが識別する情報には同一の要因のエントリを複数含めるようにしてもよい。例えば、処理部１１２は、任意のテキスト情報を含むメタデータが複数ある場合は、そのメタデータ（プロパティ）毎にエントリを含めても良いし、プロパティが関連づけられている画像毎にエントリを含めてもよい。

ステップＳ３０７では、処理部１１２は、ＨＥＩＦファイルを生成する。より詳しくは、処理部１１２は、ＲＡＭ１０３に格納した上記の各種の情報に基づいてＨＥＩＦファイルの最終的なメタデータを構成する。そして処理部１１２は、ＨＥＩＦファイルに係る‘ｆｔｙｐ’ボックス２０１の情報、‘ｐｃｔｐ’ボックス２０２の情報、該最終的なメタデータを格納した‘ｍｅｔａ’ボックス２０３の情報や‘ｍｏｏｖ’ボックス２０４の情報、及び一連の画像データと領域情報データ等を格納した‘ｍｄａｔ’ボックス２０５の情報を結合する。このような結合により、ＨＥＩＦファイルが生成される。

そしてＣＰＵ１０１は、このようにして生成されたＨＥＩＦファイルをＲＡＭ１０３から読み出し、該読み出したＨＥＩＦファイルを不揮発性メモリ１１０に保存する。なお、ＨＥＩＦファイルの出力先は不揮発性メモリ１１０に限らない。例えば、ＣＰＵ１０１は、ＨＥＩＦファイルを通信部１０８を介して外部装置に対して送信しても良いし、不揮発性メモリ１１０とは異なるメモリ装置に保存しても良い。

このように、本実施形態に係る画像ファイル生成装置１００では、画像ファイル内に格納するメタデータ及びデータ構造を解析し、プライバシー情報を含むことが可能な構造であるか否かをメタデータとして付与することで容易に識別可能とした。また、どのような種別のメタデータ及びデータ構造によりプライバシー情報を含むことが可能かを種別毎に識別可能とした。メタデータとして付与された識別情報から画像ファイルに格納されたデータにプライバシー情報を含むことが可能な構造であるか否かを容易に識別可能することができる。

なお、ＨＥＩＦファイルに格納する画像データは、１つの静止画像が格納されたＨＥＩＦファイルを含むものであってもよいし、ＪＰＥＧ等の静止画像ファイルを含むものであってもよい。あるいは、一連の画像データは、複数の静止画像が格納されたＨＥＩＦファイルに符号化された画像データであってもよいし、符号化されていないＲＡＷ画像データであってもよい。

次に、プライバシー情報を格納可能なファイル構造のＨＥＩＦファイルを編集するために画像ファイル生成装置１００が行う編集処理について、図１２のフローチャートに従って説明する。

なお、本編集処理は、プライバシー情報を格納可能な構造であることを種別毎に示すメタデータが格納されたＨＥＩＦファイルをユーザが確認することで、プライバシー情報が含まれているか否かをユーザが判定する処理として説明する。なお、画像解析やデータ解析等によって対象データにプライバシーとして扱われるべき情報が含まれているかどうかを判定し、ユーザによる目視確認による判定処理を代用してもよいものとする。

ステップＳ１２０１では、ＣＰＵ１０１は、不揮発メモリ１１０に格納されたＨＥＩＦファイルを取得する。なお、本フローチャートに従ったＨＥＩＦファイルへの編集処理は、図３のフローチャートに従った処理によって不揮発メモリ１１０に出力する前のＲＡＭ１０３におけるＨＥＩＦファイルに対して実施してもよい。また、ステップＳ１２０１では、ＨＥＩＦファイルを不揮発性メモリ１１０から取得することに限らず、例えばＨＥＩＦファイルを通信部１０８を介して外部装置から受信しても良い。そしてＣＰＵ１０１は処理部１１２を制御して、ファイルレベルに格納されたメタデータを取得する。具体的には、ＣＰＵ１０１は、図２のｐｃｔｐ’ボックス２０２のメタデータ情報を取得する。

ステップＳ１２０２では、判定部１１４は、プライバシー情報を含めることが可能なデータ構造であることを示す識別情報が付与されているか否かを判定する。この判定の結果、プライバシー情報を含めることが可能なデータ構造であることを示す識別情報が付与されている場合には、処理はステップＳ１２０３に進む。一方、プライバシー情報を含めることが可能なデータ構造であることを示す識別情報が付与されていない場合には、図１２のフローチャートに従った処理は終了する。

なお、ステップＳ１２０１の処理において’ｐｃｔｐ’ボックス２０２が格納されていない場合は、図４のフローチャートに従った解析処理を実施して、’ｐｃｔｐ’ボックス２０２の情報を生成してもよい。

ステップＳ１２０３では、ＣＰＵ１０１は、プライバシー情報を含めることが可能な構造種別情報を１つ取得する。具体的には、ＣＰＵ１０１は、’ｐｃｔｐ’ボックス２０２に含まれる種別を示すエントリ情報を取得する。

ステップＳ１２０４では、ＣＰＵ１０１は、ステップＳ１２０３で取得した構造種別情報を元に、プライバシーが含まれる候補となる画像およびメタデータを、表示部１０６に表示させる（表示制御）。なお、すでに図６の定義６０４に示したno_privacy_flagに１が設定されている場合は、ステップＳ１２０４の処理をスキップしてもよいし、再確認のためにプライバシーを含まないと判定されていることを識別可能な画面を表示部１０６に表示させても良い。

ここで、図５のＨＥＩＦファイル例に示した４種類の種別情報それぞれについて、図１３、図１４、図１５、図１６を参照して、プライバシー情報を含めることが可能な種別（privacy＿consideration＿type）毎に表示部１０６に表示する画像及びメタデータの表示画面例を示す。

図１３に示した画像は、ＵＩ表示するグリッド派生画像の例を示している。破線１３０１は、通常の再生装置において出力表示されるグリッド派生画像の範囲を示している。この破線１３０１で示した画像のサイズは、グリッド派生画像のデータ構造におけるoutput_widthとoutput_heightから得られる画像サイズである。また、破線１３０２で示した画像のサイズは、グリッド派生画像について入力される画像サイズと派生画像の行及び列の情報から決定されるグリッド派生画像を出力画像サイズでトリミングしない場合の画像である。ステップＳ１２０４の処理では、破線１３０２内の画像すべてが表示対象となり、また、トリミングする範囲を示した破線１３０１が識別可能となるように表示される。また、グリッド派生画像のインプット画像それぞれが１３１０～１３２９に示されるように配置されており、入力画像それぞれの境界を識別可能なようにグリッドラインが表示されている。図１３に示されるように、グリッド派生画像を構成するために入力画像をグリッド配置し、トリミングする範囲を識別可能なように表示する。これにより、破線１３０１と破線１３０２との間に含まれる部分画像内にプライバシー情報を含んでいるかどうかをユーザが判定可能となる。なお、図１３に示した画像では、入力画像１３２９の部分に「連絡先電話番号」と「０３－１２３４－５６７８」が識別可能な形で画像内に写り込んでいるため、ユーザはこの情報がプライバシー考慮しなければならない情報であるかを判断する。

次に、図１４は、ＵＩ表示する任意のテキスト情報を含むUserDescriptionPropertyがＨＥＩＦファイルに含まれていることを示す画像表示の例を示している。破線１４０１に示した範囲が表示部１０６に表示される画像及びメタデータの表示範囲を示している。また、画像１４０２は、ｐｉｔｍに指定された画像である。記述１４０３は、図８に示したUserDescriptionPropertyである。記述１４０４は、UserDescriptionPropertyの注釈記述情報におけるlangが日本語（ＪＰ）であることを示している。記述１４０５は、nameに「マイク」がセットされていることを示している。記述１４０６は、descriptionとして「０３－１１１１―２２２２」がセットされていることを示しており、記述１４０７は、tagsとして「連絡先電話番号」がセットされていることを示している。

次に、図１５は、ＵＩ表示する画像シーケンスがＨＥＩＦファイルに含まれていることを示す画像表示の例を示している。範囲１５０１が、表示部１０６に表示される画像の表示範囲を示している。また、画像１５０２、１５０３、１５０４のそれぞれは、画像シーケンスとして格納されている画像である。また、破線１５０５は、本表示が記述２３３のtrakボックスに格納される単位を示しており、１つの画像シーケンスであることを示している。なお、画像シーケンスのうちの１つの画像がｐｉｔｍとして指定された画像アイテムとして抽出されている場合は、その旨が識別可能なように強調表示するなどしてもよい。

次に、図１６は、ＵＩ表示するＥｘｉｆデータブロック情報がＧＰＳ情報と共にＨＥＩＦファイルに含まれていることを示す画像表示の例を示している。破線１６０１に示した範囲が表示部１０６に表示される画像及びＥｘｉｆデータの表示範囲を示している。また、画像１６０２は、ｐｉｔｍに指定された画像である。また記述１６０３は、Ｅｘｉｆデータとして格納された撮像情報であり、画像の情報や、撮像した機材であるカメラに関するメーカー名情報、絞りや露出といった撮像条件などが含まれる。

なお、本表示例では、すべての情報が表示しきれていないため、適宜表示を切り替えるなどしてもよい。また、情報１６０４は、Ｅｘｉｆデータに含まれるＧＰＳ情報を示している。ＨＥＩＦファイルに含まれる画像を撮像した場所が特定可能な情報として表示されている。

次に、ユーザは操作入力部１０７を操作して、画像ファイル生成装置１００が表示部１０６に表示した情報にプライバシー情報が含まれているどうかを入力する。この際の入力処理として、表示部１０６は図１７に示すような入力画面を表示する。ＣＰＵ１０１は、コンソール１７０１を図１３～１６に示した画像と共に表示部１０６に表示し、ユーザは内容に応じて「はい」ボタン１７０２または「いいえ」ボタン１７０３を、操作入力部１０７を操作して選択する。よってステップＳ１２０５では、ＣＰＵ１０１は、このようなユーザにする選択操作を受け付ける。

ステップＳ１２０６では、ＣＰＵ１０１は、ユーザが操作入力部１０７を操作して「はい」ボタン１７０２を選択した（「プライバシー情報が含まれている」を選択した）のか、「いいえ」ボタン１７０３を選択した（「プライバシー情報が含まれていない」を選択した）のか、を判定する。

この判定の結果、ユーザが操作入力部１０７を操作して「はい」ボタン１７０２を選択した（「プライバシー情報が含まれている」を選択した）場合には、処理はステップＳ１２０８に進む。一方、ユーザが操作入力部１０７を操作して「いいえ」ボタン１７０３を選択した（「プライバシー情報が含まれていない」を選択した）場合には、処理はステップＳ１２０７に進む。no_privacy_flag情報の変更は行わない。

ステップＳ１２０７では、ＣＰＵ１０１は、プライバシー情報を含めることが可能な構造種別情報のメタデータにプライバシー情報を含まないことを識別可能な情報を付与する。具体的には、ＣＰＵ１０１は、判定した’ｐｃｔｐ’ボックス２０２に格納されたprivacy_consideration_typeに対応するno_privacy_flag情報に１をセットする。

ステップＳ１２０８では、ＣＰＵ１０１は、すべてのプライバシー情報を含めることが可能な構造情報を判定したかを確認する。この確認の結果、未判定のプライバシー情報を含めることが可能な種別がある場合には、処理はステップＳ１２０３に進み、すべてのプライバシー情報を含めることが可能な構造情報を判定した場合には、図１２のフローチャートに従った処理は終了する。

なお、本実施形態では、種別毎に１つの画像データやメタデータをチェックするようにしたが、構造種別によっては複数のプライバシー情報を含むことが可能な要因が格納されることがあるため、容易毎にチェックを行うようにしてもよい。また、図６に示した’ｐｃｔｐ’ボックス２０２が識別する情報には同一の要因のエントリを複数含めるようにしてもよい。

このように、本実施形態に係る画像ファイル生成装置１００では、プライバイシー情報を含めることが可能な構造であると判定された画像データないしメタデータについて、その種別毎に識別情報をメタデータとして格納した。さらに、その種別毎に実際にプライバシー情報が含まれているか否かを確認した結果を追加で付与することで、プライバシー情報を格納可能な構造であることを示すだけでなく、プライバシー情報が含まれているか否かをファイルレベルで容易に識別可能とした。これにより、どのような種別のデータによって画像ファイル内にプライバシー情報を含んでいるかを容易に確認可能となる。また、必要に応じてそのようなプライバシー情報をあとから削除することが容易になる。

次に、上記のようにして生成されたＨＥＩＦファイルを再生（表示）するために画像ファイル生成装置１００が行う再生処理について、図２０のフローチャートに従って説明する。なお、ＨＥＩＦファイルを再生する装置は画像ファイル生成装置１００に限らない。

なお、本再生処理は、例えば、画像ファイル生成装置１００が再生モードに設定されている状態において、ＨＥＩＦファイルの再生指示に係る操作入力が検出された際に開始されるものとして説明する。

ステップＳ２００１では、ＣＰＵ１０１は、再生指示がなされた再生対象のＨＥＩＦファイル（対象ファイル）を取得する。より詳しくは、ステップＳ２００１ではＣＰＵ１０１は、不揮発性メモリ１１０に保存されているＨＥＩＦファイルのうち、ユーザが操作入力部１０７を操作して再生対象として指定した（再生指示した）ＨＥＩＦファイルをＲＡＭ１０３に読み出す（取得する）。なお、ＲＡＭ１０３に再生対象のＨＥＩＦファイルを取得するための方法は特定の方法に限らない。例えばネットワーク上のサーバに保存されているＨＥＩＦファイル群のうちユーザが操作入力部１０７を操作して再生対象として指定した（再生指示した）ＨＥＩＦファイルを通信部１０８を介して該サーバから受信してＲＡＭ１０３に取得するようにしても良い。

ステップＳ２００２では、ＣＰＵ１０１は、ステップＳ２００１で取得したＨＥＩＦファイルからメタデータを取得し、処理部１１２は、該取得したメタデータを解析することで、該ＨＥＩＦファイルの構造を取得する。

ステップＳ２００３では、ＣＰＵ１０１は、ステップＳ２００２で取得したメタデータの‘ｐｉｔｍ’ボックス２１２の情報に基づいて代表アイテムを特定する。そして、符号化／復号部１１１は、該代表アイテムの符号化データ２４１を復号し、代表画像に指定された画像アイテムに関するメタデータから、対応する符号化データを取得して復号する。

ステップＳ２００４では、ＣＰＵ１０１は、ステップＳ２００３で復号した各種のデータをＲＡＭ１０３における所定のバッファに格納する。以下では、復号されてＲＡＭ１０３における所定のバッファに格納された代表アイテムの画像データを「代表画像データ」と称する。

ステップＳ２００５では、判定部１１４は、メタデータにプライバシー情報を含めることが可能な構造であることを示す識別情報が付与されているか否かを判定する。この判定の結果、識別情報が付与されている場合には、処理はステップＳ２００６に進み、識別情報が付与されていない場合には、処理はステップＳ２０１１に進む。具体的には、ＨＥＩＦファイルのファイルレベルのメタデータに’ｐｃｔｐ’ボックス２０２が付与されているかを判定する。図３のフローチャートに従った画像ファイル生成処理によって出力されたＨＥＩＦファイルであった場合はこのようなメタデータが付与されているが、本実施形態で示した以外の方法で生成されたＨＥＩＦファイルではこのようなデータは付与されていない。そのため、’ｐｃｔｐ’ボックス２０２が付与されていない場合は、ステップＳ２０１１においてＣＰＵ１０１は、メタデータ構造の解析処理を行うことになる。ステップＳ２０１１における処理は、上記のステップＳ３０３と同様の処理であり、図４のフローチャートに従った処理である。

ステップＳ２０１２では、判定部１１４は、ステップＳ２０１１における解析処理の結果、プライバシー情報を含めることが可能なファイル構造であると判定されたかを判定する。

このような判定の結果、プライバシー情報を含めることが可能なファイル構造である場合には、処理はステップＳ２０１４に進み、プライバシー情報を含めることが可能なファイル構造ではない場合には、処理はステップＳ２０１３に進む。

ステップＳ２０１３では、ＣＰＵ１０１は、ステップＳ２００４でバッファに格納した代表画像データを表示部１０６に表示させる。ステップＳ２００６では、ＣＰＵ１０１は、プライバシー情報を含めることが可能な構造種別情報を取得する。具体的には、’ｐｃｔｐ’ボックス２０２に格納された識別情報である。

ステップＳ２００７では、判定部１１４は、プライバシー情報を含まないことを示す識別情報がすべての種別に付与されているか否かを判定する。具体的には、判定部１１４は、ｅｎｔｒｙ＿ｃｏｕｎｔ毎に付与されたｐｒｉｖａｃｙ＿ｃｏｎｓｉｄｅｒａｔｉｏｎ＿ｔｙｐｅ情報毎のｎｏ＿ｐｒｉｖａｃｙ＿ｆｌａｇが１であるか否かを判定する。さらに、判定部１１４は、’ｐｃｔｐ’ボックス２０２に格納されたｅｎｔｒｙ＿ｃｏｕｎｔが０であるかを判定する。

このような判定の結果、すべてのｎｏ＿ｐｒｉｖａｃｙ＿ｆｌａｇが１に設定されているか、’ｐｃｔｐ’ボックス２０２に格納されたｅｎｔｒｙ＿ｃｏｕｎｔが０である場合、プライバシー情報を含まないと判定され、処理はステップＳ２０１３に進む。一方、プライバシー情報を含まないと判定されていない場合には、処理はステップＳ２００８に進む。

ステップＳ２００８では、判定部１１４は、プライバイシー情報を含まないことを示す識別情報が指定されたいずれかの種別に付与されているか否かを判定する。この判定の結果、識別情報が指定されたいずれかの種別に付与されている場合には、処理はステップＳ２００９に進み、識別情報が指定されたいずれかの種別にも付与されていない場合には、処理はステップＳ２０１４に進む。これは、’ｐｃｔｐ’ボックス２０２のｅｎｔｒｙ＿ｃｏｕｎｔに１以上の値が指定され、いずれのｎｏ＿ｐｒａｖａｃｙ＿ｆｌａｇも１に設定されていない場合である。この場合は、図１２に示したプライバシー情報を含むことが可能な構造であるが、プライバシー情報が含まれていないことを判定する編集処理が行われていないＨＥＩＦファイルとして扱う。一方で、プライバシー情報を含むことが可能な構造を示す種別情報に付与された、プライバシー情報を含まないことを示す識別情報のいずれかがプライバシーを含まないと判定されていた場合、処理はステップＳ２００９に進む。具体的には、ｅｎｔｒｙ＿ｃｏｕｎｔが示す個数分のｎｏ＿ｐｒｉｖａｃｙ＿ｆｌａｇのいずれかが１に指定され、いずれかが０に指定されている場合である。この場合は、図１２に示したプライバシー情報を含んでいるか否かの判定処理が行われてＨＥＩＦファイルとして扱う、いずれか一つでもプライバイシー情報を含んでいないと判定されていない場合は、プライバシー情報を含んだファイルとして扱う。

ステップＳ２００９では、ＣＰＵ１０１は、プライバシー情報を含んでいることを示す識別表示情報を種別毎に生成する。ステップＳ２０１０では、ＣＰＵ１０１は、ステップＳ２００９で生成した識別表示情報と、ステップＳ２００４でバッファに格納した代表画像データと、表示部１０６に表示させる。

ステップＳ２０１４では、ＣＰＵ１０１は、プライバシー情報を含めることが可能なファイル構造であることを示す識別表示情報を種別毎に生成する。

ステップＳ２０１５では、ＣＰＵ１０１は、ステップＳ２０１４で生成した識別表示情報と、ステップＳ２００４でバッファに格納した代表画像データと、を表示部１０６に表示させる。

ステップＳ２０１０やステップＳ２０１５で代表画像データとともに表示する種別識別表示情報の表示例を図２１に示す。図２１は、ステップＳ２０１０やステップＳ２０１５で表示するＵＩ画面の例を示している。

破線２１０１は、ＵＩ画面全体を示しており、代表画像データ２１０２を含む。画像２１０３、２１０４は、構造種別毎の識別表示画像の例である。画像２１０３は、グリッド画像がトリミングされることで下、右部分の画像の一部が表示されないことを示しており、図１３に示した画像と同等の情報である。また、画像２１０４は、画像シーケンスがＨＥＩＦファイルに含まれていることを示しており、図１５に示した画像と同等の情報である。これらの表示を代表画像データと共に表示することで、ＨＥＩＦファイル内にプライバシー情報を含んでいる可能性をＵＩ表示で識別可能としている。

なお、ステップＳ２０１０におけるＵＩ表示、ステップＳ２０１５におけるＵＩ表示、については、例えば、ステップＳ２０１０では画像２１０３、２１０４を赤枠で表示し、ステップＳ２０１５では画像２１０３、２０１４を黄枠で表示するなどして表示色を切り替えることを想定している。つまり、ステップＳ２０１０では、プライバシー情報を含んでいることを示すように識別可能とし、ステップＳ２０１５では、プライバシー情報を含んでいる可能性を識別可能とするように、表示色を切り替えることを示している。なお、枠の色の違いだけでなく、アイコン表示を行うなどして表示を切り替えるようにしてもよい。

図２０に示した処理では、代表画像と共に画像を表示する処理について説明した。図１８、図１９では、その他の形態として同様の処理をＨＥＩＦファイルに対して行って、画像として代表画像と共に表示する代わりに、警告表示としてダイアログボックスを表示する際の表示例を示している。例えば、このようなＨＥＩＦファイルを、ネットワークを介して送信する場合にこのようなダイアログボックスを用いて警告表示を行うことで、ユーザーが送信する前の確認として用いることが可能となる。

図１８において、ダイアログボックス１８０１は、警告表示を行う際に表示を行うダイアログボックスである。ダイアログボックス１８０１内には警告を示すためのテキスト表示が行われている。ボタン１８０２は、そのようなファイルであってもそのまま処理を継続してもよいことを入力するためのＵＩボタンである。ボタン１８０３は、例えば送信などの処理を中断するためのＵＩボタンである。ボタン１８０４を選択することで、どのような種別の情報を含んでいるかの種別情報を表示することを選択する。

図１８では、このように種別情報を別途表示するためのＵＩボタンを設けたが、図１９では、警告表示のダイアログボックス自体に初めから種別情報を識別可能なテキスト記述を含める。

ダイアログボックス１９０１内にテキスト表示としてＨＥＩＦファイルに含まれるプライバシーを含むことが可能な構造種別を識別可能なテキスト情報が記述されている。ボタン１９０２は、ボタン１８０２と同様のＵＩボタンである。ボタン１９０３は、ボタン１８０３と同様のＵＩボタンである。

図１８のダイアログボックス１８０１や図１９のダイアログボックス１９０１に対する操作（例えば、ＵＩボタンの選択操作）は、例えば、ユーザが操作入力部１０７を操作して行う。

本実施形態では、ネットワーク転送を行うタイミング等で、ダイアログボックス表示を行うようにしたが、このような表示に限らず、ファイルを示すアイコン表示として同様に識別可能なＵＩ表示を行うようにしてもよい。その他、ＵＩ画面として識別可能な識別情報を保存する形態であればよい。またクラウド等のネットワーク上のストレージに保存してある画像ファイルのアクセス権を変更する際にこのような警告表示をするようにしてもよい。例えば、クラウド上のプライベートアクセス領域から公開領域に移す場合や、アクセス権を公開アクセスに変更する場合が考えられる。またその他、画像ファイルにアクセス可能なユーザに変更が入る際に行うことが考えられる。

また本実施形態によれば、複数の画像データをメタデータと関連づけて格納する画像ファイルの利用時に、第一優先表示対象とはならないデータにプライバシー情報を含めることが可能な構造としてファイルが構成されているかを容易に判別することができる。また、プライバシー情報を含めることが可能な構造種別を識別可能とすることで、どのような種別のデータ構造によりプライバシー情報を含むことが可能であるかを判別でき、実際にプライバシー情報が含まれているかの確認が容易になる。さらに、プライバシー情報を含むことが可能な構造であっても、プライバシー情報を含んでいないと判定済みであることを示すことで、画像ファイル利用時に都度プライバシー情報を含んでいるかどうかを判定しなくてもよい。また、このようなプライバシー情報を含む可能性のある構造を示す識別情報や判定済みの結果を用いて、必要に応じて画像ファイルを再構成することが可能となる。具体的には、プライバシー情報を含んでいる構造を削除することや、画像をトランスコードして画像の一部を画像ファイルから削除することが考えられる。また、削除するのみならず、ネットワークを介した画像ファイルの送信を該画像ファイルのみ行わないように制御することが考えられる。同様に、オリジナルの画像ファイルは残したまま、プライバシー情報を含まないデータのみで画像ファイルを再構成することも可能である。

なお、上述した本実施形態では、画像ファイルに格納されるプライバシー情報を含めることが可能な構造を示すメタデータの生成は、画像ファイルの生成時に行うものものとして説明したが、これに限らない。例えば、生成された画像ファイルの利用時や編集時の、異なるタイミングで行われた解析処理の結果をメタデータとして画像ファイルに追加してもよい。この場合、同時にプライバシー情報を含むことが可能な構造であっても、プライバシー情報が含まれていない判定を実施してもよい。より詳しくは、例えば、画像ファイルに既に格納されている画像データ及びメタデータの構造を解析し、順次プライバシー情報が含まれているか否かの判定をユーザに行わせるようにしてもよい。

また、上述した本実施形態では、通常表示対象となる画像部分にプライバシーを含む内容が写り込んでいても、識別情報を付与する対象とはしていないが、このような種別を含めてプライバシー情報が含まれるかをユーザに判定させるようにしてもよい。

［第２の実施形態］
第１の実施形態において説明した画像ファイル生成装置１００は、１台の機器で構成しても良いし、複数台の機器で構成しても良い。後者の場合、それぞれの機器は同じ構成を有していなくても良い。その場合、画像ファイル生成装置１００は例えば、上記のフローチャートに従った処理を実行する１台以上の機器、ストレージとして機能する機器、など、それぞれが役割を持つ機器の集合であっても良い。

また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の構成／取得方法／送信先／送信元／格納場所、などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の発明は、以下の画像処理装置、画像処理方法、コンピュータプログラムを含む。

（項目１）
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置であって、
前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御手段と
を備えることを特徴とする画像処理装置。

（項目２）
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置であって、
前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成手段と
を備えることを特徴とする画像処理装置。

（項目３）
前記識別情報はさらに、どのような種別のプライバシー情報を含むことが可能なファイル構造であるかを識別可能な種別情報を含むことを特徴とする項目１または２に記載の画像処理装置。

（項目４）
前記種別情報は、再生表示する際に第一優先での表示対象とならない画像が含まれることを示す情報であることを特徴とする項目３に記載の画像処理装置。

（項目５）
前記種別情報は、派生画像または変換によって表示されない画像部分を含むことを示す情報であることを特徴とする項目３に記載の画像処理装置。

（項目６）
前記種別情報は、再生表示する際に第一優先での表示対象として指定されていない画像シーケンスであることを特徴とする項目３に記載の画像処理装置。

（項目７）
前記種別情報は、任意のテキスト情報を格納可能なメタデータであることを特徴とする項目３に記載の画像処理装置。

（項目８）
前記任意のテキスト情報は、代替のテキスト情報であることを特徴とする項目７に記載の画像処理装置。

（項目９）
前記任意のテキスト情報は、ユーザの記述情報および領域情報に付加される注釈の情報であることを特徴とする項目７に記載の画像処理装置。

（項目１０）
前記種別情報は、画像の表示対象外に関連づけられた領域のデータであることを特徴とする項目３に記載の画像処理装置。

（項目１１）
前記種別情報は、位置情報を含むメタデータであることを示す情報であることを特徴とする項目３に記載の画像処理装置。

（項目１２）
前記識別情報は、ファイルレベルのメタデータとして前記画像ファイルに付与されることを特徴とする項目１ないし１１の何れか１項目に記載の画像処理装置。

（項目１３）
前記識別情報は、画像ファイル内のいずれかのデータを表示する際にユーザインターフェースにて表示される情報であることを特徴とする項目１ないし１２の何れか１項目に記載の画像処理装置。

（項目１４）
前記識別情報は、画像ファイルを外部に送信する際に警告表示されることを特徴とする項目１ないし１３の何れか１項目に記載の画像処理装置。

（項目１５）
前記生成手段は、前記プライバシー情報を含めることが可能なファイル構造であっても、プライバシーを含まないと判断された場合に、プライバシーを含まないことを示すメタデータをさらに画像ファイルに付与することを特徴とする項目２に記載の画像処理装置。

（項目１６）
さらに、
前記画像ファイルをネットワークを介して転送する指示を受け付けると、前記画像ファイル内にプライバシー情報を含めることが可能なファイル構造である場合に、プライバシー情報を含む可能性のあるファイルを転送しようとしている旨の警告を表示する手段を備えることを特徴とする項目１ないし１５の何れか１項目に記載の画像処理装置。

（項目１７）
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
前記画像処理装置の表示制御手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御工程と
を備えることを特徴とする画像処理方法。

（項目１８）
複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置が行う画像処理方法であって、
前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
前記画像処理装置の生成手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成工程と
を備えることを特徴とする画像処理方法。

（項目１９）
コンピュータを、項目１から１６のいずれか１項目に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：画像ファイル生成装置 １０１：ＣＰＵ １０２：ＲＯＭ １０３：ＲＡＭ １０４：撮像部 １０５：画像処理部 １０６：表示部 １０７：操作入力部 １０８：通信部 １０９：システムバス １１０：不揮発性メモリ １１１：符号化／復号部 １１２：処理部 １１３：生成部 １１４：判定部

Claims (19)

1. 複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置であって、
   前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
   前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御手段と
   を備えることを特徴とする画像処理装置。
2. 複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置であって、
   前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定手段と、
   前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定手段が判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成手段と
   を備えることを特徴とする画像処理装置。
3. 前記識別情報はさらに、どのような種別のプライバシー情報を含むことが可能なファイル構造であるかを識別可能な種別情報を含むことを特徴とする請求項１に記載の画像処理装置。
4. 前記種別情報は、再生表示する際に第一優先での表示対象とならない画像が含まれることを示す情報であることを特徴とする請求項３に記載の画像処理装置。
5. 前記種別情報は、派生画像または変換によって表示されない画像部分を含むことを示す情報であることを特徴とする請求項３に記載の画像処理装置。
6. 前記種別情報は、再生表示する際に第一優先での表示対象として指定されていない画像シーケンスであることを特徴とする請求項３に記載の画像処理装置。
7. 前記種別情報は、任意のテキスト情報を格納可能なメタデータであることを特徴とする請求項３に記載の画像処理装置。
8. 前記任意のテキスト情報は、代替のテキスト情報であることを特徴とする請求項７に記載の画像処理装置。
9. 前記任意のテキスト情報は、ユーザの記述情報および領域情報に付加される注釈の情報であることを特徴とする請求項７に記載の画像処理装置。
10. 前記種別情報は、画像の表示対象外に関連づけられた領域のデータであることを特徴とする請求項３に記載の画像処理装置。
11. 前記種別情報は、位置情報を含むメタデータであることを示す情報であることを特徴とする請求項３に記載の画像処理装置。
12. 前記識別情報は、ファイルレベルのメタデータとして前記画像ファイルに付与されることを特徴とする請求項１に記載の画像処理装置。
13. 前記識別情報は、画像ファイル内のいずれかのデータを表示する際にユーザインターフェースにて表示される情報であることを特徴とする請求項１に記載の画像処理装置。
14. 前記識別情報は、画像ファイルを外部に送信する際に警告表示されることを特徴とする請求項１に記載の画像処理装置。
15. 前記生成手段は、前記プライバシー情報を含めることが可能なファイル構造であっても、プライバシーを含まないと判断された場合に、プライバシーを含まないことを示すメタデータをさらに画像ファイルに付与することを特徴とする請求項２に記載の画像処理装置。
16. さらに、
    前記画像ファイルをネットワークを介して転送する指示を受け付けると、前記画像ファイル内にプライバシー情報を含めることが可能なファイル構造である場合に、プライバシー情報を含む可能性のあるファイルを転送しようとしている旨の警告を表示する手段を備えることを特徴とする請求項１に記載の画像処理装置。
17. 複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを処理する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
    前記画像処理装置の表示制御手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報を表示する表示制御工程と
    を備えることを特徴とする画像処理方法。
18. 複数の画像と、該複数の画像に関するメタデータと、を含む構造の画像ファイルを生成する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の判定手段が、前記複数の画像及び前記メタデータのうち再生表示する際に第一優先での表示対象ではないデータにプライバシー情報を含めることが可能なファイル構造であるか否かを判定する判定工程と、
    前記画像処理装置の生成手段が、前記データにプライバシー情報を含めることが可能なファイル構造であると前記判定工程で判定した場合、前記データにプライバシー情報を含めることが可能なファイル構造であることを識別可能な識別情報をメタデータとして前記画像ファイルに付与して前記画像ファイルを生成する生成工程と
    を備えることを特徴とする画像処理方法。
19. コンピュータを、請求項１から１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images