JP2024012965A - 画像処理装置及びその制御方法並びにプログラム - Google Patents

画像処理装置及びその制御方法並びにプログラム Download PDF

Info

Publication number
JP2024012965A
JP2024012965A JP2022114832A JP2022114832A JP2024012965A JP 2024012965 A JP2024012965 A JP 2024012965A JP 2022114832 A JP2022114832 A JP 2022114832A JP 2022114832 A JP2022114832 A JP 2022114832A JP 2024012965 A JP2024012965 A JP 2024012965A
Authority
JP
Japan
Prior art keywords
image data
image
related image
information
annotation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022114832A
Other languages
English (en)
Inventor
勇真 内藤
Yuma Naito
昇 大森
Noboru Omori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022114832A priority Critical patent/JP2024012965A/ja
Publication of JP2024012965A publication Critical patent/JP2024012965A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ＨＤＲ形式の画像データである元画像のデータと関連付けられた関連画像データのうち、必要最小限の画像データのみＳＤＲ形式の画像データに変換することができる画像処理装置及びその制御方法並びにプログラムを提供する。
【解決手段】デジタルカメラ１００は、ＨＤＲ形式である本画像のデータを記録する外部記録媒体９１と、本画像のデータのアノテーション情報を生成するシステム制御部５０Ａと、アノテーション情報を本画像のデータに付与して記録するメタデータ生成・解析部７０とを備える。システム制御部５０Ａは、アノテーション情報に対応する関連画像データを記録する際に、その関連画像データに対応するアノテーション情報に応じた記録形式で関連画像データを記録する。
【選択図】図１

Description

本発明は、画像処理装置及びその制御方法並びにプログラムに関し、特に、ＨＤＲ形式の画像データをＳＤＲ形式の画像データへ変換可能な画像処理装置及びその制御方法並びにプログラムに関する。
近年、深層学習等のＡＩ技術が様々な技術分野で活用されつつある。例えば、デジタルスチルカメラ等においても、撮影された画像から人や犬、猫などのあらゆるオブジェクトをＡＩ技術を用いて精度よく検出、認識する技術が導入されている。
この技術の活用方法の一つに、画像を記録する際、画像内のオブジェクトを示す領域やサイズ等の検出結果や使用した推論モデル等を示すプロパティ情報（以下、アノテーション情報と呼ぶ）をメタ情報として、関連画像データと共に記録する技術がある。これにより、記録された画像の再生時に、そのアノテーション情報を参照することで、画像内のオブジェクトに対して関連付けられた関連画像データも表示することが可能となる。
また、昨今のデジタルカメラは、ＨＤＲ形式の画像データを撮像して記録媒体に記録可能になっている。ここで、ＨＤＲ形式とはＨｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ（ハイダイナミックレンジ）の記録形式であり、ＳＤＲ（スタンダードダイナミックレンジ）形式の画像に比べてより広いダイナミックレンジを持つ。また、昨今のデジタルカメラは、ＨＤＲ形式の画像データの記録時に、ＨＤＲ形式やＳＤＲ形式の画像データを、上述したアノテーション情報と共に関連画像データとして記録することもできる。
しかし、ＳＤＲ形式の画像データは再生できるが、ＨＤＲ形式の画像データを再生できない表示機器はまだ多く存在する。このため、かかる表示機器で撮像済のＨＤＲ形式の画像データの中身を確認する場合、ＳＤＲ形式の画像データへ変換すると共に、そのアノテーション情報や関連画像データを継承して記録する画像変換機能付きカメラが存在する。これによりＳＤＲ形式の画像データしか再生できない表示機器でも、撮像済のＨＤＲ画像の中身の確認を行うことが出来るようになる。
特許文献１では、撮像により得られた画像（元画像）を記録部に記録すると共に、元画像の内の経時変化情報を有する類似の対象物の画像を用いて、将来画像を予測画像として出力可能な推論モデルの学習を行う。また、学習済の推論モデルを用いて推論された予測画像も記録部に記録する。画像を記録部に記録する際、元画像であるか、元画像から推論された画像であるかの情報が、記録された画像に関連付けて記録される。また、元画像は、対象物の経過進行型の変化を示す画像であるか、または特定物移動型の変化を示す画像であるかが分類されて記録される。
このように、特許文献１では、記録部には、推論された予測画像のデータ（関連画像データ）に元画像から推論された画像であることを示す情報（アノテーション情報）が関連付けて記録される。
２０２０－９１７０２号公報
しかし、特許文献１等の従来技術では、元画像のデータがＨＤＲ形式の画像データである場合はアノテーション情報で関連付けられた関連画像データもＨＤＲ形式の画像データとなる。このため、表示機器がＳＤＲ形式の画像データしか再生できない場合、上記画像変換機能付きカメラを用いても、関連画像データの再生できないという課題があった。
関連画像データについても元画像のデータと同様にＨＤＲ形式の画像データからＳＤＲ形式の画像データに変換すれば、かかる課題は解消される。しかし、元画像に対して複数の関連画像データが存在する場合、一律にかかる変換を行うことは望ましくない。関連画像データのＳＤＲ画像への変換に要する撮像装置の処理負荷が大きく、一連の変換処理にかかる時間が膨大になってしまうからである。また、ワークフローの中で変換される可能性が高い画像データとして全ての関連画像データを予めＳＤＲ画像へ変換するのは、撮像装置の有限なメモリを逼迫することに繋がるからである。
よって本発明は、ＨＤＲ形式の画像データである元画像のデータと関連付けられた関連画像データのうち、必要最小限の画像データのみＳＤＲ形式の画像データに変換することができる画像処理装置及びその制御方法並びにプログラムを提供することにある。
上記課題を解決するため、本発明に係る画像処理装置は、ＨＤＲ形式の画像データを記録する画像記録手段と、前記画像データのアノテーション情報を生成するアノテーション情報生成手段と、前記アノテーション情報を前記画像データに付与して記録するアノテーション情報記録手段と、前記アノテーション情報に対応する関連画像データを記録する関連画像データ記録手段と、を備える画像処理装置であって、前記関連画像データ記録手段は、前記関連画像データを記録する際に、当該関連画像データに対応する前記アノテーション情報に応じた記録形式を決定し、前記決定された記録形式で前記関連画像データを記録することを特徴とする。
本発明によれば、ＨＤＲ形式の画像データである元画像のデータと関連付けられた関連画像データのうち、必要最小限の画像データのみＳＤＲ形式の画像データに変換することができる。
本発明に係る画像処理装置としてのデジタルカメラのハードウェア構成を示すブロック図である。 デジタルカメラにおいて実行される撮影記録処理のフローチャートである。 デジタルカメラにおいて実行される再生処理のフローチャートである。 図２の撮影記録処理において、デジタルカメラで記録される画像ファイルを例示する図である。 図４（ａ）の画像ファイルのファイル構成及びその画像表示例を説明するための図である。 実施例１に係る、関連画像データの更新処理のフローチャートである。 図６の関連画像データの更新処理を説明するための図である。 実施例２に係る、関連画像データの更新処理のフローチャートである。 図９の関連画像データの更新処理を説明するための図である。 実施例３に係る、関連画像データの更新処理のフローチャートである。 図１０の関連画像データの更新処理を説明するための図である。 実施例４に係る、関連画像データの更新処理のフローチャートである。 図１２の関連画像データの更新処理を説明するための図である。 実施例５に係る、関連画像データの更新処理のフローチャートである。 図１４の関連画像データの更新処理を説明するための図である。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。尚、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下に説明する実施の形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせ全てが本発明に必須とは限らない。
図１は、本発明に係る画像処理装置としてのデジタルカメラ１００のハードウェア構成を示すブロック図である。
デジタルカメラ１００は、バリア１０、撮影レンズ１１、シャッター１２、撮像素子１３、タイミング発生部１４、Ａ／Ｄ変換器１５、画像処理部２０、メモリ制御部２２、画像表示メモリ２４、及びメモリ２５を備える。また、デジタルカメラ１００は、露光制御部４０、測距制御部４１、ズーム制御部４２、バリア制御部４３、フラッシュ４４、システム制御部５０Ａ、不揮発性メモリ５１、シャッターボタン６０、シャッタースイッチ６１，６２、及び操作部６３を備える。さらにデジタルカメラ１００は、メタデータ生成・解析部７０、通信部７１Ａ、推論モデル記録部７２Ａ、推論エンジン７３Ａ、学習部７４Ａ、電源８０、電源制御部８１、及びカードコントローラ９０を備える。
バリア１０は、撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護部材である。撮影レンズ１１は、光学像を撮像素子１３の撮像面に結像させる。シャッター１２は絞り機能を備える。撮像素子１３は、撮像面上に結像された光学像を電気信号に変換する。撮像素子１３は、例えば、ＣＣＤやＣＭＯＳ素子等で構成される。Ａ／Ｄ変換器１５は、撮像素子１３のアナログ信号出力をディジタル信号に変換する。Ａ／Ｄ変換器１５で変換されたディジタル信号は、所謂Ｒａｗ画像データとして、メモリ２５に書き込まれる。併せて、撮影時の情報を基に各Ｒａｗ画像データに対応する現像パラメータが生成され、メモリ２５に書き込まれる。現像パラメータの内容としては、露光設定、ホワイトバランス、色空間、コントラストなど、ＪＰＥＧ形式等で画像を記録するための画像処理で使用する各種パラメータから構成される。
タイミング発生部１４は、撮像素子１３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給する。タイミング発生部１４は、メモリ制御部２２及びシステム制御部５０Ａにより制御される。画像処理部２０は、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理、色変換処理、補正処理、リサイズ処理などの各種画像処理を行う。また、画像処理部２０は、撮像した画像データを用いて所定の画像処理や演算処理を行い、得られた演算結果をシステム制御部５０Ａに提供する。システム制御部５０Ａは、提供された演算結果に基づいて露光制御部４０および測距制御部４１を制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。
尚、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。さらに、画像処理部２０は、メモリ２５に格納された画像データを読み込んで、ユーザが指定した圧縮形式への変換（ＲＡＷ現像処理）を行う。ここでユーザが指定可能な圧縮形式としては、ＪＰＥＧ、ＭＰＥＧ４、ＡＶＣ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等が例示される。また、画像処理部２０は、メモリ２５に格納された、非圧縮のＲＡＷデータに対する可逆圧縮など圧縮処理、或いは伸長処理を行う。画像処理部２０は、処理を終えたデータをメモリ２５に書き込む。
また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い各種画像データの編集処理を行う。具体的には、画像処理部２０は、画像データの周囲にある不要な部分を非表示にすることで画像の表示範囲やサイズを調整するトリミング処理や、画像データや画面の表示要素などを拡大や縮小して大きさを変更するリサイズ処理を行う。また、非圧縮のＲＡＷデータに対して上記圧縮処理や伸長処理が行われたデータについては、色変換など画像処理、上述のＲＡＷ現像処理、また、ＭＰＥＧ４などの動画フォーマットの指定フレームを切り出してＪＰＥＧ形式に変換する動画切り出し処理を行う。
また、画像処理部２０は、表示用画像データとともに後述する表示部２３に表示するメニューや任意の文字等のＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を重畳させる処理等も行う。
さらに、画像処理部２０では入力された画像データや撮影時の撮像素子１３などから得られる被写体との距離情報などを利用して、画像データ内に存在する被写体を検出して、その被写体領域を検出する被写体検出処理を行う。検出できる情報として、画像内における位置、大きさといった領域や傾き、確からしさなどの検出情報を得ることができる。
メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生部１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５を通して生成されたＲａｗ画像データは画像処理部２０、メモリ制御部２２を介して、或いは、直接にメモリ制御部２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。
表示部２３は、ＴＦＴ ＬＣＤにより構成される。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１でアナログ信号に変換された後、表示部２３に表示される。表示部２３を用いて撮像した画像データを逐次表示すれば、ライブ映像を表示する電子ファインダ機能を実現することが可能である。
メモリ２５は、撮影した静止画や動画の画像データを格納する。メモリ２５は、所定枚数の静止画や所定時間の動画からなる画像データを格納するのに十分な記憶量を備えている。また、メモリ２５はシステム制御部５０Ａの作業領域としても使用することが可能である。
露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４４と連動することによりフラッシュ調光機能も有する。測距制御部４１は、撮影レンズ１１のフォーカシングを制御する。ズーム制御部４２は、撮影レンズ１１のズーミングを制御する。バリア制御部４３は、保護部材であるバリア１０の動作を制御する。フラッシュ４４は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。
システム制御部５０Ａは、デジタルカメラ１００全体を制御する。不揮発性メモリ５１は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。尚、不揮発性メモリ５１には、プログラムだけでなく、地図情報等も記録されている。
シャッタースイッチ６１は、シャッターボタン６０の操作途中（半押し操作）でＳＷ１信号をＯＮとするスイッチであり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。シャッタースイッチ６２は、シャッターボタン６０の操作完了（全押し操作）でＳＷ２信号をＯＮとするスイッチであり、露光処理、現像処理、記録処理を含む一連の撮影動作の開始を指示する。露光処理では、撮像素子１３から読み出された信号を、Ａ／Ｄ変換器１５、メモリ制御部２２を介して、Ｒａｗデータとしてメモリ２５に書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いて、メモリ２５に書き込まれたＲａｗデータを現像し、画像データとしてメモリ２５に書き込む。記録処理では、メモリ２５から画像データを読み出し、画像処理部２０により圧縮を行い、メモリ２５に格納した後にカードコントローラ９０を介して外部記録媒体９１に画像データを書き込む。
操作部６３は、各種ボタンやタッチパネル等を備える。例えば、操作部６３は、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタンを含む。また、例えば、操作部６３は、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等を含む。
メタデータ生成・解析部７０は、外部記録媒体９１に画像データを記録する際に撮影時の情報を基に画像データにＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）規格など様々なメタデータを生成する。また、メタデータ生成・解析部７０は、外部記録媒体９１に記録されている画像データを読み込んだ際に、画像データに付与されているメタデータの解析を行う。メタデータとしては、例えば、撮影時の撮影時設定情報、画像データに関する画像データ情報、画像データに含まれる被写体の特徴情報などが挙げられる。また、動画像データを記録する際には、メタデータ生成・解析部７０は、各フレームについてメタデータを生成し、付与することもできる。また、システム制御部５０Ａは、操作部６３へのユーザ入力に応じて画像データのアノテーション情報生成を実行する。
電源８０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源制御部８１は、電源８０から供給される電力をデジタルカメラ１００の各部に供給する。カードコントローラ９０は、メモリカード等の外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、例えばメモリカードで構成され、デジタルカメラ１００での撮影で得られた画像データ（静止画、動画）を記録する。
推論エンジン７３Ａは、推論モデル記録部７２Ａによって記憶された推論モデルを用いて、システム制御部５０Ａから入力された画像データに対して推論を行う。推論モデルは外部装置１０１など外部から通信部７１Ａを通じて入力され、推論モデル記録部７２Ａに記録されたものや、後述する学習部７４Ａによる再学習により得られた推論モデルを使用してもよい。推論エンジン７３Ａは、ニューラルネットワーク・デザイン７３ａを有する。
ニューラルネットワーク・デザイン７３ａは、入力層と出力層の間に中間層（ニューロン）が配置されている。入力層にはシステム制御部５０Ａから画像データが入力される。中間層には、何層かのニューロンが配置されている。中間層に配置されるニューロンの層数は設計上適宜決められ、また中間層の各層におけるニューロンの数も設計上適宜決められる。中間層は、推論モデル記録部７２Ａで記録されている推論モデルに基づいて、重み付けがなされる。出力層には、入力層に入力された画像データに応じたアノテーション情報が出力される。
システム制御部５０Ａは、推論エンジン７３Ａを用いて画像データの解析を行い、そのアノテーション情報を生成する。
以下説明する各実施例では、画像データに含まれる被写体がどのようなものであるかの分類を推論する推論モデルを想定する。様々な被写体の画像データと、その分類（例えば、犬、猫などの動物の分類や人、動物、植物、建物など被写体分類など）結果を教師データとして、深層学習により生成された推論モデルを外部装置１０１などで生成したものを利用する。ただし、推論エンジン７３Ａは外部装置１０１などから更新可能なため、その他の様々な推論モデルを扱っても構わない。
学習部７４Ａについて説明する。学習部７４Ａは、システム制御部５０Ａ等から依頼を受けて、推論モデルの再学習を行う。学習部７４Ａは、教師データ記録部７４ａを有する。教師データ記録部７４ａは推論エンジン７３Ａへの教師データに関する情報を記録する。学習部７４Ａは教師データ記録部７４ａに記録されている教師データを用いて、推論エンジン７３Ａを再学習させ、推論モデル記録部７２Ａを用いて、推論エンジン７３Ａを更新することができる。
尚、以下説明する各実施例では、推論モデルは外部からの更新や学習部７４Ａによって再学習を行って更新された場合に、それぞれの推論モデルが識別できるよう推論モデル記録部７２Ａにおいて管理バージョンが保持される。
通信部７１Ａは、送信および受信を行うための通信回路を有する。この通信回路は、具体的にはＷｉ－ＦｉやＢｌｕｅＴｏｏｔｈなどの無線通信でも良いし、イーサネットやＵＳＢなどの有線通信でも良い。通信部７１Ａは、後述する外部装置１０１の通信部７１Ｂと通信を行うことができる。通信部７１Ａは、推論エンジン７３Ａで作成されたアノテーション情報が付与された画像ファイルだけでなく、推論モデルや教師データ等の情報を、システム制御部５０Ａや後述する外部装置１０１のシステム制御部５０Ｂに送受信する通信部として機能する。外部装置１０１がデジタルカメラ１００と関連しているかどうかで、送信する情報に制限をかけることができる。
外部装置１０１は、学習部７４Ｂ、推論エンジン７３Ｂ、推論モデル記録部７２Ｂ、システム制御部５０Ｂ、通信部７１Ｂを有する。学習部７４Ｂは、推論エンジン７３Ｂ、システム制御部５０Ｂ等からの依頼を受けて推論モデルを作成する。推論モデル記録部７２Ｂは、デジタルカメラ１００から送信された推論モデルや学習部７４Ｂから送信された推論モデルを記録する。尚、デジタルカメラ１００は、外部装置１０１に接続していなくてもよい。但しその場合、デジタルカメラ１００で学習を行うか、予め推論エンジン７３Ａに推論モデルを保持しておく。
次に、図２のフローチャートを用いて、デジタルカメラ１００において実行される撮影記録処理を説明する。本処理は、システム制御部５０Ａが、不揮発性メモリ５１にあるプログラムを読み出し、不図示のＲＡＭに展開することにより実行される処理であり、操作部６３に含まれるモード切替スイッチで撮影モードが指示されると開始する。
本処理が開始するとまず、ステップＳ２０１において、システム制御部５０Ａは、ユーザにより静止画撮影が指示されたかを確認する。具体的には、ユーザによるシャッターボタン６０の全押しに応じて、シャッタースイッチ６１がＳＷ１信号をＯＮとし、シャッタースイッチ６２がＳＷ２信号をＯＮとしたかを確認する。静止画撮影が指示された場合（ステップＳ２０１でＹＥＳ）、ステップＳ２０２に進み、そうでない場合（ステップＳ２０１でＮＯ）、ステップＳ２１０に進む。
ステップＳ２０２において、撮影処理を行う。撮影処理では、測距制御部４１や露光制御部４０を用いて、ＡＦ処理、ＡＥ処理を行ったうえで、撮像素子１３から出力される映像データ（Ｒａｗ画像データ）をメモリ２５に保存する。さらに撮影処理では、ユーザにより指定された圧縮形式に合わせて、画像処理部２０がメモリ２５に保存した映像データをＪＰＥＧ形式、ＭＰＥＧ４形式、ＨＥＶＣ形式，ＨＥＩＦ形式等の記録形式で圧縮した画像データを作成し、メモリ２５に保存する。すなわち、撮影処理により、メモリ２５には映像データ及びこれを圧縮した画像データが保存される。
ステップＳ２０３において、メモリ２５に保存される映像データに対して、画像処理部２０が被写体検出処理を行い、映像データ内の被写体検出情報を取得する。
ステップＳ２０４において、ステップＳ２０２で作成された画像データとステップＳ２０３で取得した被写体情報を画像ファイル４００として外部記録媒体９１に記録する。画像ファイル４００は、図４（ａ）で例示するように、少なくともＥｘｉｆ規格に従ったメタデータであるＥｘｉｆデータ４０１と、ユーザにより指定された記録形式の画像データ４０６から構成されている。画像ファイル４００には、例えば、ユーザからＪＰＥＧ形式での記録が指示されていれば、画像データ４０６としてＪＰＥＧ形式の画像データが記録され、Ｅｘｉｆデータ４０１はＡＰＰ１マーカーなどに記録される。また、ユーザからＨＥＩＦ形式での記録が指示されていれば、画像データ４０６としてＨＥＩＦ形式の画像データが記録され、Ｅｘｉｆデータ４０１はＭｅｔａデータＢｏｘなどに記録される。また、ユーザからＲＡＷ形式での記録が指示されていれば、画像データ４０６として映像データが記録され、Ｅｘｉｆデータ４０１は、ＭｅｔａデータＢｏｘなどに記録される。ＨＥＩＦ形式である場合及びＪＰＥＧ形式である場合の夫々の、図４（ａ）の画像ファイル４００のファイル構成及びその画像表示例は、図５（ａ）～（ｄ）を用いて後述する。
ステップＳ２０３で取得した被写体検出情報は、メタデータ生成・解析部７０を用いて、Ｅｘｉｆデータ４０１に含まれる、ＭａｋｅｒＮｏｔｅ４０４及びアノテーション情報４０３ａに記録される。ここで、ＭａｋｅｒＮｏｔｅ４０４に記録された被写体検出情報は、製造メーカ固有のメタデータであって原則非公開の形式で記載される被写体検出情報４０５として保存される。また、アノテーション情報４０３ａは、後述する推論処理において推論エンジン７３Ａへの入力データとなるアノテーション情報であり、アノテーションリンク情報格納タグ４０２に含まれるアノテーション情報オフセットで指し示す位置に記録される。本実施例では、アノテーション情報４０３ａとして、被写体の画面内の座標領域だけが記録されているが、それ以外の情報が含まれていても構わない。
ステップＳ２０５において、推論エンジン７３Ａを用いた推論処理が実施可能か否かを判断する。推論エンジン７３Ａが他の画像に対する処理を実行中である場合や、ユーザが、シャッターボタン６０の全押し操作を連続して行って連写撮影を指示した場合等、撮影処理を優先すべき場合等は、推論処理が実施できないと判断する。このような場合（ステップＳ２０５でＮＯ）、ステップＳ２０８に進み、一方、推論処理が実施可能であると判断した場合（ステップＳ２０５でＹＥＳ）、ステップＳ２０６に進む。
ステップＳ２０６において、画像ファイル４００に対して、推論エンジン７３Ａを用いた推論処理を行う。以下説明する各実施例では、推論エンジン７３Ａへの入力として、画像ファイル４００を入力する。推論処理が開始すると、推論エンジン７３Ａはまず画像ファイル４００内の画像データ４０６とアノテーション情報４０３ａから画像データ４０６内に含まれる被写体領域を特定する。次に、推論エンジン７３Ａは、被写体領域ごとに推論エンジン７３Ａを用いた推論結果として、被写体領域に含まれる被写体の分類結果を出力する。尚、推論結果以外に推論途中の動作上のデバッグ情報、ログなど推論処理に関連する情報も併せて出力するようにしてもよい。
ステップＳ２０７において、ステップＳ２０６での推論結果（被写体の分類結果）、及び推論モデル記録部７２Ａが保持する現在の推論モデルの管理バージョンを含む推論モデル管理情報４０７ａを記録する。次に、画像ファイル４００を画像ファイル４２０に更新する。尚、デバッグ情報が推論結果と併せて推論エンジン７３Ａから出力された場合はそのデバッグ情報も推論モデル管理情報４０７ａに含まれる。図４（ｂ）に示すように、画像ファイル４２０は、画像ファイル４００に推論結果と推論モデル管理情報４０７ａが追記された記録ファイルとなる。画像ファイル４２０では、アノテーション情報４０３ａをメタデータ生成・解析部７０を用いて推論結果を被写体の位置座標ごとに追記したアノテーション情報４０３ｂに更新し、また、推論モデル管理情報４０７ａをＭａｋｅｒＮｏｔｅ４０４内に追記する。図４（ｂ）では、推論結果として、位置座標と推論結果の組み合わせで出力された場合の例が示されているが、アノテーション情報４０３ｂに推論モデルの推論結果が記録できれば良い。例えばアノテーション情報４０３ｂに出力結果をそのまま記録してもよい。この際の、テキスト形式、バイナリ型式などの記録フォーマットや形式は特に問わない。このように、画像データ４０６と推論モデルの推論結果を同一の画像ファイル４２０内に記録する。これにより、以後、画像データ４０６と推論モデルの推論結果を各々管理することなく、効率的に対応づけて容易に管理することができる。尚、推論モデル管理情報４０７ａは、推論モデルを管理する製造メーカが利用する特有のデータのため、広く一般に公開せず、非公開のＭａｋｅｒＮｏｔｅに記録する。これにより、推論モデル管理情報４０７ａを推論結果とともに対応付けて安全に管理することができる。ステップＳ２０７ではさらに、システム制御部５０Ａは、ステップＳ２０６での推論結果（被写体の分類結果：アノテーション情報）に関連する関連画像データを画像データ４０６と同一ファイル内に記録する。関連画像データについては図５（ｂ）を用いて後述する。
ステップＳ２０８において、ステップＳ２０５～Ｓ２０７の処理により推論結果が記録済であるか、記録されていないか（すなわち、ステップＳ２０５でＮＯだったか）を判別する。判別の結果、推論結果が記録されていない場合（ステップＳ２０８でＮＯ）、ステップＳ２１０に進み、推論結果が記録済である場合（ステップＳ２０８でＹＥＳ）、ステップＳ２０９に進む。
ステップＳ２０９において、推論結果と対応付けられた関連画像データの更新処理を行う。尚、ここでは関連画像データの記録場所は画像データ４０６と同一ファイルとするが、画像データ４０６の表示中に、関連画像データを推論結果と対応付けられたデータとして参照することが出来ればこれに限定されない。すなわち、関連画像データの記録場所は、画像データ４０６を記録するファイルにおいて関連画像データの記録先の情報が保持されていれば外部記録媒体９１に限定されない。ステップＳ２０９の処理内容については後段の図を使用して後述する。
ステップＳ２１０において、ユーザから、操作部６３に含まれるモード切替スイッチでのモード切替指示や電源ボタンでの電源ＯＦＦなどにより撮影完了が指示されると、本撮影処理を終了する。
続いて、図３のフローチャートを用いて、デジタルカメラ１００において実行される再生処理を説明する。本処理は、システム制御部５０Ａが、不揮発性メモリ５１にあるプログラムを読み出し、不図示のＲＡＭに展開することにより実行される処理である。
デジタルカメラ１００では、ユーザの操作部６３に含まれるモード切替スイッチの操作により、外部記録媒体９１に記録されている画像データを閲覧する画像再生モードへの切替指示があると、画像再生モードに移行し、本処理を開始する。
まず、ステップＳ３０１において、再生すべき１枚の画像ファイルを特定し、取得する。具体的には、カードコントローラ９０を介して外部記録媒体９１からその特定された画像ファイルを読み出してメモリ２５に読み込む。以下、ここでは特定された画像ファイルが画像ファイル４２０であった場合を例に説明する。
ステップＳ３０２において、メモリ２５に読み出した画像ファイル４２０の画像データ４０６を記録方式に応じて画像処理部２０で伸長処理やリサイズ処理などを行った後、表示用画像データとして、画像表示メモリ２４に記録し、表示部２３で再生する。
ステップＳ３０３において、メタデータ生成・解析部７０を用いて、現在再生中の画像ファイル４２０に推論結果が記録済みか否かを確認する。記録済みであれば（ステップＳ３０３でＹＥＳ）、ステップＳ３０４に進み、記録済でなければ（ステップＳ３０３でＮＯ）、ステップＳ３０９に進む。
ステップＳ３０４において、システム制御部５０Ａは、ユーザの操作部６３に含まれる操作部材の操作による、現在再生中の画像ファイル４２０に記録済みの推論結果の表示指示があったか否かを判断する。推論結果の表示指示があった場合（ステップＳ３０４でＹＥＳ）、ステップＳ３０５に進む一方、そうでない場合（ステップＳ３０４でＮＯ）、ステップＳ３０６に進む。
ステップＳ３０５において、メタデータ生成・解析部７０を用いて、現在再生中の画像ファイル４２０からアノテーション情報４０３ｂ（推論結果：図４）の情報を抽出する。次に、画像処理部２０を用いて、現在再生中の画像ファイルに対して、アノテーション情報４０３ｂの内容をＯＳＤとして重畳して表示する。例えば、アノテーション情報４０３ｂに記載されている被写体毎の座標領域を示す枠表示とともにその座標領域の被写体を分類した推論結果を文字列で併せて表示する。これによりユーザは、現在再生中の画像ファイル４２０と関連づけられた推論結果を目視することができるようになる。また、このとき関連画像も併せて表示するようにしてもよい。本処理ではさらに、ユーザは、ステップＳ３０５で各枠表示の被写体とその推論結果を目視した結果、推論結果の誤りに気付いた場合、訂正を操作部６３に含まれる操作部材を用いて推論結果の訂正指示を行うことができる。
ステップＳ３０６において、システム制御部５０Ａは、ユーザからの推論結果の訂正指示があったか否かを確認する。ユーザからの訂正指示があった場合（ステップＳ３０６でＹＥＳ）、ステップＳ３０７に進み、ユーザからの訂正指示がなかった場合（ステップＳ３０６でＮＯ）、ステップＳ３０９に進む。
ステップＳ３０７において、システム制御部５０Ａは、ユーザからの訂正指示に基づき、推論エンジン７３Ａの教師データ（正解データ）を再学習用データとして作成する。次に、この正解データを含むアノテーション情報４０３ｃを作成し、画像ファイル４２０を、アノテーション情報４０３ｃを追加した図４（ｃ）の画像ファイル４３０に更新する。また、教師データ記録部７４ａにも画像ファイル４３０を教師データとして記録する。尚、画像ファイル４３０は、外部記録媒体９１に画像ファイル４２０とは別ファイルとして記録しても構わない。画像ファイル４３０では、画像ファイル４２０を基にして、被写体の画面内の座標領域ごとにユーザからの訂正指示にある訂正された推論結果が正解データとして記録される。具体的には、メタデータ生成・解析部７０を用いて、アノテーションリンク情報格納タグ４０２に含まれるアノテーション情報オフセットで指し示す位置に記録されているアノテーション情報４０３ｃにその正解データを記録する。画像ファイル４２０のアノテーション情報４０３ｂは、旧アノテーションリンク情報格納タグ４０８に含まれる旧アノテーション情報オフセットで指し示す位置に記録される旧アノテーション情報４０９に置き換えられる。
ステップＳ３０８において、学習部７４Ａを用いて、ステップＳ３０７で教師データ記録部７４ａに記録された画像ファイル４３０を教師データとして用いて、推論エンジン７３Ａを再学習し、推論エンジン７３Ａを更新する再学習処理を実行する。尚、推論エンジン７３Ａの更新に伴い、推論モデル記録部７２Ａで推論エンジン７３Ａの管理バージョンなどの更新も併せて行う。
ステップＳ３０９において、システム制御部５０Ａは、ユーザから操作部６３に含まれる操作部材を用いて再生中の画像ファイルへの推論が指示されているか否かを判別する。かかる指示は、例えば、ステップＳ３０１で特定された画像ファイルが撮影時に推論処理を行うことができなかった画像ファイルである場合や、推論結果が記録済みの画像ファイルであるが、外部で更新された推論モデルを用いて再度推論したい場合に行われる。推論が指示されている場合（ステップＳ３０９でＹＥＳ）、ステップＳ３１０に進み、そうでない場合（ステップＳ３０９でＮＯ）、ステップＳ３１４に進む。
ステップＳ３１０において、システム制御部５０Ａは、推論が指示された画像ファイルに推論結果が記録済みか否かを判別する。推論結果が記録されていない場合は（ステップＳ３１０でＮＯ）、ステップＳ３１２，Ｓ３１３において、ステップＳ２０６，Ｓ２０７と同様の処理を行い、画像ファイルに推論結果、推論モデル管理情報４０７ａの記録を行った後、ステップＳ３１４に進む。一方、すでに推論結果が記録済みの場合は（ステップＳ３１０でＹＥＳ）、ステップＳ３１１に進み、再推論処理を行った後、ステップＳ３１４に進む。
再推論処理では、推論モデルの更新があった場合などに、メタデータ生成・解析部７０を用いて、画像ファイル４２０を、図４（ｄ）に示す画像ファイル４４０に更新して外部記録媒体９１に記録する。画像ファイル４４０では、アノテーションリンク情報格納タグ４０２のアノテーション情報オフセットで指し示す位置に記録されている元の画像ファイル４２０のアノテーション情報４０３ｂを、再推論結果が記録されたアノテーション情報４０３ｄに更新する。さらに、画像ファイル４４０では、ＭａｋｅｒＮｏｔｅ４０４内にあった元の画像ファイル４２０の推論モデル管理情報４０７ａが、メタデータ生成・解析部７０を用いて、現在の推論エンジン７３Ａの情報である推論モデル管理情報４０７ｂに更新される。
ステップＳ３１４において、システム制御部５０Ａは、ユーザの操作部６３に含まれる操作部材の操作により、後述のステップＳ３１５で記録される関連情報を付与するよう指示（以下「関連情報付与指示」という）があったか否か判別する。ここで関連情報付与指示とは、例えば、推論処理の際、得られた推論結果と対応づけて付与されなかった関連情報をユーザが付与したい場合などにされる指示であり、ユーザが指定した関連画像データ等が関連情報として含まれる。判別の結果、関連情報付与指示がされなかった場合（ステップＳ３１４でＮＯ）、ステップＳ３１７に進む。一方、関連情報付与指示がされた場合（ステップＳ３１４でＹＥＳ）、ステップＳ３１５において、関連情報付与指示に含まれる関連情報を推論結果と対応づけて外部記録媒体９１に記録した後、ステップＳ３１６に進む。
ステップＳ３１６において、前述したステップＳ２０９と同様に、画像データ４０６と同一ファイル内に記録されている、推論結果と対応付けられた関連画像データの更新処理を行う。尚、ここでは関連画像データの記録場所はステップＳ３０２で再生を開始した画像データ４０６と同一ファイルとするが、画像データ４０６の再生中に、関連画像データを推論結果と対応付けられたデータとして参照することが出来れば、これに限定されない。すなわち、関連画像データの記録場所は、画像データ４０６を記録するファイルにおいて関連画像データの記録先の情報が保持されていれば外部記録媒体９１に限定されない。ステップＳ２０９の処理内容については後段の図を使用して後述する。
ステップＳ３１７において、システム制御部５０Ａは、操作部６３に含まれる操作部材を用いて、ユーザより再生画像送りがなされたか否かを判別する。再生画像送りがなされた場合（ステップＳ３１７でＹＥＳ）、ステップＳ３０１に戻る一方、再生画像送りがされなかった場合（ステップＳ３１７でＮＯ）、ステップＳ３１８に進む。
ステップＳ３１８において、操作部６３に含まれる操作部材を用いて、ユーザより再生処理の完了が指示されたか否かを判別する。再生処理の完了が指示された場合（ステップＳ３１８でＹＥＳ）、ステップＳ３０３に戻る一方、再生処理の完了が指示されなかった場合（ステップＳ３１８でＮＯ）、本処理を終了する。
次に、図２の撮影記録処理においてＨＥＩＦ形式で外部記録媒体９１に記録された画像ファイル（以下「ＨＥＩＦ画像５００」という）のデータ構成を図５（ａ）に示す。
図５（ｂ）は、図５（ａ）のＨＥＩＦ画像５００に記録される本画像データ５１８（画像データ４０６）の画像５５０と、本画像と同一のＨＥＩＦ画像５００に記録される関連画像データ５１９の画像５５１の例を示す図である。以下、本画像データ５１８の画像５５０を本画像５５０、関連画像データ５１９の画像５５１を関連画像５５１という。
図５（ｃ）は、これらの本画像５５０と関連画像５５１を対応付けて表示した際の画面表示の一例である。関連画像５５１は、ステップＳ２０６での推論処理で得られた推論結果（被写体の分類結果）と対応付けられた状態でＨＥＩＦ画像５００内に記録されている。このため図５（ｃ）の画面表示では、その対応付けを用いて、ＨＥＩＦ画像５００から読み出した本画像５５０に映っている花を含む領域５５３を関連画像５５１と対応付けて点線表示している。また、領域５５３には関連画像５５１のアノテーション情報５５４である「Ｆｌｏｗｅｒ」が表示されている。ここでアノテーション情報５５４は、本画像５５０に含まれる被写体を特定する情報であればよく、ある集合を示す内容を持つ情報でもよいし、ある個体の判別を行うための情報でもよい。ほかにもアノテーション情報５５４は、撮影日時や場所を特定することが可能な情報を含む場合や、情報が自身の生成された過程を説明することができる情報を含んでいても構わない。アノテーション情報５５４は推論結果による生成や、ユーザの任意な操作によって生成されて、本画像５５０と関連画像５５１を対応付けている。
以下、ＨＥＩＦ画像５００の構成について説明する。
図５（ａ）に示すようにＨＥＩＦ画像５００は、先頭から順に、ｆｔｙｐＢＯＸ５０１、内部に複数のＢＯＸが入れ子になって形成された木構造で構成されるｍｅｔａＢＯＸ５０２、及びｍｄａｔＢＯＸ５１７を備える。各ＢＯＸはデータを直接記録しても良いし、別のＢＯＸを子要素として記録しても良い。図５（ａ）ではＨＥＩＦ画像５００の構成のうち、今回説明に必要なＢＯＸを図示したが、図示していないＢＯＸを必要に応じてＨＥＩＦ画像５００に追加しても良い。
ｆｔｙｐＢＯＸ５０１は、ファイルの種別を記載するＢＯＸであり、ｍｅｔａＢＯＸ５０２は、メタデータを記載するＢＯＸであり、ｍｄａｔＢＯＸ５１７は、画像データ本体を記載するＢＯＸである。
ｍｅｔａＢＯＸ５０２は、子要素として、アイテム定義ＢＯＸ５０３、アイテム関連付けＢＯＸ５０７、アイテム関連付けＢＯＸ５０７、アイテム属性定義ＢＯＸ５１１、及びアイテム位置情報ＢＯＸ５１４を備える。
アイテム定義ＢＯＸ５０３は、ＨＥＩＦ画像５００に記録する画像や領域に関するアイテムの情報を記録する。アイテム関連付けＢＯＸ５０７は、アイテムの参照情報を記録する。アイテム属性定義ＢＯＸ５１１は、アイテムの属性情報などのプロパティを記録する。アイテム位置情報ＢＯＸ５１４は、ｍｄａｔＢＯＸ５１７に記録するアイテムの実データの位置を記録する。
アイテム定義ＢＯＸ５０３は子要素として、アノテーション情報として定義したい各アイテムのアイテム定義が記録されたＢＯＸ５０４～５０６を備える。
ＢＯＸ５０４は、本画像５５０のアイテム定義を記録し、ＢＯＸ５０５は、関連画像５５１のアイテム定義を記録し、ＢＯＸ５０６は、領域のアイテム定義を記録する。尚、ＢＯＸ５０６には具体的には、図５（ｃ）のように本画像５５０と関連画像５５１を対応付ける領域５５３を定義しているアノテーション情報である。尚、他にアノテーション情報を定義する場合にはアイテム定義ＢＯＸ５０３に追記しても良い。
本画像５５０のアイテム定義が記録されるＢＯＸ５０４では、ＨＥＩＦ画像５００の主画像となる本画像５５０のアイテム番号の定義やアイテムの種別が「画像」であることの定義などを記載する。関連画像５５１のアイテム定義が記録されるＢＯＸ５０５では、ＨＥＩＦ画像５００の主画像となる本画像５５０に対応付けられている関連画像５５１のアイテム番号の定義やアイテムの種別が「画像」であることの定義を記載する。そして、領域のアイテム定義が記録されるＢＯＸ５０６では、領域５５３のアイテム番号の定義やアイテムの種別が「領域」であることの定義を記載する。
アイテム関連付けＢＯＸ５０７は、子要素として、アノテーション情報として定義したい、ＨＥＩＦ画像５００にある画像間の関係や各画像とその属性情報の関係が記載されたＢＯＸ５０８～５１０を備える。
ＢＯＸ５０８は、本画像５５０と関連画像５５１の関係を記載し、ＢＯＸ５０９は、本画像５５０とその属性情報の関係を記載し、ＢＯＸ５１０は、関連画像５５１とその属性情報の関係を記載する。尚、他にアノテーション情報を定義する場合にはアイテム関連付けＢＯＸ５０７に追記しても良い。
本画像５５０と関連画像５５１の関係が記載されるＢＯＸ５０８では、前述の本画像５５０のアイテム番号と関連画像５５１のアイテム番号を対応付づけて関連を記載する。本画像５５０とその属性情報の関係が記載されるＢＯＸ５０９では、前述の本画像５５０のアイテム番号と後述するＢＯＸ５１２に記録される本画像５５０の属性情報を対応付づけて関連を記載する。同様に、関連画像５５１とその属性情報の関係が記載されるＢＯＸ５１０では、前述の関連画像のアイテム番号と後述する関連画像の属性情報（５１３）を対応付づけて関連を記載する。
アイテム属性定義ＢＯＸ５１１は、子要素として、アノテーション情報として定義したい、ＨＥＩＦ画像５００にある本画像５５０及び関連画像５５１の夫々の属性情報が記載されたＢＯＸ５１２，５１３を備える。
ＢＯＸ５１２は、本画像５５０の属性情報を記載し、ＢＯＸ５１３は、関連画像５５１の属性情報を記載する。尚、他にアノテーション情報を定義する場合にはアイテム属性定義ＢＯＸ５１１に追記しても良い。
本画像５５０の属性情報が記載されるＢＯＸ５１２では、画像のサイズ、色空間情報、ピクセル情報、回転情報などを記載する。関連画像５５１の属性情報が記載されるＢＯＸ５１３では、関連画像５５１のサイズ、色空間情報、ピクセル情報、回転情報などに加えて関連画像名を記載する。ＢＯＸ５１３に属性情報として関連画像名を記録することで、図５（ｃ）の画面表示に示すように領域５５３に関連画像５５１のアノテーション情報５５４として関連画像名「Ｆｌｏｗｅｒ」を表示することができる。
アイテム位置情報ＢＯＸ５１４は、子要素として、ＨＥＩＦ画像５００にある本画像５５０及び関連画像５５１の夫々の位置情報を示すＢＯＸ５１５，５１６を備える。
ＢＯＸ５１５は、本画像５５０の位置情報を記載し、ＢＯＸ５１６は、関連画像５５１の位置情報を記載する。
ｍｄａｔＢＯＸ５１７は、ＨＥＩＦ画像５００の本画像５５０のデータ本体である本画像データ５１８と、ＨＥＩＦ画像５００の関連画像５５１のデータ本体である関連画像５５１を記録する。ここで記録される本画像データ５１８及び関連画像データ５１９は、ＨＤＲ形式であってもＳＤＲ形式であっても構わない。
次に、図２の撮影記録処理においてＪＰＥＧ形式で外部記録媒体９１に記録された画像ファイル（以下「ＪＰＥＧ画像５２０」という）のデータ構成を図５（ｄ）に示す。
図５（ｄ）に示すように、ＪＰＥＧ画像５２０は、先頭から順に、ＳＯＩ５２１、ＡＰＰＩ１ ５２２、本画像データ５３３、ＥＯＩ５３４、ＳＯＩ５３５、関連画像データ５３６、及びＥＯＩ５３７を備える。
ＳＯＩ５２１は、本画像５５０の画像開始を示すマーカーであり、ＡＰＰ１ ５２２はアプリケーションマーカーである。
ＡＰＰ１ ５２２は、様々なメタデータ５２３～５３２を有する。
メタデータ５２３は、ＡＰＰ１識別コードを記載し、その代表的なものにはＥｘｉｆがある。メタデータ５２４は、本画像５５０のアイテム定義を記載し、メタデータ５２５は、関連画像５５１のアイテム定義を記載し、メタデータ５２６は、領域のアイテム定義を記載する。メタデータ５２７は、本画像５５０と関連画像５５１の関係を記載し、メタデータ５２８は、本画像５５０とその属性情報の関係を記載し、メタデータ５２９は、関連画像５５１とその属性情報の関係を記載する。メタデータ５３０は、本画像５５０の属性情報を記載し、メタデータ５３１は、関連画像５５１の属性情報を記載し、メタデータ５３２は、関連画像５５１の位置情報を記載する。メタデータ５２４～５３１の情報は、図５（ａ）のＨＥＩＦ画像５００のＢＯＸ５０４～５０６，５０８～５１０，５１２，５１３に記載された情報と同等である。具体的には、本画像５５０のアイテム定義が記載されるメタデータ５２４は本画像のアイテム定義が記載されるＢＯＸ５０４に対応する。また、関連画像５５１のアイテム定義が記載されるメタデータ５２５は関連画像５５１のアイテム定義が記載されるＢＯＸ５０５に対応し、領域のアイテム定義が記載されるメタデータ５２６は領域のアイテム定義が記載されるＢＯＸ５０６に対応する。本画像５５０と関連画像５５１の関係が記載されるメタデータ５２７は本画像５５０と関連画像５５１の関係が記載されるＢＯＸ５０８に対応する。本画像５５０とその属性情報の関係が記載されるメタデータ５２８は本画像５５０とその属性情報の関係が記載されるＢＯＸ５０９に対応する。関連画像５５１とその属性情報の関係が記載されるメタデータ５２９は関連画像５５１とその属性情報の関係が記載されるＢＯＸ５１０に対応する。本画像５５０の属性情報が記載されるメタデータ５３０は本画像５５０の属性情報が記載されるＢＯＸ５１２に対応し、関連画像５５１の属性情報が記載されるメタデータ５３１は関連画像５５１の属性情報が記載されるＢＯＸ５１３に対応する。
関連画像５５１の位置情報が記載されるメタデータ５３２は後述する関連画像データ５１６のサイズ及び関連画像５５１の画像開始を示すマーカーであるＳＯＩ５３５の場所を記録する。
本画像データ５３３は、ＪＰＥＧ画像５２０の主画像データであり、本画像５５０のデータ本体である。本画像データ５３３の最後を示すマーカーであるＥＯＩ５３４が本画像データ５３３に続いて記録される。
ＳＯＩ５３５は、関連画像５５１の画像開始を示すマーカーであり、その後に、関連画像５５１のデータ本体である関連画像データ５３６が記録される。ＥＯＩ５３７は、関連画像データ５３６に続いて記録される関連画像データ５３６の最後を示すマーカーであり、ＥＯＩ５３７をもってＪＰＥＧ画像５２０は終端される。尚、ＪＰＥＧ画像５２０に記録される本画像５５０及び関連画像５５１のデータは、ＳＤＲ形式である。また、メタデータ５２４～５２６のアイテム定義、メタデータ５２７～５２９の各画像と属性情報の関係、メタデータ５３０～５３２の各画像の位置情報は、必ずしも同一ファイル内の本画像データ５３３及び関連画像データ５３６を参照先としなくても良い。その参照先は同一ファイルに記録されている他の画像データであってもよいし、異なる場所に記録された画像データであっても良い。
次に、図２の説明の中で後述するとしていた関連画像データの更新処理について図６～１５を用いて説明する。背景技術や課題にも記載しているように、ＨＤＲ形式はＳＤＲ形式に比べて画像に含まれる情報がＳＤＲ画像より多い一方、ＳＤＲ形式はＨＤＲ形式に比べて画像データサイズを削減することが出来る。
このようにＨＤＲ形式とＳＤＲ形式はそれぞれの形式において利点が挙げられる。しかし、ＨＥＩＦ画像５００をＨＤＲ形式からＳＤＲ形式に変換する際、多数の関連画像データ５１９が存在し、且つ記録形式をＨＤＲ形式のみに固定していた場合、関連画像データ５１９の全てを変換する処理時間が膨大になってしまうという課題がある。その一方、変換用途のために全ての関連画像データ５１９を事前にＳＤＲ形式で保存すると、ＨＤＲ形式の利点である画像に含まれる多くの情報が失われてしまう。また、ＨＤＲ形式とＳＤＲ形式の両方で関連画像データ５１９を記録するようにすると、ＨＥＩＦ画像５００のデータ量が大きくなり、ＨＥＩＦ画像５００を記録する外部記録媒体９１の容量を圧迫してしまうという課題がある。
そのため、本発明は、図２、図３におけるステップＳ２０９,Ｓ３１６の関連画像データの更新処理において、本画像データ５１８に対応付けられた関連情報（推論結果を含む）を元に、関連画像データ５１９をその記録形式を変更して保存する。
（実施例１）
以下、図６、図７を用いて、本画像のオブジェクトに対応付けられた関連情報（推論結果）に応じて実行される、関連画像データの更新処理の１つの具体的な実施例である実施例１について説明する。
図６は、実施例１に係る関連画像データの更新処理のフローチャートである。ここでは、図７に示す本画像７００及び関連情報７０３，７０４がＨＥＩＦ画像内の情報として記録されている場合を例に説明する。
ステップＳ６０１において、本画像７００のオブジェクト７０１，７０２に対応付けられた関連情報７０３，７０４を取得する。図７に示すように、関連情報７０３は、属性Ａという推論結果、及びオブジェクト７０１に対応付けられている複数の関連画像データ７０５からなる。また関連情報７０４は、属性Ｂという推論結果、及びオブジェクト７０２に対応付けられている複数の関連画像データ７０６からなる。
ステップＳ６０２において、関連情報７０３に含まれる関連画像データ７０５のうちの１つである関連画像データ７０５ａを取得する。
ステップＳ６０３において、関連画像データ７０５ａがＨＤＲ形式かどうかを判定する。
ステップＳ６０３での判定の結果、関連画像データ７０５ａがＨＤＲ形式でない場合（ステップＳ６０３でＮＯ）、ステップＳ６０７に進み、現在の形式のまま関連画像データ７０５ａの記録を行う。その後、ステップＳ６０８，Ｓ６０９に進み、関連画像データ７０５の他の関連画像データの処理、及び関連情報７０４に含まれる各関連画像データの処理を行う。ステップＳ６０１で取得した全てのデータに対して処理が完了した場合（ステップＳ６０８でＹＥＳ、ステップＳ６０９でＹＥＳ）、本処理を終了する。一方、ステップＳ６０３での判定の結果、関連画像データ７０５ａがＨＤＲ形式だった場合（ステップＳ６０３でＹＥＳ）、ステップＳ６０４に進む。
ステップＳ６０４では、取得した関連情報７０３に含まれる推論結果（属性Ａ）が、属性情報として分類できるか否かを判定する。ここでいう属性情報とは、個人や特定のものを示す固有名詞などで表されるものではなく、いくつかの事物の属性の共通性をひとまとめにして示す普通名詞などで表されるものを意味する。図７では、関連情報７０３の属性Ａが「ｈｕｍａｎ」を表している場合を例示しており、関連付けられたオブジェクト７０１自体も関連画像データ７０５ａ，７０５ｅとして関連情報７０３に登録されている。しかし、そうではないオブジェクトである関連画像データ７０５ｂ～７０５ｄも関連情報７０３に登録されている。同様に、図７では、関連情報７０４の属性Ｂが「ｄｏｇ」を表している場合を例示しており、関連付けられたオブジェクト７０２自体も関連画像データ７０６ｃとして関連情報７０４に登録されている。しかし、そうではないオブジェクトである関連画像データ７０６ａ，７０６ｂも関連情報７０４に登録されている。尚、図７では例示していないが、属性情報として分類される属性を推論結果として含む関連情報の場合、本画像にある関連付けられたオブジェクト自体は関連画像データ７０６ｃとして関連情報７０４に登録されていなくてもよい。また、関連画像データ７０５には、関連画像データ７０５ｂ～７０５ｄのみが登録されていてもよい。属性Ａが属性情報として分類できる場合、個人を特定することよりも、どんなオブジェクトが存在するか確認することを目的としている状況が考えられる。このため、出来る限り少ないデータ量で関連画像を確認できるように関連画像データ７０５ａをＳＤＲ形式で記録することが好ましい。よって本実施例では、ステップＳ６０４での判定の結果、属性Ａが属性情報として分類できる場合（ステップＳ６０４でＹＥＳ）、ステップＳ６０５に進み、取得した関連画像データ７０５ａをＨＤＲ形式からＳＤＲ形式へ変換する画像変換処理を行う。この画像変換処理は、関連画像データ７０５ａからＳＤＲ形式のデータを生成することを表し、ＨＤＲ形式の元データである関連画像データ７０５ａを削除するかどうかを限定するものではない。そして、ステップＳ６０５の処理が完了した後、ステップＳ６０６へ進み、ステップＳ６０５で生成されたＳＤＲ形式のデータのみを記録する。その後、前述したステップＳ６０８以降の処理を行う。
一方、ステップＳ６０４での判定の結果、属性Ａが属性情報として分類できない場合（ステップＳ６０４でＮＯ）、ステップＳ６０７に進み、現在の形式のまま関連画像データ７０５ａの記録を行う。その後、ステップＳ６０８，Ｓ６０９に進み、関連画像データ７０５の他の関連画像データの処理、及び、関連情報７０４に含まれる各関連画像データの処理を行う。ステップＳ６０１で取得した全てのデータに対して処理が完了した場合（ステップＳ６０８でＹＥＳ、ステップＳ６０９でＹＥＳ）、本処理を終了する。
（実施例２）
以下、図８、図９を用いて、本画像のオブジェクトに対応付けられた関連情報（推論結果）に応じて実行される、関連画像データの更新処理の別の具体的な実施例である実施例２について説明する。
図８は、実施例２に係る関連画像データの更新処理のフローチャートである。ここでは、図９に示す本画像９００及び関連情報９０３，９０４がＨＥＩＦ画像内の情報として記録されている場合を例に説明する。
ステップＳ８０１において、本画像９００のオブジェクト９０１，９０２に対応付けられた関連情報９０３，９０４を取得する。図９に示すように、関連情報９０３は、識別子Ａという推論結果、及びオブジェクト９０１に対応付けられている複数の関連画像データ９０５からなる。また関連情報９０４は、識別子Ｂという推論結果、及びオブジェクト９０２に対応付けられている複数の関連画像データ９０６からなる。
ステップＳ８０２において、関連情報９０３に含まれる関連画像データ９０５のうちの１つである関連画像データ９０５ａを取得する。
ステップＳ８０３において、関連画像データ９０５ａがＨＤＲ形式かどうかを判定する。
ステップＳ８０３での判定の結果、関連画像データ９０５ａがＨＤＲ形式でない場合（ステップＳ８０３でＮＯ）、ステップＳ８０７に進み、現在の形式のまま関連画像データ９０５ａの記録を行う。その後、ステップＳ８０８，Ｓ８０９に進み、関連情報９０３の他の関連画像データの処理、及び関連情報９０４の処理を行う。ステップＳ８０１で取得した全てのデータに対して処理が完了した場合（ステップＳ８０８でＹＥＳ、ステップＳ８０９でＹＥＳ）、本処理を終了する。一方、ステップＳ８０３での判定の結果、関連画像データ９０５ａがＨＤＲ形式だった場合（ステップＳ８０３でＹＥＳ）、ステップＳ８０４に進む。
ステップＳ８０４では、取得した関連情報９０３に含まれる推論結果（識別子Ａ）が、固有識別子として分類できるか否かを判定する。ここでいう固有識別子とは、個人や特定のものを示す固有名詞などで表されるものを意味する。図９では、関連情報９０３の識別子Ａが「名前」を表している場合を例示しており、関連付けられたオブジェクト９０１自体（同じ人物）が関連画像データ９０５として関連情報９０３に登録されている。しかし、その人物以外の関連画像データは関連情報９０３には登録されていない。同様に、図９では、関連情報９０４の識別子Ｂが「犬の名前」を表している場合を例示しており、関連付けられたオブジェクト９０２自体（同じ特定の犬）が関連画像データ９０６として関連情報９０４に登録されている。しかし、その同じ特定の犬以外の関連画像データは関連情報９０４には登録されていない。ここで、識別子Ａが固有識別子に分類される場合、個人や特定のものに対する情報の確認を目的としている状況が考えられる。このため、関連画像データ９０５ａに含まれる情報量を落とすことなく、出来る限りそのまま記録することが好ましい。よって、本実施例では、ステップＳ８０４での判定の結果、識別子Ａが固有識別子に分類される場合（ステップＳ８０４でＹＥＳ）、ステップＳ８０５に進み、取得した関連画像データ９０５ａをＨＤＲ形式からＳＤＲ形式へ変換する画像変換処理を行う。この画像変換処理は、関連画像データ９０５ａからＳＤＲ形式のデータを生成することを表し、ＨＤＲ形式の元データである関連画像データ９０５ａを削除するかどうかを限定するものではない。そして、ステップＳ８０５の処理が完了した後、ステップＳ８０６へ進み、ステップＳ８０５で生成されたＳＤＲ形式のデータを元データであるＨＤＲ形式のデータと共に記録する。その後、前述したステップＳ８０８以降の処理を行う。
一方、ステップＳ８０４での判定の結果、識別子Ａが固有識別子に分類されない場合（ステップＳ８０４でＹＥＳ）、ステップＳ８０７に進み、現在の形式のまま関連画像データ９０５ａの記録を行う。その後、ステップＳ８０８，Ｓ８０９に進み、関連情報９０３の他の関連画像データの処理、及び、関連情報９０４の処理を行う。ステップＳ８０１で取得した全てのデータに対して処理が完了した場合（ステップＳ８０８でＹＥＳ、ステップＳ８０９でＹＥＳ）、本処理を終了する。
（実施例３）
以下、図１０、図１１を用いて、本画像のオブジェクトに対応付けられた関連情報（推論結果）に応じて実行される、関連画像データの更新処理の別の具体的な実施例である実施例３について説明する。
図１０は、実施例３に係る関連画像データの更新処理のフローチャートである。ここでは、図１１に示す本画像１１００及び関連情報１１０３がＨＥＩＦ画像内の情報として記録されている場合を例に説明する。
具体的には、本画像１１００に対する関連画像データ１１０４～１１０６が、関連情報１１０３として時系列で管理されている。ここで時間を表す係数の大小関係は早い順に、ｔ０＜ｔ１＜ｔｘ＜ｔ２とすると、ある時間ｔｘを境界にして、最新データと最新ではないデータ（旧データ）とに分けることが可能である。また、この時間ｔｘは用途により変更することが出来る。本実施例では、本画像１１００のオブジェクト１１０１がある人物の「歯」である場合、関連画像データの記録形式をどのように決定するかを説明する。
ステップＳ１００１において、本画像１１００のオブジェクト１１０１に対応付けられた関連情報１１０３を取得する。図１１に示すように、関連情報１１０３は、識別子Ｃという推論結果、及びオブジェクト１１０１に対応付けられている複数の関連画像データ１１０４～１１０６からなる。
ステップＳ１００２において、関連情報１１０３から複数の関連画像データ１１０４～１１０６の１つを取得する。以下、ここで取得した関連画像データを取得関連画像データという。
ステップＳ１００３において、取得関連画像データがＨＤＲ形式かどうかを判定する。
ステップＳ１００３での判定の結果、取得関連画像データがＨＤＲ形式でない場合（ステップＳ１００３でＮＯ）、ステップＳ１０１０に進み、現在の形式のまま取得関連画像データの記録を行う。その後、ステップＳ１０１１，Ｓ１０１２に進み、関連情報１１０３に含まれる他の関連画像データの処理、及び図１１には例示されていないが他の関連情報がある場合はその処理を行う。ステップＳ１００１で取得した全てのデータに対して処理が完了した場合（ステップＳ１０１１でＹＥＳ、ステップＳ１０１２でＹＥＳ）、本処理を終了する。一方、ステップＳ１００３での判定の結果、取得関連画像データがＨＤＲ形式だった場合（ステップＳ１００３でＹＥＳ）、ステップＳ１００４に進む。
ステップＳ１００４では、予めデジタルカメラ１００に設定されている最新時刻判定用時刻１１０７として時刻ｔｘを取得する。その後、ステップＳ１００５において、取得関連画像データの日時データが、ステップＳ１００４で取得した時刻ｔｘより前か後かを比較する。例えば、取得関連画像データが関連画像データ１１０６である場合、その日時データである時刻ｔ２は時刻ｔｘより後となる。つまり取得関連画像データは最新の情報として判定される。最新の情報は重要視されるケースが多いと考えられるため、取得関連画像データに含まれる情報量は落とすことなく、出来る限りそのまま記録することが好ましい。よって本実施例では、ステップＳ１００５での比較の結果、取得関連画像データの日時データが時刻ｔｘより後の場合（ステップＳ１００５でＹＥＳ）、ステップＳ１００６に進む。尚、時刻ｔｘは、機器固有の設定値であっても、操作部６３を介してユーザ入力によって決定されたものであってもよく、その設定方法は問わない。
ステップＳ１００６では、取得関連画像データをＨＤＲ形式からＳＤＲ形式へ変換する画像変換処理を行う。この画像変換処理は、取得関連画像データからＳＤＲ形式のデータを生成することを表し、ＨＤＲ形式の元データである取得関連画像データを削除するかどうかを限定するものではない。そして、ステップＳ１００６の処理が完了した後、ステップＳ１００７へ進み、ステップＳ１００６で生成されたＳＤＲ形式のデータを元データであるＨＤＲ形式のデータと共に記録する。その後、前述したステップＳ１０１１以降の処理を行う。
一方、ステップＳ１００５での比較の結果、取得関連画像データの日時データが時刻ｔｘより前、つまり取得関連画像データが最新データではない場合、取得関連画像データは状態の確認を目的としていると考えられる。このため、出来る限り少ないデータ量で画像を確認できるように取得関連画像データを記録することが好ましい。よって本実施例では、取得関連画像データが時刻ｔｘより前の場合（ステップＳ１００５でＮＯ）、ステップＳ１００８に進み、取得関連画像データをＨＤＲ形式からＳＤＲ形式へ変換する画像変換処理を行う。この画像変換処理は、取得関連画像データからＳＤＲ形式のデータを生成することを表し、ＨＤＲ形式の元データである取得関連画像データを削除するかどうかを限定するものではない。そして、ステップＳ１００８の処理が完了した後、ステップＳ１００９へ進み、ステップＳ１００８で生成されたＳＤＲ形式のデータのみを記録する。この時、ＨＤＲ形式のデータが記録されている場合でも、ＨＤＲ形式のデータは記録を行わない、もしくは削除する。その後、前述したステップＳ１０１１以降の処理を行う。
（実施例４）
以下、図１２、図１３を用いて、本画像のオブジェクトに対応付けられた関連情報（推論結果）に応じて実行される、関連画像データの更新処理の別の具体的な実施例である実施例４について説明する。
図１２は、実施例４に係る関連画像データの更新処理のフローチャートである。ここでは、図１３に示す本画像１３００及び関連情報１３０３がＨＥＩＦ画像内の情報として記録されている場合を例に説明する。
具体的には、本実施例では、本画像１３００の再生中の操作部６３を介したユーザ入力により、オブジェクト１３０１の分類を示すアノテーション情報が生成され、これによりオブジェクト１３０１と関連情報１３０３との対応付けが行われる。このような場合に、関連情報１３０３内の関連画像データ１３０４の記録形式をどのように決定するかを説明する。
ステップＳ１２０１において、本画像１３００のオブジェクト１３０１に対応付けられた関連情報１３０３を取得する。図１３に示すように、関連情報１３０３は、アノテーション情報Ａ、及びオブジェクト１３０１に対応付けられている複数の関連画像データ１３０４からなる。
ステップＳ１２０２において、関連情報１３０３から複数の関連画像データ１３０４の１つを取得する。以下、ここで取得した関連画像データを取得関連画像データという。
ステップＳ１２０３において、取得関連画像データがＨＤＲ形式かどうかを判定する。
ステップＳ１２０３での判定の結果、取得関連画像データがＨＤＲ形式でない場合（ステップＳ１２０３でＮＯ）、ステップＳ１２０７に進み、現在の形式のまま取得関連画像データの記録を行う。その後、ステップＳ１２０８，Ｓ１２０９に進み、関連情報１３０３に含まれる他の関連画像データの処理、及び図１３には例示されていないが他の関連情報がある場合はその処理を行う。ステップＳ１２０１で取得した全てのデータに対して処理が完了した場合（ステップＳ１２０８でＹＥＳ、ステップＳ１２０９でＹＥＳ）、本処理を終了する。一方、ステップＳ１２０３での判定の結果、取得関連画像データがＨＤＲ形式だった場合（ステップＳ１２０３でＹＥＳ）、ステップＳ１２０４に進む。
ステップＳ１２０４では、取得関連画像データとオブジェクト１３０１を対応付けるための情報をオブジェクト１５０１に付与するユーザ入力１３０２があったかどうかを判定する。具体的には、操作部６３へのユーザ入力に応じて、システム制御部５０Ａが、オブジェクト１３０１に、取得関連画像データのアノテーション情報を付与した場合、このユーザ入力がユーザ入力１３０２であると判断する。この場合、ユーザが意図的に確認を行うためのデータとして取得関連画像データをマークしたと考えられるため、情報量を落とさないように取得関連画像データを記録することが好ましい。よって本実施例では、ステップＳ１２０４での判定の結果、ユーザ入力１３０２があった場合（ステップＳ１２０４でＹＥＳ）、ステップＳ１２０５に進む。尚、このユーザ入力でアノテーション情報Ａとして受け取る情報は、前述した固有名詞と同様の意味を表すものであっても、一般的な普通名詞と同様の意味を表すものであっても、どちらでも構わない。
ステップＳ１２０５では、取得関連画像データをＨＤＲ形式からＳＤＲ形式へ変換する画像変換処理を行う。この画像変換処理は、取得関連画像データからＳＤＲ形式のデータを生成することを表し、ＨＤＲ形式の元データである取得関連画像データを削除するかどうかを限定するものではない。そして、ステップＳ１２０５の処理が完了した後、ステップＳ１２０６へ進み、ステップＳ１２０５で生成されたＳＤＲ形式のデータを元データであるＨＤＲ形式のデータと共に記録する。その後、前述したステップＳ１２０８以降の処理を行う。
一方、ステップＳ１２０４での判定の結果、ユーザ入力１３０２がなかった場合（ステップＳ１２０４でＮＯ）、ステップＳ１２０７に進み、現在の形式のまま取得関連画像データの記録を行う。その後、ステップＳ１２０８，Ｓ１２０９に進み、関連画像データ９０５の他の関連画像データ、関連情報の処理を行う。ステップＳ１２０１で取得した全てのデータに対して処理が完了した場合（ステップＳ１２０８でＹＥＳ、ステップＳ１２０９でＹＥＳ）、本処理を終了する。
（実施例５）
以下、図１４、図１５を用いて、本画像のオブジェクトに対応付けられた関連情報（推論結果）に応じて実行される、関連画像データの更新処理の別の具体的な実施例である実施例５について説明する。
図１４は、実施例５に係る関連画像データの更新処理のフローチャートである。ここでは、図１５に示す本画像１５００及び関連情報１５０３がＨＥＩＦ画像内の情報として記録されている場合を例に説明する。
具体的には、本実施例では、本画像１５００の再生中の推論エンジン７３Ａでの推論処理により、オブジェクト１５０１の分類を示すアノテーション情報（推論結果）が生成され、これによりオブジェクト１５０１と関連情報１５０３の対応付けが行われる。このような場合に、関連情報１５０３内の関連画像データ１５０４の記録形式をどのように決定するかを説明する。
ステップＳ１４０１において、本画像１５００のオブジェクト１５０１に対応付けられた関連情報１５０３を取得する。図１５に示すように、関連情報１５０３は、アノテーション情報Ａ、及びオブジェクト１５０１に対応付けられている複数の関連画像データ１５０４からなる。
ステップＳ１４０２において、関連情報１５０３から複数の関連画像データ１５０４の１つを取得する。以下、ここで取得した関連画像データを取得関連画像データという。
ステップＳ１４０３において、取得関連画像データがＨＤＲ形式かどうかを判定する。
ステップＳ１４０３での判定の結果、取得関連画像データがＨＤＲ形式でない場合（ステップＳ１４０３でＮＯ）、ステップＳ１４０７に進み、現在の形式のまま取得関連画像データの記録を行う。その後、ステップＳ１４０８，Ｓ１４０９に進み、関連情報１５０３に含まれる他の関連画像データの処理、及び図１５には例示されていないが他の関連情報がある場合はその処理を行う。ステップＳ１４０１で取得した全てのデータに対して処理が完了した場合（ステップＳ１４０８でＹＥＳ、ステップＳ１４０９でＹＥＳ）、本処理を終了する。一方、ステップＳ１４０３での判定の結果、取得関連画像データがＨＤＲ形式だった場合（ステップＳ１４０３でＹＥＳ）、ステップＳ１４０４に進む。
ステップＳ１４０４では、取得関連画像データとオブジェクト１５０１を対応付けるための情報のオブジェクト１５０１への自動付与が推論エンジン７３Ａを用いて行われたかどうかを判定する。具体的には、推論エンジン７３Ａで、オブジェクト１５０１のアノテーション情報（推論結果）として、取得関連画像データのアノテーション情報Ａが出力され、このアノテーション情報Ａをオブジェクト１５０１に付与した際、自動付与があったと判断する。この場合、最低限のオブジェクトの確認が可能な画像であれば良いと考えられるため、出来る限り少ないデータ量で画像を確認できるように取得関連画像データを記録することが好ましい。よって本実施例では、ステップＳ１４０４での判定の結果、自動付与があった場合（ステップＳ１４０４でＹＥＳ）、ステップＳ１４０５に進む。一方、ステップＳ１４０４での判定の結果、自動付与がなかった場合（ステップＳ１４０４でＮＯ）、ステップＳ１４０７に進む。
ステップＳ１４０５では、取得関連画像データをＨＤＲ形式からＳＤＲ形式へ変換する画像変換処理を行う。この画像変換処理は、取得関連画像データからＳＤＲ形式のデータを生成することを表し、ＨＤＲ形式の元データである取得関連画像データを削除するかどうかを限定するものではない。そして、ステップＳ１４０５の処理が完了した後、ステップＳ１４０６へ進み、ステップＳ１４０５で生成されたＳＤＲ形式のデータのみを記録する。この時、ＨＤＲ形式のデータが記録されている場合でも、ＨＤＲ形式のデータは記録を行わない、もしくは削除する。その後、前述したステップＳ１４０８以降の処理を行う。
以上、デジタルカメラ１００を例に本発明の画像処理装置を説明したが、画像処理装置は撮像機能を有しなくてもよい。例えば、撮像以外の方法、例えば外部のクラウドサーバから取得した画像データをステップＳ２０４で記録するようにしてもよい。
（その他の実施形態）
尚、本実施形態では、１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置のコンピュータに供給し、そのシステムまたは装置のシステム制御部がプログラムを読出し実行する処理でも実現可能である。システム制御部は、１つまたは複数のプロセッサーまたは回路を有し、実行可能命令を読み出し実行するために、分離した複数のシステム制御部または分離した複数のプロセッサーまたは回路のネットワークを含みうる。
プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本実施形態の開示は、以下の構成、方法、並びにプログラムを含む。
（構成１）ＨＤＲ形式の画像データを記録する画像記録手段と、前記画像データのアノテーション情報を生成するアノテーション情報生成手段と、前記アノテーション情報を前記画像データに付与して記録するアノテーション情報記録手段と、前記アノテーション情報に対応する関連画像データを記録する関連画像データ記録手段と、を備える画像処理装置であって、前記関連画像データ記録手段は、前記関連画像データを記録する際に、当該関連画像データに対応する前記アノテーション情報に応じた記録形式で前記関連画像データを記録することを特徴とする画像処理装置。
（構成２）前記関連画像データ記録手段は、前記関連画像データに付与されている前記アノテーション情報を取得し、前記取得したアノテーション情報が固有情報を識別しない属性情報に分類される場合、ＳＤＲ形式で前記関連画像データを記録することを特徴とする構成１に記載の画像処理装置。
（構成３）前記関連画像データ記録手段は、前記関連画像データに付与されているアノテーション情報を取得し、前記取得したアノテーション情報が固有情報を識別する固有識別子に分類される場合、ＨＤＲ形式及びＳＤＲ形式の両方の記録形式で前記関連画像データを記録することを特徴とする構成１又は２に記載の画像処理装置。
（構成４）前記関連画像データ記録手段は、前記関連画像データに付与されているアノテーション情報を取得し、前記取得したアノテーション情報に含まれる日時データが最新である場合、ＨＤＲ形式とＳＤＲ形式の両方の記録形式で前記関連画像データを記録することを特徴とする構成１乃至３のいずれか１項に記載の画像処理装置。
（構成５）前記取得したアノテーション情報に含まれる日時データが最新ではない場合、ＳＤＲ形式で前記関連画像データを記録することを特徴とする構成４に記載の画像処理装置。
（構成６）前記関連画像データ記録手段は、前記関連画像データに付与されているアノテーション情報を取得し、前記アノテーション情報生成手段が、前記取得したアノテーション情報をユーザ操作に基づき生成していた場合、ＨＤＲ形式とＳＤＲ形式の両方の記録形式で前記関連画像データを記録することを特徴とする構成１乃至５のいずれか１項に記載の画像処理装置。
（構成７）前記関連画像データ記録手段は、前記関連画像データに付与されているアノテーション情報を取得し、前記アノテーション情報生成手段が、前記取得したアノテーション情報を推論処理に基づき生成していた場合、ＳＤＲ形式で前記関連画像データを記録することを特徴とする構成１乃至５のいずれか１項に記載の画像処理装置。
（方法１）画像処理装置の制御方法であって、ＨＤＲ形式の画像データを記録する画像記録ステップと、前記画像データのアノテーション情報を生成するアノテーション情報生成ステップと、前記アノテーション情報を前記画像データに付与して記録するアノテーション情報記録ステップと、前記アノテーション情報に対応する関連画像データを記録する関連画像データ記録ステップと、を有し、前記関連画像データ記録ステップにおいて、前記関連画像データを記録する際に、当該関連画像データに対応する前記アノテーション情報に応じた記録形式で前記関連画像データが記録されることを特徴とする制御方法。
（プログラム１）コンピュータを、構成１記載の画像処理装置の各手段として機能させる、コンピュータにより実行可能なプログラム。
２０ 画像処理部
２２ メモリ制御部
２３ 表示部
２４ 画像表示メモリ
５０Ａ システム制御部
６３ 操作部
７０ メタデータ生成・解析部
７３Ａ 推論エンジン
９１ 外部記録媒体
１００ デジタルカメラ

Claims (9)

  1. ＨＤＲ形式の画像データを記録する画像記録手段と、
    前記画像データのアノテーション情報を生成するアノテーション情報生成手段と、
    前記アノテーション情報を前記画像データに付与して記録するアノテーション情報記録手段と、
    前記アノテーション情報に対応する関連画像データを記録する関連画像データ記録手段と、
    を備える画像処理装置であって、
    前記関連画像データ記録手段は、前記関連画像データを記録する際に、当該関連画像データに対応する前記アノテーション情報に応じた記録形式で前記関連画像データを記録することを特徴とする画像処理装置。
  2. 前記関連画像データ記録手段は、
    前記関連画像データに付与されている前記アノテーション情報を取得し、
    前記取得したアノテーション情報が固有情報を識別しない属性情報に分類される場合、ＳＤＲ形式で前記関連画像データを記録することを特徴とする請求項１に記載の画像処理装置。
  3. 前記関連画像データ記録手段は、
    前記関連画像データに付与されているアノテーション情報を取得し、
    前記取得したアノテーション情報が固有情報を識別する固有識別子に分類される場合、ＨＤＲ形式及びＳＤＲ形式の両方の記録形式で前記関連画像データを記録することを特徴とする請求項１に記載の画像処理装置。
  4. 前記関連画像データ記録手段は、
    前記関連画像データに付与されているアノテーション情報を取得し、
    前記取得したアノテーション情報に含まれる日時データが最新である場合、ＨＤＲ形式とＳＤＲ形式の両方の記録形式で前記関連画像データを記録することを特徴とする請求項１に記載の画像処理装置。
  5. 前記取得したアノテーション情報に含まれる日時データが最新ではない場合、ＳＤＲ形式で前記関連画像データを記録することを特徴とする請求項４に記載の画像処理装置。
  6. 前記関連画像データ記録手段は、
    前記関連画像データに付与されているアノテーション情報を取得し、
    前記アノテーション情報生成手段が、前記取得したアノテーション情報をユーザ操作に基づき生成していた場合、ＨＤＲ形式とＳＤＲ形式の両方の記録形式で前記関連画像データを記録することを特徴とする請求項１に記載の画像処理装置。
  7. 前記関連画像データ記録手段は、
    前記関連画像データに付与されているアノテーション情報を取得し、
    前記アノテーション情報生成手段が、前記取得したアノテーション情報を推論処理に基づき生成していた場合、ＳＤＲ形式で前記関連画像データを記録することを特徴とする請求項１に記載の画像処理装置。
  8. 画像処理装置の制御方法であって、
    ＨＤＲ形式の画像データを記録する画像記録ステップと、
    前記画像データのアノテーション情報を生成するアノテーション情報生成ステップと、
    前記アノテーション情報を前記画像データに付与して記録するアノテーション情報記録ステップと、
    前記アノテーション情報に対応する関連画像データを記録する関連画像データ記録ステップと、
    を有し、
    前記関連画像データ記録ステップにおいて、前記関連画像データを記録する際に、当該関連画像データに対応する前記アノテーション情報に応じた記録形式で前記関連画像データが記録されることを特徴とする制御方法。
  9. コンピュータを、請求項１記載の画像処理装置の各手段として機能させる、コンピュータにより実行可能なプログラム。
JP2022114832A 2022-07-19 2022-07-19 画像処理装置及びその制御方法並びにプログラム Pending JP2024012965A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022114832A JP2024012965A (ja) 2022-07-19 2022-07-19 画像処理装置及びその制御方法並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022114832A JP2024012965A (ja) 2022-07-19 2022-07-19 画像処理装置及びその制御方法並びにプログラム

Publications (1)

Publication Number Publication Date
JP2024012965A true JP2024012965A (ja) 2024-01-31

Family

ID=89714267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022114832A Pending JP2024012965A (ja) 2022-07-19 2022-07-19 画像処理装置及びその制御方法並びにプログラム

Country Status (1)

Country Link
JP (1) JP2024012965A (ja)

Similar Documents

Publication Publication Date Title
JP4645685B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
JP5383356B2 (ja) 撮像装置、情報処理装置、撮像装置の制御方法、情報処理装置の制御方法、及びコンピュータプログラム
JP2006197243A (ja) 撮像装置及び撮像方法及びプログラム及び記憶媒体
JP2010245607A (ja) 画像記録装置および電子カメラ
US8780226B2 (en) Image recording device and method which generates multi-image file based on classification
JP2011077654A (ja) 撮像装置、その制御方法、及びプログラム
JP2024012965A (ja) 画像処理装置及びその制御方法並びにプログラム
JP4887840B2 (ja) 撮影装置及びプログラム
JP2007267309A (ja) 電子カメラ
US20230260299A1 (en) Image processing apparatus, image processing method, image capturing apparatus, and storage medium
US20230388533A1 (en) Image processing apparatus capable of converting image file such that all annotation information can be used, control method therefor, and storage medium
US20230385245A1 (en) Image processing apparatus capable of efficiently converting image file, control method therefor, and storage medium
US20230196708A1 (en) Image processing apparatus and method for controlling the same, and non-transitory computer-readable storage medium
US20230196508A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20230360368A1 (en) Image processing apparatus and method, and image capturing apparatus
JP5013924B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2023118057A (ja) 画像処置装置及び画像処理方法、撮像装置、プログラム、記憶媒体
JP2005109658A (ja) 撮影装置
US20230274402A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP4968389B2 (ja) 撮影装置及びプログラム
US20240007599A1 (en) Information processing system, information processing device, information processing method, information processing program, imaging device, control method of imaging device, and control program
JP6526270B2 (ja) 撮像装置及びその制御方法
JP2023180871A (ja) 記録装置、記録装置の制御方法、プログラム
JP2005027233A (ja) デジタルカメラ、注文情報記録プログラム、及び表示プログラム