JP5915131B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5915131B2
JP5915131B2 JP2011268754A JP2011268754A JP5915131B2 JP 5915131 B2 JP5915131 B2 JP 5915131B2 JP 2011268754 A JP2011268754 A JP 2011268754A JP 2011268754 A JP2011268754 A JP 2011268754A JP 5915131 B2 JP5915131 B2 JP 5915131B2
Authority
JP
Japan
Prior art keywords
image data
bit
encoded stream
encoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011268754A
Other languages
English (en)
Other versions
JP2013121103A5 (ja
JP2013121103A (ja
Inventor
祐司 和田
祐司 和田
大資 田原
大資 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011268754A priority Critical patent/JP5915131B2/ja
Publication of JP2013121103A publication Critical patent/JP2013121103A/ja
Publication of JP2013121103A5 publication Critical patent/JP2013121103A5/ja
Application granted granted Critical
Publication of JP5915131B2 publication Critical patent/JP5915131B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本開示は、画像処理装置及びプログラムに関する。
画像のデータサイズを圧縮することのできる画像符号化方式として、ＪＰＥＧ（Joint Photographic Experts Group）方式が広く利用されている。ＪＰＥＧ方式によれば、各色８ビットのビット深度を有する画像のデータサイズが、直交変換、量子化及びエントロピー符号化などの要素技術を用いて圧縮される。ＪＰＥＧ方式は、現在普及しているブラウザ、イメージビューワ、フォトエディタ及びオーサリングツールなどの様々なアプリケーションによりサポートされている。
これに対し、デジタルカメラ又はイメージスキャナなどの撮像デバイスにより原始的に取得されるＲＡＷ画像は、一般的に、１２ビットなどより多くのビット深度を有する。従って、ＲＡＷ画像を最終的にＪＰＥＧ方式で符号化するために、ＲＡＷ画像を現像した後、現像した画像の各画素の下位ビットを丸める処理が行われる。結果として、一度ＪＰＥＧ方式で符号化された画像の画質は、当初撮像された画像の画質よりも低下する。
ＪＰＥＧ方式よりも高階調の画像を圧縮することのできる多ビット符号化方式として、拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式及びＪＰＥＧ ＸＲ方式などが知られている。下記特許文献１は、高階調画像を圧縮する能力を有する装置が非高階調画像を扱う際に余剰となる演算能力を画質向上のために活用することを提案している。
特開２００６−００５４７８号公報
しかしながら、既存の拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式及びＪＰＥＧ ＸＲ方式などの多ビット符号化方式は、８ビットのビット深度をサポートするＪＰＥＧ方式との間で互換性を有しない。即ち、これら多ビット符号化方式で符号化された符号化ストリームは、多くのユーザが手にしているＪＰＥＧデコーダによって復号されない。この互換性の問題が一因となり、現在のところ多ビット符号化方式はあまり実用されていない。
従って、高階調画像を扱うことのできるツールとして成功を収めるためには、ＪＰＥＧデコーダによる復号を可能としつつ、符号化によって損なわれ得る画質を多ビットの利点を活かして補償することを可能とする仕組みが実現されることが望ましい。
本開示のある観点によれば、所定の標準符号化方式より多くのビット深度を有する高階調画像データのうちの前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット符号化ストリームを、前記標準符号化方式で復号して上位ビット画像データを生成する上位ビット復号部と、前記高階調画像データのうちの残りのビットに対応する下位ビット符号化ストリームを復号して下位ビット画像データを生成する下位ビット復号部と、前記上位ビット画像データ及び前記下位ビット画像データを合成して前記高階調画像データを再構成する合成部と、を備える画像処理装置が提供される。
また、本開示の別の観点によれば、所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割する分割部と、前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成する上位ビット符号化部と、前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成する下位ビット符号化部と、前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付ける関連付け部と、を備える画像処理装置が提供される。
また、本開示のある観点によれば、画像処理装置により実行される画像処理方法であって、所定の標準符号化方式より多くのビット深度を有する高階調画像データのうちの前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット符号化ストリームを、前記標準符号化方式で復号して上位ビット画像データを生成することと、前記高階調画像データのうちの残りのビットに対応する下位ビット符号化ストリームを復号して下位ビット画像データを生成することと、前記上位ビット画像データ及び前記下位ビット画像データを合成して前記高階調画像データを再構成することと、を含む画像処理方法が提供される。
また、本開示の別の観点によれば、画像処理装置により実行される画像処理方法であって、所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割することと、前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成することと、前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成することと、前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付けることと、を含む画像処理方法が提供される。
また、本開示のある観点によれば、コンピュータを、所定の標準符号化方式より多くのビット深度を有する高階調画像データのうちの前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット符号化ストリームを、前記標準符号化方式で復号して上位ビット画像データを生成する上位ビット復号部と、前記高階調画像データのうちの残りのビットに対応する下位ビット符号化ストリームを復号して下位ビット画像データを生成する下位ビット復号部と、前記上位ビット画像データ及び前記下位ビット画像データを合成して前記高階調画像データを再構成する合成部と、として機能させるためのプログラムが提供される。
また、本開示の別の観点によれば、コンピュータを、所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割する分割部と、前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成する上位ビット符号化部と、前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成する下位ビット符号化部と、前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付ける関連付け部と、として機能させるためのプログラムが提供される。
本開示に係る技術よれば、ＪＰＥＧデコーダによる復号を可能としつつ、符号化によって損なわれ得る画質を多ビットの利点を活かして補償することが可能となる。
一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第１の例を示すブロック図である。 図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第２の例を示すブロック図である。 図１に例示した画像符号化装置により出力される符号化ストリームの構成の一例について説明するための説明図である。 一実施形態に係る画像符号化処理の流れの一例を示すフローチャートである。 図４に示した下位ビット符号化処理の詳細な流れの一例を示すフローチャートである。 図５に示した下位ビット加工処理の詳細な流れの一例を示すフローチャートである。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 図７に例示した画像復号装置の第２復号ブランチの詳細な構成の第１の例を示すブロック図である。 図７に例示した画像復号装置の第２復号ブランチの詳細な構成の第２の例を示すブロック図である。 一実施形態に係る画像復号処理の流れの一例を示すフローチャートである。 図９に示した下位ビット復号処理の詳細な流れの一例を示すフローチャートである。 図１０に示した下位ビット加工処理の詳細な流れの一例を示すフローチャートである。 第１の応用例に係る画像処理装置の構成の一例を示すブロック図である。 第２の応用例に係る画像処理装置の構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成
１−２．第２ブランチの詳細
１−３．ストリーム構成
１−４．処理の流れ
２．一実施形態に係る画像復号装置の構成例
２−１．全体的な構成
２−２．第２ブランチの詳細
２−３．処理の流れ
３．応用例
４．まとめ
＜１．一実施形態に係る画像符号化装置の構成例＞
本開示に係る技術は、８ビットより多くのビット深度を有する高階調画像を符号化して符号化ストリームを生成する画像符号化装置と、当該符号化ストリームを復号して高階調画像を再構成する画像復号装置とを含む。本開示に係る画像復号装置によって再構成される画像は、原画像である高階調画像を必ずしも完全には再現しないが、ＪＰＥＧデコーダにより再構成される画像と比較してより高階調の画像を表現し得る。
本明細書において、「ＪＰＥＧ方式」との用語は、８ビットのビット深度をサポートするベースラインＪＰＥＧ方式を意味し、拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式又はＪＰＥＧ ＸＲ方式などの多ビット符号化方式を含まない。
本節では、一実施形態に係る画像符号化装置について説明する。その後、次節において、一実施形態に係る画像復号装置について説明する。
［１−１．全体的な構成］
図１は、一実施形態に係る画像符号化装置１００の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１００は、ＲＡＷ画像取得部１１０、現像部１２０、分割部１３０、第１符号化ブランチ１４０、第２符号化ブランチ１５０及びストリーム出力部１６０を備える。
（１）ＲＡＷ画像取得部
ＲＡＷ画像取得部１１０は、画像符号化装置１００による符号化処理の入力となるＲＡＷ画像データを取得する。ＲＡＷ画像取得部１１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＩＳ（Contact Image Sensor）などの撮像素子を含むイメージセンサからＲＡＷ画像データを取得してもよい。その代わりに、ＲＡＷ画像取得部１１０は、例えば、ＲＡＷ画像データを有する他の装置又は記憶媒体から当該ＲＡＷ画像データを取得してもよい。ＲＡＷ画像は、一般的には、画素ごとに単一の色成分のみを有する画像である。本実施形態において、ＲＡＷ画像取得部１１０により取得されるＲＡＷ画像データは、各色Ｎビット（Ｎは８より大きい）のビット深度を有するものとする。ＲＡＷ画像取得部１１０は、取得したＲＡＷ画像データを現像部１２０へ出力する。
（２）現像部
現像部１２０は、ＲＡＷ画像取得部１１０から入力されるＲＡＷ画像データを現像することにより、高階調画像データＩＭ０を生成する。現像部１２０による現像処理は、典型的には、画素ごとに不足している色成分を補完するためのデモザイクと、ＲＧＢからＹＵＶへの色空間の変換とを含む。また、当該現像処理は、例えば、デジタルクランプ、デジタルゲイン、ＥＶ（Exposure Value）補正、ＷＢ（White Balance）補正又はガンマ補正などを含んでもよい。現像部１２０により生成される高階調画像データＩＭ０は、画素ごと（又は画像符号化方式において規定される所定の単位ごと）に３つの色成分（例えば、輝度成分及び２つの色差成分など）を有するフルカラー画像データであって、各色Ｎビットのビット深度を有する。そして、現像部１２０は、生成した高階調画像データＩＭ０を分割部１３０へ出力する。
（３）分割部
分割部１３０は、現像部１２０から入力される高階調画像データＩＭ０を、上位８ビットに対応する第１の画像データＩＭ１及び残りのビットに対応する第２の画像データＩＭ２に分割する。第１の画像データＩＭ１のビット深度は、各色８ビットである。第２の画像データＩＭ２のビット深度は、各色Ｎ−８ビット（例えば、Ｎ＝１２であれば各色４ビット）である。そして、分割部１３０は、第１の画像データＩＭ１を第１符号化ブランチ１４０へ、第２の画像データＩＭ２を第２符号化ブランチ１５０へそれぞれ出力する。
（４）第１符号化ブランチ
第１符号化ブランチ１４０は、第１の画像データＩＭ１を符号化するための処理分岐である。図１の例において、第１符号化ブランチ１４０は、第１符号化部１４８を含む。第１符号化部１４８は、分割部１３０から入力される第１の画像データＩＭ１をＪＰＥＧ方式で符号化して、第１の符号化ストリームＳＴ１を生成する。即ち、第１符号化部１４８は、一般的なＪＰＥＧエンコーダであってよい。第１符号化部１４８による符号化処理は、典型的には、画像内に配置されるブロックごとに実行される直交変換、量子化及びエントロピー符号化を含む。ここでの符号化処理により、第１の画像データＩＭ１のデータサイズが圧縮される。第１符号化部１４８は、このように符号化された第１の画像データＩＭ１を含む第１の符号化ストリームＳＴ１を、ストリーム出力部１６０へ出力する。
（５）第２符号化ブランチ
第２符号化ブランチ１５０は、第２の画像データＩＭ２を符号化するための処理分岐である。図１の例において、第２符号化ブランチ１５０は、第２符号化部１５８を含む。第２符号化部１５８は、分割部１３０から入力される第２の画像データＩＭ２を任意の画像符号化方式で符号化して、第２の符号化ストリームＳＴ２を生成する。第２符号化部１５８により使用される画像符号化方式は、例えば、ＪＰＥＧ方式であってもよく、又は拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式若しくはＪＰＥＧ ＸＲ方式などであってもよい。第２符号化部１５８は、このように符号化された第２の画像データＩＭ２を含む第２の符号化ストリームＳＴ２を、ストリーム出力部１６０へ出力する。
第２符号化ブランチ１５０は、第２符号化部１５８の前段に、第２の画像データＩＭ２に対して前処理を適用するさらなる処理部を含んでもよい。第２の画像データＩＭ２に適用される前処理は、例えば、ビット深度の拡張、高周波成分の除去、並びに白とび及び黒つぶれが生じていない部分の平滑化、のうちの１つ以上を含み得る。このような第２符号化ブランチ１５０のいくつかの具体的な実施例について、後にさらに説明する。
（６）ストリーム出力部
ストリーム出力部１６０は、第２符号化ブランチ１５０から入力される第２の符号化ストリームＳＴ２を第１符号化ブランチ１４０から入力される第１の符号化ストリームＳＴ１に関連付けて、これら２つの符号化ストリームを出力する。ストリーム出力部１６０は、例えば、第２の符号化ストリームＳＴ２にアクセスするための参照用パラメータを生成し、生成した参照用パラメータを第１の符号化ストリームのヘッダ領域に挿入し得る。
例えば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２が１つのファイル内に多重化される場合には、参照用パラメータは、第２の符号化ストリームＳＴ２のストリーム識別子、開始アドレス、又は第１の符号化ストリームＳＴ１に続くストリームが第２の符号化ストリームＳＴ２であることを示すフラグなどであってよい。また、例えば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２が別のファイル内に格納される場合には、参照用パラメータは、第２の符号化ストリームＳＴ２が格納されるファイルのファイル名などであってよい。このような参照用パラメータが挿入されるヘッダ領域は、第１の符号化ストリームが格納されるファイル内に存在してもよく、又は第１の符号化ストリームが格納されるファイルとは別のファイル（例えば、ヘッダファイル）内に存在してもよい。
ストリーム出力部１６０により出力される第１及び第２の符号化ストリームＳＴ１、ＳＴ２は、画像符号化装置１００に接続される記憶媒体により記憶されてもよい。その代わりに、第１及び第２の符号化ストリームＳＴ１、ＳＴ２は、画像符号化装置１００から他の装置へ送信され、他の装置において記憶又は復号されてもよい。
［１−２．第２ブランチの詳細］
本項では、図１に例示した画像符号化装置１００の第２符号化ブランチ１５０の２つの詳細な実施例を説明する。
（１）第１の実施例
図２Ａは、第２符号化ブランチ１５０の詳細な構成の第１の例を示すブロック図である。図２Ａを参照すると、第２符号化ブランチ１５０は、第２符号化部１５８ａを含む。第２符号化部１５８ａは、分割部１３０から入力される第２の画像データＩＭ２をＪＰＥＧ方式で符号化して、第２の符号化ストリームＳＴ２を生成する。即ち、本実施例において、第２符号化部１５８ａは、第１符号化部１４８と同様、一般的なＪＰＥＧエンコーダであってよい。なお、ＪＰＥＧ方式での符号化に際して、各画素のビット深度が８ビットに満たない場合には、不足するビットが例えばゼロでパディングされてよい。
第１の実施例によれば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２の双方がＪＰＥＧエンコーダを用いて符号化されるため、広く普及しているＪＰＥＧエンコーダを活用して、より低いコストで本開示に係る技術を実現することができる。
（２）第２の実施例
図２Ｂは、第２符号化ブランチ１５０の詳細な構成の第２の例を示すブロック図である。図２Ｂを参照すると、第２符号化ブランチ１５０は、下位ビット処理部１５２及び第２符号化部１５８ｂを含む。
下位ビット処理部１５２は、例えば、第２の画像データＩＭ２のビット深度を第２符号化部１５８ｂによりサポートされる所定のビット深度へ拡張する。より具体的には、下位ビット処理部１５２は、第２の画像データＩＭ２の各画素値に、ビット深度の拡張量に応じた数を乗算する。さらに、下位ビット処理部１５２は、ビット深度の拡張量に応じたオフセット値を乗算結果に加算してもよい。例えば、第２符号化部１５８ｂによりサポートされるビット深度をＭビットとすると、下位ビット処理部１５２によるビット深度の拡張量Ｌは、Ｌ＝Ｍ−（Ｎ−８）［ビット］により計算される。各画素値に乗算される乗数は、２Ｌであってよい。また、加算されるオフセット値は、２（Ｌ−１）であってよい。典型的な例では、Ｎ＝１２、Ｍ＝８、Ｌ＝４である。この場合、下位ビット処理部１５２は、第２の画像データＩＭ２の各画素値に１６（＝２４）を乗算し、さらに８（＝２３）を加算する。なお、Ｎ、Ｍ及びＬの値の組合せは、上述した例に限定されず、他の任意の組合せであってよい。このようなオフセット値を加算することで、量子化及び逆量子化の結果として生じる丸め誤差に起因する階調の歪みを低減することができる。また、符号化の前に画素値のビット深度が拡張されることで、画素値に対する量子化誤差の相対的な割合が下がるため、量子化テーブルの選択の幅が広がり、画質の調整の柔軟性が高められる。
また、下位ビット処理部１５２は、第１の画像データＩＭ１又は高階調画像データＩＭ０において高周波成分が強い値を示す画素位置の第２の画像データＩＭ２の画素値を、一定の値に置換してもよい。一例として、ノイズの発生している画素、又は隣接する画素との間で画素値が急激に変化している画素において、高周波成分は強い値を示し得る。一般的に、強い高周波成分を含む画像データは、周波数領域での変換係数の量子化を通じてデータサイズを圧縮する画像符号化方式の符号化効率の低下を招き易い。一方で、画像の高周波成分は、人間の視覚を通じて感知されにくい。従って、高周波成分が強い値を示す画素位置の画素値を一定の（即ち、フラットな）値に置換えることで、人間に画質の低下をあまり感知させることなく、高周波成分を除去して、第２符号化ブランチ１５０の符号化効率を高めることができる。なお、ここでの一定の値を第２の画像データＩＭ２の画素値レンジの中央の値とすることにより、直交変換（例えば、離散コサイン変換）後のエネルギーを低域に集中させ、符号化効率を一層高めることができる。第２符号化部１５８ｂによりサポートされるビット深度Ｍが８ビットの場合には、画素値レンジの中央の値は１２７又は１２８であってよい。
また、下位ビット処理部１５２は、第１の画像データＩＭ１又は高階調画像データＩＭ０においてその輝度が画素値レンジの中央部分に属する画素位置の第２の画像データＩＭ２の画素値を、一定の値に置換してもよい。ここでの画素値レンジの中央部分とは、符号化処理の結果として白とび又は黒つぶれが生じ易い画素値レンジの上端部分及び下端部分、を除いた部分をいう。一例として、ビット深度が８ビットである第１の画像データＩＭ１の画素値レンジは、０〜２５５である。この場合、中央部分のレンジは、例えば、２０〜２３０などであってよい。このような画素値の置換によって、白とび又は黒つぶれが生じる可能性の高い画素位置の下位ビットの階調を維持しつつ、そうした可能性の低い画素位置の下位ビットの階調が平滑化される。従って、第２符号化ブランチ１５０の符号化効率を高めつつ、第１符号化ブランチ１４０において画像の一部分に白とび又は黒つぶれが生じたとしても、当該部分の階調を下位ビットで補うことができる。なお、ここでの一定の値もまた、第２の画像データＩＭ２の画素値レンジの中央の値であってよい。
第２符号化部１５８ｂは、下位ビット処理部１５２により拡張されたビット深度を有する第２の画像データＩＭ２を、拡張後のビット深度をサポートする画像符号化方式で符号化し、第２の符号化ストリームＳＴ２を生成する。第２符号化部１５８ｂにより使用される画像符号化方式は、例えば、ＪＰＥＧ方式であってもよく、又は拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式若しくはＪＰＥＧ ＸＲ方式であってもよい。第２符号化部１５８ｂによりＪＰＥＧ方式が使用される場合には、第１の実施例と同様、上位ビット及び下位ビットの双方についてＪＰＥＧエンコーダを活用して、より低いコストで本開示に係る技術を実現することができる。
［１−３．ストリーム構成］
図３は、画像符号化装置１００により出力される符号化ストリームの構成の一例について説明するための説明図である。図３を参照すると、第１の符号化ストリームＳＴ１、及び第１の符号化ストリームＳＴ１に関連付けられた第２の符号化ストリームＳＴ２が示されている。
第１の符号化ストリームＳＴ１は、ＪＰＥＧフォーマットに従って生成されており、スタートマーカ（ＳＯＩ：Start Of Image）、ＪＰＥＧヘッダ領域、ＪＰＥＧデータ領域、及びエンドマーカ（ＥＯＩ：End Of Image）を含む。ＪＰＥＧヘッダ領域は、ユーザ定義領域ＵＳＥＲ＿ＳＥＣをさらに含む。ユーザ定義領域ＵＳＥＲ＿ＳＥＣは、例えば、ＡＰＰセグメント又はＣＯＭセグメントであってよい。ユーザ定義領域ＵＳＥＲ＿ＳＥＣには、第２の符号化ストリームＳＴ２にアクセスするために使用される、上述した参照用パラメータが挿入される。さらに、ユーザ定義領域ＵＳＥＲ＿ＳＥＣには、第２の符号化ストリームＳＴ２の符号化の際に使用された符号化方式を識別するための識別子（符号化方式ＩＤ）などの追加的なパラメータが挿入されてもよい。
よって、デコーダは、第１の符号化ストリームＳＴ１のヘッダ領域に挿入される参照用パラメータを用いて、第２の符号化ストリームＳＴ２にアクセスすることができる。第２の符号化ストリームＳＴ２は、少なくともヘッダ領域及びデータ領域を含む。第２の符号化ストリームＳＴ２のヘッダ領域には、第２の符号化ストリームＳＴ２の復号のために必要とされるパラメータ（例えば、量子化テーブル及び符号化テーブルなど）が挿入され得る。
［１−４．処理の流れ］
本項では、図４〜図６を用いて、画像符号化装置１００による画像符号化処理の流れについて説明する。
（１）全体的な流れ
図４は、本実施形態に係る画像符号化処理の流れの一例を示すフローチャートである。
図４を参照すると、まず、ＲＡＷ画像取得部１１０は、イメージセンサにより生成され又は他の装置若しくは記憶媒体から入力されるＲＡＷ画像データを取得する（ステップＳ１１０）。そして、ＲＡＷ画像取得部１１０は、取得したＲＡＷ画像データを現像部１２０へ出力する。
次に、現像部１２０は、少なくともデモザイクとＲＧＢからＹＵＶへの色空間の変換とを含む現像処理をＲＡＷ画像データに適用し、ＲＡＷ画像データから高階調画像データを生成する（ステップＳ１２０）。そして、現像部１２０は、生成した高階調画像データを分割部１３０へ出力する。
次に、分割部１３０は、高階調画像データを上位８ビットに対応する第１の画像データと残りのビット（下位ビット）に対応する第２の画像データとに分割する（ステップＳ１３０）。そして、分割部１３０は、第１の画像データを第１符号化ブランチ１４０へ、第２の画像データを第２符号化ブランチ１５０へそれぞれ出力する。
次に、第１符号化ブランチ１４０において、第１符号化部１４８は、上位ビットに対応する第１の画像データをＪＰＥＧ方式で符号化して、第１の符号化ストリームを生成する（ステップＳ１４０）。そして、第１符号化部１４８は、生成した第１の符号化ストリームをストリーム出力部１６０へ出力する。
次に、第２符号化ブランチ１５０において、下位ビット符号化処理が実行され、第２の符号化ストリームがストリーム出力部１６０へ出力される（ステップＳ１５０）。ここでの下位ビット符号化処理について、図５を用いてさらに説明する。
次に、ストリーム出力部１６０は、第２符号化ブランチ１５０から入力される第２の符号化ストリームを第１符号化ブランチから入力される第１の符号化ストリームに関連付ける（ステップＳ１８０）。ここでの関連付けは、上述した参照用パラメータを用いて行われ得る。そして、ストリーム出力部１６０は、第１及び第２の符号化ストリームを、画像符号化装置１００に接続される記憶媒体又は他の装置へ出力する（ステップＳ１９０）。
（２）下位ビット符号化処理
図５は、図４に示した下位ビット符号化処理の詳細な流れの一例を示すフローチャートである。
図５を参照すると、まず、下位ビットの符号化の前に当該下位ビットを加工すべきか否かが判定される（ステップＳ１５５）。ここでの下位ビットとは、第２符号化ブランチ１５０へ入力される第２の画像データのビットをいう。例えば、上述した第１の実施例においては、下位ビットは加工されず、第２の画像データがそのまま第２符号化部１５８へ入力される。一方、上述した第２の実施例においては、下位ビットは加工され得る。
下位ビットを加工すべきであると判定された場合には、第２の画像データについて、下位ビット処理部１５２により下位ビット加工処理が実行される（ステップＳ１６０）。ここでの下位ビット加工処理について、図６を用いてさらに説明する。
次に、第２符号化部１５８は、第２の画像データをＪＰＥＧ方式又はその他の画像符号化方式で符号化して、第２の符号化ストリームを生成する（ステップＳ１７０）。そして、第２符号化部１５８は、生成した第２の符号化ストリームをストリーム出力部１６０へ出力する。
（３）下位ビット加工処理
図６は、図５に示した下位ビット加工処理の詳細な流れの一例を示すフローチャートである。
図６に示した下位ビット加工処理に含まれるステップＳ１６２〜ステップＳ１６６の処理は、第２の画像データの各画素について繰り返される（ステップＳ１６１）。
各画素を注目画素とする繰り返しにおいて、下位ビット処理部１５２は、まず、第２の画像データのビット深度を第２符号化部１５８によりサポートされる所定のビット深度へ拡張する（ステップＳ１６２）。
次に、下位ビット処理部１５２は、注目画素の画素位置において第１の画像データ又は高階調画像データの高周波成分が強い値を示しているかを判定する（ステップＳ１６３）。ここで、当該高周波成分が強い値を示していない場合には、次のステップＳ１６４の処理はスキップされる。当該高周波成分が強い値を示している場合には、下位ビット処理部１５２は、注目画素の画素値を一定の値に置換する（ステップＳ１６４）。
次に、下位ビット処理部１５２は、注目画素の画素位置において第１の画像データ又は高階調画像データの画素値が画素値レンジの中央部分に属するかを判定する（ステップＳ１６５）。ここで、当該画素値が画素値レンジの中央部分に属しない場合には、次のステップＳ１６６の処理はスキップされる。当該画素値が画素値レンジの中央部分に属する場合には、下位ビット処理部１５２は、注目画素の画素値を一定の値に置換する（ステップＳ１６６）。
第２の画像データの全ての画素についてこれら処理が実行されると、図６に示した下位ビット加工処理は終了する。
なお、本項で説明した処理ステップの順序は、各図に示した順序に限定されない。例えば、図４の画像符号化処理において、ステップＳ１４０での第１の画像データの符号化とステップＳ１５０での第２の画像データの符号化とが並列的に行われてもよい。
＜２．一実施形態に係る画像復号装置の構成例＞
［２−１．全体的な構成］
図７は、上述した画像符号化装置１００から出力される第１及び第２の符号化ストリームを復号する、一実施形態に係る画像復号装置２００の構成の一例を示すブロック図である。図７を参照すると、画像復号装置２００は、ストリーム取得部２１０、第１復号ブランチ２２０、第２復号ブランチ２３０、合成部２４０及び画像出力部２５０を備える。
（１）ストリーム取得部
ストリーム取得部２１０は、画像復号装置２００による復号処理の入力となる符号化ストリームを取得する。ストリーム取得部２１０により取得される符号化ストリームは、８ビットより多くのビット深度を有する高階調画像データのうちの上位８ビットに対応する第１の符号化ストリームＳＴ１、及び残りのビットに対応する第２の符号化ストリームＳＴ２を含み得る。ここでの高階調画像データとは、ＲＡＷ画像データを現像することにより生成された画像データであってよい。例えば、ストリーム取得部２１０は、第１の符号化ストリームＳＴ１を取得し、第１の符号化ストリームＳＴ１のヘッダ領域に第２の符号化ストリームＳＴ２にアクセスするための参照用パラメータが挿入されている場合に、当該参照用パラメータを用いて第２の符号化ストリームＳＴ２をさらに取得する。そして、ストリーム取得部２１０は、取得した第１の符号化ストリームＳＴ１を第１復号ブランチ２２０へ、取得した第２の符号化ストリームＳＴ２を第２復号ブランチ２３０へそれぞれ出力する。
（２）第１復号ブランチ
第１復号ブランチ２２０は、第１の符号化ストリームＳＴ１を復号するための処理分岐である。図７の例において、第１復号ブランチ２２０は、第１復号部２２２を含む。第１復号部２２２は、ストリーム取得部２１０から入力される第１の符号化ストリームＳＴ１をＪＰＥＧ方式で復号して、第１の画像データＩＭ１を生成する。即ち、第１復号部２２２は、一般的なＪＰＥＧデコーダであってよい。第１復号部２２２による復号処理は、典型的には、画像内に配置されるブロックごとに実行される、エントロピー復号、逆量子化及び逆直交変換を含む。第１復号部２２２は、このような復号の結果として生成される第１の画像データＩＭ１を、合成部２４０へ出力する。
（３）第２復号ブランチ
第２復号ブランチ２３０は、第２の符号化ストリームＳＴ２を復号するための処理分岐である。図７の例において、第２復号ブランチ２３０は、第２復号部２３２を含む。第２復号部２３２は、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２を、当該第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式で復号して、第２の画像データＩＭ２を生成する。第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式は、例えば、ＪＰＥＧ方式、又は拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式若しくはＪＰＥＧ ＸＲ方式などであり得る。そして、第２復号部２３２は、復号の結果として生成される第２の画像データＩＭ２を、合成部２４０へ出力する。
（４）合成部
合成部２４０は、第１復号ブランチ２２０から入力される第１の画像データＩＭ１と、第２復号ブランチ２３０から入力される第２の画像データＩＭ２とを合成して、高階調画像データＩＭｒｅｃを再構成する。例えば、再構成されるべき高階調画像データＩＭｒｅｃのビット深度を各色Ｎビットとする。この場合、合成部２４０は、各画素について、第１の画像データＩＭ１の画素値を上位８ビットに、第２の画像データＩＭ２の画素値を残りのＮ−８ビットに配置することにより、高階調画像データＩＭｒｅｃの各画素値を決定する。そして、合成部２４０は、再構成された高階調画像データＩＭｒｅｃを画像出力部２５０へ出力する。
（５）画像出力部
画像出力部２５０は、合成部２４０から入力される高階調画像データＩＭｒｅｃを、当該高階調画像データＩＭｒｅｃを記憶し又は高階調画像を表示する装置へ出力する。
［２−２．第２ブランチの詳細］
本項では、図７に例示した画像復号装置２００の第２復号ブランチ２３０の２つの詳細な実施例を説明する。
（１）第１の実施例
図８Ａは、第２復号ブランチ２３０の詳細な構成の第１の例を示すブロック図である。図８Ａを参照すると、第２復号ブランチ２３０は、第２復号部２３２ａを含む。第２復号部２３２ａは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２をＪＰＥＧ方式で復号して、第２の画像データＩＭ２を生成する。即ち、本実施例において、第２復号部２３２ａは、第１復号部２２２と同様、一般的なＪＰＥＧデコーダであってよい。なお、ＪＰＥＧ方式での復号後の各画素値がパディングされたビットを含む場合には、パディングされた余分なビットが削除されてよい。
第１の実施例によれば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２の双方がＪＰＥＧデコーダを用いて復号されるため、広く普及しているＪＰＥＧデコーダを活用して、より低いコストで本開示に係る技術を実現することができる。
（２）第２の実施例
図８Ｂは、第２復号ブランチ２３０の詳細な構成の第２の例を示すブロック図である。図８Ｂを参照すると、第２復号ブランチ２３０は、第２復号部２３２ｂ及び下位ビット処理部２３４を含む。
第２復号部２３２ｂは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２を、当該第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式で復号して、第２の画像データＩＭ２を生成する。
本実施例において、第２復号部２３２ｂにより生成される第２の画像データＩＭ２のビット深度は、符号化の際に第２復号部２３２ｂによりサポートされる所定のビット深度へ拡張されている。そこで、下位ビット処理部２３４は、第２復号部２３２ｂにより生成される第２の画像データＩＭ２のビット深度を、上述した残りのビットに合わせて（例えば、Ｎ−８ビットへ）削減する。より具体的には、下位ビット処理部２３４は、第２の画像データＩＭ２の各画素値を、ビット深度の拡張量に応じた数で除算して丸めることにより、第２の画像データＩＭ２のビット深度を削減し得る。例えば、第２復号部２３２ｂによりサポートされるビット深度をＭビットとすると、ビット深度の拡張量Ｌは、Ｌ＝Ｍ−（Ｎ−８）［ビット］により計算される。各画素値を除算する除数は、２Ｌであってよい。除算の剰余の扱い（切り捨て、四捨五入又は切り上げ）は、予め定義され得る。典型的な例では、Ｎ＝１２、Ｍ＝８、Ｌ＝４である。この場合、下位ビット処理部２３４は、第２の画像データＩＭ２の各画素値を１６（＝２４）で除算する。なお、Ｎ、Ｍ及びＬの値の組合せは、上述した例に限定されず、他の任意の組合せであってよい。
［２−３．処理の流れ］
本項では、図９〜図１１を用いて、画像復号装置２００による画像復号処理の流れについて説明する。
（１）全体的な流れ
図９は、本実施形態に係る画像復号処理の流れの一例を示すフローチャートである。
図９を参照すると、まず、ストリーム取得部２１０は、８ビットのビット深度を有する符号化された第１の画像データを含む第１の符号化ストリームを取得する（ステップＳ２１０）。そして、ストリーム取得部２１０は、取得した第１の符号化ストリームを第１復号ブランチ２２０へ出力する。
次に、第１復号ブランチ２２０において、第１復号部２２２は、ストリーム取得部２１０から入力される第１の符号化ストリームをＪＰＥＧ方式で復号して、第１の画像データを生成する（ステップＳ２２０）。そして、第１復号部２２２は、生成した第１の画像データを合成部２４０へ出力する。
また、ストリーム取得部２１０は、第１の符号化ストリームに第２の符号化ストリームが関連付けられているかを判定する（ステップＳ２２５）。例えば、第１の符号化ストリームのヘッダ領域に第２の符号化ストリームにアクセスするための参照用パラメータが挿入されている場合には、ストリーム取得部２１０は、第１の符号化ストリームに第２の符号化ストリームが関連付けられていると判定し得る。ここで、第１の符号化ストリームに第２の符号化ストリームが関連付けられていると判定された場合には、処理はステップＳ２３０へ進む。一方、第１の符号化ストリームに第２の符号化ストリームが関連付けられていないと判定された場合には、処理はステップＳ２９０へ進む。
ステップＳ２３０において、ストリーム取得部２１０は、上述した参照用パラメータを用いて、第２の符号化ストリームを取得する（ステップＳ２３０）。そして、ストリーム取得部２１０は、取得した第２の符号化ストリームを第２復号ブランチ２３０へ出力する。
次に、第２復号ブランチ２３０において、下位ビット復号処理が実行され、第２の画像データが合成部２４０へ出力される（ステップＳ２４０）。ここでの下位ビット復号処理について、図１０を用いてさらに説明する。
次に、合成部２４０は、復号された第１の画像データと第２の画像データとを合成して、高階調画像データを再構成する（ステップＳ２７０）。そして、合成部２４０は、再構成された高階調画像データを画像出力部２５０へ出力する。
その後、例えば、画像出力部２５０から表示装置へ高階調画像データが出力され、当該高階調画像データを用いて高階調画像が表示され得る（ステップＳ２８０）。
一方、ステップＳ２２５において、第１の符号化ストリームに第２の符号化ストリームが関連付けられていないと判定された場合には、第１復号部２２２により生成された第１の画像データが画像出力部２５０から表示装置へ出力され得る。そして、当該第１の画像データを用いて、画像が表示され得る（ステップＳ２９０）。
（２）下位ビット復号処理
図１０は、図９に示した下位ビット復号処理の詳細な流れの一例を示すフローチャートである。
図１０を参照すると、まず、第２復号部２３２は、ストリーム取得部２１０から入力される第２の符号化ストリームを、当該第２の符号化ストリームの符号化の際に使用された画像符号化方式で復号して、第２の画像データを生成する（ステップＳ２５０）。
次に、復号の後に下位ビットを加工すべきか否かが判定される（ステップＳ２５５）。ここでの下位ビットとは、復号された第２の画像データのビットをいう。例えば、上述した第１の実施例においては、下位ビットは加工されず、復号された第２の画像データがそのまま合成部２４０へ出力される。一方、上述した第２の実施例においては、下位ビットは加工され得る
下位ビットを加工すべきであると判定された場合には、第２の画像データについて、下位ビット処理部２３４により下位ビット加工処理が実行される（ステップＳ２６０）。ここでの下位ビット加工処理について、図１１を用いてさらに説明する。
（３）下位ビット加工処理
図１１は、図１０に示した下位ビット加工処理の詳細な流れの一例を示すフローチャートである。
図１１に示した下位ビット加工処理に含まれるステップＳ２６２の処理は、第２の画像データの各画素について繰り返される（ステップＳ２６１）。
各画素を注目画素とする繰り返しにおいて、下位ビット処理部２３４は、拡張されている第２の画像データのビット深度を削減する（ステップＳ２６２）。結果として、削減後の第２の画像データのビット深度は、再構成されるべき高階調画像データのビット深度から８ビットを除いた値となる。
第２の画像データの全ての画素について当該処理が実行されると、図１１に示した下位ビット加工処理は終了する。
なお、本項で説明した処理ステップの順序は、各図に示した順序に限定されない。例えば、図９の画像復号処理において、ステップＳ２２０での第１の画像データの復号とステップＳ２４０での第２の画像データの復号とが並列的に行われてもよい。
＜３．応用例＞
本開示に係る技術は、高階調画像を扱う様々な製品に応用可能である。本節では、図１２Ａ及び図１２Ｂを用いて、典型的な２つの応用例について説明する。第１の応用例では、デジタルカメラに相当し得る画像処理装置３００が実現される。第２の応用例では、フォトエディタが動作するＰＣ（Personal Computer）に相当し得る画像処理装置４００が実現される。
（１）第１の応用例
図１２Ａは、第１の応用例に係る画像処理装置３００の構成の一例を示すブロック図である。図１２Ａを参照すると、画像処理装置３００は、操作部３１０、制御部３２０、イメージセンサ３３０、符号化部１００、記憶媒体３４０、復号部２００及びディスプレイ３５０を備える。
操作部３１０は、画像処理装置３００の様々な機能をユーザが操作するための操作インタフェースをユーザに提供する。
制御部３２０は、画像処理装置３００の機能全般を制御する。例えば、制御部３２０は、操作部３１０により受け付けられるユーザの第１の操作に応じて、イメージセンサ３３０にＲＡＷ画像を撮像させる。そして、制御部３２０は、撮像されたＲＡＷ画像に基づいて符号化部１００により生成される符号化ストリームを、記憶媒体３４０に記憶させる。また、制御部３２０は、ユーザの第２の操作に応じて、記憶媒体３４０により記憶されている符号化ストリームを復号部２００へ入力し、高階調画像データを再構成させる。そして、制御部３２０は、再構成された高階調画像データを用いて、ディスプレイ３５０により高階調画像を表示させる。
イメージセンサ３３０は、ＣＣＤ又はＣＭＯＳなどの撮像素子を含み、実世界の光を感知してＲＡＷ画像を撮像する。
符号化部１００は、上述した画像符号化装置１００と同等の構成を有する。符号化部１００は、イメージセンサ３３０により生成されるＲＡＷ画像データを取得して上述した画像符号化処理を実行し、第１及び第２の符号化ストリームを記憶媒体３４０へ出力する。第２の符号化ストリームは、第１の符号化ストリームに関連付けられる。
記憶媒体３４０は、符号化部１００から出力される第１及び第２の符号化ストリームを記憶する。
復号部２００は、上述した画像復号装置２００と同等の構成を有する。復号部２００は、記憶媒体３４０から第１及び第２の符号化ストリームを取得して上述した画像復号処理を実行し、各色についてＲＡＷ画像データと同等のビット深度を有する高階調画像データを再構成する。
ディスプレイ３５０は、液晶又はＯＬＥＤ（Organic Light Emitting Diode）などの表示素子を含み、復号部２００により再構成される高階調画像データを用いて高階調画像を表示する。
（２）第２の応用例
図１２Ｂは、第２の応用例に係る画像処理装置４００の構成の一例を示すブロック図である。図１２Ｂを参照すると、画像処理装置４００は、操作部４１０、制御部４２０、記憶媒体４４０、通信インタフェース４５０、及びディスプレイ４６０を備える。
操作部４１０は、画像処理装置４００の様々な機能をユーザが操作するための操作インタフェースをユーザに提供する。
制御部４２０は、画像処理装置４００の機能全般を制御する。本応用例において、制御部４２０は、符号化部１００、復号部２００及びアプリケーション部４３０を含む。
アプリケーション部４３０は、フォトエディタ機能を実現するアプリケーションモジュールである。アプリケーション部４３０は、例えば、操作部４１０により受け付けられるユーザの第１の操作に応じて、記憶媒体４４０により記憶され又は通信インタフェース４５０を介して受信される第１及び第２の符号化ストリームから復号部２００により高階調画像データを再構成させる。そして、アプリケーション部４３０は、再構成された高階調画像データを用いて、ディスプレイ４６０に高階調画像を表示させる。また、アプリケーション部４３０は、表示された高階調画像がユーザにより編集された後、ユーザの第２の操作に応じて、編集後の高階調画像データを符号化部１００により符号化させる。そして、アプリケーション部４３０は、符号化部１００により生成される第１及び第２の符号化ストリームを記憶媒体４４０に記憶させる。
符号化部１００は、上述した画像符号化装置１００と同等の構成を有する符号化モジュールである。符号化部１００は、ユーザにより編集される高階調画像データを取得して上述した画像符号化処理を実行し、第１及び第２の符号化ストリームを記憶媒体４４０へ出力する。第２の符号化ストリームは、第１の符号化ストリームに関連付けられる。
復号部２００は、上述した画像復号装置２００と同等の構成を有する復号モジュールである。復号部２００は、アプリケーション部４３０により指定される第１及び第２の符号化ストリームを取得して上述した画像復号処理を実行し、各色についてＲＡＷ画像データと同等のビット深度を有する高階調画像データを再構成する。
記憶媒体４４０は、符号化部１００から出力され又は復号部２００へ入力される第１及び第２の符号化ストリームを記憶する。
通信インタフェース４５０は、任意の有線通信方式又は無線通信方式に従って、画像処理装置４００を他の装置と接続する。
ディスプレイ４６０は、液晶又はＯＬＥＤなどの表示素子を含み、復号部２００により再構成される高階調画像データを用いて高階調画像を表示する。ディスプレイ４６０は、アプリケーション部４３０による制御の下、高階調画像をユーザが編集するためのグラフィカルユーザインタフェース（ＧＵＩ）をも表示し得る。
＜４．まとめ＞
ここまで、図１〜図１２Ｂを用いて、本開示に係る技術の一実施形態及びその応用例について詳細に説明した。上述した実施形態によれば、高階調画像データを符号化する際には、ビット深度の上位８ビットに対応するＪＰＥＧ方式で符号化された第１の画像データが第１の符号化ストリームに格納され、残りのビットに対応する符号化された第２の画像データが第２の符号化ストリームに格納され、第２の符号化ストリームが第１の符号化ストリームに関連付けられる。そして、復号の際には、第１の符号化ストリームをＪＰＥＧ方式で復号して第１の画像データが生成され、第２の符号化ストリームを復号して第２の画像データが生成され、復号された第１及び第２の画像データが合成される。従って、８ビットのＪＰＥＧ方式で符号化及び復号される第１の画像データでは表現されない精細な階調を第２の画像データで補償して、より階調の高い画像を再構成することができる。また、第１の画像データ自体はＪＰＥＧ方式で符号化されるため、広く普及しているＪＰＥＧデコーダで少なくとも第１の画像データを復号することが可能であり、即ち、ＪＰＥＧデコーダとの互換性が確保される。
また、残りのビット（下位ビット）に対応する第２の画像データもＪＰＥＧ方式で符号化される場合には、上位ビット及び下位ビットの双方について既存のＪＰＥＧエンジン（エンコーダ／デコーダ）を活用できるため、より低いコストで本開示に係る技術を実現することができる。
また、第２の画像データの符号化の前に、第２の画像データのビット深度が拡張されてもよい。それにより、量子化テーブルの選択の幅を広げ、画質の調整の柔軟性を高めることができる。また、ビット深度の拡張の際に、各画素値にオフセット値が加算されてもよい。それにより、量子化及び逆量子化の結果として生じる丸め誤差に起因する階調の歪みを低減することができる。
また、第２の画像データの符号化の前に、第１の画像データ又は高階調画像データにおいて高周波成分が強い値を示す画素位置の第２の画像データの画素値が、一定の値に置換されてもよい。それにより、人間の視覚特性の観点で第２の画像データで補償される画質を大きく減殺することなく、高周波成分を除去して符号化効率を高めることができる。
また、第２の画像データの符号化の前に、第１の画像データ又は高階調画像データにおいて画素値レンジの中央部分に属する画素位置の第２の画像データの画素値が、一定の値に置換されてもよい。それにより、第１の画像データをＪＰＥＧ方式で符号化する際に画質の劣化として現れ易い白とび又は黒つぶれの部分の階調を第２の画像データで補償することを可能としつつ、その他の部分を平滑化して符号化効率を高めることができる。
また、上述した実施形態によれば、第１の符号化ストリームのヘッダ領域に、第２の符号化ストリームにアクセスするためのパラメータが挿入される。かかる構成によれば、画像を復号しようとするデコーダは、第２の符号化ストリームが関連付けられているか否かによらず、一般的な画像復号処理と同様に、まず第１の符号化ストリームのヘッダを読み込む。そして、当該デコーダは、第２の符号化ストリームが関連付けられていない場合には、ＪＰＥＧ符号化された第１の画像データのみを復号することができる。一方で、第２の符号化ストリームが関連付けられている場合には、当該デコーダは、第２の画像データをさらに復号して高階調画像データを再構成することができる。この場合、ＪＰＥＧ符号化された画像データのみを復号する際の処理の流れは改変されないため、既存のＪＰＥＧエンジンを拡張して本開示に係る技術を実装することも容易である。
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
８ビットより多くのビット深度を有する高階調画像データのうちの上位８ビットに対応する第１の符号化ストリーム及び残りのビットに対応する第２の符号化ストリームを取得するストリーム取得部と、
前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、
前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、
前記第１の画像データ及び前記第２の画像データを合成して前記高階調画像データを再構成する合成部と、
を備える画像処理装置。
（２）
前記第２復号部は、前記第２の符号化ストリームをＪＰＥＧ方式で復号する、前記（１）に記載の画像処理装置。
（３）
前記第２復号部は、前記第２復号部によりサポートされる所定のビット深度へ拡張されたビット深度を有する前記第２の符号化ストリームを復号し、
前記画像処理装置は、前記第２復号部により生成された前記第２の画像データのビット深度を前記残りのビットに合わせて削減する下位ビット処理部、をさらに備える、
前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記下位ビット処理部は、前記第２の画像データの各画素値を、ビット深度の拡張量に応じた数で除算して丸めることにより、前記第２の画像データのビット深度を削減する、前記（３）に記載の画像処理装置。
（５）
前記ストリーム取得部は、前記第１の符号化ストリームのヘッダ領域に挿入されるパラメータを用いて、前記第２の符号化ストリームを取得する、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記高階調画像データは、ＲＡＷ画像データを現像することにより生成された画像データである、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記画像処理装置は、前記合成部により再構成された前記高階調画像データを用いて高階調画像を表示装置に表示させる制御部、をさらに備える、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記画像処理装置は、前記合成部により再構成された前記高階調画像データを記憶媒体に記憶させる制御部、をさらに備える、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
８ビットより多くのビット深度を有する高階調画像データを、上位８ビットに対応する第１の画像データ及び残りのビットに対応する第２の画像データに分割する分割部と、
前記第１の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して第１の符号化ストリームを生成する第１符号化部と、
前記第２の画像データを符号化して第２の符号化ストリームを生成する第２符号化部と、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力するストリーム出力部と、
を備える画像処理装置。
（１０）
前記第２符号化部は、前記第２の画像データをＪＰＥＧ方式で符号化する、前記（９）に記載の画像処理装置。
（１１）
前記画像処理装置は、前記第２の画像データのビット深度を前記第２符号化部によりサポートされる所定のビット深度へ拡張する下位ビット処理部、をさらに備え、
前記第２符号化部は、前記下位ビット処理部により拡張されたビット深度を有する前記第２の画像データを符号化する、
前記（９）又は前記（１０）に記載の画像処理装置。
（１２）
前記下位ビット処理部は、前記第２の画像データの各画素値に、ビット深度の拡張量に応じた数を乗算し、さらにオフセット値を加算することにより、前記第２の画像データのビット深度を拡張する、前記（１１）に記載の画像処理装置。
（１３）
前記下位ビット処理部は、前記第１の画像データ又は前記高階調画像データにおいて高周波成分が強い値を示す画素位置の前記第２の画像データの画素値を、一定の値に置換する、前記（１１）又は前記（１２）に記載の画像処理装置。
（１４）
前記下位ビット処理部は、前記第１の画像データ又は前記高階調画像データにおいて画素値レンジの中央部分に属する画素位置の前記第２の画像データの画素値を、一定の値に置換する、前記（１１）〜前記（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記一定の値は、前記第２の画像データの画素値レンジの中央の値である、前記（１３）又は前記（１４）に記載の画像処理装置。
（１６）
前記ストリーム出力部は、前記第２の符号化ストリームにアクセスするためのパラメータを前記第１の符号化ストリームのヘッダ領域に挿入する、前記（９）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記高階調画像データは、ＲＡＷ画像データを現像することにより生成される、前記（９）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）
前記画像処理装置は、前記ＲＡＷ画像データを生成するイメージセンサ、をさらに備える、前記（１７）に記載の画像処理装置。
（１９）
前記画像処理装置は、他の装置又は記憶媒体から前記ＲＡＷ画像データを取得するＲＡＷ画像取得部、をさらに備える、前記（１７）に記載の画像処理装置。
（２０）
コンピュータを、
８ビットより多くのビット深度を有する高階調画像データのうちの上位８ビットに対応する第１の符号化ストリーム及び残りのビットに対応する第２の符号化ストリームを取得するストリーム取得部と、
前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、
前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、
前記第１の画像データ及び前記第２の画像データを合成して前記高階調画像データを再構成する合成部と、
として機能させるためのプログラム。
（２１）
コンピュータを、
８ビットより多くのビット深度を有する高階調画像データを、上位８ビットに対応する第１の画像データ及び残りのビットに対応する第２の画像データに分割する分割部と、
前記第１の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して第１の符号化ストリームを生成する第１符号化部と、
前記第２の画像データを符号化して第２の符号化ストリームを生成する第２符号化部と、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力するストリーム出力部と、
として機能させるためのプログラム。
（２２）
８ビットより多くのビット深度を有する高階調画像データのうちの上位８ビットに対応する第１の符号化ストリーム及び残りのビットに対応する第２の符号化ストリームを取得することと、
前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成することと、
前記第２の符号化ストリームを復号して第２の画像データを生成することと、
前記第１の画像データ及び前記第２の画像データを合成して前記高階調画像データを再構成することと、
を含む画像処理方法。
（２３）
８ビットより多くのビット深度を有する高階調画像データを、上位８ビットに対応する第１の画像データ及び残りのビットに対応する第２の画像データに分割することと、
前記第１の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して第１の符号化ストリームを生成することと、
前記第２の画像データを符号化して第２の符号化ストリームを生成することと、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力することと、
を含む画像処理方法。
１００ 画像符号化装置
１１０ ＲＡＷ画像取得部
１２０ 現像部
１３０ 分割部
１４８ 第１符号化部
１５２ 下位ビット処理部
１５８，１５８ａ，１５８ｂ 第２符号化部
１６０ ストリーム出力部
２００ 画像復号装置
２１０ ストリーム取得部
２２２ 第１復号部
２３２，２３２ａ，２３２ｂ 第２復号部
２３４ 下位ビット処理部
２４０ 合成部
２５０ 画像出力部
３００，４００ 画像処理装置
３２０，４２０ 制御部
３３０ イメージセンサ
３４０，４４０ 記憶媒体

Claims (19)

  1. 所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割する分割部と、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成する上位ビット符号化部と、
    前記下位ビット画像データの各画素値に、ビット深度の拡張量に応じた数を乗算し、さらにオフセット値を加算することにより、前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張する下位ビット処理部と、
    前記下位ビット処理部により拡張されたビット深度を有する前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成する下位ビット符号化部と、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付ける関連付け部と、
    を備える画像処理装置。
  2. 所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割する分割部と、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成する上位ビット符号化部と、
    前記上位ビット画像データ又は前記高階調画像データにおいて高周波成分が強い値を示す画素位置の前記下位ビット画像データの画素値を、前記下位ビット画像データの画素値レンジの中央の値に置換し、前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張する下位ビット処理部と、
    前記下位ビット処理部により拡張されたビット深度を有する前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成する下位ビット符号化部と、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付ける関連付け部と、
    を備える画像処理装置。
  3. 所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割する分割部と、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成する上位ビット符号化部と、
    前記上位ビット画像データ又は前記高階調画像データにおいて画素値レンジの中央部分に属する画素位置の前記下位ビット画像データの画素値を、一定の値に置換し、前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張する下位ビット処理部と、
    前記下位ビット処理部により拡張されたビット深度を有する前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成する下位ビット符号化部と、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付ける関連付け部と、
    を備える画像処理装置。
  4. 前記一定の値は、前記下位ビット画像データの画素値レンジの中央の値である、請求項３に記載の画像処理装置。
  5. 前記標準符号化方式は、ＪＰＥＧ（Joint Photographic Experts Group）方式である、請求項１〜４のいずれか１項に記載の画像処理装置。
  6. 前記下位ビット符号化部は、前記下位ビット画像データをＪＰＥＧ方式で符号化する、請求項５に記載の画像処理装置。
  7. 前記関連付け部は、前記下位ビット符号化ストリームにアクセスするためのパラメータを前記上位ビット符号化ストリームのヘッダ領域に挿入する、請求項１〜６のいずれか１項に記載の画像処理装置。
  8. 前記高階調画像データは、ＲＡＷ画像データを現像することにより生成された画像データであり、前記画像処理装置は、前記ＲＡＷ画像データを生成するイメージセンサ、をさらに備える、請求項１〜７のいずれか１項に記載の画像処理装置。
  9. 前記高階調画像データは、ＲＡＷ画像データを現像することにより生成された画像データであり、前記画像処理装置は、他の装置又は記憶媒体から前記ＲＡＷ画像データを取得するＲＡＷ画像取得部、をさらに備える、請求項１〜７のいずれか１項に記載の画像処理装置。
  10. 画像処理装置により実行される画像処理方法であって、
    所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割することと、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成することと、
    前記下位ビット画像データの各画素値に、ビット深度の拡張量に応じた数を乗算し、さらにオフセット値を加算することにより、前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張することと、
    前記下位ビット画像データを拡張された前記ビット深度で符号化して下位ビット符号化ストリームを生成することと、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付けることと、
    を含む画像処理方法。
  11. 画像処理装置により実行される画像処理方法であって、
    所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割することと、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成することと、
    前記上位ビット画像データ又は前記高階調画像データにおいて高周波成分が強い値を示す画素位置の前記下位ビット画像データの画素値を、前記下位ビット画像データの画素値レンジの中央の値に置換することと、
    前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張することと、
    前記下位ビット画像データを拡張された前記ビット深度で符号化して下位ビット符号化ストリームを生成することと、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付けることと、
    を含む画像処理方法。
  12. 画像処理装置により実行される画像処理方法であって、
    所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割することと、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成することと、
    前記上位ビット画像データ又は前記高階調画像データにおいて画素値レンジの中央部分に属する画素位置の前記下位ビット画像データの画素値を、一定の値に置換することと、
    前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張することと、
    前記下位ビット画像データを拡張された前記ビット深度で符号化して下位ビット符号化ストリームを生成することと、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付けることと、
    を含む画像処理方法。
  13. 前記一定の値は、前記下位ビット画像データの画素値レンジの中央の値である、請求項１２に記載の画像処理方法。
  14. 前記下位ビット符号化ストリームは、前記下位ビット符号化ストリームにアクセスするためのパラメータを前記上位ビット符号化ストリームのヘッダ領域に挿入することにより、前記上位ビット符号化ストリームに関連付けられる、請求項１０〜１３のいずれか１項に記載の画像処理方法。
  15. コンピュータを、
    所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割する分割部と、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成する上位ビット符号化部と、
    前記下位ビット画像データの各画素値に、ビット深度の拡張量に応じた数を乗算し、さらにオフセット値を加算することにより、前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張する下位ビット処理部と、
    前記下位ビット処理部により拡張されたビット深度を有する前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成する下位ビット符号化部と、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付ける関連付け部と、
    として機能させるためのプログラム。
  16. コンピュータを、
    所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割する分割部と、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成する上位ビット符号化部と、
    前記上位ビット画像データ又は前記高階調画像データにおいて高周波成分が強い値を示す画素位置の前記下位ビット画像データの画素値を、前記下位ビット画像データの画素値レンジの中央の値に置換し、前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張する下位ビット処理部と、
    前記下位ビット処理部により拡張されたビット深度を有する前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成する下位ビット符号化部と、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付ける関連付け部と、
    として機能させるためのプログラム。
  17. コンピュータを、
    所定の標準符号化方式より多くのビット深度を有する高階調画像データを、前記標準符号化方式のビット深度を有すると共に上位ビットに対応する上位ビット画像データ及び残りのビットに対応する下位ビット画像データに分割する分割部と、
    前記上位ビット画像データを前記標準符号化方式で符号化して上位ビット符号化ストリームを生成する上位ビット符号化部と、
    前記上位ビット画像データ又は前記高階調画像データにおいて画素値レンジの中央部分に属する画素位置の前記下位ビット画像データの画素値を、一定の値に置換し、前記下位ビット画像データのビット深度を符号化のためにサポートされる所定のビット深度へ拡張する下位ビット処理部と、
    前記下位ビット処理部により拡張されたビット深度を有する前記下位ビット画像データを符号化して下位ビット符号化ストリームを生成する下位ビット符号化部と、
    前記下位ビット符号化ストリームを前記上位ビット符号化ストリームに関連付ける関連付け部と、
    として機能させるためのプログラム。
  18. 前記一定の値は、前記下位ビット画像データの画素値レンジの中央の値である、請求項１７に記載のプログラム。
  19. 前記関連付け部は、前記下位ビット符号化ストリームにアクセスするためのパラメータを前記上位ビット符号化ストリームのヘッダ領域に挿入する、請求項１５〜１８のいずれか１項に記載のプログラム。
JP2011268754A 2011-12-08 2011-12-08 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP5915131B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011268754A JP5915131B2 (ja) 2011-12-08 2011-12-08 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011268754A JP5915131B2 (ja) 2011-12-08 2011-12-08 画像処理装置、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013121103A JP2013121103A (ja) 2013-06-17
JP2013121103A5 JP2013121103A5 (ja) 2015-01-08
JP5915131B2 true JP5915131B2 (ja) 2016-05-11

Family

ID=48773545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011268754A Expired - Fee Related JP5915131B2 (ja) 2011-12-08 2011-12-08 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5915131B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4092830B2 (ja) * 1998-12-21 2008-05-28 株式会社ニコン 画像データ圧縮方法
SE526226C2 (sv) * 2003-12-19 2005-08-02 Ericsson Telefon Ab L M Bildbehandling
JP4515832B2 (ja) * 2004-06-14 2010-08-04 オリンパス株式会社 画像圧縮装置、及び画像復元装置
JP2006094225A (ja) * 2004-09-24 2006-04-06 Fujitsu Ltd 画像処理装置、画像処理方法、およびそのプログラム
JP4627670B2 (ja) * 2005-03-17 2011-02-09 株式会社リコー 画像形成装置、画像形成方法、その方法を実行させるプログラムが格納されたコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
JP2013121103A (ja) 2013-06-17

Similar Documents

Publication Publication Date Title
JP5965025B2 (ja) Ｈｄｒ画像のための画像処理
JP6617142B2 (ja) 改善されたビデオおよび画像符号化プロセス
JP2020171022A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
JP6058183B2 (ja) 高ダイナミックレンジ画像のエンコード、デコードおよび表現のための方法、装置および媒体
US8457425B2 (en) Embedded graphics coding for images with sparse histograms
JP6703032B2 (ja) 後方互換性拡張画像フォーマット
JP2018530282A (ja) 高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム
JP5490544B2 (ja) 画像におけるアーティファクトを低減するシステム及び方法
CN101990095B (zh) 压缩文件生成方法和设备、相关的相机模块和终端
JP4360416B2 (ja) 画像圧縮方法、画像圧縮装置およびプログラム
JP2004228717A (ja) 画像処理方法、画像処理装置、電子カメラ装置、プログラム及び記録媒体
KR20190020848A (ko) 하이 다이내믹 레인지 이미지들을 인코딩하고, 디코딩하고, 표현하기 위한 기법들
KR20160019060A (ko) 큰 동적 범위 픽처들의 평균 휘도를 적응시키기 위한 인코딩과 디코딩 방법들 및 대응하는 인코더 및 디코더
Richter Backwards compatible coding of high dynamic range images with JPEG
JP6276596B2 (ja) 空間超解像・階調補間装置及びプログラム
US8428116B2 (en) Moving picture encoding device, method, program, and moving picture decoding device, method, and program
JP5915131B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
JP6089398B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6315069B2 (ja) 画像処理装置及びプログラム
KR100826943B1 (ko) 제이펙 이미지 처리 방법, 이미지 처리 장치 및 이를구현하기 위한 프로그램이 기록된 기록매체
JP4241517B2 (ja) 画像符号化装置及び画像復号装置
US10462478B2 (en) Method of video generation
JP2004040300A (ja) 画像処理装置
US8260070B1 (en) Method and system to generate a compressed image utilizing custom probability tables

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160321

R151 Written notification of patent or utility model registration

Ref document number: 5915131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees