JP7276346B2 - 画像処理装置と画像処理方法およびプログラム - Google Patents

画像処理装置と画像処理方法およびプログラム Download PDF

Info

Publication number
JP7276346B2
JP7276346B2 JP2020546697A JP2020546697A JP7276346B2 JP 7276346 B2 JP7276346 B2 JP 7276346B2 JP 2020546697 A JP2020546697 A JP 2020546697A JP 2020546697 A JP2020546697 A JP 2020546697A JP 7276346 B2 JP7276346 B2 JP 7276346B2
Authority
JP
Japan
Prior art keywords
polarization
information
pixel
luminance value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020546697A
Other languages
English (en)
Other versions
JPWO2020054152A1 (ja
Inventor
雄飛 近藤
康孝 平澤
武文 名雲
利昇 井原
哲平 栗田
楽公 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020054152A1 publication Critical patent/JPWO2020054152A1/ja
Application granted granted Critical
Publication of JP7276346B2 publication Critical patent/JP7276346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関し、偏光画像の情報量を削減できるようにする。
従来、撮像部と偏光フィルタを用いて偏光画像を取得することが行われている。例えば、特許文献１では、偏光方向が異なる画素を含む画素構成の撮像部によって偏光画像を取得することが行われている。
また、複数の偏光方向の偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式にあてはめることによって法線情報の算出が行われている。
特開２０１５－１１４３０７号公報
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13,No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
ところで、無偏光である通常画像では例えば隣接する画素間の相関を利用して圧縮処理が行われている。しかし、偏光画像で隣接する画素間の偏光方向が異なると画素間の相関が低くなり、通常画像と同様な圧縮処理では情報量を効率よく削減することができない。
そこで、この技術では、偏光画像に適した圧縮処理や復号処理を行うことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
この技術の第１の側面は、
複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部
を備える画像処理装置にある。
この技術において、情報圧縮部は、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、偏光画像における基準偏光画素とは異なる偏光画素毎の偏光画像情報と基準画像情報との差分情報を生成する。また、情報圧縮部は、複数の偏光方向の偏光画素毎に生成された差分情報の情報量を削減して、基準画像情報と情報量が削減された差分情報を含む圧縮画像情報を生成する。例えば、情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する。
情報圧縮部で生成する基準画像情報は、色毎および偏光方向毎の基準偏光画素の輝度値を示す情報を含み、差分情報は、基準偏光画素の輝度値と同色かつ同偏光方向であって基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む。
また、情報圧縮部は、偏光の性質に基づいて基準画像情報と差分情報の生成を行う。例えば、情報圧縮部で生成する基準画像情報は、基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含むようにしてもよい。
また、情報圧縮部で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含むようにしてもよい。
また、情報圧縮部で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにしてもよい。この場合、予測値は、基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
また、偏光画像は無偏光である通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の偏光基準輝度値との差を示す情報を含むようにしてもよい。
また、偏光画像は無偏光である通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値の比率と隣接する画素ブロックにおける指定偏光画素の輝度値の比率との差を示す情報を含むようにしてもよい。
また、偏光画像は無偏光の通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにしてもよい。この場合、予測値は、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
さらに、画像処理装置は、複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、情報圧縮部は特性情報記憶部に記憶されている特性情報を用いて圧縮画像情報の生成を行うようにしてもよい。
特性情報によって、偏光画像を取得した偏光撮像部の消光比または透過軸透過率が示される場合、情報圧縮部は、消光比または透過軸透過率を用いて偏光画像の補正を行い、補正後の偏光画像を用いて圧縮画像情報を生成する。
また、特性情報によって、偏光画像の取得に用いた偏光照明光の偏光方向が示される場合、情報圧縮部は、偏光照明光の偏光方向に基づいて基準画像情報と差分情報の生成を行う。
この技術の第２の側面は、
複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を情報圧縮部で生成すること
を含む画像処理方法にある。
この技術の第３の側面は、
偏光画像の圧縮処理をコンピュータで実行させるプログラムであって、
複数偏光方向の偏光画素を有する前記偏光画像を取得する手順と、
前記偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する手順と
を前記コンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術の第４の側面は、
情報圧縮部によって、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行うことにより生成された圧縮画像情報の復号処理を行い、前記偏光画像を生成する情報復号部
を備える画像処理装置にある。
偏光画像の取得について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光画像処理システムの第１の構成を例示した図である。 偏光撮像部の構成を例示した図である。 イメージセンサの偏光フィルタとカラーフィルタを例示した図である。 第１の構成における情報圧縮部の第１の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第１の動作を説明するための図である。 第１の構成における情報復号部の第１の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第２の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第２の動作を説明するための図である。 第１の構成における情報復号部の第２の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第３の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第３の動作を説明するための図である。 第１の構成における情報復号部の第３の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第４の動作を例示したフローチャートである。 第１の構成における情報復号部の第４の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第５の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第５の動作を説明するための図である。 第１の構成における情報復号部の第５の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第６の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第６の動作を説明するための図である。 第１の構成における情報復号部の第６の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第７の動作を例示したフローチャートである。 第１の構成における情報復号部の第７の動作を例示したすフローチャートである。 偏光画像処理システムの第２の構成を例示した図である。 消光比を説明するための図である。 透過軸透過率を説明するための図である。 第２の構成における情報圧縮部の第２の動作を例示したフローチャートである。 第２の構成における情報圧縮部の第２の動作を説明するための図である。 第２の構成における情報復号部の動作を例示したフローチャートである。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．偏光画像の取得について
２．偏光画像処理システムの第１の構成
３．第１の構成における圧縮処理と復号処理について
３－１．第１の構成における情報圧縮部と情報復号部の第１の動作
３－２．第１の構成における情報圧縮部と情報復号部の第２の動作
３－３．第１の構成における情報圧縮部と情報復号部の第３の動作
３－４．第１の構成における情報圧縮部と情報復号部の第４の動作
３－５．第１の構成における情報圧縮部と情報復号部の第５の動作
３－６．第１の構成における情報圧縮部と情報復号部の第６の動作
３－７．第１の構成における情報圧縮部と情報復号部の第７の動作
４．偏光画像処理システムの第２の構成
５．第２の構成における圧縮処理と復号処理について
５－１．第２の構成における情報圧縮部の第１の動作
５－２．第２の構成における情報圧縮部の第２の動作
６．圧縮処理の他の動作
７．応用例
＜１．偏光画像の取得について＞
図１は、偏光画像の取得について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光角との関係を例示している。
Figure 0007276346000001
式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示す偏光モデル式に基づいて、所望の方位角φの輝度を推定できる。
また、偏光方向が０度であるときの輝度値を「Ｉ0」、偏光方向が４５度であるときの輝度値を「Ｉ45」、偏光方向が９０度であるときの輝度値を「Ｉ90」、偏光方向が１３５度であるときの輝度値を「Ｉ135」とすると、平均輝度値Ｉmeanと各偏光方向の輝度値は式（２）の関係が成り立つ。
Figure 0007276346000002
＜２．偏光画像処理システムの第１の構成＞
図３は、本技術の画像処理装置を用いた偏光画像処理システムの第１の構成を例示している。偏光画像処理システム１０は、偏光撮像部２０、情報圧縮部４０を有している。また、偏光画像処理システム１０では、情報復号部７０と偏光情報利用部８０を設けてもよい。偏光画像処理システム１０では、情報圧縮部４０で生成された偏光圧縮情報を記録媒体５０あるいは伝送路６０を介して、情報復号部７０へ供給する。
偏光撮像部２０は、偏光方向が異なる複数の偏光画像を取得する。図４は、偏光撮像部の構成を例示している。偏光撮像部２０は、イメージセンサ２０１の入射光面には、複数の偏光方向の画素構成とされた偏光フィルタ２０２が配置されており、イメージセンサ２０１は偏光画像を取得する。また、イメージセンサ２０１の入射光面には、偏光フィルタ２０２と色成分毎の画素構成とされたカラーフィルタ２０３が配置されており、イメージセンサ２０１でカラー偏光画像を取得しても良い。
図５は、イメージセンサの偏光フィルタとカラーフィルタを例示している。図５の（ａ），（ｂ）は偏光フィルタの偏光パターンを例示している。偏光フィルタは、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。図５の（ａ）は、１画素を偏光成分単位として、例えば式（１）に示す偏光モデル式へのフィッティングを行うことができるように複数偏光方向（例えば０度，４５度，９０度，１３５度の４方向）の画素を設けた場合を例示している。また、図５の（ｂ）は、２×２画素単位を偏光成分単位とした場合を例示している。なお、偏光フィルタの偏光パターンは、図５の（ａ）や図５の（ｂ）に示す配置に限らず、偏光成分単位に無偏光の画素を設けてもよい。
図５の（ｃ）～（ｇ）はカラーフィルタと偏光フィルタの組み合わせを例示している。図５の（ｃ）は、図５の（ａ）に示す偏光フィルタと、２×２画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いた場合を例示している。また、図５の（ｄ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いた場合を例示している。図５の（ｅ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いて、２×２画素の画素領域が同色で４つの偏光方向の画素を含む場合を例示している。図５の（ｅ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いて、２×２画素の画素領域が同色で４つの偏光方向の画素を含む場合を例示している。図５の（ｆ）は、２×２画素単位を偏光成分単位として、水平方向の偏光成分単位の偏光方向が９０度の角度差を有しており、垂直方向の偏光成分単位の偏光方向が４５度の角度差で水平方向に１画素分の位置差を有している。図５の（ｇ）は、２×２画素単位を偏光成分単位として、垂直方向の偏光成分単位の偏光方向が９０度の角度差を有しており、水平方向の偏光成分単位の偏光方向が４５度の角度差で垂直方向に１画素分の位置差を有している。
図５の（ｈ）（ｉ）は、白色画素（Ｗ画素）が設けられている場合を例示している。図５の（ｈ）は偏光成分単位が２×２画素単位であり、１つの偏光成分単位は赤と青と緑と白の画素で構成した場合を例示している。また、図５の（ｉ）は偏光成分単位が２×２画素単位であり、１つの偏光成分単位は赤と青と緑と白の画素であり、偏光成分単位が隣接する２×２画素の領域が４つの偏光方向の画素で構成される場合を例示している。また、図示せずも、偏光成分単位に無偏光の画素を含む偏光フィルタとカラーフィルタを組み合わせて用いてもよい。
式（１）に示す偏光モデル式へのフィッティングは、３偏光方向以上の偏光画像、例えば異なる４つの偏光方向の偏光画像を用いる場合に限らず、無偏光画像と２偏光方向の偏光画像を用いてもよい。偏光画素の感度は理想的には無偏光である通常画素の（１／２）倍であり、偏光画素の平均輝度値は通常画素の輝度値Ｉnpに対して１／２倍となる。また、偏光方向を４５度間隔で４方向とした場合、例えば図２に示すように偏光方向を０度，４５度，９０度，１３５度とすると式（６）が成り立つ。ここで、偏光撮像部２０の画素が通常画素と偏光方向が０度の偏光画素と４５度の偏光画素で構成されている場合、偏光方向が９０度であるときの輝度値Ｉ90と偏光方向が１３５度であるときの輝度値Ｉ135は、式（７）（８）に基づいて算出できる。
（Ｉ45＋Ｉ135）／２＝（Ｉ0＋Ｉ90）／２＝Ｉnp／２ ・・・（６）
Ｉ90＝Ｉnp－Ｉ0 ・・・（７）
Ｉ135＝Ｉnp－Ｉ45 ・・・（８）
情報圧縮部４０は、偏光撮像部２０で取得された複数偏光方向の画素を有する偏光画像の圧縮処理を行う。情報圧縮部４０は、取得された偏光画像における選択した少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い圧縮画像情報を生成する。情報圧縮部４０は、生成した圧縮画像情報を記録媒体５０あるいは伝送路６０を介して情報復号部７０へ出力する。なお、情報圧縮部４０の動作の詳細については後述する。
情報復号部７０は、情報圧縮部４０の圧縮処理に対応した復号処理を行い、記録媒体５０あるいは伝送路６０を介して取得した圧縮画像情報から圧縮処理前の偏光画像を生成する。情報復号部７０は、生成した偏光画像を偏光情報利用部８０へ出力する。
偏光情報利用部８０は、情報復号部７０で生成された偏光画像に基づき被写体の法線方向や反射成分の検出等を行い、高精度のデプスマップの生成や被写体認識処理、鏡面反射成分の除去、ＶＲ（Virtual Reality）環境の生成等を行う。
＜３．第１の構成における圧縮処理と復号処理について＞
次に情報圧縮部で行われる圧縮処理と情報復号部で行われる復号処理について説明する。情報圧縮部は、偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、偏光画像における基準偏光画素とは異なり選択した偏光画素毎の偏光画像情報と基準画像情報との差分を示す差分情報の生成を行い、偏光画素毎に生成された差分情報の情報量を削減して、基準画像情報と情報量が削減された差分情報を含む圧縮画像情報を生成する。また、情報復号部は、情報圧縮部で生成された圧縮画像情報の基準画像情報と差分情報に基づいて情報圧縮部の圧縮処理に対応する復号処理を行い偏光画像の画素毎の輝度値を生成する。なお、情報圧縮部４０と情報復号部７０で行われる処理は、可逆圧縮あるいは不可逆圧縮のいずれであってもよい。
＜３－１．第１の構成における情報圧縮部と情報復号部の第１の動作＞
情報圧縮部と情報復号部の第１の動作では、色毎および偏光方向毎の基準偏光画素の輝度値を示す情報を含む基準画像情報と、基準偏光画素の輝度値と同色かつ同偏光方向であって基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む差分情報を生成して、偏光画素毎に生成された差分情報の情報量を削減する。
図６は、第１の構成における情報圧縮部の第１の動作を例示したフローチャートである。ステップＳＴ１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２に進む。
ステップＳＴ２で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。例えば情報圧縮部４０は、異なる色および異なる偏光方向毎に最初の画素を基準偏光画素として基準輝度値を設定する。また、その後の偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ３に進む。
ステップＳＴ３で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ４に進む。
ステップＳＴ４で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ２で設定した基準値を基準画像情報、ステップＳＴ３で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
図７は、第１の構成における情報圧縮部の第１の動作を説明するための図である。なお、図７の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図７の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
図７の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光画素Ｐ(1,0)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,0)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから、偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、偏光画素Ｐ(3,0)が１３５度の偏光方向の２番目の画素であることから、偏光画素Ｐ(3,0)の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について基準偏光画素の輝度値を基準輝度値として、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
次に、情報圧縮部４０は、偏光画素Ｐ(0,1)の偏光方向が４５度の最初の画素であることから、偏光画素Ｐ(0,1)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が９０度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
また、情報圧縮部４０は、偏光画素Ｐ(0,2)の偏光方向が０度の偏光画素であり、０度の偏光方向ついては基準輝度値が設定されていることから、偏光画素Ｐ(0,2)の輝度値と同偏光の基準輝度値との差分値を算出する。情報圧縮部４０は、以下同様に差分値を算出して、４つの偏光方向毎の基準偏光画素の輝度値である基準輝度値がｍビットである場合、他の偏光画素について算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
また、図７の（ｂ）の場合、図７の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として輝度値を基準輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、４つの偏光方向毎の基準偏光画素の輝度値である基準輝度値がｍビットである場合、他の偏光画素について算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。
図８は、第１の構成における情報復号部の第１の動作を例示したフローチャートである。ステップＳＴ１１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１２に進む。
ステップＳＴ１２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。
このような、第１の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。
＜３－２．第１の構成における情報圧縮部と情報復号部の第２の動作＞
情報圧縮部の第２の動作では、上述の式（２）に示す偏光の性質に基づいた圧縮処理を行う。すなわち、情報圧縮部は、平均輝度値と平均輝度値の算出が可能な２つの偏光方向の組み合わせ（例えば０度と９０度の組、および４５度と１３５度の組）において、予め指定された偏光方向の偏光画素（指定偏光画素）の偏光画素、例えば偏光方向が０度と１３５度である指定偏光画素の輝度値と平均輝度値を用いれば、他方の偏光方向の偏光画素（従属偏光画素）である偏光方向が４５度と９０度の従属偏光画素の輝度値を算出できる。
したがって、情報圧縮部の第２の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含むようにする。
図９は、第１の構成における情報圧縮部の第２の動作を例示したフローチャートである。ステップＳＴ２１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２２に進む。
ステップＳＴ２２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ２３に進む。
ステップＳＴ２３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。また、情報圧縮部４０は、指定偏光画素を基準偏光画素として色毎に設定して、色毎の基準偏光画素の輝度値を基準輝度値に設定する。さらに、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準輝度値との差分値、および基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ２４に進む。
ステップＳＴ２４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値（基準平均輝度値と基準輝度値）のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ２５に進む。
ステップＳＴ２５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ２３で設定した基準値を基準画像情報、ステップＳＴ２４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
図１０は、第１の構成における情報圧縮部の第２の動作を説明するための図である。なお、図１０の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図１０の（ｂ）（ｃ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
図１０の（ａ）において、情報圧縮部４０は、０度と９０度の組、および４５度と１３５度の組において、０度と１３５度の偏光画素を指定偏光画素として、最初の指定偏光画素である偏光画素Ｐ(0,0),Ｐ(1,0)の輝度値を基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、偏光画素Ｐ(3,0)が１３５度の偏光方向の２番目の画素であることから偏光画素Ｐ(3,0)の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について、基準偏光画素と異なる指定偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
次に、２ライン目の画素を用いると、画素ブロックＢ(0,0)を構成する偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(0,1)，Ｐ(1,1)の輝度値を用いて最初の平均輝度値を算出できることから、偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(0,1)，Ｐ(1,1)を基準偏光画素として、算出した平均輝度値を基準平均輝度値とする。また、画素ブロックＢ(1,0)を構成する偏光画素Ｐ(2,0)，Ｐ(3,0)，Ｐ(2,1)，Ｐ(3,1)の輝度値を用いて平均輝度値を算出できることから、Ｐ(2,0)，Ｐ(3,0)，Ｐ(2,1)，Ｐ(3,1)の輝度値を用いて算出した平均輝度値と基準平均輝度値との差分値を算出する。なお、２ライン目の偏光画素Ｐ(0,1)，Ｐ(1,1)，Ｐ(2,1)，Ｐ(3,1)は従属偏光画素であることから、情報圧縮部４０は、差分値の算出を行わない。
以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは偏光画素であって異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および指定偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。さらに、情報圧縮部４０は、基準平均輝度値と指定偏光画素の基準輝度値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
また、図１０の（ｂ）の場合、図１０の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(0,0)における０度の偏光画素と１３５度の偏光画素の輝度値をそれぞれ基準輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、平均輝度値を算出して基準平均輝度値との差分値を算出する。さらに、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)における偏光方向が０度と１３５度の偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について、平均輝度値と偏光方向が０度と１３５度の偏光画素と輝度値に対する基準輝度値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、基準平均輝度値と指定偏光画素の基準輝度値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
また、図１０の（ｃ）の場合、情報圧縮部４０は、偏光画素Ｐ(0,0)，Ｐ(2,0)，Ｐ(0,2)，Ｐ(2,2)の輝度値を用いて緑色偏光画素の最初の平均輝度値を算出できることから、偏光画素Ｐ(0,0)，Ｐ(2,0)，Ｐ(0,2)，Ｐ(2,2)を基準偏光画素として、算出した平均輝度値を基準平均輝度値とする。また、偏光方向が０度である偏光画素Ｐ(0,0)と偏光方向が１３５度である偏光画素Ｐ(2,0)を基準偏光画素として輝度値を基準とする。その後、水平方向および垂直方向に１画素離れている同色かつ偏光方向が異なる４つの偏光画素の画素値から算出された平均輝度値と基準平均輝度値との差分値および偏光方向が０度と１３５度である指定偏光画素の輝度値と対応する偏光方向の基準輝度値との差分値を算出する。また、赤色偏光画素および青色偏光画素についても同様にして、平均輝度値と偏光方向が０度と１３５度の指定偏光画素と輝度値に対する基準値（基準平均輝度値と基準輝度値）の設定と差分値の算出を行う。さらに、情報圧縮部４０は、平均輝度値の基準値と指定偏光画素の基準値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
また、図１０の（ｄ）に示すように、４つの偏光方向の偏光画素（例えば偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(2,0)，Ｐ(3,0)）を画素ブロックとして、画素ブロックをライン方向に並べた画素配置とすれば、ライン毎に平均輝度値の差分値および視点偏光画素の差分値を算出できるようになる。
図１１は、第１の構成における情報復号部の第２の動作を例示したフローチャートである。ステップＳＴ３１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ３２に進む。
ステップＳＴ３２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準値（基準偏光輝度値と基準輝度値）を加算して、平均輝度値と指定偏光画素の輝度値を復号してステップＳＴ３３に進む。
ステップＳＴ３３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ３２で得られた平均輝度値と指定偏光画素の輝度値から従属偏光画素の輝度値を算出する。
このような、第２の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
＜３－３．第１の構成における情報圧縮部と情報復号部の第３の動作＞
情報圧縮部の第３の動作では、偏光画像において平均輝度値は色毎に異なるが、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、この偏光の性質に基づいた圧縮処理を行う。
しあがって、情報圧縮部の第３の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含むようにする。
図１２は、第１の構成における情報圧縮部の第３の動作を例示したフローチャートである。ステップＳＴ４１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ４２に進む。
ステップＳＴ４２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ４３に進む。
ステップＳＴ４３で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ４４に進む。
ステップＳＴ４４で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準平均輝度値との差分値を算出する。また、情報圧縮部４０は、基準平均輝度値との差分値が算出された平均輝度値の算出に用いた複数偏光方向の画素ブロックに隣接する画素ブロックの比率を用いて、平均輝度値の算出に用いた複数偏光方向の画素ブロックの比率と隣接する画素ブロックの比率の差分値を偏光方向毎に算出してステップＳＴ４５に進む。
ステップＳＴ４５で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ４６に進む。
ステップＳＴ４６で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ４４で設定した基準値を基準画像情報、ステップＳＴ４５で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
図１３は、第１の構成における情報圧縮部の第３の動作を説明するための図である。例えば、情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値と基準平均輝度値との差分値を算出する。
また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値を「ＩＢ45」，「ＩＢ90」，「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ45＋ＩＢ90＋ＩＢ135）」となる。また、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値の比率ｒＢ45，ｒＢ90，ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値の比率ｒＧ0，ｒＧ45，ｒＧ90，ｒＧ135を算出して、青色画素ブロックＢＢ(0,0)の比率との差分値を偏光方向毎に算出する。
以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは異なる偏光画素であって異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および４つの偏光方向の偏光画素の輝度値の比率と隣接する画素ブロックの比率との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
情報圧縮部４０は、基準平均輝度値がｍビットである場合、算出した平均輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率の差分値は小さく、比率の差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
なお、図１３では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
図１４は、第１の構成における情報復号部の第３の動作を例示したフローチャートである。ステップＳＴ５１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ５２に進む。
ステップＳＴ５２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された平均輝度値の差分値と基準平均輝度値を加算して、平均輝度値を算出する。また、情報復号部７０は、差分情報で示された比率の差分値と隣接偏光ブロックの比率を偏光方向毎に加算して、平均輝度値を算出した画素ブロックにおける偏光画素の輝度値の比率を復号してステップＳＴ５３に進む。
ステップＳＴ５３で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ５２で得られた平均輝度値と偏光方向毎の輝度値の比率から平均輝度値を算出した画素ブロックにおける偏光方向毎の偏光画素の輝度値を算出する。
このような、第３の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。
＜３－４．第１の構成における情報圧縮部と情報復号部の第４の動作＞
上述の情報圧縮部の第３の動作では、偏光方向毎の輝度値の比率と基準値との差分値を算出したが、平均輝度値と隣接する画素ブロックの輝度値の比率に基づき予測値を算出して、予測値との差分値を差分情報として用いることもできる。
したがって、情報圧縮部の第４の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにして、予測値は、基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
図１５は、第１の構成における情報圧縮部の第４の動作を例示したフローチャートである。ステップＳＴ６１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ６２に進む。
ステップＳＴ６２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ６３に進む。
ステップＳＴ６３で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ６４に進む。
ステップＳＴ６４で情報圧縮部は予測値を算出する。情報圧縮部４０は、画素ブロックの平均輝度値と、隣接する画素ブロックの輝度値の比率に基づき、偏光方向毎に予測値を算出してステップＳＴ６５に進む。
ステップＳＴ６５で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準平均輝度値との差分値を算出する。また、情報圧縮部４０は、基準平均輝度値との差分値が算出された平均輝度値と、この平均値の算出に用いた複数偏光方向の画素ブロックに隣接する画素ブロックの比率を用いて、予測値を算出する。さらに、情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の画素ブロックの輝度値と予測値との差分値を偏光方向毎に算出してステップＳＴ６６に進む。
ステップＳＴ６６で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準平均輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ６６に進む。
ステップＳＴ６７で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ６５で設定した基準値を基準画像情報、ステップＳＴ６６で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
次に、情報圧縮部の第４の動作を、図１３を用いて説明する。例えば、情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値と基準平均輝度値との差分値を算出する。
また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出とする。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値を「ＩＢ45」，「ＩＢ90」，「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ45＋ＩＢ90＋ＩＢ135）」となる。また、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値の比率ｒＢ45，ｒＢ90，ｒＢ135を算出して、比率ｒＢ0，ｒＢ45，ｒＢ90，ｒＢ135を予測値の算出に用いる比率とする。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値ＩＧmeanと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ0を用いて、偏光方向が０度の予測値ＩＧｄ0を算出する。この場合、偏光方向が０度である偏光画素の予測値ＩＧｄ0は「ＩＧｄ0＝４×ＩＧmean×ｒＢ0」となる。同様に、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値ＩＧmeanと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ45，ｒＢ90，ｒＢ135を用いて、偏光方向毎の予測値ＩＧｄ45，ＩＧｄ90，ＩＧｄ135を算出する。
さらに、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値と同偏光の予測値との差分値を偏光方向毎に算出する。
以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および４つの偏光方向の偏光画素の輝度値と同偏光の予測値との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
情報圧縮部４０は、基準平均輝度値がｍビットである場合、算出した平均輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率を用いて算出した予測値と輝度値との差分値は小さく、予測値と輝度値との差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
なお、図１３では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
図１６は、第１の構成における情報復号部の第４の動作を例示したフローチャートである。ステップＳＴ７１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ７２に進む。
ステップＳＴ７２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準値（基準平均輝度値）を加算して平均輝度値を復号してステップＳＴ７３に進む。
ステップＳＴ７３で情報復号部は予測値を算出する。情報復号部７０は、ステップＳＴ７２で得られた平均輝度値と隣接する画素ブロックの輝度値の比率から予測値を偏光方向毎に算出してステップＳＴ７４進む。
ステップＳＴ７４で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ５２で得られた差分値とステップＳＴ７３で算出された予測値を偏光方向毎に加算して、平均輝度を算出した画素ブロックにおける偏光方向毎の偏光画素の輝度値を算出する。
このような、第４の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。
＜３－５．第１の構成における情報圧縮部と情報復号部の第５の動作＞
次に、第５の動作では、偏光撮像部２０で取得された偏光画像に偏光画素と通常画素が含まれる場合について説明する。
通常画素の輝度値は、平均輝度値の２倍の値を示す。このため、通常画素と指定偏光画素の輝度値を用いて基準値の設定と差分値の算出を行い、従属偏光画素の輝度値は、復号時に通常画素と指定偏光画素の輝度値から算出する。
したがって、情報圧縮部の第５の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含むようにする。
図１７は、第１の構成における情報圧縮部の第５の動作を例示したフローチャートである。ステップＳＴ８１で情報圧縮部は偏光画素と通常画素からなる偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ８２に進む。
ステップＳＴ８２で情報圧縮部は偏光画素と通常画素に対する基準値の設定と差分値の算出を行う。情報圧縮部４０は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、通常画素の色毎に基準通常画素を設定して、基準通常画素の輝度値を無偏光基準輝度値に設定する。情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。例えば情報圧縮部４０は、異なる色および異なる偏光方向毎に最初の画素を基準偏光画素として基準輝度値を設定する。また、その後の偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。さらに、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出する。例えば情報圧縮部４０は、色毎に最初の通常画素を基準通常画素として無偏光基準輝度値を設定する。また、その後の通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出してステップＳＴ８３に進む。
ステップＳＴ８３で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値（基準輝度値と無偏光基準輝度値）のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ８４に進む。
ステップＳＴ８４で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ８２で設定した基準値を基準画像情報、ステップＳＴ８３で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
図１８は、第１の構成における情報圧縮部の第５の動作を説明するための図である。なお、図１８の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図１８の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。この偏光画像では、偏光画素が上述の指定偏光画素、例えば偏光方向が０度と１３５度である偏光画素である。なお、従属偏光画素である偏光方向が４５度と９０度の偏光画素の輝度値は、後述するように復号処理で算出可能である。
図１８の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、通常画素Ｐ(1,0)が最初の通常画素であることから、通常画素Ｐ(1,0)を基準通常画素として輝度値を無偏光基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから、偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素Ｐ(3,0)が２番目の通常画素であることから、通常画素Ｐ(3,0)の輝度値と基準通常画素の無偏光基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について基準偏光画素と基準通常画素の輝度値を基準値（基準輝度値と無偏光基準輝度値）として設定して、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値、および基準通常画素とは異なる通常画素の輝度値と無偏光基準輝度値との差分値を算出する。
次に、情報圧縮部４０は、通常画素Ｐ(0,1)の輝度値と基準通常画素の輝度値との差分値を算出する。なお、図１８の（ａ）では２×２画素が画素配列の基準単位とされていることから、通常画素Ｐ(0,1)を基準通常画素として輝度値を無偏光基準輝度値としてもよい。情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素と通常画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値および通常画素の輝度値と無偏光基準輝度値との差分値を算出する。なお、通常画素Ｐ(0,1)を基準通常画素とした場合、通常画素Ｐ(0,1)の輝度値を無偏光基準輝度値として用いて差分値を算出してもよい。
以下同様に、情報圧縮部４０は差分値を算出して、２つの偏光方向毎の基準偏光画素の輝度値および基準通常画素の輝度値を示す基準値（基準輝度値と無偏光基準輝度値）がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
また、図１８の（ｂ）の場合、図１８の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の緑色画素ブロックＢＧ(0,0)の２つの偏光画素（例えば偏光方向が０度と１３５度の偏光画素）を基準偏光画素として輝度値を基準輝度値に設定する。また、緑色画素ブロックＢＧ(0,0)の２つの通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値と、通常画素の輝度値とブロック内の同位置の無偏光基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、基準偏光画素と基準通常画素の輝度値である基準値（基準輝度値と無偏光基準輝度値）がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。
図１９は、第１の構成における情報復号部の第５の動作を例示したフローチャートである。ステップＳＴ９１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ９２に進む。
ステップＳＴ９２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された偏光画素の差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。また、差分情報で示された通常画素の差分値と無偏光基準輝度値を加算して、通常画素の輝度値を復号してステップＳＴ９３に進む。
ステップＳＴ９３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ９２で得られた通常画素と偏光画素の輝度値に基づき従属偏光画素の輝度値を算出する。すなわち、上述の式（６）の関係に基づいて、通常画素の輝度値Ｉnpと偏光方向が０度の偏光画素の輝度値Ｉ0と偏光方向が１３５度の偏光画素の輝度値Ｉ135から偏光方向が４５度と９０度の偏光画素の輝度値Ｉ45，Ｉ90を算出する。
このような、第５の動作によれば、偏光画像に通常画素が含まれていても、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。
＜３－６．第１の構成における情報圧縮部と情報復号部の第６の動作＞
情報圧縮部の第６の動作では、偏光撮像部２０で取得された偏光画像に偏光画素と通常画素が含まれており、偏光画像において通常画素の輝度値は色毎に異なるが、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の性質に基づいた圧縮処理を行う。
すなわち、情報圧縮部の第６の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値の比率と隣接する画素ブロックにおける指定偏光画素の輝度値の比率との差を示す情報を含むようにする。
図２０は、第１の構成における情報圧縮部の第６の動作を例示したフローチャートである。ステップＳＴ１０１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１０２に進む。
ステップＳＴ１０２で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、偏光方向毎の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ１０３に進む。
ステップＳＴ１０３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、通常画素を基準通常画素として色毎に設定して、基準通常画素の輝度値を基準輝度値として設定する。その後、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素と複数偏光方向の偏光画素からなる画素ブロックに隣接する画素ブロックの比率を用いて、画素ブロックの比率と隣接する画素ブロックの比率の差分値を偏光方向毎に算出してステップＳＴ１０４に進む。
ステップＳＴ１０４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１０５に進む。
ステップＳＴ１０５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１０３で設定した基準値を基準画像情報、ステップＳＴ１０４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
図２１は、第１の構成における情報圧縮部の第６の動作を説明するための図である。例えば、情報圧縮部４０は、偏光方向が異なる２つの偏光方向の指定偏光画素と２つの通常画素で構成された２×２画素の緑色画素ブロックＢＧ(0,0)において、通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値を算出する。
また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が１３５度である青色偏光画素の輝度値を「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ135）」となる。また、偏光方向が１３５度である青色偏光画素の輝度値の比率ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値の比率ｒＧ0，ｒＧ135を算出して、青色画素ブロックＢＢ(0,0)の比率との差分値を偏光方向毎に算出する。
以下同様の処理を行い、情報圧縮部４０は、基準通常画素とは異なる通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値、および２つの偏光方向の偏光画素の輝度値の比率と隣接する画素ブロックの比率との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
情報圧縮部４０は、無偏光基準輝度値がｍビットである場合、算出した輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率の差分値は小さく、比率の差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
なお、図２１では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
図２２は、第１の構成における情報復号部の第６の動作を例示したフローチャートである。ステップＳＴ１１１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１１２に進む。
ステップＳＴ１１２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された通常画素の差分値と、この通常画素の差分値とブロック内で等しい位置の無偏光基準輝度値を加算して通常画素の輝度値とする。また、情報復号部７０は、差分情報で示された比率の差分値と隣接偏光ブロックの比率を偏光方向毎に加算して、輝度値が算出された通常画素を含む画素ブロックにおける偏光画素の輝度値の比率を復号してステップＳＴ１１３に進む。
ステップＳＴ１１３で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ１１２で得られた通常画素の輝度値と偏光方向毎の輝度値の比率から２つの偏光方向の指定偏光画素の輝度値を算出する。さらに、情報復号部７０は通常画素の輝度値と指定偏光画素の輝度値に基づいて従属偏光画素の輝度値を算出する。
このような、第６の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。また、偏光画像に従属偏光画素の輝度値が含まれていなくとも、圧縮画像情報の復号処理を行えば、従属偏光画素の輝度値を算出できる。
＜３－７．第１の構成における情報圧縮部と情報復号部の第７の動作＞
上述の情報圧縮部の第６の動作では、輝度値と比率について差分値を算出したが、第７の動作では、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に予測値を算出して、予測値との差分値を差分情報として用いる。
すなわち、情報圧縮部の第７の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにして、予測値は、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
図２３は、第１の構成における情報圧縮部の第７の動作を例示したフローチャートである。ステップＳＴ１２１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１２２に進む。
ステップＳＴ１２２で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、偏光方向毎の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ１２３に進む。
ステップＳＴ１２３で情報圧縮部は予測値を算出する。情報圧縮部４０は、画素ブロックの通常画素の輝度値と、隣接する画素ブロックの輝度値の比率に基づき、偏光方向毎に予測値を算出してステップＳＴ１２４に進む。
ステップＳＴ１２４で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、基準通常画素を色毎に設定して基準通常画素の輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値とブロック内で同じ位置の無偏光基準輝度値との差分値を算出する。また、情報圧縮部４０は、無偏光基準輝度値との差分値が算出された通常画素の輝度値と、この通常画素を含む画素ブロックに隣接する画素ブロックの比率を用いて、予測値を算出する。さらに、情報圧縮部４０は、画素ブロック内の偏光画素の輝度値と予測値との差分値を偏光方向毎に算出してステップＳＴ１２５に進む。
ステップＳＴ１２５で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、無偏光基準輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１２６に進む。
ステップＳＴ１２６で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１２４で設定した基準値を基準画像情報、ステップＳＴ１２５で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
次に、情報圧縮部の第７の動作を、図２１を用いて説明する。例えば、情報圧縮部４０は、偏光方向が異なる２つの偏光方向の指定偏光画素と２つの通常画素で構成された２×２画素の緑色画素ブロックＢＧ(0,0)において、通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値を算出する。
また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が１３５度である青色偏光画素の輝度値を「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ135）」となる。また、偏光方向が１３５度である青色偏光画素の輝度値の比率ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値ＩＧnpと青色画素ブロックＢＢ(0,0)の比率ｒＢ0を用いて、偏光方向が０度の予測値ＩＧｄ0を算出する。この場合、偏光方向が０度である偏光画素の予測値ＩＧｄ0は「ＩＧｄ0＝ＩＧnp×ｒＢ0」となる。同様に、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値ＩＧnpと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ135を用いて、偏光方向が１３５度の予測値ＩＧｄ135を算出する。情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)における偏光方向が０度の偏光画素の輝度値と同偏光の予測値との差分値と、偏光方向が１３５度の偏光画素の輝度値と同偏光の予測値との差分値を算出する。
以下同様の処理を行い、情報圧縮部４０は、基準通常画素とは異なる通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値、および２つの偏光方向の偏光画素の輝度値と予測値との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
情報圧縮部４０は、無偏光基準輝度値がｍビットである場合、算出した輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率を用いて算出した予測値と輝度値との差分値は小さく、予測値と輝度値との差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
なお、図２１では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
図２４は、第１の構成における情報復号部の第７の動作を例示したフローチャートである。ステップＳＴ１３１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１３２に進む。
ステップＳＴ１３２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された通常画素の差分値と、この通常画素の差分値とブロック内で等しい位置の無偏光基準輝度値を加算して通常画素の輝度値とする。また、予測値に対する差分値を取得してステップＳＴ１３３に進む。
ステップＳＴ１３３で情報復号部は予測値を算出する。情報復号部７０は、ステップＳＴ１３２で得られた通常画素の輝度被と隣接する画素ブロックにおける偏光画素の輝度値の比率から予測値を偏光方向毎に算出してステップＳＴ１３４進む。
ステップＳＴ１３４で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ１３２で得られた予測値との差分値とステップＳＴ１３３で算出された予測値を偏光方向毎に加算して、画素ブロックにおける２つの偏光方向の指定偏光画素の輝度値を算出する。さらに、情報復号部７０は通常画素の輝度値と指定偏光画素の輝度値に基づいて従属偏光画素の輝度値を算出する。
このような、第７の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。また、偏光画像に従属偏光画素の輝度値が含まれていなくとも、圧縮画像情報の復号処理を行えば、従属偏光画素の輝度値を算出できる。
＜４．偏光画像処理システムの第２の構成＞
図２５は、本技術の画像処理装置を用いた偏光画像処理システムの第２の構成を例示している。偏光画像処理システム１０ａは、偏光撮像部２０、特性情報記憶部３０、情報圧縮部４５を有している。また、偏光画像処理システム１０ａでは、情報復号部７５と偏光情報利用部８０を設けてもよい。偏光画像処理システム１０ａでは、情報圧縮部４５で生成された偏光圧縮情報を記録媒体５０あるいは伝送路６０を介して、情報復号部７５へ供給する。
偏光撮像部２０は、偏光画像処理システムの第１の構成と同様に、偏光方向が異なる複数の偏光画像を取得して、情報圧縮部４５へ出力する。
図２５に示す特性情報記憶部３０は、偏光画像の取得に関する特性情報を記憶している。特性情報は、例えば偏光撮像部２０の偏光分解性能情報を含む。偏光分解性能情報は、例えば消光比や透過軸透過率に関する情報である。また、特性情報は、偏光撮像部２０の画素配置情報、すなわち各色や偏光方向がどのようなパターンで配置されているかを示す情報を含むようにしてもよい。また、特性情報には、偏光画像の取得に用いた偏光照明光の偏光方向を示す偏光照明情報を含むようにしてもよい。
図２６は、消光比を説明するための図である。イメージセンサ２０１に対して偏光フィルタ２０２が設けられており、図２６の（ａ）に示すように偏光フィルタ２０２で透過する光の偏光方向Ｆaに平行な完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉpとする。また、図２６の（ｂ）に示すように、偏光フィルタ２０２で透過する光の偏光方向Ｆaに垂直な完全直線偏光の光Ｌvを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉvとする。この輝度値Ｉpと輝度値Ｉvの比率「Ｉp:Ｉv」を消光比という。消光比は、理想的には「Ｉp:Ｉv＝１：０」であるが実際のデバイスにおいては多少劣化が発生する。したがって消光比を「Ｅr：１」で表すようにして、値Ｅrを消光比に関する情報として特性情報に含める。なお、一般的な偏光板においてはＥｒ＝１００～１００００である。
図２７は、透過軸透過率を説明するための図である。イメージセンサ２０１に対して偏光フィルタ２０２が設けられており、図２７の（ａ）に示すように偏光フィルタ２０２で透過する光の偏光方向Ｆaに平行な完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉsとする。また、偏光フィルタ２０２が設けられていないイメージセンサ２０１に対して、図２７の（ｂ）に示すように上述の完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉqとする。この輝度値Ｉsと輝度値Ｉqの比率「Ｅt＝Ｉs／Ｉq」を透過軸透過率という。透過軸透過率は偏光素子を設けたことでどれくらい感度が落ちたかを表す指標であり、透過軸透過率Ｅtを特性情報に含める。なお、透過軸透過率は理想的には「Ｅt＝１」である。
情報圧縮部４５は、偏光撮像部２０で取得された偏光画像の圧縮処理を行う。情報圧縮部４５は、特性情報記憶部３０に記憶されている特性情報を用いて偏光画像の圧縮処理を行い、圧縮画像情報を生成する。情報圧縮部４５は、生成した圧縮画像情報を記録媒体５０あるいは伝送路６０を介して情報復号部７５へ出力する。
情報復号部７５は、情報圧縮部４５の圧縮処理に対応した復号処理を行い、記録媒体５０あるいは伝送路６０を介して取得した圧縮画像情報から圧縮処理前の偏光画像を生成する。情報復号部７５は、生成した偏光画像を偏光情報利用部８０へ出力する。
偏光情報利用部８０は、情報復号部７５で生成された偏光画像に基づき被写体の法線方向や反射成分の検出等を行い、高精度のデプスマップの生成や被写体認識処理、鏡面反射成分の除去、ＶＲ（Virtual Reality）環境の生成等を行う。
＜５．第２の構成における圧縮処理と復号処理について＞
次に情報圧縮部４５で行われる圧縮処理と情報復号部で行われる復号処理について説明する。情報圧縮部４５では、特性情報記憶部３０に記憶されて特性情報を用いて圧縮処理を行う。また、情報復号部７５は、情報圧縮部４５で用いた圧縮処理に対応した復号処理を行う。なお、情報圧縮部４５と情報復号部７５で行われる処理は、可逆圧縮あるいは不可逆圧縮のいずれであってもよい。
＜５－１．第２の構成における情報圧縮部の第１の動作＞
情報圧縮部４５の第１の動作では、例えば消光比や透過軸透過率を用いて圧縮処理を行う。
情報圧縮部４５は、偏光撮像部２０から偏光画像と特性情報記憶部３０から消光比や透過軸透過率を取得して、消光比や透過軸透過率に基づき偏光画像の輝度値を補正する。さらに、情報圧縮部４５は、輝度値が補正された偏光画像を用いて上述の情報圧縮部４０と同様な処理を行い、圧縮画像情報を生成する。
ここで、観測輝度値を「Ｉv」、理想輝度値を「Ｉp」、消光比をＥr、透過軸透過率をＥtとする。偏光方向が０度の場合には式（９）が成立する。また、偏光方向が４５度，９０度，１３５度の場合には式（１０）（１１）（１２）が成立する。
Figure 0007276346000003
また、通常画素が設けられている場合、通常画素の観測輝度値Ｉnpvとすると偏光方向が０度，４５度である場合、式（１３）（１４）が成立して、観測輝度値Ｉnpvは式（１５）の関係となる。
Figure 0007276346000004
したがって、情報圧縮部４５は、特性情報記憶部３０に記憶されている消光比や透過軸透過率を用いて、偏光撮像部２０で取得された偏光画像の輝度値を理想輝度値に補正することができる。
このように、特性情報に基づいて偏光画像の補正を行えば、偏光撮像部２０の特性の違いによる影響を除去することが可能となり、精度の高い偏光画像の圧縮処理を行うことができるようになる。
＜５－２．第２の構成における情報圧縮部の第２の動作＞
次に、特性情報記憶部に照明の偏光情報が記憶されている場合について説明する。この場合、情報圧縮部４５は上述の情報圧縮部の第５の動作乃至第７の動作で示した偏光画素と通常画素を有する偏光画像を用いることが望ましい。なお、偏光照明照射は、内視鏡や工場用途など光源状態を自分で制御して体内や物体の検査などに用いられる。
完全直線偏光の偏光照明光を用いた場合、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値との関係は、透過軸透過率で示される。したがって、透過軸透過率に応じて偏光画素の輝度値を調整すれば、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値を同じような値にできる。したがって、隣接する偏光方向が偏光照明光に平行な偏光画素と通常画素とのいずれか一方の画素に関する基準値と差分値のみを圧縮画像情報に用いて、復号時には一方の画素に関する基準値と差分値を他方の画素に関する基準値と差分値として用いるようにすることで圧縮効率を向上させる。
図２８は、第２の構成における情報圧縮部の第２の動作を例示したフローチャートである。なお、説明を容易とするため、透過軸透過率は「Ｅｔ＝１」であり、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値は等しいとする。また、以下の説明では、偏光方向が偏光照明光に平行な偏光画素と通常画素のいずれか一方の画素として、偏光画素を用いた場合を示している。
ステップＳＴ１４１で情報圧縮部は特性情報を取得する。情報圧縮部４５は、特性情報記憶部３０から偏光照明情報を取得してステップＳＴ１４２に進む。
ステップＳＴ１４２で情報圧縮部は偏光画像を取得する。情報圧縮部４５は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１４３に進む。
ステップＳＴ１４３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４５は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ１４４に進む。
ステップＳＴ１４４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１４５に進む。
ステップＳＴ１４５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１４３で設定した基準値を基準画像情報、ステップＳＴ１４４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
図２９は、第２の構成における情報圧縮部の第２の動作を説明するための図である。なお、図２９の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図２９の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
図２９の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値が等しいことから、通常画素Ｐ(1,0)をスキップする。なお、図では、スキップする画素を「ＳＫ」で示している。
情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素Ｐ(3,0)をスキップする。以下同様に通常画素はスキップして、情報圧縮部４０は、１ライン目の画素について基準偏光画素の輝度値を基準輝度値として設定して、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
次に、情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
以下同様に、情報圧縮部４０は差分値を算出して、２つの偏光方向毎の基準偏光画素の輝度値がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。なお、上述の処理は、通常画素について基準値の設定と差分値の算出を行い、偏光方向が偏光照明光に平行な偏光画素をスキップしてもよく、圧縮画像情報には通常画素（または偏光方向が偏光照明光に平行な偏光画素）の輝度値に関する情報が含まれないことから情報量を効率よく削減できる。
また、図２９の（ｂ）の場合、図２９の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の緑色画素ブロックＢＧ(0,0)の２つの偏光画素（例えば偏光方向が０度と１３５度の偏光画素）を基準偏光画素として輝度値を基準輝度値に設定する。また、緑色画素ブロックＢＧ(0,0)の２つの通常画素を基準通常画素として輝度値を基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。また、緑色画素ブロック内の通常画素はスキップする。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。なお、赤色偏光画素と青色偏光画素についてはスキップする画素であることを示す表示「ＳＫ」を省略している。
情報圧縮部４０は、基準偏光画素の輝度値である基準輝度値がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。なお、上述の処理は、通常画素について基準値の設定と差分値の算出を行い、偏光方向が偏光照明光に平行な偏光画素をスキップしてもよく、圧縮画像情報には通常画素（または偏光方向が偏光照明光に平行な偏光画素）の輝度値に関する情報が含まれないことから情報量を効率よく削減できる。
図３０は、第２の構成における情報復号部の動作を例示したフローチャートである。なお、図３０は図２８の処理で生成された圧縮画像情報の復号処理を示している。
ステップＳＴ１５１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４５で圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１５２に進む。
ステップＳＴ１５２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された偏光画素の差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。また、情報復号部７０は、偏光方向が偏光照明光に平行な偏光画素の輝度値を、隣接する通常画素の輝度値としてステップＳＴ１５３に進む。
ステップＳＴ１５３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ１５２で得られた通常画素と偏光画素の輝度値に基づき従属偏光画素の輝度値を算出する。すなわち、上述の式（６）の関係に基づいて、２×２画素の画像ブロック毎に、通常画素の輝度値Ｉnpと偏光方向が０度の偏光画素の輝度値Ｉ0と偏光方向が１３５度の偏光画素の輝度値Ｉ135から偏光方向が４５度と９０度の偏光画素の輝度値Ｉ45，Ｉ90を算出する。
ところで、透過軸透過率が「Ｅｔ＝１」でない場合、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値は異なる。しかし、透過軸透過率Ｅｔに基づき、偏光方向が偏光照明光に平行な偏光画素の輝度値を通常画素の輝度値に調整可能であることから、輝度値の調整を行った場合には調整率等を示す調整情報を圧縮画像情報に含めるようにする。また、情報復号部７０は、調整情報に基づき偏光方向が偏光照明光に平行な偏光画素の輝度値を調整前の輝度値に戻すようにすればよい。
このような、第２の構成における第２の動作によれば、偏光画像に通常画素が含まれていても、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、特性情報を利用して圧縮効率をさらに向上させることが可能となる。
＜６．圧縮処理の他の動作＞
ところで、上述の動作において、色毎および偏光方向毎の最初の画素を基準偏光画素に設定する動作では、差分値の算出に用いる基準輝度値を、前回差分値を算出した同色同偏光画素の画素値としてもよい。例えば最初の画素を基準画素に設定して、その後の同色同偏光の偏光画素について差分値を算出した場合、差分値を算出した偏光画素の画素値を次の差分値の算出における基準輝度値とする。このように基準輝度値を更新すれば、近傍の同色同偏光の偏光画素間で差分値が算出されるので、最初に設定した基準画素からの距離が大きいことで差分値が大きくなってしまうことを防止できる。なお、このように基準輝度値を更新する場合、最初の基準輝度値と差分値を用いて順次偏光画素の画素値を復号できることから、最初の基準輝度値のみを基準画像情報に含めればよい。また、基準平均輝度値や無偏光基準輝度値も同様に更新して、最初の基準平均輝度値や無偏光基準輝度値のみを基準画像情報に含めてもよい。また、基準偏光画素や基準通常画素は、所定領域毎あるいは被写体認識結果に基づいた領域毎に設定してもよい。
また、上述の情報圧縮部の動作は、フローチャートの処理順序に限られない。例えば偏光画像に対してフローチャートの１つのステップの処理が完了する前に、次のステップの処理が可能であるときは、偏光画像に対するステップの処理が完了する前に、次のステップの処理を行うようにしてもよい。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
＜７．応用例＞
本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
さらに、偏光情報のデータ量を削減して伝送できることから、遠隔地でも周辺環境や術部の確認を三次元で行うことが容易となる。また、偏光情報を効率よく記録できるようになる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部
を備える画像処理装置。
（２） 前記情報圧縮部は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含む前記圧縮画像情報を生成する（１）に記載の画像処理装置。
（３） 前記基準画像情報は、色毎および偏光方向毎の前記基準偏光画素の輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素の輝度値と同色かつ同偏光方向であって前記基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む（２）に記載の画像処理装置。
（４） 前記情報圧縮部は、偏光の性質に基づいて前記基準画像情報と前記差分情報の生成を行う（２）に記載の画像処理装置。
（５） 前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の前記基準偏光画素の輝度値である基準輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含む（４）に記載の画像処理装置。
（６） 前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含む（４）に記載の画像処理装置。
（７） 前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
前記予測値は、前記基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、前記画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出した（４）に記載の画像処理装置。
（８） 前記偏光画像は無偏光である通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、前記平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含む（４）に記載の画像処理装置。
（９） 前記偏光画像は無偏光である通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値の比率と隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率との差を示す情報を含む（４）に記載の画像処理装置。
（１０） 前記偏光画像は無偏光の通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
前記予測値は、前記基準通常画素とは異なる通常画素の輝度値と、前記画素ブロックに隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出した（４）に記載の画像処理装置。
（１１） 前記複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、
前記情報圧縮部は前記特性情報記憶部に記憶されている特性情報を用いて前記圧縮画像情報の生成を行う（２）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記特性情報は、前記偏光画像を取得した偏光撮像部の消光比または透過軸透過率を示し、
前記情報圧縮部は、前記消光比または前記透過軸透過率を用いて前記偏光画像の補正を行い、補正後の前記偏光画像を用いて前記圧縮画像情報を生成する（１１）に記載の画像処理装置。
（１３） 前記特性情報は、前記偏光画像の取得に用いた偏光照明光の偏光方向を示しており、
前記情報圧縮部は、前記偏光照明光の偏光方向に基づいて前記基準画像情報と前記差分情報の生成を行う（１１）または（１２）に記載の画像処理装置。
（１４） 前記情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する（２）乃至（１３）のいずれかに記載の画像処理装置。
１０，１０ａ・・・偏光画像処理システム
２０・・・偏光撮像部
３０・・・特性情報記憶部
４０，４５・・・情報圧縮部
５０・・・記録媒体
６０・・・伝送路
７０，７５・・・情報復号部
８０・・・偏光情報利用部
２０１・・・イメージセンサ
２０２・・・偏光フィルタ
２０３・・・カラーフィルタ

Claims (18)

  1. 複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部を備え、
    前記情報圧縮部は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含む前記圧縮画像情報を生成する
    画像処理装置。
  2. 前記基準画像情報は、色毎および偏光方向毎の前記基準偏光画素の輝度値を示す情報を含み、
    前記差分情報は、前記基準偏光画素の輝度値と同色かつ同偏光方向であって前記基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む
    請求項１に記載の画像処理装置。
  3. 前記情報圧縮部は、偏光の性質に基づいて前記基準画像情報と前記差分情報の生成を行う
    請求項１に記載の画像処理装置。
  4. 前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の前記基準偏光画素の輝度値である基準輝度値を示す情報を含み、
    前記差分情報は、前記基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含む
    請求項３に記載の画像処理装置。
  5. 前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
    前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含む
    請求項３に記載の画像処理装置。
  6. 前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
    前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
    前記予測値は、前記基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、前記画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出した
    請求項３に記載の画像処理装置。
  7. 前記偏光画像は無偏光である通常画素を有し、
    前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、
    前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含む
    請求項３に記載の画像処理装置。
  8. 前記偏光画像は無偏光である通常画素を有し、
    前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
    前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値の比率と隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率との差を示す情報を含む
    請求項３に記載の画像処理装置。
  9. 前記偏光画像は無偏光の通常画素を有し、
    前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
    前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
    前記予測値は、前記基準通常画素とは異なる通常画素の輝度値と、前記画素ブロックに隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出した
    請求項４に記載の画像処理装置。
  10. 前記複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、
    前記情報圧縮部は前記特性情報記憶部に記憶されている特性情報を用いて前記圧縮画像情報の生成を行う
    請求項１に記載の画像処理装置。
  11. 前記特性情報は、前記偏光画像を取得した偏光撮像部の消光比または透過軸透過率を示し、
    前記情報圧縮部は、前記消光比または前記透過軸透過率を用いて前記偏光画像の補正を行い、補正後の前記偏光画像を用いて前記圧縮画像情報を生成する
    請求項１０に記載の画像処理装置。
  12. 前記特性情報は、前記偏光画像の取得に用いた偏光照明光の偏光方向を示しており、
    前記情報圧縮部は、前記偏光照明光の偏光方向に基づいて前記基準画像情報と前記差分情報の生成を行う
    請求項１０に記載の画像処理装置。
  13. 前記情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する
    請求項１に記載の画像処理装置。
  14. 複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を情報圧縮部で生成することを含み、
    前記情報圧縮部は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含む前記圧縮画像情報を生成する
    画像処理方法。
  15. 偏光画像の圧縮処理をコンピュータで実行させるプログラムであって、
    複数偏光方向の偏光画素を有する前記偏光画像を取得する手順と、
    前記偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する手順とを前記コンピュータで実行させ、
    前記圧縮画像情報を生成する手順では、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含む前記圧縮画像情報を生成する
    プログラム。
  16. 情報圧縮部によって、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行うことにより生成された圧縮画像情報の復号処理を行い、前記偏光画像を生成する情報復号部を備え、
    前記圧縮画像情報は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含み、
    前記情報復号部は、前記基準画像情報と前記差分情報に基づいて前記偏光画像の画素毎の輝度値を生成する
    画像処理装置。
  17. 情報圧縮部によって、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行うことにより生成された圧縮画像情報の復号処理を行い、前記偏光画像を生成する手順を含み、
    前記圧縮画像情報は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含み、
    前記偏光画像を生成する手順では、前記基準画像情報と前記差分情報に基づいて前記偏光画像の画素毎の輝度値を生成する
    画像処理方法。
  18. 情報圧縮部によって、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行うことにより生成された圧縮画像情報の復号処理を行い、前記偏光画像を生成する手順を含み、
    前記圧縮画像情報は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含み、
    前記偏光画像を生成する手順では、前記基準画像情報と前記差分情報に基づいて前記偏光画像の画素毎の輝度値を生成する
    画像処理方法を
    コンピュータに実行させるためのプログラム。
JP2020546697A 2018-09-12 2019-06-06 画像処理装置と画像処理方法およびプログラム Active JP7276346B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018170378 2018-09-12
JP2018170378 2018-09-12
PCT/JP2019/022514 WO2020054152A1 (ja) 2018-09-12 2019-06-06 画像処理装置と画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020054152A1 JPWO2020054152A1 (ja) 2021-08-30
JP7276346B2 true JP7276346B2 (ja) 2023-05-18

Family

ID=69777528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020546697A Active JP7276346B2 (ja) 2018-09-12 2019-06-06 画像処理装置と画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US11930160B2 (ja)
EP (1) EP3852375A4 (ja)
JP (1) JP7276346B2 (ja)
CN (1) CN112655219B (ja)
WO (1) WO2020054152A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240178250A1 (en) * 2021-03-31 2024-05-30 Sony Semiconductor Solutions Corporation Imaging element and electronic apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086720A (ja) 2005-08-23 2007-04-05 Photonic Lattice Inc 偏光イメージング装置
WO2012017600A1 (ja) 2010-08-04 2012-02-09 パナソニック株式会社 撮像素子および撮像装置
JP2015114307A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2018128265A (ja) 2017-02-06 2018-08-16 株式会社リコー サーバ装置、判別プログラム及び判別システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100704938B1 (ko) * 2006-08-25 2007-04-09 주식회사 이시티 스테레오스코픽 영상의 부호화/복호화 방법 및 장치
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
US20150229910A1 (en) * 2014-02-07 2015-08-13 National University Of Singapore Method and apparatus for stereoscopic imaging
EP3291052B1 (en) * 2015-04-30 2022-10-05 Sony Group Corporation Image processing device, image processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086720A (ja) 2005-08-23 2007-04-05 Photonic Lattice Inc 偏光イメージング装置
WO2012017600A1 (ja) 2010-08-04 2012-02-09 パナソニック株式会社 撮像素子および撮像装置
JP2015114307A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2018128265A (ja) 2017-02-06 2018-08-16 株式会社リコー サーバ装置、判別プログラム及び判別システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Gary A. Atkinson and Edwin R. Hancock，Recovery of Surface Orientation From Diffuse Polarization，IEEE Transactions of Image Processing，IEEE，2006年06月，Vol.15, No.6，pp.1653 - 1664
Lawrence B. Wolff and Terrance E. Boult，Constraining Object Features Using a Polarization Reflectance Model，IEEE Transaction on Pattern Analysis and Machine Intelligence，IEEE，1991年07月，Vol.13, No.7，pp.635 - 657
MARYAM HOMAYOUNI, et al.，Row-Interleaved Sampling for Depth-Enhanced 3D Video Coding for Polarized Displays，ACM Transactions on Applied Perception，Vol.14, No.3, Article 15，ACM，2017年03月，pp.1-23

Also Published As

Publication number Publication date
EP3852375A1 (en) 2021-07-21
JPWO2020054152A1 (ja) 2021-08-30
EP3852375A4 (en) 2021-10-27
CN112655219B (zh) 2024-05-10
US11930160B2 (en) 2024-03-12
CN112655219A (zh) 2021-04-13
WO2020054152A1 (ja) 2020-03-19
US20210243437A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
CN101563930B (zh) 影像编码方法和解码方法、其装置和程序和记录有程序的存储介质
JP4787871B2 (ja) カラー偏光撮像装置
US11189079B2 (en) Processing of 3D image information based on texture maps and meshes
CN109246422A (zh) 处理立方体面图像的方法和装置
RU2562759C2 (ru) Морфологическое сглаживание (мс) при повторном проецировании двухмерного изображения
US20100208104A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2007181674A (ja) ブロック整合及び動き補償補間を利用した映像形成方法
CN105721876A (zh) 图像解码方法
WO2019166107A1 (en) Apparatus and method for picture coding with selective loop-filtering
EP2792145A1 (en) Backwards-compatible delivery of digital cinema content with extended dynamic range
EP2702561A1 (en) Encoder, decoder and methods thereof for texture compression
JP7276346B2 (ja) 画像処理装置と画像処理方法およびプログラム
TW202025088A (zh) 用於遠端呈現虛擬實境之異步空間翹曲
CN107948547B (zh) 全景视频拼接的处理方法、装置及电子设备
WO2014073198A1 (ja) 画像処理装置、及び、画像処理方法
US20230071018A1 (en) Parallel encoding of video frames without filtering dependency
EP2908286A1 (en) Imaging system, imaging apparatus, and image processing apparatus
WO2020230747A1 (ja) 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム
JP2007329678A (ja) 輝度マスキング及び輝度補償を用いた超解像処理方法及び装置
JP2006517363A (ja) モーションベクトルの予測方法及びシステム
Tran et al. Spherical light-weight data hiding in 360-degree videos with equirectangular projection
JP4665781B2 (ja) 撮像装置、画像処理方法及びプログラム
Langseth et al. An experimental evaluation of debayering algorithms on gpus for recording panoramic video in real-time
JP2011505095A (ja) 動きの符号化及び復号
Garcia et al. Selection of temporally dithered codes for increasing virtual depth of field in structured light systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151