JP5932666B2 - 画像符号化装置とその集積回路、および画像符号化方法 - Google Patents

画像符号化装置とその集積回路、および画像符号化方法 Download PDF

Info

Publication number
JP5932666B2
JP5932666B2 JP2012548660A JP2012548660A JP5932666B2 JP 5932666 B2 JP5932666 B2 JP 5932666B2 JP 2012548660 A JP2012548660 A JP 2012548660A JP 2012548660 A JP2012548660 A JP 2012548660A JP 5932666 B2 JP5932666 B2 JP 5932666B2
Authority
JP
Japan
Prior art keywords
image
unit
block size
encoding
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012548660A
Other languages
English (en)
Other versions
JPWO2013011608A1 (ja
Inventor
健二 清水
健二 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2013011608A1 publication Critical patent/JPWO2013011608A1/ja
Application granted granted Critical
Publication of JP5932666B2 publication Critical patent/JP5932666B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、画像にぼかしを付加して符号化を行う画像符号化技術に関する。
主要被写体を引き立たせ立体感を演出するための加工として、画像の一部の被写体のみにピントをあわせ、それ以外の前景・背景を意図的にぼかす処理が行われている。また、立体視のための立体映像信号においては、観視者の注意が遠景に向いた際に、観視者が強い疲労を覚え、または立体視が破綻する問題が発生し得る（例えば、非特許文献１参照）。この問題を防ぐため、観視者の注意が遠景に向かないように立体映像信号の遠景をぼかす処理が行われている。
一方で、画像符号化においては、集合的な冗長度を除き圧縮符号化効率を高めるため、多数の画素を集めてブロック化を行う。したがって、そのブロック間の相関を利用して圧縮率を向上させる予測符号化においては、複雑な画像は小さなブロック単位で画面間予測と画面内予測を行い、平坦な画像は大きなブロック単位で画面間予測と画面内予測を行えば、複雑な画像も平坦な画像も効率良く予測できる。
符号化対象領域の特徴に応じてブロックサイズを変更する符号化装置の従来例として、特許文献１が開示されている。一般に超音波診断装置においては、フォーカス位置に近いほど画像の解像度が高く、フォーカス位置から離れるほど解像度が低い。このため、距離情報とフォーカス位置情報を用いてブロックサイズを決定することで、解像度の高い領域の高画質化と解像度の低い領域の高圧縮化を同時に図っている。
また、別の従来例として特許文献２が開示されている。特許文献２の技術においては、平坦度の高い静止領域がちらつきやすいことに着目し、予測ブロックサイズを大きくすることで、ちらつきを抑えた圧縮画像を生成する。
特開２００７−２８９５５６号公報 特開２００７−６７４６９号公報
本田捷夫修「立体映像技術―空間表現メディアの最新動向―」シーエムシー出版、２００８年７月３１日（Ｐ６１−Ｐ６２）
特許文献１の技術では、距離情報と、フォーカス位置情報から、符号化のブロックサイズを決定している。しかしながら、様々なぼかし処理に対して、フォーカス位置情報と距離情報のみから決定されたブロックサイズが、必ずしもぼかし処理後の画像に対して適切なブロックサイズであるとは限らない。
一方、特許文献２の技術では、画像領域の平坦度合いに応じて、ブロックサイズを決定している。しかしながら、平坦であるか否かの判定のみで決定するブロックサイズが、必ずしもぼかし処理後の画像に対して適切なブロックサイズであるとは限らない。
本発明は上述の課題を鑑みてなされたものであり、視差情報または距離情報に応じた様々なぼかし処理を加えた後に、適切なブロックサイズを選択して符号化を行う画像符号化装置や画像符号化方法を提供することを目的とする。
前記従来の課題を解決するために、本発明の画像符号化装置は、画像を取得する画像取得部と、前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得部と、前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定部と、前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、前記ぼかし処理を施した各画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部とを含むことを特徴とする。
この構成によれば、画像を符号化する際にぼかし量を用いてブロックサイズを決定することで、ぼかし処理に対してぼかし量に応じた適切なブロックサイズを用いることができる。
本発明の実施の形態１における画像符号化装置のブロック図 本発明の実施の形態１における撮影光学系とぼかし量を示す図 本発明の実施の形態１におけるぼかしマトリクスの例を示す図 本発明の実施の形態１における画像符号化装置の動作を示すフローチャート 本発明の実施の形態１における画像符号化装置の符号化対象信号の生成の動作を示すフローチャート 本発明の実施の形態１における画像符号化装置の画面内予測におけるブロックサイズ決定の動作を示すフローチャート 本発明の実施の形態１における画像符号化装置の動き補償予測におけるブロックサイズ決定の動作を示すフローチャート 本発明の実施の形態１における画像符号化装置の視差補償予測におけるブロックサイズ決定の動作を示すフローチャート 本発明の実施の形態１の変形例１における画像符号化装置のブロック図 本発明の実施の形態２における画像符号化装置のブロック図 本発明の実施の形態２における画像符号化装置の動作を示すフローチャート 本発明の実施の形態２における画像符号化装置のブロックサイズ決定の動作を示すフローチャート 本発明の実施の形態３における画像符号化装置のブロック図 本発明の実施の形態３における画像符号化装置の動作を示すフローチャート 本発明の実施の形態４における画像符号化装置のブロック図 本発明の実施の形態４における被写体と焦点、撮像素子の位置関係を示す図 本発明の実施の形態５における画像符号化システムのブロック図 本発明の実施の形態１における集積回路としての画像符号化装置のブロック図 従来の符号化手段を備えた超音波診断装置のブロック図 従来の符号化制御方法を示すフローチャートを示す図
＜発明に至った経緯＞
画像処理の一つとして、被写体の距離に応じたぼかしの処理は重要な技術である。例えば、主要被写体を引き立たせ立体感を演出するための加工として、画像の一部の被写体のみにピントを合わせ、それ以外の前景および背景を意図的にぼかす処理が行われている。このようなぼかし処理では、被写体深度の浅い光学系を用いて撮影される場合に発生する「ぼけ」を再現して前景および背景をぼかすことがある。また、それ以外にも、例えば、背景に対するぼかしと前景に対するぼかしとの間でぼかし強度を変化させたり、距離の異なる複数の人物にピントを合わせて最も手前にいる人物の前景と最も奥にいる人物の背景をぼかしたり、あるいは、人物とその後方の建物の双方にピントを合わせて人物と建物の双方を引き立たせそれ以外の被写体をぼかしたりするなど、さまざまな処理がある。
また、立体視のための立体映像信号においては、非特許文献１に記載されているように、観視者の注意が遠景に向いた際に、視差情報が示す距離と焦点距離との不一致が引き起こされると、観視者が強い疲労を覚えたり、立体視が破綻したりする問題がある。特に、小さいスクリーンに映写する前提で作成した立体映像信号を大きいスクリーンに拡大映写した場合には、立体映像信号が想定する右眼と左眼との間隔も拡大される。そのため、一つの被写体について、右眼用画像内の被写体像と左眼用画像内の被写体像との距離が右眼と左眼との間隔より大きくなった場合（後方発散）に、当該被写体の視差が、単一の物体を見た場合の視差としてあり得ない状態となるため、立体視が破綻する。この問題を防ぐため、観視者の注意が遠景に向かないように立体映像信号の遠景をぼかす処理が行われている。
一方で、画像を符号化するとき、集合的な冗長度を除き圧縮符号化効率を高めるため、多数の画素を集めてブロック化を行う。したがって、そのブロック間の相関を利用して圧縮率を向上させる予測符号化においては、複雑な画像は小さなブロック単位で画面間予測と画面内予測を行い、平坦な画像は大きなブロック単位で画面間予測と画面内予測を行えば、複雑な画像も平坦な画像も効率良く予測できる。
ここで、発明者らは、強いぼかしをかけられた領域は大きなブロックサイズが適している、複雑な模様がなく平坦な領域となることに着目した。そして、強いぼかしの対象となる領域をぼかし処理後の画像を解析することなく取得できれば、ぼかし処理後の画像を符号化する際のブロックサイズ選択において、当該領域のブロックサイズ選択を行う必要がなくなり、符号化のための演算量を削減できるとの着想を得た。そうすれば、ぼかし処理後の画像から強いぼかしの対象となった領域を再度検出し直すようなブロックサイズ選択処理を行う必要がなくなるからである。
これに対し、従来のブロックサイズ選択技術においては、符号化対象画像そのものを解析対象とする。したがって、ぼかし処理前の画像に対して従来のブロックサイズ選択技術を適用した場合に、選択されたブロックサイズが、必ずしもぼかし処理後の画像の符号化に適しているとは限らないという問題がある。
特許文献１は、距離情報とフォーカス情報を用いてブロックサイズを選択する超音波診断装置であり、図１９は、特許文献１の超音波診断装置のブロック図である。この超音波診断装置は深度情報である反射信号を入力画像データとして符号化を行う。超音波診断装置の画像解像度はフォーカス位置からの距離によって決まるので、距離情報とフォーカス位置情報を用いてブロックサイズを決定することで、解像度の高い領域の高画質化と解像度の低い領域の高圧縮化を同時に図っている。
しかしながら、距離とフォーカス位置が定まっても、ぼかし処理の内容が定まらなければぼかしの強度は一意には定まらない。すなわち、同一の画像の、フォーカス位置にはない同一の被写体に対してぼかし処理を行う場合に、フォーカス位置の前景のみに対するぼかし処理を行う場合と、フォーカス位置の背景のみに対するぼかし処理を行う場合とでは、ぼかし処理後の画像における当該被写体の領域は前者の場合と後者の場合とで当然に異なる。つまり、ぼかし処理後の画像の符号化のために適切なブロックサイズはぼかし処理前の画像が同一であっても、ぼかし処理の内容が異なれば同一とは限らない。したがって、様々なぼかし処理に対して、距離とフォーカス位置のみでブロックサイズを選択する特許文献１の方法では、必ずしもぼかし後の画像に適切なブロックサイズを得られるとは限らない。
また、特許文献２は、画像の平坦度を基にちらつきを抑える符号化制御方法であり、図２０は、特許文献２の符号化制御方法を示すフローチャートである。特許文献２の技術においては、静止領域かどうかの判定を行い、次に静止領域と判定した領域について、画素値の分散などからその領域の平坦度合いを算出する。そして、その算出した平坦度合いと量子化ステップサイズとを基に、ちらつき度合いを判定し、ちらつき度の高い領域のブロックサイズを大きくすることで、ちらつきを抑えた圧縮画像を生成する。
しかしながら、上述したように複雑な画像は平坦な領域であっても小さなブロックサイズが適している。強いぼかしを行った領域は大きなブロックサイズが適しているが、ぼかさない領域に複雑な模様を有する平坦な領域が存在する可能性があるので、平坦な領域か否かのみでブロックサイズを決定する特許文献２の技術では、適切なブロックサイズを選択できない。また、特許文献２の技術では、ぼかし処理後に発生する、大きなブロックサイズが適している強いぼかしを行った領域を、ぼかし処理前の画像から検出することはできない。
そこで、発明者らは、ぼかし処理を行う際に画素単位ごとのぼかしの強度を保持しておき、保持したぼかしの強度を用いてブロックサイズを決定することを特徴とする本発明に至った。このようにすることで、ぼかしを付加した後の符号化の際に、強いぼかしをかけた領域について適切なブロックサイズを選択することができ、また画面予測を行う符号化を行う場合には小さなブロックサイズを用いた画面予測を行う必要がなくなるので、ぼかし処理後の画像を解析することなく、符号化の演算量を削減することができる。
＜実施の形態＞
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１における画像符号化装置のブロック図である。
図１において、ステレオ撮影符号化システムは、被写体を立体視可能なように撮影し、撮影によって生成されたステレオ映像信号を符号化する。このようなステレオ撮影符号化システムは、視差のある主画像および副画像を撮影するカメラ１００ａおよび１００ｂと、画像符号化装置２００と、ぼかしパラメータ入力部３００と、記憶部４００を備えている。
＜カメラ１００＞
カメラ１００ａおよび１００ｂは、それぞれ互いに人の両眼の平均的な間隔である６．５ｃｍの距離を離して配置されている。カメラ１００ａおよび１００ｂはそれぞれ、被写体を撮影し、撮影によって得られた映像信号を画像符号化装置２００に出力する。
以下、簡略化のため、カメラ１００ａおよび１００ｂのそれぞれから出力される映像信号を合わせて、ステレオ映像信号という。また、カメラ１００ａから出力される映像信号によって示される画像を、主画像と称し、カメラ１００ｂから出力される映像信号によって示される画像を、副画像と称する。
この主画像および副画像によって、被写体の像が立体視される。カメラ１００ａおよび１００ｂのそれぞれは、同一のタイミング（時刻）にピクチャを生成して出力する。
＜ぼかしパラメータ入力部３００＞
ぼかしパラメータ入力部３００は、カメラ１００ａとカメラ１００ｂの実際の撮影レンズによるものとは異なるぼけを主画像と副画像のステレオ映像信号に付加するための、ぼかしパラメータの入力を行うユーザーインターフェースであり、タッチパネルと十字キーからなる。
入力するぼかしパラメータとして、被写体前方または後方の位置におけるぼかしの調整量（Ｓn、Ｓf）と被写体前方と後方における各重み係数（Ｗn、Ｗf）、被写体のピント位置情報（Ｐ）、カメラ１００ａと１００ｂ間の基線長（ｌ）、画素サイズ（ｍ）、焦点距離（ｆp）、実際の撮影レンズによるものとは異なるレンズ情報、つまり仮想の焦点距離（ｆv）と絞り値（Ｆ値）を入力する。
被写体の前方と後方におけるぼかし調整量（Ｓn、Ｓf）と重み係数（Ｗn、Ｗf）は、立体視をする場合、前方の飛び出し具合を抑えて、奥行きのある遠近感を表現したい場合には、前方のぼかし調整量Ｓnあるいは重み係数Ｗnを大きくする、または後方のぼかし調整量Ｓfあるいは重み係数Ｗfを小さくすることで、被写体前方のぼかし量を大きくする。逆に、前方の被写体を強調し、背景を意図的にぼかす事で、前方の被写体を引き立たせる立体感を表現する場合には、後方のぼかし調整量Ｓfあるいは重み係数Ｗfを大きくする、または前方のぼかし調整量Ｓnあるいは重み係数Ｗnを小さくすることで、被写体後方のぼかし量を大きくする。
なお、ぼかし調整量（Ｓn、Ｓf）を大きくすると被写体距離に関係なくピント位置の前方または後方に対し一律にぼかし処理をかけることができる。一方、重み係数（Ｗn、Ｗf）を大きくすると、被写体がピント位置から遠ざかるほどぼかしが強くなり、被写体距離に依存したぼかし処理が可能となる。
レンズ情報と重み係数の入力は、タッチパネルと十字キーから設定項目メニューを呼び出して各項目を設定することにより行われる。ピント位置は、タッチパネルに表示されているカメラ１００ａの主画像中の被写体の位置を指定する操作によって入力される。
ぼかしパラメータ入力部３００は、これらのぼかしパラメータの設定を受け取り、画像符号化装置２００に出力する。これにより、ぼかし処理部２０２において仮想の撮影レンズ、または実際のレンズでは生成することができない任意のぼけ具合も表現できるぼかし処理が行える。
＜記憶部４００＞
記憶部４００は、画像符号化装置２００から出力される画像データ（後述の局所復号画像信号）を格納するための記録媒体である。
＜画像符号化装置２００＞
画像符号化装置２００は、カメラ１００ａおよび１００ｂから出力されるステレオ映像信号を符号化することによって、符号化映像信号を生成して出力する。ここで、本実施の形態において画像符号化装置２００は、ステレオ映像信号の主画像と副画像との両方にぼかし処理を行い、ステレオ映像信号を符号化するものとする。また、画像符号化装置２００は、ステレオ映像信号に含まれる２つの映像信号を符号化するときには、ピクチャを構成する領域ごとにそれらの映像信号を符号化する。画像符号化装置２００は、カメラ１００ａから出力される映像信号にぼかしを加えた画像信号をＨ．２６４ ＭＶＣ（Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ）形式で符号化するものとし、映像信号に含まれる各ピクチャをそれぞれＩピクチャ、ＰピクチャおよびＢピクチャとして符号化する。
なお、ＩピクチャおよびＰピクチャを符号化するときには、画像符号化装置２００は画面内予測符号化を行う。
なお、ＰピクチャおよびＢピクチャを符号化するときには、画像符号化装置２００は画面間予測符号化（動き補償予測符号化）を行う。
一方、画像符号化装置２００は、カメラ１００ｂから出力される映像信号にぼかしを加えた画像信号を符号化するときには、視差補償予測符号化を行い、映像信号に含まれる各ピクチャをそれぞれＰピクチャとして符号化する。
つまり、画像符号化装置２００は、主画像のピクチャから、そのピクチャと同一のタイミングで生成された副画像のピクチャを予測し、その予測結果に基づいて副画像のピクチャを符号化する。
このような画像符号化装置２００は、画像取得部２０６、視差取得部２０７、ぼかし処理部２０２、セレクタ２０３、スイッチ２０４ａ、２０４ｂおよび２０４ｃ、減算器２０５、ブロックサイズ決定部２１０ａおよび２１０ｂ、ブロック分割部２１２ａおよび２１２ｂ、画面内予測部２１３、検出部２１４、補償部２１５、変換部２１６、量子化部２１７、可変長符号化部２１８、逆量子化部２１９、逆変換部２２０、および加算器２２１を備える。
＜画像取得部２０６＞
画像取得部２０６は、カメラ１００ａと１００ｂから出力される画像信号を取得し、ぼかし処理部２０２に出力する。
＜視差取得部２０７＞
視差取得部２０７は、画像取得部２０６が受け付ける画像信号上の各要素単位における、被写体とカメラ１００との間の視差の値または距離の値を取得し、視差の値または距離の値をぼかし処理部２０２に出力する。本実施の形態において、視差取得部２０７は視差検出部２０１を含み、視差検出部２０１が視差の値を生成する。
＜視差検出部２０１＞
視差検出部２０１は、カメラ１００ａ、１００ｂから入力された主画像と副画像データ間の視差を検出する。視差の検出は、主画像と副画像間の対応位置を求め、一方の画像の単位領域と他方の画像の対応する領域との水平方向の位置のずれを画素数として検出することにより行う。視差検出部２０１は、検出した視差情報（ｄ）をぼかし処理部２０２に出力する。
本実施の形態において視差の検出はブロックマッチング法を用いることにより行う。ブロックマッチング法では、まず比較元の画像から１６×１６画素の単位領域を切り出す。次に、比較先の検索領域から同じ１６×１６サイズの領域を複数切り出し、切り出したそれぞれの領域について、比較元の領域との輝度差の絶対値の総和（ＳＡＤ； Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を求める。そして、ＳＡＤが最も小さくなる切り出し位置を見つけ出すことで比較元画像に対応する位置を領域単位で求める。
＜ぼかし処理部２０２＞
ぼかし処理部２０２は、ぼかしパラメータ入力部３００から入力されたぼかしパラメータと、視差取得部２０７から入力された視差情報または距離情報を用いて、画像取得部２０６から入力された主画像と副画像の各画素単位に対して付加するぼかしマトリクスを決定する。本実施の形態では、ぼかし処理部２０２は視差取得部２０７から入力された視差情報を用いる。ぼかし処理部２０２は、ぼかしマトリクスより算出した、画素単位ごとのぼかし量をブロックサイズ決定部２１０ａおよび２１０ｂに出力する。
また、ぼかし処理部２０２は、ぼかしマトリクスを基に主画像または副画像データに付加するぼかし処理を行い、処理結果の主画像と副画像の各ぼかし画像データをセレクタ２０３へ出力する。
なお、本実施の形態において画素単位は１画素で構成される。
ぼかし処理の流れは次のようになる。ぼかし処理部２０２は、視差情報（ｄ）を用いてカメラから被写体までの距離分布を求め、ぼかしパラメータ入力部３００からのパラメータと被写体の距離からぼかしマトリクスを生成して、主画像または副画像データの各画素領域にぼかしマトリクスを畳み込むことでぼかしを付加する。併せて、ぼかし処理部２０２はぼかしマトリクスよりぼかし量を算出してブロックサイズ決定部２１０ａおよび２１０ｂに出力する。
図２を用いて説明する。まず、各画素単位の視差情報（ｄ）からカメラから被写体までの距離分布を求める。図２の（ａ）に示すように、視差情報を（ｄ）、撮影に用いた撮像素子の１画素の水平方向における長さを（ｍ）とすると、被写体とカメラとの距離（Ｄ）は
Figure 0005932666
 となる。なお、上述したように（ｆp）はレンズの焦点距離、（ｌ）はカメラ１００ａと１００ｂ間の基線長である。
このような計算を全ての画素単位について行うことにより、主画像または副画像に撮影されている被写体の距離分布が求まる。
カメラとの距離がピント位置（Ｐ）からずれた位置の点の結像であるぼけた円を錯乱円と呼ぶが、本実施の形態においてはぼかしマトリクスの大きさを仮想的な錯乱円径（σ）を用いて決定する。
ピント位置（Ｐ）とカメラとの距離（Ｌ）は、上述のＤの算出式にピント位置（Ｐ）における視差情報を（ｄ）に代入することでＤの値として求められる。同様に、任意の被写体とカメラとの距離（Ｘ）は、上述のＤの算出式に当該被写体の視差情報を（ｄ）に代入することでＤの値として求められる。
カメラから距離（Ｘ）における錯乱円径は、光学系の特性値である焦点距離（ｆv）、Ｆ値（Ｆ）、ピント位置とカメラとの距離（Ｌ）、カメラと被写体との距離（Ｘ）を用いて次のように算出する。
本実施の形態においては、Ｆ値（Ｆ）は、ぼかしパラメータ入力部３００より入力された仮想の値を用いる。また、ぼかしパラメータ入力部３００より入力されたぼかし調整量Ｓf、Ｓn、重み係数Ｗf、Ｗnを用いてピント位置より後方および前方の錯乱円径（σ）に重みづけを行う。ぼかし調整量Ｓf、Ｓnと重み係数Ｗf、Ｗnは前述の通り、Ｓf＞ＳnまたはＷf＞Ｗnとすれば後方が強く前方が弱いぼかしとなり、Ｓf＜ＳnまたはＷf＜Ｗnとすれば前方が強く後方が弱いぼかしとなる。また、ぼかし調整量Ｓf、Ｓnはいずれも０とすると調整量がなくなって仮想光学系で発生するぼけとなり、値が大きいほどピント位置前方または後方に一律にぼかしがかかるようになる。また、重み係数Ｗf、Ｗnはいずれも１とすると重みづけがなくなって仮想光学系で発生するぼけそのものとなり、値が大きいほど被写体距離に強く依存したぼかしを発生させ、０とすると前方または後方へのぼかしが被写体距離に依存しなくなる。
錯乱円径の算出式を近似した上で調整量を加算し重みづけを行うと、ピント位置より後方の仮想錯乱円径（σ）は
Figure 0005932666
 となり、ピント位置より前方の仮想錯乱円径（σ）は
Figure 0005932666
 となる。
主画像および副画像上の画素単位ごとに、上述の（Ｄ）の算出式に視差情報（ｄ）を入力して距離（Ｘ）を求め、この仮想錯乱円径（σ）の算出式に距離（Ｘ）を入力すればぼかしマトリクスの大きさを求めることができる。数２、数３による仮想錯乱円径（σ）と距離との関係を図２（ｂ）に示す。次に、図３の（ａ）に示すようにぼかしマトリクスの大きさである仮想錯乱円径（σ）を直径とする円の内部をフィルタ係数１、外側をフィルタ係数０となるぼかしマトリクスを作成する。
次に、生成したぼかしマトリクスと主画像または副画像データの各画素領域を畳み込むことでぼかしを付加する。このとき、まずぼかしマトリクス内の全フィルタ係数の和を算出してこの値でマトリクス内全フィルタ係数の除算を行い、内部の全フィルタ係数の和が１である畳み込みマトリクスを生成する。この畳み込みマトリクスを用いて畳み込みを行う。
また、上記で求めた画素単位ごとのぼかしマトリクスから、画素単位ごとのぼかし量を算出する。ぼかし量は、ぼかしマトリクスのうちフィルタ係数が閾値以上である範囲を指し示す値である。範囲を指し示す値とは、例えば円形であれば直径であり、正方形であれば対角線の長さである。
本実施の形態においては、ぼかしマトリクスは仮想錯乱円径（σ）を直径とする円の内部をフィルタ係数１、外側をフィルタ係数０とするマトリクスであるので、閾値を１とし、直径σの円を指し示す値としてぼかし量をσとする。
ぼかし処理部２０２は、上記のように求めた画素単位ごとのぼかし量をブロックサイズ決定部２１０ａおよび２１０ｂに出力する。
＜セレクタ２０３＞
セレクタ２０３は、カメラ１００ａおよび１００ｂのそれぞれから出力される映像信号を取得し、それらの映像信号を交互に切り替えてスイッチ２０４ａ、減算器２０５、ブロック分割部２１２ａまたは２１２ｂに出力する。
本実施の形態では、セレクタ２０３はピクチャ単位に切り替えを行う。すなわち、セレクタ２０３は、ぼかし処理後の主画像と副画像とをそれぞれ同一のタイミングでぼかし処理部２０２から取得すると、まず、ぼかし処理後の主画像を出力し、次に、ぼかし処理後の副画像を出力する。
＜減算部２０５＞
減算器２０５は、セレクタ２０３から出力される映像信号によって示される符号化対象画像と、スイッチ２０４ｂから出力される予測信号によって示される予測画像との差分をブロックごとに算出する。減算器２０５は、その差分を示す予測誤差信号をスイッチ２０４ａに出力する。
ここで、減算器２０５は、符号化対象画像がＩピクチャ、ＰピクチャまたはＢピクチャの画像（ブロック）の各ピクチャにおいて、上述の差分を算出して予測誤差信号を出力する。
＜スイッチ２０４ａ＞
スイッチ２０４ａは、符号化対象画像がＩピクチャの主画像であり、画面内予測を行わない場合には、セレクタ２０３を変換部２１６に接続し、その符号化対象画像を示す映像信号をセレクタ２０３から変換部２１６に受け渡す。
また、スイッチ２０４ａは、符号化対象画像がＩピクチャの主画像であり、画面内予測を行う場合、またはＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、減算器２０５を変換部２１６に接続し、Ｉピクチャ、ＰピクチャまたはＢピクチャの各予測誤差信号を減算器２０５から変換部２１６に受け渡す。
＜変換部２１６＞
変換部２１６は、ブロックごとに、映像信号または予測誤差信号を画像信号としてスイッチ２０４ａを介して取得し、その画像信号に対して直交変換である離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行う。これにより、変換部２１６は、画像信号を周波数係数であるＤＣＴ係数に変換し、つまり、その画像信号の領域を空間領域から周波数領域に変換し、その周波数係数を量子化部２１７に出力する。
＜量子化部２１７＞
量子化部２１７は、変換部２１６から周波数係数を取得し、その周波数係数に対して量子化を行う。つまり、量子化部２１７は、周波数係数を量子化ステップで除算することによって量子化値を生成する。ここで、量子化部２１７は、画像符号化規格、本実施の形態においてはＨ．２６４に従い、決められている量子化ステップを用いてその符号化対象ブロックを量子化する。
＜可変長符号化部２１８＞
可変長符号化部２１８は、量子化部２１７によって生成された量子化値と、検出部２１４から出力される動きベクトルまたは視差ベクトルとを可変長符号化することによって、符号化ステレオ映像信号を生成して出力する。なお、この可変長符号化は可逆的な符号化である。
＜逆量子化部２１９＞
逆量子化部２１９は、量子化部２１７によって生成された量子化値に対して逆量子化を行うことによって逆量子化周波数係数を生成する。つまり、逆量子化部２１９は、量子化部２１７で用いられた量子化ステップを量子化値に乗算することよって逆量子化周波数係数を生成する。
なお、このときに生成される逆量子化周波数係数は、変換部２１６によって生成された周波数係数と異なり量子化誤差を含んでいる。
＜逆変換部２２０＞
逆変換部２２０は、逆量子化部２１９によって生成された逆量子化周波数係数に対して変換部２１６が行った直交変換の逆である逆直交変換、本実施の形態では逆離散コサイン変換（ｉＤＣＴ；ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行う。これにより、逆変換部２２０は、逆量子化周波数係数を画像信号に変換し、つまり、その逆量子化周波数係数の領域を周波数領域から空間領域に変換し、その画像信号を加算器２２１に出力する。
＜加算器２２１＞
加算器２２１は、符号化対象画像がＩピクチャの主画像であり画面内予測を行わない場合には、逆変換部２２０から出力される画像信号を局所復号画像信号として記憶部４００に格納する。
また、加算器２２１は、符号化対象画像がＩピクチャの主画像であって画面内予測を行う場合、または符号化対象画像がＰピクチャもしくはＢピクチャの画像（主画像であっても副画像であってもよい）である場合には、逆変換部２２０から出力される画像信号と、スイッチ２０４ｃから出力される予測信号とを加算し、その加算結果を局所復号画像信号として画面内予測部２１３へ出力する。同時に、加算結果を記憶部４００へ格納する。
＜ブロックサイズ決定部２１０ａ＞
ブロックサイズ決定部２１０ａは、符号化対象画像がＩピクチャ、ＰピクチャまたはＢピクチャの各画像において、画面内予測を行う場合には、符号化対象画像領域のぼかし量をぼかし処理部２０２から取得し、閾値と比較する。
本実施の形態においては前述の通り符号化方式としてＨ．２６４を使用するため、画面内予測においては１６×１６、４×４のブロックサイズが使用できる。ここでは、閾値を４ピクセルとし、ぼかし量が４ピクセルより大きい領域は４×４のブロックサイズを使用しないものとする。
ぼかし量が閾値より大きい場合には、画面内予測部２１３で予測するブロック単位を１６×１６の大きいブロックサイズに制限するブロックサイズ情報をブロック分割部２１２ａに出力する。
逆に、ぼかし量が閾値より小さい場合には、１６×１６の他に４×４の小さいブロックサイズも含めたブロックサイズ情報をブロック分割部２１２ａに出力する。
＜ブロック分割部２１２ａ＞
ブロック分割部２１２ａは、ブロックサイズ決定部２１０ａから出力されるブロックサイズ情報に基づいて、セレクタ２０３から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する。
例えば、ブロックサイズ情報が１６×１６に制限されている場合、１６×１６のサイズのみで符号化対象画像を分割して、分割画像を画面内予測部２１３へ出力する。
一方、ブロックサイズ情報が１６×１６と４×４の２種類からなる場合、符号化対象画像を１６×１６のブロックサイズで分割した画像と、同じ符号化対象画像を４×４のブロックサイズで分割した画像の２種類を用意し、用意した２種類の分割画像それぞれを画面内予測部２１３へ出力する。
＜画面内予測部２１３＞
画面内予測部２１３は、加算器２２１から出力された同じピクチャの内の局所復号画像信号を、符号化対象画像の位置から見て、左、上、右上、左上の計４つの位置に対して、ブロック分割部２１２ａから出力される分割ブロックサイズの単位で画面内予測を行う。
例えば、ブロック分割部２１２ａから１６×１６のブロックサイズに制限されたブロック情報を受け取った場合は、４つの位置に対して、１６×１６のブロックサイズのみで同一または類似のブロックの探索を行う。
一方、１６×１６と４×４の２種類のブロックサイズ情報を受け取った場合、４つの位置に対して、１６×１６と４×４の２種類のブロックサイズで同一または類似のブロックの探索を行う。
その後、探索によって得られた最も類似している予測信号をスイッチ２０４ｂと２０４ｃに出力する。
＜ブロックサイズ決定部２１０ｂ＞
ブロックサイズ決定部２１０ｂは、符号化対象画像がＰピクチャまたはＢピクチャの主画像である場合と、Ｐピクチャの副画像である場合には、符号化対象画像領域のぼかし量をぼかし処理部２０２から取得し、閾値と比較する。
本実施の形態においては前述の通り符号化方式としてＨ．２６４を使用するため、画面間予測においては１６×１６、８×８のブロックサイズが使用できる。ここでは、閾値を８ピクセルとし、ぼかし量が８ピクセルより大きい画素は８×８のブロックサイズを使用しないものとする。なお、Ｈ．２６４の規格上は１６×８、８×１６のブロックサイズも使用可能であるが、本実施の形態では使用しないものとする。
ぼかし量が閾値より大きい場合には、検出部２１４で動きベクトルまたは視差ベクトルを探索するブロック単位を１６×１６の大きいブロックサイズに制限するブロックサイズ情報をブロック分割部２１２ｂに出力する。ここでは、閾値として８ピクセルを用いる。
逆に、ぼかし量が閾値より小さい場合には、１６×１６の他に８×８の小さいブロックサイズも含めたブロックサイズ情報をブロック分割部２１２ｂに出力する。
＜ブロック分割部２１２ｂ＞
ブロック分割部２１２ｂは、ブロックサイズ決定部２１０ｂから出力されるブロックサイズ情報に基づいて、セレクタ２０３から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する。
例えば、１６×１６に制限されたブロックサイズ情報の場合、１６×１６のサイズのみで符号化対象画像を分割して、分割画像を検出部２１４へ出力する。
一方、１６×１６と８×８の２種類のブロックサイズ情報を受け取った場合、符号化対象画像を１６×１６のブロックサイズで分割した画像と、同じ符号化対象画像を用いて８×８のブロックサイズで分割した画像の２種類を用意し、両分割画像を検出部２１４へ出力する。
＜検出部２１４＞
検出部２１４は、ブロック分割部２１２ｂにてブロック分割された符号化対象画像がＰピクチャまたはＢピクチャの主画像である場合には、その符号化対象画像に対してブロックごとに動きベクトルを検出する。
つまり、検出部２１４は、記憶部４００に格納されている、既に符号化されて復号された他の主画像（ＩピクチャまたはＰピクチャ）を示す局所復号画像信号を参照画像として参照する。
そして、検出部２１４は、符号化対象画像（符号化対象ブロック）と同一または類似のブロックをその参照画像から探索することによって、その符号化対象画像の動きを動きベクトルとして検出する。
そして、検出部２１４は、その動きベクトルを補償部２１５および可変長符号化部２１８に出力する。
一方、検出部２１４は、ブロック分割部２１２ｂにてブロック分割された符号化対象画像がＰピクチャの副画像である場合には、その符号化対象画像に対してブロックごとに視差ベクトルを検出する。
つまり、検出部２１４は、記憶部４００に格納されている、既に符号化されて復号された主画像（Ｉピクチャ、ＰピクチャまたはＢピクチャ）を示す局所復号画像信号を参照画像として参照する。
そして、検出部２１４は、符号化対象画像（符号化対象ブロック）と同一または類似のブロックをその参照画像から探索することによって、その符号化対象ブロックと、同一または類似のブロックと間の位置関係を視差ベクトル（視差）として検出する。
なお、符号化対象ブロックを含む副画像のピクチャと、主画像である参照画像（参照ピクチャ）とはそれぞれ、カメラ１００ａおよび１００ｂによって同一のタイミングで生成されたピクチャである。そして、検出部２１４は、その視差ベクトルを補償部２１５および可変長符号化部２１８に出力する。
なお、視差ベクトルは、上記ブロック間の位置関係を、左右方向の位置のずれとして示す。
また、動きベクトルと視差ベクトルの両方の場合において、ブロック分割部２１２ｂから１６×１６のブロックサイズに制限されたブロック情報を受け取った場合は、符号化対象画像の周囲３２×３２の領域に対して、１６×１６のブロックサイズのみで同一または類似のブロックの探索を行う。
一方、１６×１６と８×８の２種類のブロックサイズ情報を受け取った場合、符号化対象画像の周囲３２×３２の領域に対して、１６×１６と８×８の２種類のブロックサイズで同一または類似のブロックの探索を行う。
その後、最も類似している動きベクトルまたは視差ベクトルを補償部２１５に出力する。
＜補償部２１５＞
補償部２１５は、検出部２１４から動きベクトルを取得したときには、その動きベクトルと参照画像を用いて動き補償を行うことによって予測信号を生成し、その予測信号を出力する。つまり、参照画像に含まれる上記同一または類似のブロックが上記動きベクトルに応じて空間的にシフトされる。
一方、補償部２１５は、検出部２１４から視差ベクトルを取得したときには、その視差ベクトルと参照画像を用いて視差補償を行うことによって予測信号を生成し、その予測信号を出力する。
つまり、参照画像に含まれる上記同一または類似のブロックが上記視差ベクトルに応じて空間的にシフトされる。
＜スイッチ２０４ｃ＞
スイッチ２０４ｃは、符号化対象画像がＩピクチャの主画像であって画面内予測を行わない場合には、画面内予測部２１３と加算器２２１との間、さらに補償部２１５と加算器２２１との間を開放する。
また、スイッチ２０４ｃは、符号化対象画像がＩピクチャ、ＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合で画面内予測を行う場合には、画面内予測部２１３を加算器２２１に接続し、予測信号を画面内予測部２１３から加算器２２１へ受け渡す。
一方、スイッチ２０４ｃは、符号化対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、補償部２１５を加算器２２１に接続し、予測信号を補償部２１５から加算器２２１へ受け渡す。
＜スイッチ２０４ｂ＞
スイッチ２０４ｂは、符号化対象画像がＩピクチャ、ＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合で画面内予測を行う場合には、画面内予測部２１３を減算器２０５に接続し、予測信号を画面内予測部２１３から減算器２０５へ受け渡す。
一方、スイッチ２０４ｂは、符号化対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、補償部２１５を減算器２０５に接続し、予測信号を補償部２１５から減算器２０５へ受け渡す。
また、ＰピクチャまたはＢピクチャの画像（主画像または副画像）であって、画面内予測部２１３と補償部２１５の両方の予測信号がある場合は、画面内予測部２１３の予測信号と補償部２１５の予測信号のどちらかより類似している方の予測信号を減算器２０５へ受け渡す。
＜動作＞
図４、図５、図６、図７および図８は、本実施の形態における画像符号化装置２００の動作を示すフローチャートである。
画像符号化装置２００は、視差のあるステレオ映像信号に含まれるピクチャを順次符号化する。
画像符号化装置２００は、符号化するときには、まず、主要被写体を引き立たせて立体感を演出するために、主要被写体以外の領域をぼかすためのレンズ情報など任意のぼかしを行うためのぼかしパラメータを設定する（Ｓ１０）。
画像符号化装置２００は、ぼかしパラメータの設定が完了後、画像信号の取得を行い（Ｓ２０）、視差検出部２０１は、取得したそれぞれ２つの画像間の視差の検出を行う（Ｓ３０）。
画像符号化装置２００は、符号化の対象となる画像を選択する（Ｓ４０）。本実施の形態においては、主画像と副画像との両方にぼかしを付加して符号化するので、主画像と副画像との両方を選択する。
ぼかし処理部２０２は、ステップＳ１０で取得したぼかしパラメータと、Ｓ３０で取得した視差情報から、ステレオ映像信号に付加するぼかし量を算出し、ステレオ映像信号に算出したぼかし量を付加するぼかし処理を行う（Ｓ５０）。
画像符号化装置２００は、これらぼかし量を追加したぼかし画像からなるステレオ映像信号に対して符号化するため、符号化対象信号を生成する（Ｓ６０）。
ここで、符号化対象信号を生成するＳ６０の一連の動作を説明する。まず、符号化対象画像が主画像か否かを判別する（Ｓ６１）。ここでは、画像符号化装置２００に備えられた制御部が判別する。
ここで、符号化対象画像が主画像であると判別されると（Ｓ６１でＹ）、上述の制御部は、さらに、その符号化対象画像に対して動き補償予測符号化を行うべきか否かを判別する（Ｓ６２）。例えば、画像符号化装置２００は、符号化対象画像をＰピクチャまたはＢピクチャのブロックとして符号化するときには、動き補償予測符号化を行うべきと判別し（Ｓ６２でＹ）、符号化対象画像をＩピクチャのブロックとして符号化するときには、動き補償予測符号化を行うべきでないと判別する（Ｓ６２でＮ）。
制御部は、動き補償予測符号化を行うべきと判別すると（Ｓ６２でＹ）、スイッチ２０４ａを制御して減算器２０５を変換部２１６に接続、スイッチ２０４ｂを制御して補償部２１５を減算器２０５に接続、スイッチ２０４ｃを制御して補償部２１５と加算器２２１との間の３つを接続させる。
次に、ブロックサイズ決定部２１０ｂは、その符号化対象画像のぼかし量に応じて動き検出を行う際のブロックサイズの決定を行う（Ｓ６４ｂ）。まず、符号化対象画像領域のぼかし量をぼかし処理部２０２から取得し、閾値と比較する（Ｓ２１１）。閾値より大きいと判断すると、検出部２１４で動きベクトルを探索するブロック単位を１６×１６の大きいブロックサイズに制限するブロックサイズ情報をブロック分割部２１２ｂに出力する（Ｓ２１２）。逆に、閾値より小さいと判断されると、１６×１６の他に８×８の小さいブロックサイズも含めたブロックサイズ情報をブロック分割部２１２ｂに出力する（Ｓ２１３）。
ブロック分割部２１２ｂは、ブロックサイズ決定部２１０ｂから出力されるブロックサイズ情報に基づいて、セレクタ２０３から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する（Ｓ６５ｂ）。
次に、検出部２１４は、その符号化対象画像に対してブロック分割部２１２ｂから受け取るブロックサイズで同一または類似のブロックを探索し、動きベクトルを検出する。そのとき、最も類似している動きベクトルを出力する（Ｓ６６１）。
動きベクトルにおいて、ブロック分割部２１２ｂから１６×１６のブロックサイズに制限されたブロック情報を受け取った場合は、符号化対象画像の周囲３２×３２の領域に対して、１６×１６のブロックサイズのみで同一または類似のブロックの探索を行う。
一方、１６×１６と８×８の２種類のブロックサイズ情報を受け取った場合、符号化対象画像の周囲３２×３２の領域に対して、１６×１６と８×８の２種類のブロックサイズで同一または類似のブロックの探索を行う。その後、最も類似している動きベクトルを補償部２１５に出力する。
さらに、補償部２１５は、その検出された動きベクトルを用いて動き補償を行うことによって、符号化対象画像のブロックに対する予測信号を生成する（Ｓ６６２）。
また、減算器２０５は、符号化対象画像から、予測信号の示す画像を減算することによって予測誤差信号を生成する（Ｓ６７ｂ）。
一方、制御部は、符号化対象画像がＩピクチャであってＳ４０６で動き補償予測符号化を行うべきでないと判別するときであって画面内予測符号化を行うべきと判別するとき、または、符号化対象画像がＰピクチャまたはＢピクチャであって画面内予測符号化を行うべきと判別するとき（Ｓ６３でＹ）、スイッチ２０４ａを制御して減算器２０５を変換部２１６に接続、スイッチ２０４ｂを制御して画面内符号化部２１３を減算器２０５に接続、スイッチ２０４ｃを制御して画面内符号化部２１３と加算器２２１との間の３つを接続させる。
次に、ブロックサイズ決定部２１０ａは、その符号化対象画像のぼかし量に応じて画面内予測を行う際のブロックサイズの決定を行う（Ｓ６４ａ）。まず、符号化対象画像領域のぼかし量をぼかし処理部２０２から取得し、閾値より大きいか判断する（Ｓ２０１）。閾値より大きいと判断すると、画面内予測部２１３でブロック探索するブロック単位を１６×１６の大きいブロックサイズに制限するブロックサイズ情報をブロック分割部２１２ａに出力する（Ｓ２０２）。逆に、閾値より小さいと判断されると、１６×１６の他に４×４の小さいブロックサイズも含めたブロックサイズ情報をブロック分割部２１２ａに出力する（Ｓ２０３）。
ブロック分割部２１２ａは、ブロックサイズ決定部２１０ａから出力されるブロックサイズ情報に基づいて、セレクタ２０３から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する（Ｓ６５ａ）。
画面内予測において、ブロック分割部２１２ａから１６×１６のブロックサイズに制限されたブロック情報を受け取った場合は、符号化対象画像の位置から見て、左、上、右上、左上の計４つの位置に対して、１６×１６のブロックサイズのみで同一または類似のブロックの探索を行う。
一方、１６×１６と４×４の２種類のブロックサイズ情報を受け取った場合、４つの位置に対して、１６×１６と４×４の２種類のブロックサイズで同一または類似のブロックの探索を行う。
その後、最も類似している予測信号をスイッチ２０４ｂと２０４ｃに出力する（Ｓ６６）。
また、減算器２０５は、符号化対象画像から、予測信号の示す画像を減算することによって予測誤差信号を生成する（Ｓ６７ａ）。
一方、制御部は、符号化対象画像が副画像であると判別されると（Ｓ６１でＮ）、スイッチ２０４ａを制御して減算器２０５を変換部２１６に接続、スイッチ２０４ｂを制御して補償部２１５と減算器２０５を接続、スイッチ２０４ｃを制御して補償部２１５と加算器２２１との間の３つを接続させる。
次に、ブロックサイズ決定部２１０ｂは、その符号化対象画像のぼかし量に応じて視差検出を行う際のブロックサイズの決定を行う（Ｓ６４ｃ）。まず、符号化対象画像領域のぼかし量をぼかし処理部２０２から取得し、閾値より大きいか判断する（Ｓ２２１）。閾値より大きいと判断すると、検出部２１４で視差ベクトルを探索するブロック単位を１６×１６の大きいブロックサイズに制限するブロックサイズ情報をブロック分割部２１２ｂに出力する（Ｓ２２２）。
逆に、閾値より小さいと判断されると、１６×１６の他に８×８の小さいブロックサイズも含めたブロックサイズ情報をブロック分割部２１２ｂに出力する（Ｓ２２３）。
ブロック分割部２１２ｂは、ブロックサイズ決定部２１０ｂから出力されるブロックサイズ情報に基づいて、セレクタ２０３から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する（Ｓ６５ｃ）。
次に、検出部２１４は、その符号化対象画像に対してブロック分割部２１２ｂから受け取るブロックサイズで同一または類似のブロックを探索し、視差ベクトルを検出する。そのとき、最も類似している視差ベクトルを出力する（Ｓ６６３）。
視差ベクトルにおいて、ブロック分割部２１２ｂから１６×１６のブロックサイズに制限されたブロック情報を受け取った場合は、符号化対象画像の周囲３２×３２の領域に対して、１６×１６のブロックサイズのみで同一または類似のブロックの探索を行う。
一方、１６×１６と８×８の２種類のブロックサイズ情報を受け取った場合、符号化対象画像の周囲３２×３２の領域に対して、１６×１６と８×８の２種類のブロックサイズで同一または類似のブロックの探索を行う。その後、最も類似している視差ベクトルを補償部２１５に出力する。
さらに、補償部２１５は、その検出された視差ベクトルを用いて視差補償を行うことによって、符号化対象画像のブロックに対する予測信号を生成する（Ｓ６６４）。
また、減算器２０５は、符号化対象画像から、予測信号の示す画像を減算することによって予測誤差信号を生成する（Ｓ６７ｃ）。
次に、スイッチ２０４ａは生成された予測残差信号を変換部２１６に出力する（Ｓ７０）。
ここで、複数の予測残差信号が生成されている場合がある。例えば、符号化対象画像が副画像でＰピクチャの場合、副画像であるため視差補償による予測残差信号が生成され（Ｓ６７ｃ）、Ｐピクチャであるため動き補償による予測残差信号が生成され（Ｓ６７ｂ）、画面内符号化が行えるため画面内符号化による予測残差信号が生成され（Ｓ６７ａ）、結果、合わせて３つの予測残差信号が生成される。その場合、生成された複数の予測残差信号のうちで最も小さい予測残差信号を変換部２１６へ受け渡す。
逆に、予測残差信号が全く生成されていない場合がある。例えば、符号化対象画像が主画像のＩピクチャの場合、画面内予測、動き補償予測、視差補償予測のいずれも行わないため、予測残差信号が一つも生成されない。その場合、予測残差信号選択を行わず、スイッチ２０４ａはセレクタ２０３から出力される主画像データの符号化対象画像を変換部２１６に出力する。
その後、変換部２１６は、スイッチ２０４ａが出力する符号化対象画像または予測残差信号に対して直交変換を行うことによって周波数係数を生成する（Ｓ８０）。
量子化部２１７は、その周波数係数を量子化することによって量子化値を生成し（Ｓ９０）、可変長符号化部２１８はその量子化値を可変長符号化する（Ｓ１００）。
＜まとめ＞
このように本実施の形態では、符号化する際のブロックサイズ決定には、視差情報による距離情報やフォーカスポイント情報だけで無く、任意のぼかしパラメータも用いたぼかし処理により付加されるぼかし情報を用いることで、任意のぼかし具合に対してブロックサイズの決定を行うことができる。
これにより、ブロックサイズを複数の候補から決定の行える符号化において、ぼかし量が大きい領域ほど大きいブロックサイズに制限することから、情報量の少ないぼかし量の大きい領域の圧縮率を向上させることができる。
また、本実施の形態では、任意のぼかし具合に対して可変ブロックサイズの決定を行った後、画面内予測を用いた符号化を行うことができる。
これにより、同一画面内のブロック間の相関を利用して圧縮率を向上させる画面内予測による符号化において、ぼかし量が大きく設定された領域では強めのぼかし処理により高周波成分が低下した平坦な画像と判断し、大きな予測ブロックサイズに制限して予測することで、画面内予測における予測残差が小さい参照ブロックの探索処理量を減らし、処理の高速化や、省電力化が行える。また、逆に、ぼかし量が小さい、またはぼかさない領域は、複雑な画像が存在しても問題無いように、小さなブロックも含めたブロックで予測する。こうして、平坦な画像も複雑な画像も効率良く予測できる。
さらに、本実施の形態では、任意のぼかし具合に対して可変ブロックサイズの決定を行った後、動き補償予測または視差補償予測による画面間予測を用いた符号化を行うことができる。
これにより、複数画面間のブロック間の相関を利用して圧縮率を向上させる画面間予測による符号化において、ぼかし量が大きく設定された領域では強めのぼかし処理により高周波成分が低下した平坦な画像と判断し、大きなブロック単位で予測することで、画面間予測における予測残差が小さい参照ブロックの探索処理量を減らし、処理の高速化や、省電力化が行える。逆に、ぼかし量が小さい、またはぼかさない領域は、複雑な画像が存在しても問題無いように、小さなブロックも含めたブロックで予測する。こうして、平坦な画像も複雑な画像も効率良く予測できる。さらに、画面間予測における参照ブロックの探索処理には、複数画面をメモリに蓄え、それを参照する為、大きなブロック単位での予測に制限することでデータアクセス回数またはデータ転送量を減らし省メモリ帯域化が行える。
（変形例１）
上記実施の形態において、画像符号化装置２００は、主画像と副画像から視差情報を生成して、主画像と副画像それぞれにぼかしを付加して符号化を行ったが、単一の画像と、当該画像の画素単位ごとの距離情報を取得し、ぼかしを付加して符号化を行ってもよい。
図９に本変形例に係る画像符号化装置５００を示す。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
図９において、撮影画像符号化システムは、被写体を撮影すると同時に被写体とシステムとの距離情報を取得し、距離情報を用いてぼかしを付与した画像信号を符号化する。このような撮影画像符号化システムは、本変形例における画像符号化装置５００と、カメラ１００と、距離取得手段１１０と、ぼかしパラメータ入力部３００とを備えている。
＜距離取得手段１１０＞
距離取得手段１１０は、カメラ１００から入力された画像上の各画素におけるカメラと被写体との距離を測定する。距離の検出は、超音波やミリ波などを送出し、被写体からの反射波が到達するまでの時間や位相差などを測定することにより行う。
＜画像符号化装置５００＞
画像符号化装置５００は、距離取得手段１１０から出力される距離情報を用いて、カメラ１００から出力される画像信号にぼかしを付与して符号化することによって、符号化画像信号を生成して出力する。
このような画像符号化装置５００は、画像取得部２０６、視差取得部５０１、ぼかし処理部２０２、セレクタ２０３、スイッチ２０４ａ、２０４ｂおよび２０４ｃ、減算器２０５、ブロックサイズ決定部２１０ａおよび２１０ｂ、ブロック分割部２１２ａおよび２１２ｂ、画面内予測部２１３、検出部２１４、補償部２１５、変換部２１６、量子化部２１７、可変長符号化部２１８、逆量子化部２１９、逆変換部２２０、および加算器２２１を備える。
＜視差取得部５０１＞
視差取得部５０１は、視差検出部２０１を含まず、距離取得手段１１０より視差または距離情報を取得して、ぼかし処理部２０２に視差または距離情報を出力する。本実施の形態において、視差取得部５０１は、距離取得手段１１０より、カメラ１００から入力された画像上の各画素におけるカメラと被写体との距離を取得する。
＜動作＞
画像符号化装置５００の動作は、視差の検出を行わずに入力された距離情報を用いてぼかし量の算出を行うこと、および、ぼかしと符号化の対象が単一の画像であることを除いて上記実施の形態と同様であるので、図４のフローチャートをそのまま用いて、差分のみについて説明する。
画像取得部２０６は、カメラ１００より画像信号を取得する（Ｓ２０）。受け付ける画像信号は、単一視点の映像信号である。
視差取得部５０１は、距離取得手段１１０より画像信号の画素単位ごとの距離情報を取得し、ぼかし処理部２０２に出力する（Ｓ３０）。
画像符号化装置５００は、画像取得部２０６が受け付けた画像信号を符号化対象画像として選択する（Ｓ４０）。
ぼかし処理部２０２は、画像信号の画素単位ごとの距離情報を用いてぼかし量の算出を行い、符号化対象画像にぼかしの付加を行う（Ｓ５０）。このとき、ぼかし処理部２０２は視差取得部５０１より距離情報を得ているため、ぼかしパラメータを用いて視差から距離情報を算出する処理は行わず、視差取得部５０１より距離情報をそのまま用いてぼかし量を算出する。
以下の符号化の処理については、副画像が存在しない単一の画像を符号化することを除いてＳ６０〜Ｓ１００の動作と同様であるので説明を省略する。
このように本変形例では、被写体の距離が既知である単一の画像に対して、任意のぼかしパラメータと距離とを用いたぼかし処理により付加されるぼかし情報を用いて、ブロックサイズを選択し符号化を行うことができる。
なお、本変形例においては、視差取得部５０１が距離情報を距離取得手段１１０から取得してぼかし処理部２０２に出力するものとしたが、視差取得部５０１は、視差画像など視差値そのものの入力を受け付けるものとしてもよい。この場合、視差取得部５０１は取得した視差をぼかし処理部２０２に出力してもよいし、ぼかしパラメータを用いて距離情報に変換し、距離情報をぼかし処理部２０２に出力してもよい。また、同様に視差取得部５０１は距離情報を得て、ぼかしパラメータを用いて距離情報を視差に変換し、視差をぼかし処理部２０２に出力するものとしてもよい。
（変形例２）
上記実施の形態において、画像符号化装置２００は、主画像と副画像からなるステレオ映像信号にぼかしを付加して符号化を行ったが、主画像または副画像の一方のみにぼかしを付加して符号化を行ってもよい。
この場合、例えば、ぼかしパラメータに主画像と副画像のいずれに対してぼかしを付加して符号化するか示す情報を含め、Ｓ４０において当該情報に基づき符号化の対象となる画像を選択することで、符号化の対象となる画像にのみぼかし処理と符号化処理を行うことができる。あるいは、主画像のみにぼかしを付加して符号化する場合には、カメラ１００ｂの画像信号を画像取得部２０６またはぼかし処理部２０２に入力せず、視差検出部２０１にのみ入力するとしてもよい。
本変形例においては、ぼかしを付加して符号化する画像は単一であるので、ぼかし処理部２０２は符号化の対象となる画像にのみぼかし処理を行い、単一のぼかし画像データをセレクタ２０３に出力する。ぼかし処理および符号化の動作は、上記変形例１と同様であるので説明を省略する。
（実施の形態２）
図１０は、本発明の実施の形態２における画像符号化装置６００のブロック図である。図１０において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
本実施の形態における画像符号化装置６００は、任意のぼかし具合に対して可変ブロックサイズの決定を行った後、周波数成分への変換を行う直交変換を用いた符号化を行う点に特徴がある。
図１０において、ステレオ撮影符号化システムは、被写体を立体視可能なように撮影し、撮影によって生成されたステレオ映像信号を符号化する。このようなステレオ撮影符号化システムは、実施の形態２における画像符号化装置６００と、視差のある主画像および副画像の入力を受け付けるカメラ１００ａおよび１００ｂと、ぼかしパラメータ入力部３００とを備えている。
＜画像符号化装置６００＞
画像符号化装置６００は、視差検出部２０１から出力される視差を用いて、カメラ１００ａおよび１００ｂから出力されるステレオ映像信号にぼかしを付加し符号化することによって、符号化映像信号を生成して出力する。また、画像符号化装置６００は、ステレオ映像信号に含まれる２つの映像信号を符号化するときには、静止画または動画として符号化する。
このような画像符号化装置６００は、画像取得部２０６、視差取得部２０７、ぼかし処理部２０２、セレクタ２０３、ブロックサイズ決定部６１０、ブロック分割部６１１、変換部２１６、量子化部２１７、および可変長符号化部２１８を備える。
なお、本実施の形態では、符号化方式として、直交変換である離散ウェーブレット変換を用いる静止画形式ＪＰＥＧ ２０００、動画形式Ｍｏｔｉｏｎ ＪＰＥＧ ２０００を使用する。
＜ブロックサイズ決定部６１０＞
ブロックサイズ決定部６１０は、符号化対象画像に対して、符号化対象画像領域のぼかし量をぼかし処理部２０２から取得し、閾値と比較する。
本実施の形態では、ブロックサイズを１６×１６、８×８の２種類のうち一方を使用するものとし、閾値を８ピクセルとする。
ぼかし量が閾値より大きい場合には、変換部２１６で直交変換を行うブロック単位を１６×１６の大きいブロックサイズに制限するブロックサイズ情報をブロック分割部６１１に出力する。
逆に、閾値より小さい場合には、８×８の小さいブロックサイズに制限するブロックサイズ情報をブロック分割部６１１に出力する。
＜ブロック分割部６１１＞
ブロック分割部６１１は、ブロックサイズ決定部６１０から出力されるブロックサイズ情報に基づいて、セレクタ２０３から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する。
本実施の形態においては、１６×１６に制限されたブロックサイズ情報の場合、１６×１６のサイズのみで符号化対象画像を分割して、分割画像を変換部２１６へ出力する。
一方、８×８に制限されたブロックサイズ情報を受け取った場合、８×８のサイズのみで符号化対象画像を分割して、分割画像を変換部２１６へ出力する。
＜動作＞
図１１、図１２は、本実施の形態における画像符号化装置６００の動作を示すフローチャートである。
図１１において、図４と同じ動作については同じ符号を用い、説明を省略する。
ブロックサイズ決定部６１０は、その符号化対象画像のぼかし量に応じて直交変換を行う際のブロックサイズの決定を行う（Ｓ３１０）。まず、符号化対象画像領域のぼかし量をぼかし処理部２０２から取得し、閾値より大きいか判断する（Ｓ３１１）。閾値より大きいと判断すると、変換部２１６で直交変換を行うブロック単位を１６×１６の大きいブロックサイズに制限するブロックサイズ情報をブロック分割部６１１に出力する（Ｓ３１２）。
逆に、閾値より小さいと判断されると、８×８の小さいブロックサイズに制限するブロックサイズ情報をブロック分割部６１１に出力する（Ｓ３１３）。
ブロック分割部６１１は、ブロックサイズ決定部６１０から出力されるブロックサイズ情報に基づいて、セレクタ２０３から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する（Ｓ３２０）。
＜まとめ＞
このように本実施の形態では、符号化する際の直交変換を行うためのブロックサイズの決定に、任意のぼかしパラメータを用いたぼかし処理により付加されるぼかし情報を用いる。これにより任意のぼかし具合に対して直交変換のブロックサイズの決定を行うことができる。
また、ぼかし量が大きい領域では、強めのぼかし処理により高周波成分が低下しているため、ブロックサイズを大きく制限することで高圧縮化を図ることができる。
なお、実施の形態２の画像符号化装置６００に対しても、実施の形態１における変形例１または変形例２と同様の変形を行うことができる。変形例の動作は、実施の形態１における変形例で説明したＳ１０〜４０の差異、ならびにぼかしと符号化の対象が単一の画像信号となる以外は実施の形態２と同様である。
（実施の形態３）
図１３は、本発明の実施の形態３における画像符号化装置７００のブロック図である。図１３において、図１、図９と同じ構成要素については同じ符号を用い、説明を省略する。
本実施の形態における画像符号化装置７００は、１つの画像とその画像に対応した被写体の距離情報から立体視可能な２つの画像を生成し、被写体の距離情報を用いて任意のぼかしを付加して符号化を行う点に特徴がある。
図１３において、ステレオ映像符号化システムは、被写体を撮影すると同時に被写体の距離情報を取得し、距離情報に基づいて撮影によって生成された画像からステレオ映像信号を生成して符号化する。このようなステレオ映像符号化システムは、実施の形態３における画像符号化装置７００と、画像の入力を受け付けるカメラ１００と、距離取得手段１１０と、ぼかしパラメータ入力部３００と、記憶部４００とを備えている。
＜画像符号化装置７００＞
画像符号化装置７００は、視差取得部５０１、画像取得部７０１、ぼかし処理部２０２、セレクタ２０３、スイッチ２０４ａ、２０４ｂおよび２０４ｃ、減算器２０５、ブロックサイズ決定部２１０ａおよび２１０ｂ、ブロック分割部２１２ａおよび２１２ｂ、画面内予測部２１３、検出部２１４、補償部２１５、変換部２１６、量子化部２１７、可変長符号化部２１８、逆量子化部２１９、逆変換部２２０、および加算器２２１を備える。また、画像取得部２０６は、立体画像生成部７０１を備える。
＜ぼかしパラメータ入力部３００＞
ぼかしパラメータ入力部３００は、カメラ１００で撮影された画像から立体画像を生成するための立体画像生成パラメータと、生成したステレオ映像信号に付加するためのぼかしパラメータの入力を行うユーザーインターフェースである。
入力するパラメータは以下の通りとなる。立体画像生成パラメータとして、カメラ１００の画素サイズ（ｍ）と焦点距離（ｆp）に加えて、立体画像を撮像するために想定される２つのカメラ間の基線長（ｌ）、視差調整量（Ｓr）と重み係数（Ｗr）を入力する。ぼかしパラメータとして、被写体前方または後方の位置におけるぼかしの調整量（Ｓn、Ｓf）と被写体前方と後方における各重み係数（Ｗn、Ｗf）、被写体のピント位置情報（Ｐ）、実際の撮影レンズによるものとは異なるレンズ情報、つまり仮想の焦点距離（ｆv）と絞り値（Ｆ値）を入力する。
なお、視差調整量（Ｓr）と重み係数（Ｗr）は被写体全体の距離と、被写体間の奥行距離を変化させる係数で、値が大きいほど被写体がカメラに近づくと同時に被写体間のカメラからの距離の差が小さくなり、値が小さいほど被写体がカメラから遠ざかると同時に被写体間のカメラからの距離の差が大きくなる効果が発生する。また、視差調整量（Ｓr）を０かつ重み係数（Ｗr）を１に設定した場合には、カメラの基線長（ｌ）だけカメラ１００から離れた位置で撮影されたと想定される副画像が生成される。
これらのパラメータの設定を受け取り、立体画像生成パラメータを立体画像生成部７０１に出力し、ぼかしパラメータをぼかし処理部２０２に出力する。
＜画像取得部７０１＞
画像取得部７０１は、カメラ１００から画像を取得し、ステレオ映像信号を生成してぼかし処理部２０２に出力する。画像取得部７０１は、ステレオ映像信号を生成する立体画像生成部７０２を含んでいる。
＜立体画像生成部７０２＞
立体画像生成部７０２は、カメラ１００から入力された画像と、視差取得部５０１から入力された距離情報を基に左眼用画像と右眼用画像とからなるステレオ映像信号を生成する。
立体画像を生成する方法について説明する。実施の形態１で説明したように、視差情報を（ｄ）とすると、被写体とカメラとの距離（Ｄ）との関係は数２のとおりであるから（図２（ａ））、視差情報（ｄ）は
Figure 0005932666
 となる。
このような計算を全ての被写体について行うことにより、立体画像における被写体ごとの視差の値が求まる。
本実施の形態においては、画像取得部７０１がカメラ１００から取得した画像をそのまま主画像とし、主画像の各画素を
Figure 0005932666
 で求められるｄrだけずらすことによって副画像を生成する。
なお、ｄrの分布によって、副画像上の各画素が主画像上の複数の画素に対応する場合や、対応する主画像上の画素が存在しない場合がある。副画像上の画素が主画像上の複数の画素に対応する場合、対応する画素の中で最もカメラに近い画素と対応させれば自然な画像となる。逆に、対応する主画像上の画素が存在しない空白の画素については、当該画素の周辺の画素のデータを複製することで空白を埋めて不自然な副画像が出力されることを防ぐことができる。
立体画像生成部７０２は、生成した主画像と副画像をぼかし処理部２０２に出力する。
＜動作＞
図１４は、本実施の形態における画像符号化装置７００の動作を示すフローチャートである。
図１４において、図４と同じ動作については同じ符号を用い、説明を省略する。
画像処理装置７００はぼかしパラメータの設定が完了後、画像信号の取得を行い（Ｓ２０）、取得した画像の各画素に関する距離情報を取得する（Ｓ４１０）。
立体画像生成部７０２は、Ｓ１０で取得したぼかしパラメータと、ステップＳ４１０で取得した距離情報から、ステレオ映像信号に存在するべき視差量を算出する。立体画像生成部７０２は、ステップＳ２０で取得した画像を主画像として、主画像に算出した視差量を付加した副画像を生成するステレオ画像生成を行う（Ｓ４２０）。立体画像生成部７０２は、生成したステレオ画像をぼかし処理部２０２に出力する。
このように本実施の形態では、１つの画像とその画像に対応した被写体の距離情報から立体視可能な２つの画像を生成し、被写体の距離情報を用いて任意のぼかしを付加して符号化を行う。これにより、１視点の画像と被写体の距離情報から、ぼかしを付加した符号化ステレオ映像信号を生成することが可能となる。
（実施の形態４）
図１５は、本発明の実施の形態４における画像符号化装置７１０のブロック図である。図１５において、図１３と同じ構成要素については同じ符号を用い、説明を省略する。
本実施の形態における画像符号化装置７１０は、カメラ１２０のズーム制御によって２つの焦点距離を切り替えることで撮像素子と被写体との間の距離情報を取得する点に特徴がある。
図１５において、ステレオ映像符号化システムは、焦点距離の異なる２つの画像を取得し、２つの画像の視差情報に基づいて被写体の距離を算出し、算出した距離情報に基づいて撮影された一方の画像からステレオ映像信号を生成して符号化する。このようなステレオ映像符号化システムは、実施の形態４における画像符号化装置７１０と、ズーム機能を有し焦点距離が可変であるカメラ１２０と、ぼかしパラメータ入力部３００と、記憶部４００とを備えている。
＜画像符号化装置７１０＞
画像符号化装置７１０は、視差取得部７０３に距離検出部７０４を備えており、距離検出部７０４はカメラ１２０、ぼかしパラメータ入力部３００に接続されている。
＜ぼかしパラメータ入力部３００＞
ぼかしパラメータ入力部３００は、画像を生成するための焦点距離（ｆp）と距離測定を行うための焦点距離（ｆp'）（ｆp'＞ｆp）の入力を受け付ける。
ぼかしパラメータ入力部３００は、２つの焦点距離情報を距離検出部７０４に出力する。
＜距離検出部７０４＞
距離検出部７０４は、ぼかしパラメータ入力部３００より焦点距離（ｆp）と焦点距離（ｆp'）を受け取り、カメラ１２０に１フレームごとに焦点距離（ｆp）と焦点距離（ｆp'）を交互に設定し、カメラ１２０から入力された画像上の各画素における、カメラ１２０と被写体との距離を測定する。距離の検出は、焦点距離の異なる２種類の画像上の対応する画素の視差情報を検出し三角計測の計測原理を用いることにより行う。距離検出部７０４は、測定した距離情報を立体画像生成部７０２とぼかし処理部２０２に出力する。
図１５を用いて説明する。焦点距離（ｆp）のときに被写体に対応する撮像素子上の画素と光軸との距離（ｙp）、光軸を基準とした撮像素子から被写体への焦点距離（ｆp）のときの方位（θp）との関係は、
Figure 0005932666
 である。焦点距離（ｆp'）のときに被写体に対応する撮像素子上の画素と光軸との距離（ｙp'）、光軸を基準とした撮像素子から被写体への焦点距離（ｆp'）のときの方位（θp'）との関係は同様に、
Figure 0005932666
 である。
一方、光軸と被写体との距離を（ｙ）とし、焦点距離（ｆp'）のときの焦点から被写体までの距離を（ｚ）とすると、（θp）と（ｙ）、（ｚ）との関係は、
Figure 0005932666
 であり、同様に（θp'）と（ｙ）、（ｚ）との関係は、
Figure 0005932666
 である。数６〜数９より、被写体から撮像素子までの距離（Ｚ）は、
Figure 0005932666
 となる。
被写体ごとに画素の位置（ｙp）、（ｙp'）を検出し、得られた画素の位置（ｙp）、（ｙp'）から数１０を用いることで、前述の被写体と撮像素子との間の距離（Ｚ）を得ることができる。なお、画素の位置（ｙp）、（ｙp'）の検出は、例えば、実施の形態１における視差検出部２０１がブロックマッチング法で視差を検出するのと同様の方法で行うことができる。
この得られた被写体と撮像素子との間の距離（Ｚ）を立体画像生成部７０２に出力する。
＜立体画像生成部７０２＞
立体画像生成部７０２は、カメラ１２０から入力された画像と、視差取得部７０３から入力された距離情報を基に左眼用画像と右眼用画像とからなるステレオ映像信号を生成する。動作については実施の形態３と同様であるので説明を省略する。
＜動作＞
画像処理装置７１０はぼかしパラメータの設定が完了後、カメラ１２０の焦点距離を（ｆp）に設定して画像信号の取得を行い（Ｓ２０）、次にカメラ１２０の焦点距離を（ｆp'）に設定した画像信号の取得と取得した２画像の視差の検出を行うことで、視差値に基づく被写体ごとの距離情報の検出を行う（Ｓ４１０）。
このように本実施の形態では、１つの画像と、焦点距離を変更して取得したもう１つの画像から被写体の距離情報を検出し、検出した被写体の距離情報を用いて、立体視可能な２つの画像を生成し任意のぼかしを付加して符号化を行う。これにより、ズーム機能を有し焦点距離が可変である１つのカメラを用いて、焦点距離が異なる１視点の２つの画像から、ぼかしを付加した符号化ステレオ映像信号を生成することが可能となる。
（実施の形態５）
本実施の形態では、本発明に係る画像符号化装置を備えたシステムについて説明する。
図１７は、本実施の形態における画像符号化システムの構成を示すブロック図である。図１７において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
画像符号化システムは、画像符号化装置２００、記憶部４００、カメラ１００ａ、カメラ１００ｂ、表示部８００、および外部記録装置９００を備える。
カメラ１００ａは、レンズ１０１ａ、撮像素子１０２ａ、主制御部１０３ａおよびレンズ制御部１０４ａを備える。撮像素子１０２ａは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）から構成され、レンズ１０１ａを介して光信号を取得し、その光信号を電気信号に変換して主制御部１０３ａに出力する。レンズ制御部１０４ａは、主制御部１０３ａからの制御に応じて、レンズ１０１ａの焦点などを調整する。主制御部１０３ａは、例えばＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）から構成され、撮像素子１０２ａから出力された電気信号を取得し、その電気信号を映像信号として画像符号化装置２００に出力する。さらに、主制御部１０３ａは、撮像素子１０２ａおよびレンズ制御部１０３ａを制御することにより、シャッタースピード、ゲイン調整、および焦点調整などを行う。
カメラ１００ｂは、レンズ１０１ｂ、撮像素子１０２ｂ、主制御部１０３ｂおよびレンズ制御部１０４ｂを備える。カメラ１００ｂが備えるこれらの構成要素は、それぞれカメラ１００ａが備える上述の各構成要素と同一である。
なお、主制御部１０３ａおよび１０３ｂはそれぞれ、カメラ１００ａおよび１００ｂの焦点およびシャッタースピードなどが同一となるように協調動作を行う。
表示部８００は、例えば液晶ディスプレイなどを備え、画像符号化装置２００からステレオ映像信号を取得し、そのステレオ映像信号により示される主画像および副画像を表示する。
外部記録装置９００は、例えばＢＤ−Ｒ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）が装着されるように構成されている。そして、外部記録装置９００は、画像符号化装置２００から符号化映像信号を取得し、その符号化映像信号を装着された記録媒体に書き込む。
＜本実施の形態に係るその他の変形例＞
（１）実施の形態１では、ブロックマッチング法による視差の検出方法として、１６×１６画素の領域を切り出し、輝度差の総和（ＳＡＤ）を求め、切り出し位置を検索する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、切り出し領域が８×８画素であってもよいし、８×１６画素など縦横比が異なる切り出し領域を用いてもよい。あるいは、輝度差の総和（ＳＡＤ）の代わりに、例えば、輝度差の２乗和（ＳＳＤ； Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や、正規化相互相関（ＺＮＣＣ； Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）を用いてもよい。
あるいは、主画像と副画像間の対応位置を求める手法はブロックマッチング法でなくともよく、例えばグラフカット法を用いてもよい。
（２）実施の形態１では、ブロックマッチング法による視差の検出方法として、輝度差を用いる場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画素値がＲＧＢ空間で表されている場合、Ｇの値の差を用いてもよいし、画素値がＹＣｂＣｒ空間で表されていて画面内の輝度Ｙがほぼ一定であるような場合、Ｃｂの値の差またはＣｒの値の差を用いてもよい。
あるいは、例えば、画素値がＲＧＢ空間で表されている場合、Ｒ・Ｇ・Ｂの値それぞれについてＳＡＤを算出して、それらの最小値あるいは平均値を用いてもよいし、あるいは加重平均値を用いてもよい。例えば、（ＲのＳＡＤ＋２×ＧのＳＡＤ＋ＢのＳＡＤ）／４を視差値として、視差値が最小となる切り出し位置を検索してもよい。同様に画素値がＹＣｂＣｒ空間で表わされている場合、Ｙ・Ｃｂ・ＣｒそれぞれについてＳＡＤを算出して最小値を用いてもよいし、平均値または加重平均値を用いてもよい。このようにすることで、画素値の全部または一部を用いた任意の方法で視差を検出することができる。
（３）実施の形態１では、ぼかしパラメータ入力部３００はぼかしパラメータはタッチパネルと十字キーから設定を受け取り、ピント位置を主画像中の被写体の位置を指定して設定する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、ぼかしパラメータ入力部３００はキーボードやダイヤルなど任意の入力デバイスであってもよい。あるいは、例えばカメラ１００ａがオートフォーカス機能を有していれば、ぼかしパラメータ入力部３００は、ピント位置とピント位置情報（Ｐ）をカメラ１００ａから取得してもよい。
（４）実施の形態１では、前方と後方の各重み係数（Ｗn、Ｗf）、ぼかし調整量（Ｓf、Ｓn）以外のぼかしパラメータとして、被写体のピント位置情報（Ｐ）、カメラ１００ａと１００ｂ間の基線長（ｌ）、焦点距離（ｆp）、画素サイズ（ｍ）、仮想の焦点距離（ｆv）と絞り値（Ｆ値）をあげたが、本発明は必ずしもこの場合に限定されない。例えば、画素サイズ（ｍ）はカメラ１００ａから取得してもよいし、基線長（ｌ）は予め画像符号化装置２００が保持していてもよい。このようにすることで、ぼかしに必要十分なぼかしパラメータを取得して使用することが可能になる。
あるいは、画像符号化装置２００は、ピント位置からの距離と錯乱円径の対応パターンを予め複数保持しておき、いずれかのパターンを適応してぼかし処理を行った画像をユーザーに提示し、どのパターンを使用するか選択させてもよい。このようにすることで、ユーザーに好適なぼかしを選択して実施することが可能になる。
（５）実施の形態１では、ぼかしパラメータとして撮像に用いた光学系の焦点距離（ｆp）と仮想の焦点距離（ｆv）を使用し、焦点距離（ｆp）を用いてカメラと被写体との距離（Ｄ）を算出したが、本発明は必ずしもこの場合に限定されない。例えば、ピント位置（Ｐ）を実際の距離（Ｌ）でなく視差値（ｄ）で得ている場合には、撮像に用いた光学系の焦点距離（ｆp）を使用せず、仮想の焦点距離（ｆv）で代用してもよい。
カメラと被写体との距離（Ｄ）を視差値（ｄ）から算出するときにｆpの代用としてｆvを用いると、視差値から算出される距離Ｄ’（以下、仮想距離と呼ぶ）は実際の距離Ｄのｆv／ｆp倍となるので、ＸとＬは実際値のｆv／ｆp倍となる。このため視差値（ｄ）に対応する仮想錯乱円径（σ’）の値は、数２、数３のそれぞれにおいて、右辺第１項が実際値のｆp／ｆv倍となる。そのため、あらかじめ重み係数（Ｗn、Ｗf）にｆv／ｆpを織り込んでおくことにより、視差値（ｄ）に対応する所望の仮想錯乱円径（σ）の値を得ることが可能となる。また、カメラとピント位置（Ｐ）との仮想距離Ｌ’も実際の距離Ｌのｆv／ｆp倍となるので、全ての被写体およびピント位置（Ｐ）における、カメラからの仮想距離は実際の距離のｆv／ｆp倍となる。したがって、被写体とピント位置との前後関係、被写体同士の前後関係は実際の距離と仮想距離とに対して同一の関係となる。
つまり、カメラとあらゆる点との仮想距離が実際の距離のｆv／ｆp倍であること、仮想錯乱円径（σ’）の距離依存成分がｆp／ｆv倍となること以外にｆpの代わりにｆvを用いることの影響は発生しない。加えて、上述したように、σ’への影響は重み係数（Ｗn、Ｗf）をｆv／ｆp倍すれば打ち消すことができるため、ぼかしマトリクスおよびぼかし量においてｆpの代わりにｆvを用いることの影響をなくすことが可能である。
以上の理由により、ｆpの代用としてｆvを用いてもよい。これによりｆpを使用する必要がなくなり、ぼかしパラメータを一つ減らすことが可能となる。
（６）実施の形態１では、仮想錯乱円径（σ）は、ピント位置より遠い場合に数２、ピント位置より近い場合に数３で算出される場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、仮想光学系の錯乱円径をそのまま用いて、
Figure 0005932666
 であるとしてもよいし、近似を行わず調整量や重み係数の付加のみを行ってもよい。
あるいは、被写体の距離範囲毎に異なるσの算出式を用いてもよい。例えば、図２（ｃ）に示すように、ピント位置より遠い場合に、任意の距離Ｘ１より遠い場合と近い場合とで異なるσの算出式を用いてもよい。
あるいは、理想的な光学系を想定してぼかしを付加するのではなく、Ｘを変数とする任意の関数を用いてσを算出してもよい。例えば、図２（ｄ）に示すように、２つのピント位置Ｌ１、Ｌ２（Ｌ１＜Ｌ２）を用いて、ピント位置Ｌ１より近い場合、ピント位置Ｌ２より遠い場合、およびピント位置Ｌ１より遠くＬ２より近い場合とで異なるσの算出式を用いてもよい。このようにすることで、距離の異なる複数の被写体にピントを合わせ、いずれのピント位置にも存在しない被写体を全てぼかす処理を行うことができる。
また、例えば、重み係数をＷg、調整量をＳgとして、カメラセンサのゲイン（Ｇ）に対して
Figure 0005932666
 としてもよいし、重み係数をＷiso、調整量をＳisoとして、カメラセンサのＩＳＯ感度（ＩＳＯ）に対して
Figure 0005932666
 としてもよい。このようにすることで、ピント位置についてはぼかしを付加せず引き立たせておき、ピント位置から離れた位置についてはゲイン・ＩＳＯ感度が高いことによって発生するノイズを平滑化して目立たせないためのぼかしを付加することができる。
このように、任意のぼかしを付加することが可能になる。
（７）実施の形態１では、ぼかしマトリクスとして、図３の（ａ）のように仮想錯乱円径（σ）内部のフィルタ係数を１、外部のフィルタ係数を０であるマトリクスを挙げたが、本発明は必ずしもこの場合に限定されない。例えば、図３の（ｂ）に示されるような中心に近いほどフィルタ係数が大きいマトリクスであってもよいし、対角線の長さが仮想錯乱円径（σ）である正方形内部のフィルタ係数を１、外部のフィルタ係数を０とするなど、任意のマトリクスであってもよい。あるいは、算出された仮想錯乱円径（σ）から、σg＝σ／４のガウシアンフィルタ
Figure 0005932666
 を用いてマトリクスを生成してもよい。
これらのマトリクスはユーザーが自由に入力できるものとしてもよいし、予め画像符号化装置２００に用意したマトリクスからユーザーが選択するものとしてもよい。このようにすることで、ユーザーに好適なぼかしを選択して実施することが可能になる。
（８）実施の形態１では、ぼかし量が仮想錯乱円径（σ）の値である場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば図３の（ｂ）のようなぼかしマトリクスを使用する場合には、フィルタ係数の一定の割合（ここでは６８．２６％とする）が集約される範囲の直径をぼかし量であるとしてもよい。
また同様に図３の（ｂ）のようなぼかしマトリクスを使用する場合には、フィルタ係数の平均値を閾値とし、その閾値以上の値が集約される範囲の直径をぼかし量であるとしてもよい。なお、閾値をフィルタ係数の中央値、またはフィルタ係数の最大値の半分としてもよい。
あるいは、上記変形例（７）の数１４で表されるガウシアンフィルタを用いたマトリクスを使用する場合には、（σ／２）を閾値としてもよい。
このようにすることで、マトリクスの特性に応じてぼかし量を算出することができる。
（９）実施の形態１では、ぼかし処理の画素単位を１画素である場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画素単位が２×２画素の４画素からなるものとしてもよい。このようにすることで、ぼかし処理に好適な単位で処理を行うことができるようになり、また処理量を削減することが可能になる。
（１０）実施の形態１と実施の形態２では、ブロックサイズ決定部２１０ａ、２１０ｂ、６１０が、閾値を４ピクセルまたは８ピクセルとして、１６×１６と４×４、または１６×１６と８×８の２種類のブロックサイズからブロックサイズ情報を出力する場合を説明したが、本発明は必ずしもこの場合に限定されない。
例えば、閾値のピクセル数は、カメラのセンサである撮像面の対角線の長さをＨとしたとき、許容錯乱円径は（Ｈ／Ｎ）（Ｎは１０００〜１５００の値）であるので、許容錯乱円径（Ｈ／１３００）の２倍を閾値のピクセル数としてもよい。
また、近似も調整量や重み係数の付加も行わない錯乱円径の最大値（ｆ2／（ＦＬ））の２倍を超えない値であって前述の許容錯乱円径（Ｈ／１３００）の２倍以上の任意の値を閾値のピクセル数としてもよい。このようにすることで、カメラのセンササイズに応じて閾値のピクセル数を決定し、ブロックサイズ情報を出力することが可能になる。
閾値のピクセル数は、これに限定されず、ユーザーが任意に閾値のピクセル数を設定してもよい。
（１１）実施の形態１では、ブロックサイズ決定部２１０ａが閾値を４ピクセルとして１６×１６と４×４の２種類のブロックサイズからブロックサイズ情報を出力する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、さらに８×８のブロックサイズを用いることができる場合、閾値として４ピクセルと８ピクセルの２つを用いて、１６×１６と８×８、４×４の３種類のブロックサイズからブロックサイズ情報を出力するものとしてもよい。このようにすることで、ぼかし量が大きい画像領域ほどブロックサイズを大きくすることが可能になる。
あるいは、ぼかし量が閾値より小さい場合には、最小のブロックサイズ、例えば４×４に制限したブロックサイズ情報を出力してもよい。このようにすることで、ぼかし量が小さい領域について、複数のブロックサイズに対して画面内予測を実施する必要がなくなり処理量を削減することが可能になる。
（１２）実施の形態１では、ブロックサイズ決定部２１０ｂが閾値を８ピクセルとして１６×１６と８×８の２種類のブロックサイズからブロックサイズ情報を出力する場合を説明したが、本発明は必ずしもこの場合に限定されない。
例えば、さらに閾値として４ピクセルを用いて、８×８に決定するブロックについてぼかし量が４ピクセル以下の場合に４×４のサブブロックに決定するものとしてもよい。このようにすることで、ぼかし量に応じてブロックサイズを多段に変更することが可能になる。
あるいは、ぼかし量が閾値より小さい場合には、最小のブロックサイズ、例えば８×８に制限したブロックサイズ情報を出力してもよい。このようにすることで、ぼかし量が小さい領域について、複数のブロックサイズに対して動き予測、視差予測を実施する必要がなくなり処理量を削減することが可能になる。
また、Ｈ．２６４の規格上は１６×８、８×１６のブロックサイズも使用可能であるので、例えば、閾値を８ピクセルとし、ぼかし量が８ピクセルより大きい画素は、８×８、１６×８、８×１６のブロックを使用しないものとしてもよい。
さらに、例えば、閾値を８ピクセルと６ピクセルの２つを設定することで、ぼかし量が８ピクセルより大きい画素は、８×８、１６×８、８×１６のブロックを使用しないものとし、ぼかし量が６ピクセルより大きい画素は、８×８を使用しないものとしても良い。
（１３）実施の形態１では、検出部２１４が符号化対象画像の周囲３２×３２の領域に対して、同一または類似のブロックの探索を行う場合を説明したが、本発明は必ずしもこの場合に限定されない。より広い領域、例えば、周囲６４×６４の領域に対して同一または類似のブロックの探索を行ってもよい。このようにすることで、より類似したブロックを探索できるようになる。
あるいは、より狭い領域、例えば、８×８のブロックに対しては周囲１６×１６の領域に対して同一または類似のブロックの探索を行うようにしてもよい。このようにすることで、処理量を削減することができる。
（１４）実施の形態１では、動き補償予測と視差補償予測とがいずれも画面間予測であって同一または類似の処理を行うことから、ブロックサイズ決定部２１０ｂとブロック分割部２１０ｂ、検出部２１４と補償部２１５を共有して処理する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、ブロックサイズ決定部２１０ｂを動き補償予測と視差補償予測とで分けてもよい。このようにすることで、ブロックサイズ決定のためのぼかし量の閾値を処理ごとに異なる値に設定することができ、それぞれの処理に対して好適なブロックサイズの決定が可能になる。
（１５）実施の形態１では、検出部２１４が符号化対象画像に対してブロック分割部２１２ｂから受け取るブロックサイズで同一または類似のブロックを探索し、視差ベクトルを検出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、視差検出部２０１が検出した視差情報を用いて視差ベクトルを算出してもよい。このようにすることで、ブロック探索処理を省略することができ、処理量を削減することが可能になる。
（１６）実施の形態１では、変換部２１６と逆変換部２２０がそれぞれＤＣＴ、ｉＤＣＴを行う場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、変換部２１６が離散ウェーブレット変換（ＤＷＴ；Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を行い、逆変換部２２０が逆離散ウェーブレット変換を行ってもよい。このようにすることで、直交変換を用いた任意の符号化方式を用いることができる。
（１７）実施の形態１では、画像符号化装置２００が視差補償予測と動き補償予測の両方式を利用するＨ．２６４ＭＶＣで符号化する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、Ｈ．２６４またはＭＰＥＧ−４のような、視差補償予測のない符号化方式を使用しても良い。このようにすることで、ブロックサイズが１種類に限定されない符号化方式であれば、任意の符号化方式を用いることができる。
（１８）実施の形態１の変形例１では、距離取得手段１１０が、カメラ１００から入力された画像上の各画素におけるカメラと被写体との距離を、超音波やミリ波などを用いて測定する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、距離取得手段１１０は、カメラ１００の画像と、カメラ１００とは別の視点の画像を取得し、視差を用いて距離を取得するものであってもよい。また、例えば、距離取得手段１１０は、実施の形態４で説明したような、２以上の焦点距離を有するカメラを用いた距離測定手段であってもよい。このようにすることで、視差取得部５０１は任意の方法で取得された視差または距離情報を取得し、画像符号化装置５００はぼかし処理と符号化を行うことができる。
（１９）実施の形態２では、ブロックサイズ決定部６１０が閾値を８ピクセルとして１６×１６と８×８の２種類のブロックサイズからブロックサイズ情報を出力する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、ブロックサイズに４×４、３２×３２、８×１６、６４×３２など任意のサイズを用いてもよいし、閾値は使用するブロックサイズに応じて任意の値を使用してもよい。
あるいは、例えば、閾値として４ピクセルと８ピクセルの２つを用いて、１６×１６と８×８、４×４の３種類のブロックサイズからブロックサイズ情報を出力するものとしてもよい。このようにすることで、ぼかし量が大きい画像領域ほどブロックサイズを大きくすることが可能になる。
（２０）実施の形態２では、符号化方式として静止画であればＪＰＥＧ ２０００、動画像であればＭｏｔｉｏｎ ＪＰＥＧ ２０００を使用する場合を説明したが、本発明は必ずしもこの場合に限定されない。複数のブロックサイズが許容され、直交変換を用いる符号化方式であれば、任意の符号化方式を用いることができる。
（２１）実施の形態３では、画像符号化装置７００が、画像符号化装置２００のカメラ１００ａ、カメラ１００ｂをカメラ１００に、視差取得部２０７を視差取得部５０１に、画像取得部２０６を画像取得部７０１にそれぞれ置換した構成であるとしたが、本発明は必ずしもこの場合に限定されない。例えば、実施の形態３に係る画像符号化装置は、画像符号化装置６００のカメラ１００ａ、カメラ１００ｂをカメラ１００に、視差取得部２０７を視差取得部５０１に、画像取得部２０６を画像取得部７０１にそれぞれ置換した構成であるとしてもよい。このようにすることで、１つの画像とその画像に対応した被写体の距離情報から生成したステレオ映像信号に対して、周波数成分への変換を行う直交変換を用いた符号化を行うことが可能となる。
また同様に、実施の形態４に係る画像符号化装置７１０は、画像符号化装置６００のカメラ１００ａ、カメラ１００ｂをカメラ１２０に、視差取得部２０７を視差取得部７０３に、画像取得部２０６を画像取得部７０１にそれぞれ置換した構成であるとしてもよい。
（２２）実施の形態４では、距離検出のための焦点距離（ｆp'）が画像生成のための焦点距離（ｆp）より長い場合（ｆp'＞ｆp）を説明したが、本発明は必ずしもこの場合に限定されない。距離検出のための焦点距離（ｆp'）が画像生成のための焦点距離（ｆp）より短い場合（ｆp'＜ｆp）であってもよい。このようにすることで、画像生成のための焦点距離（ｆp）と異なる焦点距離（ｆp'）が設定可能であれば、焦点距離の異なる２つの画像から距離検出を行うことが可能となる。
（２３）実施の形態５では、画像符号化システムは画像符号化装置２００を含む場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像符号化システムは画像符号化装置２００の代わりに画像符号化装置６００を含むとしてもよい。また、例えば、画像符号化システムは、カメラ１００ａ、１００ｂと画像符号化装置２００の代わりに、カメラ１００及び距離取得手段１１０と接続される、画像符号化装置５００または画像符号化装置７００を含むとしてもよい。また、例えば、画像符号化システムは、カメラ１００ａ、１００ｂと画像符号化装置２００の代わりに、カメラ１２０と接続される、画像符号化装置７１０を含むとしてもよい。
（２４）実施の形態５では、表示部８００が画像符号化装置２００からステレオ映像信号を取得し、そのステレオ映像信号により示される主画像および副画像を表示する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、表示部８００は画像符号化装置２００から局所復号画像信号を取得し、その局所復号画像信号により示される主画像および副画像を表示してもよい。このようにすることで、符号化後の画像信号をモニタすることができる。
（２５）実施の形態５では、外部記憶装置９００がＢＤ−Ｒを記録媒体とする場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、記憶媒体として、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＭＯ（Ｍａｇｎｅｔ Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）を用いてもよいし、またはＳＤＨＣメモリカード、ＳＤＸＣメモリカードなど半導体メモリを用いてもよい。
（２６）上記の各実施の形態の画像符号化装置は、典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。例えば、図１８のようにぼかし処理部２０２は他の回路部と同一の集積回路に集積されることもあれば、別の集積回路になる場合もある。
ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
（２７）上記の各実施の形態および各変形例の説明は本発明の例示に過ぎず、本発明の範囲を逸脱することなく種々の改良や変形を行うことができる。
以下に、実施の形態に係る画像符号化装置とその集積回路、および画像符号化方法の構成および効果について説明する。
（ａ）実施の形態に係る画像符号化装置は、画像を取得する画像取得部と、前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得部と、前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定部と、前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、前記ぼかし処理を施した各画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部とを含むことを特徴とする。
また、実施の形態に係る集積回路は、画像を取得する画像取得部と、前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得部と、前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定部と、前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部とを含むことを特徴とする。
また、実施の形態に係る画像符号化方法は、画像を取得する画像取得ステップと、前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得ステップと、前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定ステップと、前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理ステップと、前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定ステップと、前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化ステップとを含むことを特徴とする。
また、実施の形態に係る画像符号化システムは、画像を撮影するためのカメラと、前記画像を符号化する画像符号化装置と、前記画像符号化装置による符号化によって生成される画像圧縮データを記録するための記録媒体とからなる画像符号化システムであって、前記画像符号化装置は、前記画像を取得する画像取得部と、前記画像の画像単位ごとの視差または画像単位ごとの距離情報の少なくとも一方を取得する視差取得部と、前記画像の画素単位ごとのぼかし量を前記画像単位ごとの視差または前記画像単位ごとの距離情報から決定するぼかし量決定部と、前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部とを含むことを特徴とする。
これら上記の構成によれば、画像を符号化する際にぼかし量を用いてブロックサイズを決定することで、画像の画素単位ごとのぼかし量に応じた適切なブロックサイズを用いることができる。
（ｂ）また、実施の形態に係る上記（ａ）の画像符号化装置は、前記ぼかし量は、前記画像の画素単位ごとの視差または画素単位ごとの距離情報と、前記画像のぼかしパラメータとによって決まる、としてもよい。
これにより、視差情報だけでなく、例えばフォーカスポイント情報や被写体距離ごとのぼかし量など任意のぼかし情報を用いることで、多様なぼかし処理を行うことができる。
（ｃ）また、実施の形態に係る上記（ｂ）の画像符号化装置は、前記ぼかしパラメータは、前記画像を撮影した光学系の特性値とは異なる光学的特性値を含む、としてもよい。
これにより、ぼかし情報を用いて仮想の光学系を設定し、実際に撮像に用いた光学系に制限されることなく、任意の光学系によるぼけ具合を付加した画像を作成し、あるいは実現が難しい光学系で撮像されたと想定される画像をぼかし処理により作成することができる。
（ｄ）また、実施の形態に係る上記（ｃ）の画像符号化装置は、前記ぼかしパラメータは、１以上の被写体のピント位置情報を含む、としてもよい。
これにより、フォーカスポイント情報を用いたぼかし処理を行うことができ、例えば、フォーカスポイントが複数存在するなど、実際の光学系では実現できないようなぼかし処理も行うことが可能となる。
（ｅ）また、実施の形態に係る上記（ａ）の画像符号化装置は、前記ブロックサイズ決定部は、前記ぼかし量がしきい値より大きい画素単位に対して、複数のブロックサイズのうち最小のブロックサイズでないブロックサイズに決定する、としてもよい。
これにより、２種類以上のブロックサイズを用いることができる符号化方式において、ぼかし量が大きい領域ほど使用するブロックサイズを大きいブロックサイズに制限することから、情報量が少ない、ぼかし量の大きい領域の圧縮率を向上させることができる。また、予測符号化処理を行う場合に、決定されたブロックサイズより小さなブロックサイズに対して予測ブロックサイズの選択をする必要がなく、さらに処理量の削減が可能となる。
（ｆ）また、実施の形態に係る上記（ａ）の画像符号化装置は、前記ブロックサイズ決定部は、前記ぼかし量がしきい値より小さい画素単位に対して、複数のブロックサイズのうち最小のブロックサイズを含む１以上のブロックサイズに決定する、としてもよい。
これにより、ぼかし量が小さい、またはぼかさない領域には小さいブロックも含めた可変ブロックを用いることで情報量の削減を防ぐことができる。また、予測符号化処理を行う場合に複数のブロックサイズを用いるように決定すれば、参照ブロックが大きいブロックサイズに制限されていた場合に大きいブロックサイズを用いて効率よく予測符号化処理を行うことが可能になる。
（ｇ）また、実施の形態に係る上記（ｅ）または上記（ｆ）の画像符号化装置は、前記符号化部は動き補償予測、視差補償予測、または画面内予測を行う場合において、前記ブロックサイズ決定部が決定した各ブロックサイズを用いて類似ブロックの探索を行い、前記ブロック単位に分割された画像に最も類似したブロックを得られたブロックサイズを１つ選択して、選択したブロックサイズに対する残差信号を生成する、としてもよい。
これにより、符号化の過程において動き予測、視差予測、または画面内予測の処理を行っている場合に、決定された可変ブロックの中からそれぞれの処理に好適なブロックサイズを決定することが可能となり、残差信号を最小化でき高圧縮化が行える。
（ｈ）また、実施の形態に係る上記（ａ）の画像符号化装置は、前記画像取得部は、立体画像表示に用いるための左眼用画像と右眼用画像とを取得し、前記視差取得部は、前記左眼用画像の領域と、前記右眼用画像の対応する領域との視差を検出する視差検出部を含む、としてもよい。
これにより、立体画像表示に用いるための右眼用画像と左眼用画像とから、画素単位ごとの視差情報を生成し、右眼用画像と左眼用画像からなる立体画像に対して、生成した視差情報を用いてぼかし処理と適切なブロックサイズを用いた符号化を行うことができる。
（ｊ）また、実施の形態に係る上記（ａ）の画像符号化装置は、前記画像取得部は、取得した１つの画像と、前記視差取得部が取得した前記画像の視差または距離情報とから、左眼用画像と右眼用画像とからなる立体画像を生成する立体画像生成部を含む、としてもよい。
これにより、１つの画像とその画像に係る被写体の距離情報から、立体視するための２つの画像を生成し、生成された立体画像に対して被写体の距離情報を用いてぼかし処理と適切なブロックサイズを用いた符号化を行うことができる。
本発明は、画像信号を符号化する画像符号化装置に関するものであって、特に被写体の距離に応じた適切なぼかしの付加と、ぼかし量に応じたブロックサイズの決定を可能にし、効率のよい符号化と処理量の削減に奏功する。
従って、映像信号を扱う、デジタルビデオカメラやデジタルスチルカメラなどの画像記録機器に有効である。その他、画像伝送機器や画像編集機器などにも有効である。
１００、１００ａ、１００ｂ、１２０ カメラ
１０１ａ、１０１ｂ レンズ
１０２ａ、１０２ｂ 撮像素子
１０３ａ、１０３ｂ 主制御部
１１０ 距離取得手段
２００、５００、６００、７００、７１０ 画像符号化装置
２０１ 視差検出部
２０２ ぼかし処理部
２０３ セレクタ
２０４ａ、２０４ｂ、２０４ｃ スイッチ
２０５ 減算器
２０６、７０１ 画像取得部
２０７、５０１、７０３ 視差取得部
２１０ａ、２１０ｂ、６１０ ブロックサイズ決定部
２１２ａ、２１２ｂ、６１１ ブロック分割部
２１３ 画面内予測部
２１４ 検出部
２１５ 補償部
２１６ 変換部
２１７ 量子化部
２１８ 可変長符号化部
２１９ 逆量子化部
２２０ 逆変換部
２２１ 加算器
３００ ぼかしパラメータ入力部
４００ 記憶部
７０２ 立体画像生成部
７０４ 距離検出部
８００ 表示部
９００ 外部記憶装置

Claims (12)

  1. 画像を取得する画像取得部と、
    前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得部と、
    前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定部と、
    前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、
    前記ぼかし処理を施した各画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、
    前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部と
    を含む
    ことを特徴とする画像符号化装置。
  2. 前記ぼかし量は、
    前記画像の画素単位ごとの視差または画素単位ごとの距離情報と、
    前記画像のぼかしパラメータと
    によって決まる
    ことを特徴とする請求項１に記載の画像符号化装置。
  3. 前記ぼかしパラメータは、
    前記画像を撮影した光学系の特性値とは異なる光学的特性値
    を含む
    ことを特徴とする請求項２に記載の画像符号化装置。
  4. 前記ぼかしパラメータは、
    １以上の被写体のピント位置情報を含む
    ことを特徴とする請求項３に記載の画像符号化装置。
  5. 前記ブロックサイズ決定部は、
    前記ぼかし量がしきい値より大きい画素単位に対して、複数のブロックサイズのうち最小のブロックサイズでないブロックサイズに決定する
    ことを特徴とする請求項１に記載の画像符号化装置。
  6. 前記ブロックサイズ決定部は、
    前記ぼかし量がしきい値より小さい画素単位に対して、複数のブロックサイズのうち最小のブロックサイズを含む１以上のブロックサイズに決定する
    ことを特徴とする請求項１に記載の画像符号化装置。
  7. 前記符号化部は動き補償予測、視差補償予測、または画面内予測を行う場合において、
    前記ブロックサイズ決定部が決定した各ブロックサイズを用いて類似ブロックの探索を行い、
    前記ブロック単位に分割された画像に最も類似したブロックを得られたブロックサイズを１つ選択して、選択したブロックサイズに対する残差信号を生成する
    ことを特徴とする請求項５または６に記載の画像符号化装置。
  8. 前記画像取得部は、立体画像表示に用いるための左眼用画像と右眼用画像とを取得し、
    前記視差取得部は、前記左眼用画像の領域と、前記右眼用画像の対応する領域との視差を検出する視差検出部を含む
    ことを特徴とする請求項１に記載の画像符号化装置。
  9. 前記画像取得部は、
    取得した１つの画像と、前記視差取得部が取得した前記画像の視差または距離情報とから、左眼用画像と右眼用画像とからなる立体画像を生成する立体画像生成部
    を含むことを特徴とする請求項１に記載の画像符号化装置。
  10. 画像を取得する画像取得部と、
    前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得部と、
    前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定部と、
    前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、
    前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、
    前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部と
    を含む
    ことを特徴とする集積回路。
  11. 画像を取得する画像取得ステップと、
    前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得ステップと、
    前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定ステップと、
    前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理ステップと、
    前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定ステップと、
    前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化ステップと
    を含む
    ことを特徴とする画像符号化方法。
  12. 画像を撮影するためのカメラと、前記画像を符号化する画像符号化装置と、前記画像符号化装置による符号化によって生成される画像圧縮データを記録するための記録媒体とからなる画像符号化システムであって、
    前記画像符号化装置は、
    前記画像を取得する画像取得部と、
    前記画像の画像単位ごとの視差または画像単位ごとの距離情報の少なくとも一方を取得する視差取得部と、
    前記画像の画素単位ごとのぼかし量を前記画像単位ごとの視差または前記画像単位ごとの距離情報から決定するぼかし量決定部と、
    前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、
    前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、
    前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部と
    を含む
    ことを特徴とする画像符号化システム。
JP2012548660A 2011-07-19 2012-04-06 画像符号化装置とその集積回路、および画像符号化方法 Expired - Fee Related JP5932666B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011158060 2011-07-19
JP2011158060 2011-07-19
PCT/JP2012/002448 WO2013011608A1 (ja) 2011-07-19 2012-04-06 画像符号化装置とその集積回路、および画像符号化方法

Publications (2)

Publication Number Publication Date
JPWO2013011608A1 JPWO2013011608A1 (ja) 2015-02-23
JP5932666B2 true JP5932666B2 (ja) 2016-06-08

Family

ID=47557812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012548660A Expired - Fee Related JP5932666B2 (ja) 2011-07-19 2012-04-06 画像符号化装置とその集積回路、および画像符号化方法

Country Status (3)

Country Link
US (1) US9076267B2 (ja)
JP (1) JP5932666B2 (ja)
WO (1) WO2013011608A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130003128A1 (en) * 2010-04-06 2013-01-03 Mikio Watanabe Image generation device, method, and printer
US8994788B2 (en) * 2010-05-25 2015-03-31 Panasonic Intellectual Property Corporation Of America Image coding apparatus, method, program, and circuit using blurred images based on disparity
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
JP6271990B2 (ja) 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
KR101750421B1 (ko) * 2013-10-17 2017-06-23 니폰 덴신 덴와 가부시끼가이샤 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
GB2523347B (en) 2014-02-20 2016-01-13 Gurulogic Microsystems Oy Encoder, decoder and method
WO2016002578A1 (ja) * 2014-07-04 2016-01-07 ソニー株式会社 画像処理装置および方法
JP6365102B2 (ja) * 2014-08-14 2018-08-01 富士ゼロックス株式会社 データ処理装置およびプログラム
US20160073087A1 (en) * 2014-09-10 2016-03-10 Lenovo (Singapore) Pte. Ltd. Augmenting a digital image with distance data derived based on acoustic range information
CN104618723B (zh) * 2014-11-03 2017-12-15 西安交通大学 一种基于运动矢量投影矩阵的h.264/avc压缩域视频匹配方法
GB2543844B (en) 2015-11-01 2018-01-03 Gurulogic Microsystems Oy Encoders, decoders and methods
EP3166315A1 (en) 2015-11-05 2017-05-10 Axis AB A method and apparatus for controlling a degree of compression of a digital image
JP2019114821A (ja) 2016-03-23 2019-07-11 日本電気株式会社 監視システム、装置、方法およびプログラム
DE102016207905A1 (de) * 2016-05-09 2017-11-09 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren und Vorrichtung zur Rekonstruktion medizinischer Bilddaten mittels gefilterter Rückprojektion
CN107613199B (zh) * 2016-06-02 2020-03-13 Oppo广东移动通信有限公司 虚化照片生成方法、装置和移动终端
CN109844754A (zh) * 2017-09-12 2019-06-04 深圳市汇顶科技股份有限公司 脸部侦测启动方法、脸部侦测启动装置及电子装置
CN107948520A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
JP7211373B2 (ja) * 2018-01-04 2023-01-24 株式会社ソシオネクスト 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム
KR102664681B1 (ko) * 2018-06-19 2024-05-09 삼성전자 주식회사 영상 압축을 수행하는 전자 장치 및 전자 장치의 동작 방법
KR20200117562A (ko) * 2019-04-04 2020-10-14 삼성전자주식회사 비디오 내에서 보케 효과를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
US10887589B2 (en) * 2019-04-12 2021-01-05 Realnetworks, Inc. Block size determination for video coding systems and methods
JP2022189536A (ja) * 2021-06-11 2022-12-22 キヤノン株式会社 撮像装置および方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2809552B2 (ja) 1992-03-18 1998-10-08 大日本スクリーン製造株式会社 画像符号化処理方法および画像復号化処理方法
JP4012267B2 (ja) 1996-03-30 2007-11-21 三星電子株式会社 オブジェクト単位の処理が可能な動映像の符号化／復号化方法及び符号化／復号化装置
JP4044454B2 (ja) 2003-02-07 2008-02-06 独立行政法人科学技術振興機構 ズームによる位置計測方法
JP2005295215A (ja) 2004-03-31 2005-10-20 Victor Co Of Japan Ltd 動画像符号化装置
JP4246723B2 (ja) 2005-08-29 2009-04-02 日本電信電話株式会社 フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4835252B2 (ja) * 2006-04-27 2011-12-14 パナソニック株式会社 超音波診断装置
WO2009149413A1 (en) * 2008-06-06 2009-12-10 Real D Blur enhancement of stereoscopic images
RU2011122801A (ru) 2008-11-07 2012-12-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения
JP4963124B2 (ja) * 2009-03-02 2012-06-27 シャープ株式会社 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム
EP2420971A4 (en) * 2009-04-13 2017-08-23 Fujitsu Limited Biometric information registration device, biometric information registration method, computer program for registering biometric information, biometric authentication device, biometric authentication method, and computer program for biometric authentication

Also Published As

Publication number Publication date
CN102986221A (zh) 2013-03-20
JPWO2013011608A1 (ja) 2015-02-23
US20130147843A1 (en) 2013-06-13
WO2013011608A1 (ja) 2013-01-24
US9076267B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
JP5932666B2 (ja) 画像符号化装置とその集積回路、および画像符号化方法
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
JP7036599B2 (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
EP2491722B1 (en) Depth map generation techniques for conversion of 2d video data to 3d video data
JP4762994B2 (ja) 視差マップ
JP5942195B2 (ja) ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
EP2706504A2 (en) An apparatus, a method and a computer program for image processing
JP6800797B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
JP5450643B2 (ja) 画像符号化装置、画像符号化方法、プログラムおよび集積回路
JP3990271B2 (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
WO2012060156A1 (ja) 多視点画像符号化装置及び多視点画像復号装置
JP5395911B2 (ja) ステレオ画像符号化装置、方法
JP6148154B2 (ja) 画像処理装置及び画像処理プログラム
JP2015171097A (ja) 画像処理装置及びその制御方法
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
JP5869839B2 (ja) 画像処理装置およびその制御方法
Li et al. Joint view filtering for multiview depth map sequences
Farid et al. No-reference quality metric for hevc compression distortion estimation in depth maps
CN102986221B (zh) 图像编码装置及其集成电路、以及图像编码方法
Fatima et al. Quality assessment of 3D synthesized images based on structural and textural distortion
JP2024092837A (ja) 画像生成装置、画像生成方法、及び、プログラム
Lee et al. Technical Challenges of 3D Video Coding
JP2013085063A (ja) 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、及び多視点画像復号方法
JP2013085064A (ja) 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160428

R150 Certificate of patent or registration of utility model

Ref document number: 5932666

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees