JPWO2007029443A1 - 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット - Google Patents

画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット Download PDF

Info

Publication number
JPWO2007029443A1
JPWO2007029443A1 JP2006554387A JP2006554387A JPWO2007029443A1 JP WO2007029443 A1 JPWO2007029443 A1 JP WO2007029443A1 JP 2006554387 A JP2006554387 A JP 2006554387A JP 2006554387 A JP2006554387 A JP 2006554387A JP WO2007029443 A1 JPWO2007029443 A1 JP WO2007029443A1
Authority
JP
Japan
Prior art keywords
resolution
image
low
unit
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006554387A
Other languages
English (en)
Other versions
JP3996631B2 (ja
Inventor
克洋 金森
克洋 金森
菰淵　寛仁
寛仁 菰淵
本村　秀人
秀人 本村
近藤　堅司
堅司 近藤
吾妻　健夫
健夫 吾妻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3996631B2 publication Critical patent/JP3996631B2/ja
Publication of JPWO2007029443A1 publication Critical patent/JPWO2007029443A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

録画プロセスにおいて、低解像度動画データＬＦ（ｔ）を記録するとともに、画像の一部領域であるウインドウ領域ＷＤ１〜ＷＤ４において、高解像度画像ＨＷＦ（ｔ）を取得する。そして、この高解像度画像ＨＷＦ（ｔ）を用いて、解像度変換ルールとして高解像度化パラメータＰ（ｔ）を学習する。高解像度化プロセスでは、録画プロセスで学習した高解像度化パラメータＰ（ｔ）を用いて、記録した低解像度動画データＬＦ（ｔ）の高解像度化を行う。

Description

本発明は、画像処理技術に関し、特に、例えば動画データの高解像化などの解像度変換を行うための技術に関するものである。
デジタルビデオカメラ、デジタルスチルカメラなどデジタル画像機器の普及により、高解像度デジタル画像が様々な入出力機器において取り扱われることが、普通になっている。特に静止画では、民生用デジタルスチルカメラの撮像素子は５００万画素以上が普通となり、現在では１０００万画素を越える製品も登場しており、デジタル写真プリント用途に十分な高解像度化が達成されつつある。
しかしながら、今後のデジタル画像の用途としては、静止画での高解像度化がある程度達成されたため、動画データでの解像度拡大、特に映画のようにフレーム画像のそれぞれが静止画として通用する程度の高解像度動画データが、大きなニーズになってくると予想されている。画像高解像度化の応用先としては、カメラのような画像入力系の分野と、テレビのような画像表示系の分野の２つがあるが、本願は主として、画像入力系への応用に関するものである。
画像入力系において動画データの高解像度化という要求に答えるためには、以下のような問題がある。ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）ＴＶ相当以上の高精細動画データにおいては、たとえ撮像素子の画素数が充分であっても、その画素数の多さゆえに３０ｆｐｓ程度の動画データフレームレートでの全画素読み出しが非常に困難である。無理に高速読み出し処理した場合、機器の消費電力・発熱が巨大となる。したがって現状の技術では、動画データ全フレームの高解像度撮像は困難であって、動画データの数フレームに１枚しか高解像度画像が取得できないという問題がある。そこで画像撮像後に様々な画像処理技術を用いることが検討されてきた。
すなわち本分野の従来技術としては、時空間的に考えた場合、時間的には高解像度で空間的には低解像度の動画データから、時間的には低解像度で空間的に高解像度の画像を用いることによって、画像処理技術を利用して時間空間の両方の軸で高解像度の動画データを得るものがあった。
特許文献１では、撮影時に、低解像度の動画データと高解像度の静止画像から高解像度の動画データを作り出す技術が開示されている。この特許文献１の技術では、低解像度動画データの１フレームと高解像度静止画とを一定のサンプル時間毎に対応づけて、低解像度動画データを空間的に補間して高解像度化している。
特許文献２では次のような技術が開示されている。すなわち、シーンを撮像して低品位画像データを生成するとともに、シーンの一部を撮像して高品位画像データを生成する。そして、高品位画像データ及び低品位画像データを学習アルゴリズムにおける学習対として用いて、品位向上関数のパラメータを決定し、これを用いて、シーンの残りの部分の高品位画像を導出する。
特許第３２４０３３９号公報 特表２００５−５２２１０８号公報
しかしながら、従来の技術には、次のような問題があった。
特許文献１に開示された技術は、低解像度の動画データから空間的に高解像度の動画データを作り出すものである。具体的には、動画データと静止画の対応づけが時間軸上の離散点で行われるため、対応情報が存在しない動画データフレームについて、既に対応付けが判明したフレームの情報を用いる。そして、類似した信号レベルのエッジを探索し、これを同一の被写体が平行移動的に動いたと考えて、動ベクトル探索を用いて、空間的に補間する画素を決定する。このため、探索処理の負担が重い上、間違った画素対応を得る可能性があるという問題がある。また動きと同時に被写体が変形したり向きが変化した場合には、対応点が見つからず処理が破綻する。
また、特許文献１では、高解像度画像読み出しと低解像度動画データの読み出しが同速度で行われる。このため、動画データと静止画の解像度変換比率が縦横２倍程度であれば、高解像度画像の読み出しにさほど時間はかからないが、この変換比率を縦横４倍程度にすると、高解像度画像の総読み出し面積が低解像度画像の１６倍にもなり、画素読み出しに時間がかかりすぎてしまう。この結果、動画データの撮像フレーム欠落が大幅に増え、動画データのコマ落ちにより品質が劣化してしまう可能性が高い。
また特許文献２では、高品位画像データを撮像する位置は、例えばシーンのほぼ中央に、固定されている。このため、品位向上関数のパラメータは、画像中の固定位置の画像特性に応じて決定されることになる。したがって、その固定位置とその他の位置とにおいて画像特性に違いが有る場合には、必ずしも高品位画像が適切に導出されるとは限らない。このことは、特に動画データの高解像度化の場合には大きな問題となり、解像度変換において、十分な精度が得られない可能性が高い。
前記の問題に鑑み、本発明は、動画データの高解像度化を行う画像処理において、例えば縦横４倍程度以上のような高い解像度変換比率であっても、精度良く解像度変換を実現可能にすることを課題とする。
本発明では、低解像度動画データを記録する録画プロセスにおいて、各フレームで、画像の一部領域であるウインドウ領域において、高解像度画像を取得する。そして、ウインドウ領域における高解像度画像を用いて、解像度変換ルールを学習する。ウインドウ領域の位置は、各フレーム毎に変化させる。高解像度化プロセスでは、録画プロセスで学習した解像度変換ルールを用いて、記録した低解像度動画データの高解像度化を行う。
本発明によると、画像の一部領域であるウインドウ領域についてのみ、高解像度画像を取得するので、画素読み出しにさほど時間がかからず、したがって、低解像度動画データはフレーム欠落なく記録できる。また、高解像度画像は各フレームにおいて取得されるため、低解像度画像と時間のずれはなく、解像度変換ルールを適切に学習することができる。そして、ウインドウ領域の位置は各フレーム毎に変化するので、解像度変換ルールの学習の際に、画像中の偏った領域が利用されるのではなく、広い範囲の様々な位置の画像領域が利用されることになる。このため、解像度変換ルールを適切に学習することが可能となる。さらに、高解像度画像は記録する必要がなく、低解像度動画データと解像度変換ルールのみを記録するだけで済むので、従来と比べて、記録情報量を大幅に削減することができる。また、高解像度化の際には、記録した低解像度動画データの全領域に対して、画像の一部領域であるウインドウ領域で学習した解像度変換ルールを適用するが、この際、ウインドウ領域と他の領域とで被写体の画像特性に大きな違いがなければ、画像全体で精度の高い解像度変換が実現される。
また、本発明において、ウインドウ領域においては、高解像度画像から、間引き処理や平均化処理などの画像フィルタ処理によって、低解像度画像を生成するようにしてもよい。これにより、ウインドウ領域については低解像度画像を読み出す必要がなくなり、読み出し画素の数をより一層削減することができる。
また、本発明において、フレーム毎に、複数フレームにわたって画像全体を走査するように、ウインドウ領域を移動させるようにしてもよい。これにより、複数フレームにおいて、画像全体について解像度変換ルールの学習が行われることになるので、さらに精度の高い高解像度化処理が実現される。
本発明によると、解像度変換ルールを適切に学習することができ、精度の高い解像度変換を実現できる。しかも、画素読み出しに時間がかからないため、低解像度動画データをフレーム欠落なく記録でき、また、高解像度画像を記録する必要がないため、記録情報量を大幅に削減することができる。したがって、例えば縦横４倍程度以上のような解像度変換比率であっても、精度良く、解像度変換を実現することができる。
また、本発明は、高解像度化に限らず、一般的な解像度変換にも適用できるため、例えば、携帯電話のような低解像度表示系への画像表示のための低解像度画像生成にも、有効に利用できる。
図１は、本発明の第１の実施形態に係る画像処理方法における録画プロセスを示すフローチャートである。 図２は、本発明の第１の実施形態に係る画像処理方法における高解像度化プロセスを示すフローチャートである。 図３は、本発明の第１の実施形態における録画プロセスおよび高解像度化プロセスの例を示す概念図である。 図４は、図１のステップＳ１３の処理の一例を示すフローチャートである。 図５は、図２のステップＳ２３の処理の一例を示すフローチャートである。 図６は、図４のステップＳ１３２におけるテクスチャ特徴量への変換手法の一例を示す図である。 図７は、変換後のテクスチャ特徴量を示す図である。 図８は、本発明の第２の実施形態に係る画像処理装置の構成例を示す図である。 図９は、図８における画素密度混在撮像部の構成例を示す概念図である。 図１０は、画素密度混在撮像素子による画素読み出し方法の一例を示す図である。 図１１は、画素密度混在撮像素子による画素読み出し方法の一例を示す図である。 図１２は、画素密度混在撮像素子の回路構成の例を示す図である。 図１３は、図１２の画素密度混在撮像素子における撮像単位画素の回路構成例を示す図である。 図１４は、図１２の画素密度混在撮像素子における蓄積単位画素の回路構成例を示す図である。 図１５は、図１２の画素密度混在撮像素子における飛び越し走査用シフトレジスタの回路構成例を示す図である。 図１６は、図１２〜図１５に示す画素密度混在撮影素子の撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。 図１７は、図１６の高速Ｖ転送期間における動作を示すタイミングチャートである。 図１８は、図１６の水平読み出し期間の動作を示すタイミングチャートである。 図１９は、図１２のセレクタの出力を示すタイミングチャートである。 図２０は、本発明の第２の実施形態におけるテクスチャ変換処理を概念的に示す図である。 図２１は、分析コードブックおよび再生コードブックの作成手法を示す図である。 図２２は、本発明の第２の実施形態に係る画像表示部の構成を示す図である。 図２３は、本発明の第３の実施形態に係る画像処理装置の構成を示す図である。 図２４は、本発明の第３の実施形態に係る画素密度混在圧縮動画データの画像フォーマットを示す図である。 図２５は、本発明の第３の実施形態に係る画像表示部の構成を示す図である。 図２６は、本発明の第４の実施形態に係る画像処理装置の構成例を示す図である。 図２７は、本発明の第４の実施形態に係る映像処理サーバの構成を示す図である。 図２８は、本発明の第５の実施形態に係る画像処理装置の構成を示す図である。 図２９は、本発明の第５の実施形態における被写体候補領域の検出処理を示す図である。 図３０は、本発明の第５の実施形態におけるウインドウ領域の設定の一例を示す図である。 図３１は、本発明の第６の実施形態に係る画像処理装置の構成を示す図である。 図３２は、図３１における偏光フィルタ付き画素密度混在撮像部の構成を示す図である。 図３３は、本発明の第６の実施形態に係る画像表示部の構成を示す図である。 図３４は、本発明の第６の実施形態における高解像度化の効果を示す図である。
符号の説明
ＬＦ（ｔ） 低解像度動画データ
ＷＤ１〜ＷＤ４ ウインドウ領域
ＨＷＦ（ｔ） ウインドウ領域における高解像度画像
Ｐ（ｔ） 高解像度化パラメータ（解像度変換ルール）
ＤＦ（ｔ） 差分動画データ
ＤＬＦ 低解像度動画データ
ＤＰ 高解像度化パラメータ
ＤＭＣ 画素密度混在圧縮動画データ
ＣＬＦ（ｔ） 低解像度圧縮動画データ（第１の圧縮データ）
ＣＤＦ（ｔ） 差分圧縮動画データ（第２の圧縮データ）
１０２ 画素密度混在撮像部
１０４ 低解像度動画記録部
１０６ 低解像度変換部
１０９ 高解像度化パラメータ記録部
１１１ 録画ボタン
１２０ 高解像度化パラメータ学習部
１６０ ウインドウ位置更新部
３０１ 動画入力部
３０５ 高解像度化パラメータ入力部
３１０ 高解像度化部
４０１ 画素密度混在動画記録部
４０２ 圧縮動画データ分離部
４０３ 高解像度ウインドウ生成部
４１０ 動画分離部
７０１ 偏光フィルタ付き画素密度混在撮像部
本発明の第１態様では、低解像度動画データを記録する録画プロセスと、前記録画プロセスにおいて記録した低解像度動画データを高解像度化する高解像度化プロセスとを備え、前記録画プロセスは、前記低解像度動画データの各フレームにおいて、画像の一部領域であるウインドウ領域において、高解像度画像を取得するステップと、前記各フレームにおいて、前記ウインドウ領域における高解像度画像を用いて、解像度変換ルールを学習するステップとを備え、前記高解像度化プロセスは、前記録画プロセスにおいて学習した解像度変換ルールを用いて、前記低解像度動画データの高解像度化を行うステップを備え、前記録画プロセスにおいて前記ウインドウ領域の位置を前記各フレーム毎に変化させる画像処理方法を提供する。
本発明の第２態様では、前記録画プロセスは、前記ウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得し、前記画素密度混在動画データについて、前記ウインドウ領域の高解像度画像に対して画像フィルタ処理によって低解像度化を行い、前記低解像度動画データを生成する第１態様の画像処理方法を提供する。
本発明の第３態様では、前記録画プロセスにおいて、前記低解像度動画データにおいて、被写体候補領域の動きを検出し、検出した被写体候補領域の動きに応じて、前記ウインドウ領域の位置を移動させる第２態様の画像処理方法を提供する。
本発明の第４態様では、前記録画プロセスにおいて、前記画素密度混在動画データを、拡散反射成分と鏡面反射成分とに分離して取得し、前記低解像度動画データおよび解像度変換ルールを、拡散反射成分と鏡面反射成分とに分けて、求める第２態様の画像処理方法を提供する。
本発明の第５態様では、前記解像度変換ルールは、解像度が異なる画像間の、テクスチャ特徴ベクトルの対応関係を記述するものである第１態様の画像処理方法を提供する。
本発明の第６態様では、前記高解像度化プロセスにおいて、高解像度化を行うフレームについて、当該フレームにおいて学習した解像度変換ルールに加えて、その前後の少なくとも１つのフレームにおいて学習した解像度変換ルールを用いて、高解像度化を行う第１態様の画像処理方法を提供する。
本発明の第７態様では、前記録画プロセスにおいて、前記ウインドウ領域を、フレーム毎に、複数フレームにわたって画像全体を走査するように、移動させる第１態様の画像処理方法を提供する。
本発明の第８態様では、前記ウインドウ領域は、画像全体をｎ（ｎは２以上の整数）分割した１個の領域であり、かつ、ｎ個のフレームにわたって画像全体を占めるように、設定されている第７態様の画像処理方法を提供する。
本発明の第９態様では、前記高解像度化プロセスにおいて、高解像度化を行うフレームについて、当該フレームを含むｎ個のフレームにおいて学習した解像度変換ルールを用い、かつ、前記ｎ個のフレームの各ウインドウ領域に対応する各部分領域に、対応するフレームに係る解像度変換ルールを用いて、高解像度化を行う第８態様の画像処理方法を提供する。
本発明の第１０態様では、前記高解像度化プロセスにおいて、前記ウインドウ領域において、元の高解像度画像と、高解像度化によって得られた画像とを、所定の合成比をもって、合成する第１態様の画像処理方法を提供する。
本発明の第１１態様では、画像の一部領域であるウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得し、記録するステップを備え、前記記録ステップにおいて、前記ウインドウ領域の位置を、フレーム毎に変化させる画像記録方法を提供する。
本発明の第１２態様では、画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、前記ウインドウ領域の高解像度画像に対して、画像フィルタ処理によって低解像度化を行う低解像度変換部と、前記低解像度変換部の出力と前記画素密度混在動画データとから得られた低解像度動画データを、記録する低解像度動画記録部と、前記ウインドウ領域の高解像度画像と前記低解像度変換部の出力とを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、前記高解像度化パラメータを記録する高解像度化パラメータ記録部とを備えた画像処理装置を提供する。
本発明の第１３態様では、前記画素密度混在撮像部は、前記画素密度混在動画データを輝度成分と色差成分とに分離された形で取得するものである第１２態様の画像処理装置を提供する。
本発明の第１４態様では、録画ボタンを備え、前記録画ボタンが押されたとき、前記画素密度混在撮像部が撮像を行い、前記低解像度動画データおよび高解像度化パラメータが記録される第１２態様の画像処理装置を提供する。
本発明の第１５態様では、前記低解像度動画データにおいて、被写体候補領域の動きを検出し、検出した被写体候補領域の動きに応じて、前記ウインドウ領域の位置を移動させるウインドウ位置更新部を備えた第１２態様の画像処理装置を提供する。
本発明の第１６態様では、前記ウインドウ位置更新部は、画像の周波数解析によって、前記被写体候補領域を検出するものである第１５態様の画像処理装置を提供する。
本発明の第１７態様では、前記画素密度混在撮像部は、前記画素密度混在動画データを、拡散反射成分と鏡面反射成分とに分離された形で取得するものである第１２態様の画像処理装置を提供する。
本発明の第１８態様では、前記画素密度混在撮像部は、撮像したカラー画像から複数の原色成分を分離し、前記複数の原色成分のうちの１つについて鏡面反射成分と拡散反射成分の分離を行い、この分離した鏡面反射成分および拡散反射成分を用いて、前記カラー画像の拡散反射成分と鏡面反射成分を得るものである第１７態様の画像処理装置を提供する。
本発明の第１９態様では、前記画素密度混在撮像部は、撮影時の照明光を推定し、この推定した照明光を用いて、鏡面反射成分を求めるものである第１７態様の画像処理装置を提供する。
本発明の第２０態様では、第１２態様の画像処理装置によって記録された低解像度動画データおよび高解像度化パラメータを用いて、高解像度化を行う画像処理装置であって、前記低解像度動画データを読み込む動画入力部と、前記高解像度化パラメータを読み込む高解像度化パラメータ入力部と、前記高解像度化パラメータ入力部によって読み込まれた高解像度化パラメータを用いて、前記動画入力部によって読み込まれた低解像度動画データの高解像度化を行う高解像度化部とを備えたものを提供する。
本発明の第２１態様では、画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、前記ウインドウ領域の高解像度画像に対して、画像フィルタ処理によって低解像度化を行う低解像度変換部と、前記画素密度混在動画データを記録する画素密度混在動画記録部と、前記ウインドウ領域の高解像度画像と前記低解像度変換部の出力とを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、前記高解像度化パラメータを記録する高解像度化パラメータ記録部とを備えた画像処理装置を提供する。
本発明の第２２態様では、前記画素密度混在動画記録部は、前記画素密度混在動画データを、低解像度動画データと、前記画素密度混在動画データと前記低解像度動画データとの差分を表す差分動画データとに分けて、記録するものである第２１態様の画像処理装置を提供する。
本発明の第２３態様では、画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、前記画素密度混在動画データを、低解像度動画データと、前記画素密度混在動画データと前記低解像度動画データとの差分を表す差分動画データとに分けて、記録する画素密度混在動画記録部とを備えた画像処理装置を提供する。
本発明の第２４態様では、第２３態様の画像処理装置によって記録された画素密度混在動画データを用いて、高解像度化パラメータを求める画像処理装置であって、前記画素密度混在動画データを読み込み、前記低解像度動画データを分離するとともに、前記差分動画データを用いてウインドウ領域における高解像度画像を得る動画分離部と、前記ウインドウ領域の高解像度画像と、前記低解像度動画データとを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、前記高解像度化パラメータを記録する高解像度化パラメータ記録部とを備えたものを提供する。
本発明の第２５態様では、動画データの画像ファイルフォーマットであって、各フレームにおいて、画像の一部領域であるウインドウ領域内の解像度が、前記ウインドウ領域以外の領域の解像度よりも、高く、前記ウインドウ領域の位置が、フレーム毎に、変化しているものを提供する。
本発明の第２６態様では、拡散反射成分と鏡面反射成分とが、分離して格納されている第２５態様の画像ファイルフォーマットを提供する。
本発明の第２７態様では、各フレームにおいて、画像の一部領域であるウインドウ領域内の解像度が、前記ウインドウ領域以外の領域の解像度よりも高い動画データを表す画像ファイルフォーマットであって、前記ウインドウ領域以外の領域の解像度を持つ低解像度動画データを、圧縮して得た第１の圧縮データと、前記動画データと前記低解像度動画データとの差分を表す差分動画データを、圧縮して得た第２の圧縮データとを備え、前記ウインドウ領域の位置が、フレーム毎に、変化しているものを提供する。
以下、本発明の実施の形態について、図面を参照して、詳細に説明する。
（第１の実施形態）
図１および図２は本発明の第１の実施形態に係る画像処理方法を示すフローチャートである。図１はシーンを撮影する場合の録画プロセスを示し、図２は録画した動画データを再生、表示する場合の高解像度化プロセスを示す。図１および図２のプロセスは、一般には、ビデオ撮影時と、撮影したビデオをディスプレイで観る再生表示時とにそれぞれ対応する。
図１の録画プロセスでは、まず時刻ｔにおける低解像度画像ＬＦ（ｔ）を取得して記録する（Ｓ１１）。またこれとともに、画像フレームの一部を占めるウインドウ領域において、高解像度画像ＨＷＦ（ｔ）を取得する（Ｓ１２）。この高解像度画像ＨＷＦ（ｔ）は以降の処理に用いるだけなので、動画データとして記録する必要は必ずしもない。そして、この解像度が異なる画像ＬＦ（ｔ），ＨＷＦ（ｔ）から、解像度変換ルールとしての高解像度化パラメータＰ（ｔ）を学習し記録する（Ｓ１３）。次に、ウインドウ領域の設定位置を他の位置へ移動する（Ｓ１４）。そして、録画が続行されていれば次の時刻ｔ＋１での処理に進み（Ｓ１６）、録画が完了すれば、プロセスを終了する（Ｓ１５）。
ステップＳ１３では、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）とについてそれぞれテクスチャ特徴量を求め、このテクスチャ特徴量同士の対応関係をパラメータ化する。このパラメータＰ（ｔ）のことを、本願明細書において、高解像度化パラメータと呼ぶ。その実体は、低解像度テクスチャＴＦＬを入力して高解像度テクスチャＴＦＨを出力する関数またはテーブル
ＴＦＨ＝Ｆｕｎｃｔｉｏｎ（ＴＦＬ，ｔ） …（式１）
に他ならない。この高解像度化パラメータを解像度変換ルールとして用いる。
図２の高解像度化プロセスにおいて、録画プロセスで記録された低解像度の動画データＬＦ（ｔ）および録画プロセスで学習された高解像度化パラメータＰ（ｔ）を取得する（Ｓ２１）。そして、動画データの１フレームを取得し（Ｓ２２）、当該フレームについて高解像度化パラメータを用いて高解像度化を行う（Ｓ２３）。全フレームについて完了したときはプロセスを終了し（Ｓ２４）、そうでないときは、次のフレームの処理に進む（Ｓ２５）。
ここで、ステップＳ２３では、当該フレームにおいて学習した高解像度化パラメータだけでなく、その前後の少なくとも１つのフレームにおいて学習した高解像度化パラメータも併せて用いて、高解像度化を行うのが好ましい。この理由は、当該フレームでは、画像の一部であるウインドウ領域のみにおいて高解像度化パラメータを学習しているに過ぎず、画像全体の高解像度化には必ずしも十分ではないためである。例えば、当該フレームの時刻ｔに対して時間Ｔだけの前後期間を含む期間の高解像度化パラメータＰ（ｔ’）を適用すればよい。すなわち、
ｔ−Ｔ≦ｔ’≦ｔ＋Ｔ …（式２）
図３は本実施形態における録画プロセスおよび高解像度化プロセスの例を概念的に示す図である。図３では、低解像度動画データＬＦ（ｔ）の各フレームは８×８画素の画像からなり、画像全体を４分割した１個の領域をウインドウ領域ＷＤ１〜ＷＤ４としている。ウインドウ領域ＷＤ１〜ＷＤ４の設定位置はフレーム毎に変化しており、ここでは副走査方向（縦方向）に順に、上から下へ、そして下端から上端に戻るように移動している。もちろん、ウインドウ領域の形状や移動方法はこれに限定されるものではないが、説明の便宜上、簡単な例を挙げている。
そして、ウインドウ領域ＷＤ１〜ＷＤ４内では、ウインドウ領域外の領域よりも高解像度で撮像を行い、高解像度画像ＨＷＦ（ｔ）を得る。ここでは、ウインドウ領域内では、他領域に対して縦横２×２倍の画素密度によって撮像を行うものとする。なお、後述するように、ウインドウ領域内は高解像で撮像し、ウインドウ領域外は低解像度で撮像した、一画面中で画素密度が混在している動画データを取得するようにしてもかまわない。このような動画データを、本願明細書では、画素密度混在動画データと呼ぶ。
画素密度混在動画データを取得した場合、ウインドウ領域外では低解像度画像が記録されるが、ウインドウ領域内では高解像度画像しか記録されない。ただし、ウインドウ領域における低解像度画像は再度取得する必要はなく、高解像度画像に対して間引きまたは平均化などの画像フィルタ処理を行うことによって生成できる。なお、このモデル化は、光学系や撮像素子の開口形状を考慮することによって現実に近い形に高精度化することができる。例えば、高解像度画像に対してＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をガウス型関数との畳み込み演算として実施し、次にこれを２次元的に一定の幅を持つ撮像素子領域の範囲で積分する手法などが考えられる。
いま、時刻ｔに着目すると、画像を縦方向に４分割した各部分領域ＡＲ１〜ＡＲ４について、上から順に、時刻ｔ−２のウインドウ領域ＷＤ１、時刻ｔ−１のウインドウ領域ＷＤ２、時刻ｔのウインドウ領域ＷＤ３および時刻ｔ−３のウインドウ領域ＷＤ４が、それぞれ対応している。すなわち、時刻ｔでは、各部分領域ＡＲ１〜ＡＲ４に対応する高解像度化パラメータが、すでに、時刻ｔ−２，ｔ−１，ｔ，ｔ−３において学習済になっている。動画データのフレームレートを１／３０（ｓｅｃ）とすると、時刻ｔ−３から時刻ｔまでの時間経過は約１／１０（ｓｅｃ）程度に過ぎず、よほど瞬間的な画面変化が発生しない限り、各フレームにおいてほぼ同様の特徴量情報が取得される。このため、時刻ｔ−３から時刻ｔまでの高解像度化パラメータを適用することは有効である。
また、時刻ｔにおける低解像度画像の領域は、時刻ｔに加えて、
・時刻（ｔ−１）または時刻（ｔ＋３）
・時刻（ｔ−２）または時刻（ｔ＋２）
・時刻（ｔ−３）または時刻（ｔ＋１）
において、必ず高解像度にて取得されているという性質がある。このため、前後３フレームの高解像度化パラメータを適用することによって、その時間内に大きなシーン変化が無い限り、高解像度化は有効であるといえる。これは、上の（式１）においてＴ＝３とすることに相当する。
図３に示すように、各時刻において、高解像度化パラメータＰ（ｔ−３），Ｐ（ｔ−２），…が与えられたとする。高解像度化プロセスでは、低解像度動画データの各フレームについて、各部分領域に対して、その位置にウインドウ領域が対応しており、かつ、時刻ずれが少ないフレームにおける高解像度化パラメータを適用して、高解像度化を行えばよい。例えば、時刻ｔにおける画像ＬＦ（ｔ）の場合には、画像の上部から順に、部分領域ＡＲ１に対しては高解像度化パラメータＰ（ｔ−２）を、部分領域ＡＲ２に対しては高解像度化パラメータＰ（ｔ−１）を、部分領域ＡＲ３に対しては高解像度化パラメータＰ（ｔ）を、そして部分領域ＡＲ４に対しては高解像度化パラメータＰ（ｔ＋１）を、それぞれ適用すればよい。なお、例えば部分領域ＡＲ１に対しては、高解像度化パラメータＰ（ｔ＋２）を適用してもよいし、部分領域ＡＲ２に対しては、高解像度化パラメータＰ（ｔ＋３）を適用してもかまわない。
なお、図３では４分割の例を示したが、画像全体をｎ（ｎは２以上の整数）分割した１個の領域をウインドウ領域とし、ｎ個のフレームにわたって画像全体を占めるように、ウインドウ領域を移動させてもよい。また、これ以外でも、ウインドウ領域は、フレーム毎に、複数フレームにわたって画像全体を走査するように、移動させるのが好ましい。
図４は図１におけるステップＳ１３の処理の一例を示すフローチャートである。ここでは、画像をテクスチャ特徴量ベクトルに変換する手法の一例として、ウェーブレット変換による多重解像度解析を用いて、高解像度化パラメータの学習を行うものとする。まず、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）の画像サイズを合わせるために、低解像度画像ＬＦ（ｔ）を補間拡大する（Ｓ１３１）。次に、後述する３段階のスケーリングによるウェーブレット変換を用いて、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）をウェーブレット変換する（Ｓ１３２）。最後に、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）のウェーブレット係数の対応関係を、画素位置ごとに、蓄積する（Ｓ１３３）。この対応関係が、高解像度化パラメータＰ（ｔ）となる。
図５は図２におけるステップＳ２３の処理の一例を示すフローチャートである。ここでは、ある期間における高解像度化パラメータＰ（ｔ’）を適用して、高解像度化を行う。まず、低解像度画像ＬＦ（ｔ）を補間拡大して画像サイズを高解像度画像ＨＷＦ（ｔ）に合わせる（Ｓ２３１）。次に、低解像度画像ＬＦ（ｔ）をウェーブレット変換し（Ｓ２３２）、高解像度化パラメータＰ（ｔ’）を用いてウェーブレット係数を置換する（Ｓ２３３）。そして、逆ウェーブレット変換を行い、高解像度画像に変換する（Ｓ２３４）。ステップＳ２３３において、図３で説明したように、画像上の部分領域に対して異なるフレーム時刻の高解像度化パラメータを用いてもよい。あるいは、ある期間における高解像度化パラメータを１つの集合に量子化し、これを高解像度化パラメータとして適用してもよい。
図６は図４のステップＳ１３２におけるウェーブレット変換の例を示す図である。図６において、第１段（スケール）では、入力画像ＩＮが、Ｘ、Ｙ方向のウェーブレット変換により、入力画像ＩＮと同一サイズの４成分画像Ｈ１Ｈ１、Ｈ１Ｌ１、Ｌ１Ｈ１、Ｌ１Ｌ１に分解される。第２段（スケール）では、分解した４成分のうち、Ｘ，Ｙ双方向の高周波成分Ｈ１Ｈ１以外の成分がさらに分解される。このとき、Ｌ１Ｌ１のみが再度Ｘ，Ｙの双方向に分解されるのに対して、Ｈ１Ｌ１とＬ１Ｈ１は１方向への分解だけが行われ、計８個の成分となる。さらに第３段（スケール）では、Ｈ１Ｈ２，Ｈ２Ｈ１，Ｈ２Ｈ２以外の成分を分解し、同様にＬ２Ｌ２のみがＸ，Ｙ双方向へ分解され、他は１方向への分解が行われ、１２個の成分に分解される。ここで、スケールの増加によって２個、４個に再分解されたもの（点線で図示）は、後の合成によって作成することができる。
図６のようなウェーブレット変換の分解によって、図７に示すように、入力画像ＩＮは、各画素が１６次元の成分に分解されたことになる。これら１６成分を束ねたベクトルが、画素位置ＰＰにおけるテクスチャ特徴量ＴＦ１である。
以上のようにして、低解像度画像と高解像度画像とをそれぞれテクスチャ特徴量に変換し、これら相互の関係を学習して、分析コードブックと再生コードブックを作成する。なお、この処理については、阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤義明「多重解像度ベクトル量子化を用いた輪郭強調」電子情報通信学会論文誌Ｖｏｌ．Ｊ７９Ａ １９９６／５（１０３２−１０４０ページ）、などに詳しく説明されており、ここでは詳細な説明を省略する。この場合、ステップＳ１３におけるパラメータ化とは、分析コードブックおよび再生コードブックを作成することに相当する。ここから、（式１）によって示した高解像度化パラメータＰ（ｔ）が算出される。
本実施形態では、撮影時に、画像の一部であるウインドウ領域のみにおいて高解像度画像を取得し、テクスチャなどの画像特徴量を用いて高解像度パラメータを生成する。このような処理にした利点は、以下のとおりである。
第１に、高解像度化パラメータは、別の動画データから事前学習によって求めておくのではなく、後で実際に高解像度化する動画データの被写体自身に関して学習できるため、高精度の画像処理が実現できることである。また高解像度化パラメータは時間の関数であるため、フレーム毎に学習することによって、画面内にいかなる特性をもつ被写体が出現しても瞬時に最適な高解像度化パラメータを取得でき、表示時に利用できる。このため、学習によって取得した高解像度化パラメータと実際に高解像度化を行う動画データとの特性の違いに起因する性能劣化が、原理的に存在しない。
第２に、高解像度化に利用するのは画像テクスチャなどの特徴量であるため、画面内の位置と直接的には無関係であり、ウインドウ領域をいかに移動しても、その影響を受けることはあまりない、ということである。したがって、ウインドウを適宜移動して画像全体をカバーすることにより、画面全域からの情報を十分に利用できる。
なお、図１に示す録画プロセスと図２に示す高解像度化プロセスは、典型的には、録画プロセス、高解像度化プロセスの順に実施されるが、例えば中継放送のように、カメラ撮影と伝送表示とが同時に実行される場合は、録画プロセスと高解像度化プロセスを時間的に並行して実施してもかまわない。
また、録画プロセスでは、低解像度動画データのみを記録して、これを高解像度化プロセスで高解像度化するものとしたが、これ以外でも例えば、図３に示したようないわゆる画素密度混在動画データを、そのまま録画しておき、これを高解像度化プロセスで高解像度化する、という態様にしてもかまわない。
（第２の実施形態）
本発明の第２の実施形態では、上述の第１の実施形態をベースとして、具体的な装置構成を例にとって説明する。ここでは、上述した画素密度混在動画データを撮像可能に構成された画素密度混在撮像部を備えたビデオムービーカメラを用いて、録画プロセスを実行するものとする。画素密度混在撮像部は、後述するとおり、ＣＭＯＳ型撮像センサ等のＸＹアドレス型撮像素子を用いて構成される。
図８は本実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図８の画像処理装置１０は、レンズ１０１、画素密度混在撮像部１０２、低解像度動画データの１フレームＬＦ（ｔ）を蓄積する低解像度フレームメモリ１０３、低解像度動画データＤＬＦを録画する低解像度動画記録部１０４、１フレーム内のウインドウ領域における高解像度画像ＨＷＦ（ｔ）を蓄積する高解像度ウインドウメモリ１０５、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を画像処理によって低解像度に変換する低解像度変換部１０６、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を用いて高解像度化パラメータＰ（ｔ）を学習する高解像度化パラメータ学習部１２０、高解像度化パラメータＤＰを記録する高解像度化パラメータ記録部１０９、全体制御部１１０および録画ボタン１１１を備えている。高解像度化パラメータ学習部１２０は、高解像度画像ＨＷＦ（ｔ）をテクスチャ特徴量に変換するテクスチャ変換部１０７、低解像度画像の画素サイズを補正した後、テクスチャに変換する画像サイズ補正・テクスチャ変換部１１２、およびテクスチャの対応関係を学習するテクスチャ学習部１０８を備えている。なお、ここでは、画素密度混在撮像部１０２はライン単位の読み出しを行うものとしているので、水平方向の画素間引きを行う間引き回路１１５が、画素密度混在撮像部１０２と低解像度フレームメモリ１０３との間に設けられている。
録画ボタン１１１が押されると、全体制御部１１０が、画素密度混在撮像部１０２および低解像度動画記録部１０４に録画コマンドを送出する。画素密度混在撮像部１０２は録画コマンドを受けて撮像を実行し、低解像度画像ＬＦ（ｔ）が低解像度フレームメモリ１０３内にフレームごとに蓄積される。そして低解像度動画記録部１０４は、低解像度フレームメモリ１０３に蓄積された低解像度画像ＬＦ（ｔ）を時間的に連続して動画データとし、さらに圧縮などの処理を行って、低解像度動画データＤＬＦとして蓄積メディアやネットワーク上に記録する。
全体制御部１１０は、録画コマンドの送出と同時に、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９に学習信号を送出する。画素密度混在撮像部１０２が取得したウインドウ領域における高解像度画像ＨＷＦ（ｔ）は、高解像度ウインドウメモリ１０５に蓄積され、テクスチャ変換部１０７を経由してテクスチャ学習部１０８に入力される。高解像度画像ＨＷＦ（ｔ）はまた、低解像度変換部１０６によって低解像度変換された後、画像サイズ補正・テクスチャ変換部１１２を経由してテクスチャ学習部１０８に入力される。テクスチャ学習部１０８は、解像度が異なる同一時刻の画像からテクスチャ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータＰ（ｔ）を学習する。高解像度化パラメータ記録部１０９は、これを高解像度化パラメータＤＰとして蓄積またはネットワーク上に送出する。
なお、低解像度変換部１０６の出力は低解像度フレームメモリ１０３にも供給されている。これは、画素密度混在撮像部１０２は、ウインドウ領域内は高解像度画像のみを取得しており、低解像度画像を読み出していないので、低解像度画像ＬＦ（ｔ）において欠落したウインドウ領域の部分を補充するためである。
録画ボタン１１１の押下が解除されると、上述した動作は停止する。
図８の構成において、画素密度混在撮像部１０２から低解像度動画記録部１０４までは例えばハードウエアによって構成でき、また、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９は、ＣＰＵまたはＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを中心に構成することも可能である。
図９は画素密度混在撮像部１０２の構成例を示す概念図である。図９において、３板方式の通常のビデオムービーにおけるカラー画像撮像用の光学系が用いられている。３板方式では、ダイクロックプリズム１３１によって波長帯域がレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）に分離される。そして、各カラーバンドにそれぞれ、画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂが割り当てられる。信号処理回路１３３はこれら画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂからの出力を処理して、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。このとき、後述する「飛び越しライン読み出し」がなされた低解像度の信号と、同じく後述する「プログレッシブ読み出し」がなされた高解像度の信号とに分離されて出力される。
動画データの記録には、このＹＣｒＣｂ形式が用いられる。一方、テクスチャ学習には、このＹＣｒＣｂ形式のまま輝度色差信号を全て用いてもよいし、輝度Ｙ信号のみを用いてもよい。ただし、高解像度化倍率が４×４を超える場合には、人視覚系の輝度成分と色成分の周波数応答特性比率から考えると、輝度Ｙのみの高解像度化では画質的に不十分であるため、色差ＣｒＣｂの両方を別個に高解像度化する必要がある。したがって、４×４以上の倍率の場合には、テクスチャ学習にはレッドＲ、グリーンＧ、ブルーＢの３信号成分を用いてもよい。図９の構成では、レット、グリーン、ブルー全てに画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂを割り当て、かつ、動画データ記録方式を従来の輝度色差空間に設定しているため、テクスチャ学習には、輝度Ｙと２種類の色差Ｃｒ，Ｃｂ信号を独立に用いるものとする。
図１０は画素密度混在撮像素子による読み出し画素位置の一例を示す図である。図１０において、ハッチが付された画素が読み出し対象画素である。なお、実用的撮像素子は２０００×３０００個程度の画素を有するが、ここでは簡単のため、１６×１６画素すなわち垂直（Ｖ方向）１６ライン、水平（Ｈ方向）１６ラインの２次元センサを例として描いている。（Ａ）〜（Ｄ）は時間的に連続する４個のフレームにそれぞれ対応している。
図１０から分かるように、２５６（＝１６×１６）個の画素は、全画素読み出しを行う範囲（高解像度画像を取得するウインドウ領域に相当）と、それ以外の飛び越し読み出しを行う範囲とに分離されている。ウインドウ領域は下から上に順に移動しており、（Ａ）から（Ｄ）までの４フレームを１周期として、ウインドウ領域の位置は同様の移動を繰り返す。
ウインドウ領域以外の低解像度画像の読み出しは、様々な方法が考えられるが、図１０では、画像全体を均等に１６分割した仮想的なブロックの概略中心を、低解像度画像の読み出し画素位置として設定している。この方法によって、水平Ｈ、垂直Ｖ方向それぞれに１／４に間引きされた低解像度画像が得られる。図１０では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（７，１１，１５）、（Ｂ）では（３，１１，１５）、（Ｃ）では（３，７，１５）、（Ｄ）では（３，７，１１）となっている。
このように、全ラインを読み出すウインドウ領域は、垂直方向に４ラインづつ規則的に移動させ、それ以外の場所では、垂直方向に３ラインを固定位置で読みだす。この方法により、同一画素を２回読み出すことなく、画素密度混在撮像を行うことができる。本実施形態では、この読み出し方法を用いるものとする。
図１１は画素密度混在撮像素子による読み出し画素位置の他の例を示す図である。図１１の例では、低解像度画像の読み出し方法が図１０と異なっている。この方式では、ウインドウ領域における全ライン読み出しとは独立に、１／４に間引きされた低解像度画像を、フレーム毎に異なる位置で読み出すようにしている。これは、時空間的なサンプリングを均等化する効果をねらったものであり、一部の画素について読み出しが重複することも許している。図１１では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（１，５，９，１３）、（Ｂ）では（２，６，１０，１４）、（Ｃ）では（３，７，１１，１５）、（Ｄ）では（４，８，１２，１６）となっている。黒く塗りつぶされた画素は、重複読み出しが行われるものである。この方法では、飛び越し読み出しの画素だけで底解像度動画データを構成することが可能となる。このため、低解像度画像において欠落したウインドウ領域を補充するための、低解像度変換部１０６から低解像度フレームメモリ１０３への画素値の供給処理が、不要になるという利点がある。
＜画素密度混在撮像素子の構造＞
図１２は画素密度混在撮像素子の構造の一例を示す回路ブロック図である。図１２では、垂直１６ライン、水平１６ラインの２次元センサを例として示しており、図１１で示したような読み出し方法を実現するものとする。なお、以降の説明では、画面の一部を高解像度で読み出す処理を「プログレッシブ読み出し」、画面を低解像度画像で読み出す処理を「飛び越しライン読み出し」というように、ラインを基準とした用語を用いるものとする。
撮像素子は概略、入射光の光電変換を行う撮像単位画素２１１が２次元配置（アレイ配置）された撮像部２０１と、撮像単位画素２１１にそれぞれ対応して蓄積単位画素２２１が２次元配置されており、入射光に対して遮光部を備えた蓄積部２０２とを備えている。そして撮像部２０１と蓄積部２０２とは、撮像部２０１から蓄積部２０２へ信号電荷を移動する信号線ｐ２ｓｔｒによって接続されている。
撮像部２０１の周辺には、読み出しパルスをライン毎に順次シフトする読み出し用シフトレジスタ２０３、およびリセットパルスをライン毎に順次シフトするリセット用シフトレジスタ２０４が設けられている。読み出しパルスは読み出しパルス供給線ｒｄ−ｐを介して、リセットパルスはリセットパルス供給線ｒｓｔ−ｐを介して、撮像部２０１の各撮像単位画素２１１に送られる。読み出しパルスを受けた撮像単位画素２１１は信号電荷を出力し、リセットパルスを受けた撮像単位画素２１１は信号電荷をリセットする。
蓄積部２０２の周辺には、「飛び越しライン読み出し」に用いる読み出しパルスを出力する飛び越し走査用シフトレジスタ２０５、「プログレッシブ読み出し」に用いる読み出しパルスを出力するプログレッシブ走査用シフトレジスタ２０６、飛び越し走査用シフトレジスタ２０５およびプログレッシブ走査用シフトレジスタ２０６の出力のいずれかを選択して蓄積部２０２に供給するセレクタ２０７、および、撮像部２０１から蓄積部２０２に信号電荷を転送する際に用いる読み込み用シフトレジスタ２０８が設けられている。セレクタ２０７から出力される読み出しパルスは、読み出しパルス供給線ｒｄ−ｓを介して蓄積部２０２の各蓄積単位画素２２１に供給される。また、読み込み用シフトレジスタ２０８から出力された転送パルスは、転送パルス供給線ｔｒｎを介して蓄積部２０２の各蓄積単位画素２２１に供給される。
プログレッシブ走査用シフトレジスタ２０６は、全ライン読み出しの高解像度画像を毎フレーム部分的に読み出す（例えば、毎フレーム１／４画面づつ出力し、４フレームにて１画面を構成する）ためのパルスを、発生する。一方、飛び越し走査用シフトレジスタ２０５は、飛び越しライン読み出しの低解像度画像を毎フレーム１画面得るためのパルスを、発生する。飛び越し走査用シフトレジスタ２０５に関しては、別途図１５にて詳細を説明する。
その他、セレクトトランジスタ群２０９、水平シフトレジスタ２１０および出力アンプ２１１が設けられている。蓄積部２０２の各蓄積単位画素２２１に蓄積された信号電荷は、信号出力線ｓｉｇ−ｏｕｔを介して、水平シフトレジスタ２１０によって選択された順番にもとづき、セレクトトランジスタ群２０９および出力アンプ２１１を通じて、外部に出力される。
また、タイミング発生回路２１２は、読み出し用シフトレジスタ２０３、リセット用シフトレジスタ２０４、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み込み用シフトレジスタ２０８、水平シフトレジスタ２１０、およびリセットパルス供給線ｒｓｔ−ｓにパルスを供給する。ただし、タイミング発生回路２１２は、撮像素子とは別のチップに分割搭載されていてもかまわない。
信号線ｐ２ｓｔｒ、読み出し用シフトレジスタ２０３、読み出しパルス供給線ｒｄ−ｐ、読み込み用シフトレジスタ２０８、転送パルス供給線ｔｒｎによって、転送部が構成されている。また、信号出力線ｓｉｇ−ｏｕｔ、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み出しパルス供給線ｒｄ−ｓによって、出力部が構成されている。
図１３は撮像単位画素２１１の構成の一例を示す図である。図１３の構成は、オーソドックスな３トランジスタ構成である。すなわち、光によって信号電荷を発生するフォトダイオードＰＤ、ゲートが読み出しパルス供給線ｒｄ−ｐに接続されており、信号電荷を信号線ｐ２ｓｔｒに出力するための読み出し用トランジスタＴＲ１、ソースフォロアトランジスタＴＲ２、および、ゲートがリセットパルス供給線ｒｓｔ−ｐに接続されており、蓄積された信号電荷をリセットするリセット用トランジスタＴＲ３を備えている。
図１４は蓄積単位画素２２１の構成の一例を示す図である。図１４の構成は、４トランジスタと１キャパシタで構成されている。すなわち、ゲートが転送パルス供給線ｔｒｎと接続されたトランジスタＴＲ４、信号線ｐ２ｓｔｒおよびトランジスタＴＲ４を通じて撮像単位画素２１１から転送された信号電荷を蓄積するための蓄積容量Ｃ−ｓｔｒ、ゲートが読み出しパルス供給線ｒｄ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒに蓄積された信号電荷を信号出力線ｓｉｇ−ｏｕｔに読み出すためのトランジスタＴＲ５、ゲートがリセットパルス供給線ｒｓｔ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒをＧＮＤレベルにリセットするためのトランジスタＴＲ６、およびソースフォロアトランジスタＴＲ７を備えている。
図１５は飛び越し走査用シフトレジスタ２０５の構成の一例を示す図である。図１５において、飛び越し走査用シフトレジスタ２０５は、飛び越しライン指定レジスタ２５１、ライン群走査シフトレジスタ２５２、およびＤラッチ２５３などから構成されている。その動作の詳細は、後述する。
図１６は図１２〜図１５に示す画素密度混在撮像素子における撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。図１６では、連続する４フレーム期間の概略動作を示している（ただし、図示の都合上、第３フレームを省略している）。
第１フレームにおいて、撮像部２０１におけるラインＰＤＲ１の露光時間Ｔ１が終了すると、続く転送期間Ｔ１１において、ラインＰＤＲ１上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ１の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。続いてラインＰＤＲ２の露光時間Ｔ２が終了すると、続く転送期間Ｔ２１において、ラインＰＤＲ２上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ２の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。
このような読み出し・転送動作が、高速Ｖ転送期間Ｔｐ２ｓｔｒおいて、１６本のラインＰＤＲ１〜ＰＤＲ１６について、順次実行される。すなわち、露光時間中に各撮像単位画素２１１内のフォトダイオードＰＤにおいて光電変換された信号電荷は、高速Ｖ転送期間Ｔｐ２ｓｔｒにおいて、撮像部２０１から蓄積部２０２に転送され、蓄積される。
第１フレームにおいて蓄積部２０２に蓄積された信号電荷は、次の第２フレームの水平読み出し期間において、外部に読み出される。第２フレームでは、ラインＳＴＲ５〜ＳＴＲ８の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ２，ＳＴＲ６，ＳＴＲ１０，ＳＴＲ１４の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。
以降のフレームにおいても、同様の走査が行われる。第４フレームでは、ラインＳＴＲ１３〜ＳＴＲ１６の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ４，ＳＴＲ８，ＳＴＲ１２，ＳＴＲ１６の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。
なお、図１６では、各フレームにおいて、プログレッシブ読み出しを４ライン連続で行い、飛び越し読み出しを４ラインおきの４ラインについて行うものとしているが、読み出すライン数はこれに限られるものではなく、また、プログレッシブ読み出しと飛び越し読み出しとで読み出すライン数を同じにする必要もない。例えば、プログレッシブ読み出しをｎライン連続で行い、飛び越し読み出しをｍラインおきに行うようにしてもよい。また、簡単のため、例えば第２フレームでは、ラインＳＴＲ６について重複読み出しを行うものとしているが、重複させる必要は必ずしもない。
図１７は高速Ｖ転送期間Ｔｐ２ｓｔｒにおける動作を示すタイミングチャートである。図１７において、第１フレームのラインＰＤＲ１において、露光時間Ｔ１が終了すると、読み出しパルス供給線ｒｄ−ｐに読み出しパルスが供給される。この読み出しパルスは、図１３の撮像単位画素２１１におけるトランジスタＴＲ１のゲートに印加され、フォトダイオードＰＤの信号電荷に相当する信号電位はソースフォロアトランジスタＴＲ２を介して、信号線ｐ２ｓｔｒに出力される。ラインＳＴＲ１において、転送パルス供給線ｔｒｎに転送パルスが供給されると、この転送パルスは図１４の蓄積単位画素２２１におけるトランジスタＴＲ４のゲートに印加され、信号線ｐ２ｓｔｒからトランジスタＴＲ４を介して蓄積容量Ｃ−ｓｔｒに信号電荷が転送される。
読み出しパルスの供給後に、リセットパルス供給線ｒｓｔ−ｐにリセットパルスが供給される。このリセットパルスは図１３の撮像単位画素２１１におけるトランジスタＴＲ３のゲートに印加され、これにより、フォトダイオードＰＤがリセットされる。
このような動作により、撮像部２０１の各ラインＰＤＲ１〜ＰＤＲ１６における撮像単位画素２１１の信号電荷は、蓄積部２０２の対応するラインＳＴＲ１〜ＳＴＲ１６の蓄積単位画素２２１に、全て転送される。
図１８は水平読み出し期間および蓄積部リセット期間の動作を示すタイミングチャートである。図１８において、タイミング発生回路２１２からクロックＣＫが供給される。第１フレームの水平読み出し期間では、クロックＣＫから、選択信号ｓｅｌ−Ｈ／Ｌによって切り出されたシフトクロックＣＫ−Ｈが、プログレッシブ走査用シフトレジスタ２０６に与えられる。プログレッシブ走査用シフトレジスタ２０６は、このシフトクロックＣＫ−Ｈと、タイミング発生回路２１２から供給されたシフトデータＤａｔａ−Ｈ（図示せず）とを受けて、ラインＳＴＲ１〜ＳＴＲ４に向けて、読み出しパルスを出力する。第２フレームの水平読み出し期間では、プログレッシブ走査用シフトレジスタ２０６は、ラインＳＴＲ５〜ＳＴＲ８に向けて、読み出しパルスを出力する。
ここで図１５に示すように、飛び越し走査用シフトレジスタ２０５は、当該フレームにおける飛び越しラインを決定する飛び越しライン指定レジスタ２５１と、複数のラインを同位相で走査するためのライン群走査シフトレジスタ２５２とを備えている。まず、飛び越しライン指定レジスタ２５１は、タイミング発生回路２１２から供給されたクロックＣＫ−Ｌ１および飛び越しライン選択データＤａｔａ−Ｌ１を受けて、出力Ｌ１〜Ｌ１６のうち、当該フレームにおける飛び越し走査ラインに対応するものを“Ｈ”にする。第１フレームでは、Ｌ１，Ｌ５，Ｌ９、Ｌ１３が“Ｈ”になる。
次に、ライン群走査シフトレジスタ２５２は、タイミング発生回路２１２から供給されたデータシフト用クロックＣＫ−Ｌ２およびデータＤａｔａ−Ｌ２が与えられる。ここでは、データＤａｔａ−Ｌ２として、データラッチ用クロックＣＫ−Ｌ３の４サイクル分を１周期として、１サイクル期間（データシフト用クロックＣＫ−Ｌ２の４パルス分）は“Ｈ”、続く３サイクル期間は“Ｌ”となるデータが与えられるものとする。これにより、Ｄラッチ２５３の出力ＬＴ１〜ＬＴ１６は図１８のようになる。
図１９はセレクタ２０７の出力を示すタイミングチャートである。セレクタ２０７は、選択信号ｓｅｌ−Ｈ／Ｌが“Ｈ”のときはプログレッシブ走査用シフトレジスタ２０６の出力を選択し、“Ｌ”のときは飛び越し走査用シフトレジスタ２０５の出力を選択する。これにより、図１８に示した一連の動作の結果、各ラインＳＴＲ１〜ＳＴＲ１６に対して図１９に示すような出力が得られる。
ここで、飛び越しライン数を任意に変更するためには、タイミング発生回路２１２の出力であるデータＤａｔａ−Ｌ２、データシフト用クロックＣＫ−Ｌ２およびデータラッチ用クロックＣＫ−Ｌ３を変更すればよい。また、プログレッシブ走査の連続するライン数を任意に変更するためには、これもまたタイミング発生回路２１２の出力である選択信号ｓｅｌ−Ｈ／Ｌにおける“Ｈ”期間を変更すればよい。このように、飛び越しライン数やプログレッシブ走査の連続するライン数は回路構成によって一意に決定されるものではなく、本実施形態では、自由に動作モードが設定でき、自由度のある駆動が可能となっている。
また、水平読み出し期間における１ラインの読み出しは、次のように行われる。水平シフトレジスタ２１０は、タイミング発生回路２１２から供給された、１水平期間の選択信号ＨＳＥＬと水平転送クロックＨｃｋを受け、これに応じて、セレクトトランジスタ群２０９における各トランジスタＣ１〜Ｃ１６にパルスを次々に供給する。この結果、ラインＳＴＲ１〜ＳＴＲ１６のうちセレクタ２０７の出力によって選択されたラインから、蓄積単位画素２２１の蓄積容量Ｃ−ｓｔｒに蓄えられていた信号電荷が、順次、出力アンプ２１１を介して外部信号処理回路（ここでは図示せず）に転送され、読み出しが完了する。
図８の構成にもどり、画素密度混在撮像部１０２からプログレッシブ読み出しされた画素値は、高解像度画像ＨＷＦ（ｔ）として高像度ウインドウメモリ１０５に一時的に蓄積される。また、画素密度混在撮像部１０２から飛び越しライン読み出しされた画素値は、間引き回路１１５によってＨ方向に１／４に間引きされた後、低解像度フレームメモリ１０３に１フレーム画面として一時的に蓄積される。この間引きは、図１０および図１１の例では、Ｈ方向の画素番号（２，６，１０，１４）のみの画素値を通過させ、他は読み捨てる動作によって、実現される。
ここで、図１０の読み出し動作の場合には、このままでは、１フレームのうち、ウインドウ領域における低解像度画像が欠落することになる。このため、低解像度変換部１０６が高解像度画像ＨＷＦ（ｔ）に対してサンプリング処理などの画像処理を行い、低解像度フレームメモリ１０３における当該位置に格納する。例えば図１０の例では、ウインドウ領域の下辺をＶ方向の原点基準にして、座標（Ｖ，Ｈ）＝（２，３）、（６，３）、（１０，３）、（１４，３）の位置にある特定画素のサンプリングを、行えばよい。
低解像度フレームメモリ１０３に蓄積された、縦横１／４×１／４に間引きされた低解像度画像ＬＦ（ｔ）は、逐次、フレーム毎に低解像度動画データ記録部１０４によって記録される。この際に、既存の動画データ圧縮方式を適用することは任意である。
高解像度ウインドウメモリ１０５に蓄積された高解像度画像ＨＷＦ（ｔ）の輝度成分は、テクスチャ変換部１０７に入力され、ウェーブレット変換などの多重解像度変換によって、輝度画像のテクスチャ特徴量に変換される。一方、低解像度変換部１０６から出力された低解像度画像の輝度成分は、画像サイズ補正・テクスチャ変換部１１２に入力される。画像サイズ補正・テクスチャ変換部１１２では、低解像度画像を一旦、高解像度画像と同じ画素数に戻した上で、ウェーブレット変換などの多重解像度変換を実施し、輝度画像のテクスチャ特徴量に変換する。ここで画像サイズ補正の手法は任意であるが、バイリニア補間、バイキュービック補間などの手法を用いることができる。ここで用いた画像サイズ補正手法は、後で動画データ高解像表示の際に低解像度画像から高解像度化する場合の前処理として利用される。
図２０はテクスチャ変換処理を概念的に示す図である。図２０において、２００１はウインドウ領域における高解像度画像であり、ここでは正方形のウインドウ領域を想定している。２００２は高解像度画像２００１をウェーブレット変換して得た複数階層からなるウェーブレット係数画像である。また２００３は低解像度画像であり、２００４は画素サイズ補正により高解像度画像２００１と画素数を一致させた画像、２００５は画像２００４から得たウェーブレット係数画像である。画像２００１を鮮鋭化画像、画像２００４をボケ画像と呼ぶものとすると、２００６および２００７はそれぞれ、鮮鋭化画像２００１とボケ画像２００４での画素位置ＰＰにおける１６次元の成分を持つテクスチャ特徴量である。
学習（撮像）時には、テクスチャ特徴量２００６，２００７の関係を学習して、低解像度のテクスチャ特徴量２００７から高解像度のテクスチャ特徴量２００６への変換ルールを高解像度化パラメータとして得る。そして高解像度化においては、低解像度画像２００３を入力し、画素サイズ補正を行うことによってボケ画像２００４を得て、学習した高解像度化パラメータを適用することにより、高解像度画像２００１を得る。なお、ここでの説明では、学習した画像自身を用いて高解像度化を実施しているため理想的な高解像度化が実現されているが、実際には、未学習の画像が対象となることが多く、必ずしも理想的な高解像度画像にまで復元するわけではない。ところが本発明では、撮像時に一緒に、被写体の一部のウインドウ領域において高解像度化パラメータを学習するので、類似した被写体を予め学習して高解像度化パラメータを得る方法よりも、数段性能の高い高解像度化が実現できる。
テクスチャ学習部１０８は、テクスチャ変換部１０７および画像サイズ補正・テクスチャ変換部１１２から出力されたテクスチャ特徴量相互の関係を学習し、分析コードブックと再生コードブックを作成して高解像度化パラメータを生成する。この手法について、図２１を用いて説明する。
ここでは、ボケ画像と鮮鋭化画像はともに１００画素からなるものとする。ボケ画像と鮮鋭化画像について、それぞれ、画素位置ごとに、多重解像度ベクトルＵ１〜Ｕ１００、Ｖ１〜Ｖ１００に変換する。ベクトルＵ１〜Ｕ１００とベクトルＶ１〜Ｖ１００との間には、画素位置が同一という関係があるので、コードブックは、Ｕを入力したとき対応するＶを出力するように作成すればよい。ただし、実際には、各多重解像度ベクトルはベクトル量子化によって代表ベクトルに分類される。
図２１の例では、ベクトルＵは２１０１と２１０２の２種に量子化され、ベクトルＶは２１０３と２１０４の２種に量子化されている。分析コードブックや再生コードブックの量子化インデックスとは、これら量子化されたベクトル集合に付けられた番号を意味している。そして、コードブックを引くということは、ベクトル番号Ｖを入力すると量子化されたベクトルの集合の番号である１，２といった番号を得ることに他ならない。また、量子化集合２１０３には代表ベクトルＺ１が、量子化集合２１０４には代表ベクトルＺ２が付随している。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代表値をとるなどの方法によって計算される。本発明では、ここで述べたコードブックが時刻ｔの関数としてフレーム毎に計算され、高解像度化パラメータＰ（ｔ）となる。
次に、ベクトル番号から量子化インデックス（１または２）を出力する分析コードブックＩＧと、量子化インデックス（１または２）を入力して再生ベクトルを出力する再生コードブックＩＦとが生成される。このようにして生成した分析コードブックと再生コードブックを結合して用いることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重解像度ベクトルに変換することができる。
以上のようにして求められた分析コードブックと再生コードブックは、高解像度パラメータ記録部１０９により、高解像度化パラメータＤＰとして蓄積される。
図２２は本実施形態に係る画像表示部の構成を示す図である。図２２の構成は、図８のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。図２２の画像表示部３０は、動画入力部３０１、画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３、テクスチャ逆変換部３０４、高解像度化パラメータ入力部３０５、全体制御部３０６およびディスプレイ３０７を備えている。画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３およびテクスチャ逆変換部３０４によって、高解像度化部３１０が構成されている。
まず、図８の画像処理装置１０によって記録された低解像度動画データＤＬＦおよび高解像度化パラメータＤＰが、ネットワーク経由または様々な媒体経由にて、画像表示部３０に入力される。全体制御部３０６は動画データ入力部３０１にコマンドを送り、コマンドを受けた動画データ入力部３０１は、例えば圧縮された低解像度動画データＤＬＦを伸張して読み出す。ここでは、通常のカラー動画データを想定しているので、ＹＣｒＣｂの輝度色差信号が生成されるものとする。読み出された画像は、本来の高解像度画像に比較して画素サイズが１／４×１／４の低解像度であるから、次に画像サイズ補正・テクスチャ変換部３０３が、画像サイズを縦横４倍に拡大してボケ画像を得て、次にカラー信号の輝度成分Ｙと色差ＣｒＣｂ独立にテクスチャ変換する。この動作は、図８の画像サイズ補正・テクスチャ変換部１１２と同様であり、説明は省略する。
次に、全体制御部３０６は高解像度化パラメータ入力部３０５にコマンドを送り、コマンドを受けた高解像度化パラメータ入力部３０５は、高解像度化パラメータＤＰを読み出してテクスチャ置換部３０３に入力する。テクスチャ置換部３０３は、高解像度化パラメータに記載された分析コードブックと再生コードブックを結合して用いることによって、ボケ画像のテクスチャを表現する多重解像度ベクトル（テクスチャ特徴量）を、鮮鋭画像のテクスチャを表現する多重解像度ベクトルに変換する。次に、テクスチャ逆変換部３０４は鮮鋭画像テクスチャ特徴量から高解像度化された輝度画像への変換を行う。そして、高解像度化された輝度Ｙ画像と元の色差ＣｒＣｂ画像とがディスプレイ３０７に入力されて、高解像度画像が動画データとして表示される。
なお、以上の説明は、カラー動画データをＹＣｒＣｂという輝度・色差成分に分離して扱い、各成文を独立に高解像度化する、という考え方に基づく。ただし本発明はこれに限られるものではなく、カラー動画データをＲＧＢ成分で扱い、全成分について独立に高解像度化する方法や、輝度成分しか持たないモノクロ画像を高解像度化する方法を用いてもよい。
また上述のように、本実施形態では、低解像度の記録動画データから高解像度の動画データを生成表示可能であるので、カメラ撮影時に蓄積情報量が少なくて済み、消費電力の大きな高解像度動画データ用の超高速撮像素子が不要になる、という利点がある。このため、消費電力に制限のある超小型ビデオカメラなどへの応用が可能になる。この結果、超小型ビデオカメラで撮影した動画データを大画面ディスプレイに高画質拡大表示したり、見たい部分をさらに拡大する等の処理に対応できる、という大きな利点を有する。
（第３の実施形態）
図２３は本発明の第３の実施形態に係る画像処理装置であって、図８と同様に本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図８の構成との相違は、低解像度フレームメモリ１０３が省かれており、低解像度動画データＤＬＦを記録する低解像度動画記録部１０４の代わりに、画素密度混在圧縮動画データＤＭＣを記録する画素密度混在動画記録部４０１が設けられている点である。すなわち、第２の実施形態では低解像度化された動画データを録画していたのに対して、本実施形態では、画素密度混在撮像部１０２によって取得した画像をそのまま蓄積する。取得された画素密度混在動画データを、あえて低解像度化することなく有効に用いることによって、高解像度化の性能を向上させることを図っている。
録画ボタン１１１が押されると、全体制御部１１０が、画素密度混在撮像部１０２および画素密度混在動画記録部４０１に録画コマンドを送出する。画素密度混在撮像部１０２は録画コマンドを受けて撮像を実行し、画素密度混在動画データＦ（ｔ）を画素密度混在動画記録部４０１に送る。画素密度混在動画記録部４０１は画素密度混在動画データＦ（ｔ）を受け、後述する圧縮などの処理を行い、画素密度混在圧縮動画データＤＭＣとして蓄積メディアやネットワーク上に記録する。
全体制御部１１０は、録画コマンドの送出と同時に、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９に学習信号を送出する。画素密度混在撮像部１０２が取得したウインドウ領域における高解像度画像ＨＷＦ（ｔ）は、高解像度ウインドウメモリ１０５に蓄積され、テクスチャ変換部１０７を経由してテクスチャ学習部１０８に入力される。高解像度画像ＨＷＦ（ｔ）はまた、低解像度変換部１０６によって低解像度変換された後、画像サイズ補正・テクスチャ変換部１１２を経由してテクスチャ学習部１０８に入力される。テクスチャ学習部１０８は、解像度が異なる同一時刻の画像からテクスチャ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータＰ（ｔ）を学習する。高解像度化パラメータ記録部１０９は、これを高解像度化パラメータＤＰとして蓄積またはネットワーク上に送出する。
図２４は画素密度混在圧縮動画データＤＭＣの画像フォーマットを示す図である。ここで説明する処理は、画素密度混在動画記録部４０１が実行する。画素密度混在撮像部１０２によって撮像された画素密度混在撮像動画データＦ（ｔ）では、１フレーム内に画素密度が異なる部分が存在するため、このままでは動画データとして効率的な圧縮ができない。そこで、まず、全体を低解像度化した動画データＬＦ（ｔ）を生成する。これは、第２の実施形態などで述べたとおり、画像フィルタ処理によって行えばよい。次に、この低解像度動画データＬＦ（ｔ）を圧縮して、第１の圧縮データとしての低解像度の圧縮動画データＣＬＦ（ｔ）を生成する。これは、既存の動画圧縮手法を用いればよい。
次に、差分動画データＤＦ（ｔ）を生成する。
ＤＦ（ｔ）＝Ｆ（ｔ）−ＬＦ（ｔ） …（式３）
ここで、この差分動画データＤＦ（ｔ）は、高解像度画像を取得したウインドウ領域のみに差分値を持ち、その他の領域では差分値は０であるため、データを持つ面積が小さい。その上、高周波成分を非常に多く含んでいるため、量子化する際の圧縮効率が高くなる。そこで、差分動画データＤＦ（ｔ）を別途圧縮して、第２の圧縮データとしての差分圧縮動画データＣＤＦ（ｔ）を得る。２種類の圧縮動画データＣＬＦ（ｔ），ＣＤＦ（ｔ）をまとめて１つの画像フォーマットとし、これを画素密度混在圧縮データＤＭＣとして記録する。
図２５は本実施形態に係る画像表示部の構成を示す図である。図２５の構成は、図２３のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービー付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。図２５において、図２２と共通の構成要素については同一の符号を付しており、ここでは説明を省略する。図２２と異なるのは、画素密度混在圧縮動画データＤＭＣを入力として用いる点であり、このため、入力された画素密度混在圧縮動画データＤＭＣを差分動画データＤＦ（ｔ）と低解像度動画データＬＦ（ｔ）とに分離するための圧縮動画データ分離部４０２を備えている。また、高解像度ウインドウ生成部４０３、高解像度成分合成部４０４、および合成比決定部４０５を備えている。
圧縮動画データ分離部４０２は、全体制御部３０６からコマンドを受けると、画素密度混在圧縮動画データＤＭＣを分離伸張し、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）を得る。低解像度動画データＬＦ（ｔ）は、図２２と同様に、画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３およびテクスチャ逆変換部３０４によって処理され、高解像度画像ＨＦ（ｔ）に変換される。ただし、この高解像度画像ＨＦ（ｔ）は、あくまでも低解像度動画データＬＦ（ｔ）のみから生成されたものであり、これをそのままディスプレイ３０７に表示したのでは、画素密度混在撮像画像Ｆ（ｔ）を録画したことによる利点を利用していないことになる。
そこで、本来撮影された高解像度画像を用いるために、高解像度ウインドウ生成部４０３は、差分動画データＤＦ（ｔ）および低解像度動画データＬＦ（ｔ）を用いて元の画素密度混在撮像画像Ｆ（ｔ）を得て、ウインドウ領域における高解像度画像ＨＷＦ（ｔ）を出力する。そして高解像度成分合成部４０４は、高解像度画像ＨＦ（ｔ），ＨＷＦ（ｔ）を用いて、合成比決定部４０５によって決定された合成比ｍ（ｍ＝０〜１）を用いて重み付け合成を行い、ディスプレイ３０７に表示するための高解像度動画データＨＨＦ（ｔ）を出力する。この重み付け合成は、ウインドウ領域について行われ、ウインドウ領域以外の領域については、テクスチャ置換によって得られた高解像度画像ＨＦ（ｔ）がそのまま用いられる。
ＨＨＦ（ｔ）＝ｍ×ＨＷＦ（ｔ）＋（１−ｍ）×ＨＦ（ｔ） …（式４）
ただし全体制御部３０６は、合成比決定部４０５に合成比ｍを決定する信号を送ることにより、この合成比ｍを変化させることができる。これによって、重み付け合成を行ったウインドウ領域と、それ以外の領域とにおける画像の差を、違和感ないレベルまで低減することができる。
（第４の実施形態）
第３の実施形態では、高解像度化パラメータの学習は、録画時にビデオムービーカメラ内で実施されるものとした。これに対して本実施形態では、高解像度化パラメータの学習を、録画時に実行せず、ネットワーク上のサーバまたは表示装置に実行させるものとする。これにより、カメラ側の処理負荷が軽減されるとともに、表示側において、録画された動画データから高解像度化パラメータを学習しつつ、自由自在な高解像度化が可能になる。
図２６は本実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図２６では、図２３と共通の構成要素には同一の符号を付しており、ここではその説明を省略する。図２３の構成と対比すると、図２６の画像処理装置５１では、高解像度化パラメータを学習する構成が省かれており、ただ単に、画素密度混在撮像部１０２からの出力が画素密度混在圧縮動画データＤＭＣとして記録される。この動画データＤＭＣは、ハードディスクなどの媒体に記録される他、ネットワーク５０１経由で、後述する映像処理サーバ、または画像表示部に送出される。
図２７は本実施形態に係る映像処理サーバの構成を示すブロック図である。図２７では、図２３および図２５と共通の構成要素には同一の符号を付しており、ここではその詳細な説明を省略する。図２７の映像処理サーバ５２は、画素密度混在圧縮動画データＤＭＣから高解像化パラメータＤＰを生成する。圧縮動画データ分離部４０２および高解像度ウインドウ生成部４０３によって、動画分離部４１０が構成されている。
図２７に示すように、圧縮動画データ分離部４０２は画素密度混在圧縮動画データＤＭＣを分離伸張し、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）を得る。高解像度ウインドウ生成部４０３は、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）から元の画素密度混在撮像動画データＦ（ｔ）を得て、ウインドウ領域における高解像度画像ＨＷＦ（ｔ）を出力する。高解像度化パラメータ学習部１２０は、高解像度画像ＨＷＦ（ｔ）と低解像度動画データＬＦ（ｔ）とから、高解像度化パラメータＰ（ｔ）を得る。高解像度化パラメータ記録部１０９は、高解像度化パラメータＰ（ｔ）を高解像度化パラメータＤＰとして蓄積、またはネットワーク５０１上に送出する。
本実施形態では、高解像度画像の表示は、第３の実施形態と同様に、図２５のような構成によって実行されるため、ここでは説明は省略する。
なお、本実施形態では、高解像度化パラメータの学習機能は、映像処理サーバにおいて実現されるものとした。このため、動画データの分離伸張機能を、表示部とは別に、映像処理サーバにも設ける必要があった。これに対して、図２７の映像処理サーバと図２５の画像表示部とを合体させたような構成を実現してもよい。これにより、動画データの分離伸張機能を、高解像度化パラメータの学習時と高解像度画像の表示時とにおいて共用することができる。
（第５の実施形態）
図２８は本発明の第５の実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図２８の構成は、第２の実施形態に係る図８の構成を改良したものであり、図８と共通の構成要素には図８と同一の符号を付しており、ここではその詳細な説明を省略する。
本実施形態では、高解像度画像を取得するウインドウ領域の位置を、単に時間経過とともにずらしていくのではなく、撮影する対象の被写体の動きに合わせて、被写体を追跡するように更新していく。これによって、高解像度化パラメータを、注目度の高い被写体の位置から外れない領域において、集中的に学習することができ、高解像度化の精度を向上させることができる。被写体候補の領域は、画像の周波数成分を解析することにより、検出することができる。例えば、空間高周波数成分を最も多く含む部分を、被写体候補領域として定義すればよい。
図２８の構成では、図８と対比すると、前フレーム低解像度フレームメモリ６０１と、低解像度動画データにおいて被写体候補領域の動きを検出し、検出した被写体候補領域の動きに応じてウインドウ領域の位置を移動させるウインドウ位置更新部１６０とが、追加されている。ウインドウ位置更新部１６０は、被写体候補検出部６０２、被写体動き検出部６０３およびウインドウ設定部６０４を備えている。
被写体候補検出部６０２は、前フレーム低解像度フレームメモリ６０１に蓄積された低解像度画像に対して、高周波数成分を保存する画像フィルタ処理を行い、高い周波数パワーを有する領域を被写体候補領域として検出する。被写体動き検出部６０３は、低解像度フレームメモリ１０３に蓄積された現在時刻ｔの低解像度画像と、前フレーム低解像度フレームメモリ６０１に蓄積された時刻ｔ−１の低解像度画像とを用いて、被写体候補検出部６０４によって検出された被写体候補領域について、ブロックマッチング処理によって、動きベクトルを検出する。ウインドウ設定部６０４は、被写体動き検出部６０３によって検出された動きベクトルに基づいて、ウインドウ領域を設定する。
図２９は被写体候補領域の検出処理を示す図である。図２９（Ａ）の入力画像に対して、エッジ検出処理とモザイク処理を実施した結果、周波数パワーの集中度合を濃度で描いた図２９（Ｂ）が得られる。図２９（Ｂ）から最も濃度が高い位置を含む領域をブロックとして選択し、ブロックの連結程度を加味して、図２９（Ｃ）のように被写体候補領域を選択する。この場合、被写体候補領域を含む領域として、図２９（Ｄ）のようにウインドウ領域を決定できる。なお、ここでは、ウインドウ領域を８×２ブロックからなる矩形に設定しているが、ウインドウ領域の形状は、画素密度混在撮像素子の構成に応じて、任意の形状に設定しうる。
求められた被写体候補領域について、連続するフレーム間のブロックマッチング手法により、動きベクトルを計算する。そして得られた動きベクトルに基づいて、次の時刻ｔ＋１におけるウインドウ領域を、位置をずらして設定する。このような処理によって、高解像度画像を取得するウインドウ領域は、注目度の高い被写体を追跡するように設定される。
図３０は本実施形態におけるウインドウ領域の設定の一例を示す図である。図３０では、ウインドウ領域２９０３の形状は、図３と同様に横長の矩形としている。被写体２９０１は画面内で時間経過とともに移動しており、各フレームにおいて、被写体２９０１の動きを表す動きベクトル２９０２が検出されている。ウインドウ領域２９０３は、被写体の垂直（Ｖ）方向の動きに合わせて、時間経過とともに移動している。このウインドウ領域２９０３の動きは、図３で示したような走査順でもなければ、隣り合うフレーム間で連続していることもなく、任意である。なお、図１２の画素密度混在撮像部の構成では、プログレッシブ走査用シフトレジスタ２０６からの出力パルスを変化させることによって、ウインドウ領域を垂直Ｖ方向に任意に移動させることができる。さらに水平Ｈ方向については、不要な画素を読み捨てることによって、任意形状のウインドウ領域を設定することができる。
（第６の実施形態）
図３１は本発明の第６の実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図３１の構成は、第２の実施形態に係る図８の構成を改良したものであり、図８と共通の構成要素には図８と同一の符号を付しており、ここではその詳細な説明を省略する。
本実施形態では、低解像度動画データと高解像度化パラメータを、拡散反射成分と鏡面反射成分とに分けて、取得するようにしている。すなわち、低解像度動画記録部１０４は、拡散反射成分低解像度動画データＤＬＦ１および鏡面反射成分低解像度動画データＤＬＦ２を記録し、高解像度化パラメータ記録部１０９は、拡散反射成分高解像度化パラメータＤＰ１および鏡面反射成分高解像度化パラメータＤＰ２を記録する。また、図８の画素密度混在撮像部１０２に代えて、偏光フィルタ付き画素密度混在撮像部７０１が設けられている。
すなわち、本実施形態では、通常のカラーの３板でなく４個の撮像素子を用いて、被写体の鏡面反射成分と拡散反射成分とを分離して別個に記録し、別個に高解像度化し、最後に画像を合成する。被写体の物理反射光学特性は、表面の輝度から鏡面反射成分と拡散反射成分の分離を行うことによって取得することができ、この結果、被写体表面の粗さ特性と表面のアルベドなど材質固有の反射率特性が分離して得られるため、被写体の表面の質感を向上させる場合に非常に有効である。そこで、鏡面反射成分と拡散反射成分とについてそれぞれ高解像度化を実施することによって、被写体の表面質感をより向上させることが期待できる。
鏡面反射成分と拡散反射成分の分離には様々な方式があるが、ここでは照明に特別な条件をあたえることなく、カメラレンズ前に偏光板を設置し、その偏光軸をずらして撮影した２枚の画像だけから分離する手法を用いる。本手法に関しては、梅山伸二、「物体の見えからの拡散／鏡面反射成分の分離−偏光フィルタを介した多重観測と確率的独立性を用いて−」、画像の認識、理解シンポジウム（ＭＩＲＵ２００２）（Ｉ−４６９〜４７６ページ）などに詳しく説明されており、ここでは処理内容の詳細な説明を省略し、撮像部の構成のみについて述べる。
図３２は偏光フィルタ付き画素密度混在撮像部７０１の構成を示す図である。図３２に示すように、偏光フィルタ付き画素密度混在撮像部７０１は、４分割プリズム７１１、レッド用画素密度混在撮像素子７１２、ブルー用画素密度混在撮像素子７１３、第１の偏光板７１４、第１のグリーン用画素密度混在撮像素子７１５、第２の偏光板７１６、および第２のグリーン用画素密度混在撮像素子７１７、鏡面拡散反射成分分離部７１８および照明光推定部７１９を備えている。この構成では、非常にコントラストの高い鏡面反射成分を取得するため、ダイナミックレンジの広い画素密度混在撮像素子を用いることが望ましい。
４分割プリズム７１１の境界面には、多層膜干渉フィルタなどが挟み込まれて用いられている。入射光は、第１回目の境界反射でＧ（グリーン）光とＭ（マゼンタ）光に分離され、次に第２回目の反射でＭ光はＲ（レッド）光とＢ（ブルー）光に分離され、それぞれがレッド用画素密度混在撮像素子７１２、ブルー用画素密度混在撮像素子７１３に導かれる。一方、Ｇ光は、第２回目の反射で、第１の偏光板７１４を通り、第１のグリーン用画素密度混在撮像素子７１５に入るｇ１光と、第２の偏光板７１６を通り、第２のグリーン用画素密度混在撮像素子７１７に入るｇ２光とに分離される。第１の偏光板７１４と第２の偏光板７１６は、ともに偏光主軸成分だけを透過させるが、偏光軸が互いにずれており、これにより、第１のグリーン用画素密度混在撮像素子７１５と第２のグリーン用画素密度混在撮像素子７１７とでは、異なる画像が取得される。偏光板を透過したｇ１光、ｇ２光は、元のＧ光とは別の光である。
ｇ１光とｇ２光は、鏡面拡散反射成分分離部７１８において、元のＧ光の鏡面成分Ｇｓと拡散成分Ｇｄに変換される。ここで、ＧｓとＧｄは次の関係を満たす。
Ｇ＝Ｇｓ＋Ｇｄ …（式５）
一方、照明光推定部７１９は、一般のカメラに搭載されているＡＷＢ（オートホワイトバランス）機能などを用いて、被写体を照明する光に関する情報を取得する。２色性反射モデルが成立する被写体では、鏡面反射成分Ｇｓは照明光のＧ成分そのものであるから、照明光推定部７１９が照明の色成分（Ｒ，Ｇ，Ｂ）比率を、Ｇを１として（ＲＩＬ、１、ＢＩＬ）のように推定した場合、レッドＲおよびブルーＢの鏡面反射成分Ｒｓ、Ｂｓは、照明光のレッドＲ、ブルーＢ成分として次のように推定できる。
Ｒｓ＝ＲＩＬ・Ｇｓ
Ｂｓ＝ＢＩＬ・Ｇｓ …（式６）
これらを用いて、Ｒ光，Ｂ光についても、鏡面反射成分と拡散反射成分への分離が次のように可能となる。
Ｒ＝Ｒｓ＋Ｒｄ
Ｂ＝Ｂｓ＋Ｂｄ …（式７）
以上のようにＲＧＢ全てにつき拡散反射成分と鏡面反射成分が推定できるので、これらの反射成分を、通常のマトリクス演算によって、拡散反射成分輝度色差空間（Ｙｄ、Ｃｒｄ，Ｃｂｄ）と鏡面反射成分輝度色差空間（Ｙｓ，Ｃｒｓ，Ｃｂｓ）に変換することができる。
したがって、図３１の構成では、２種類の動画データすなわち、拡散反射成分低解像度動画データＤＬＦ１、鏡面反射成分低解像度動画データＤＬＦ２と、２種類の高解像度化パラメータすなわち、拡散反射成分高解像度化パラメータＤＰ１、鏡面反射成分高解像度化パラメータＤＰ２が得られる。
本来であれば、Ｙ信号を拡散反射成分Ｙｄと鏡面反射成分Ｙｓに分離する場合、ＲＧＢ原色信号それぞれを鏡面反射成分、拡散反射成分に分離して画素密度混在撮像する処理が必要になるため、合計６個の撮像素子が必要になる。ところが本実施形態では、照明光推定部７１９を用いることによって、撮像素子４個で実現することができる。
図３３は本実施形態に係る画像表示部の構成を示す図である。図３３の構成は、図３１のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。第２の実施形態における図２２の構成との相違は、拡散反射成分と鏡面反射成分とについて別個に高解像度化を実現し、その後、拡散反射成分鏡面反射成分合成部７０２が、輝度、色差レベルで鏡面反射成分・拡散反射成分を合成する点である。なお、この合成は、テクスチャから逆変換された輝度色差ＹＣｒＣｂ空間、または原色ＲＧＢ空間のいずれで行ってもよい。動画入力部３０１ａ，３０１ｂは図２２の動画入力部３０１と同様に動作し、また、画像サイズ補正・テクスチャ変換部３０２ａ，３０２ｂ、テクスチャ置換部３０３ａ，３０３ｂ、テクスチャ逆変換部３０４ａ，３０４ｂ、高解像度化パラメータ入力部３０５ａ，３０５ｂはそれぞれ、図２２の画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３、テクスチャ逆変換部３０４、高解像度化パラメータ入力部３０５と同様に動作する。
本実施形態では、拡散反射成分と鏡面反射成分を分離独立した信号と考え、各々別個に高解像度化するので、上述の第２〜第５の実施形態と組み合わせて実施することも可能である。また、拡散反射成分低解像度動画データＤＬＦ１および鏡面反射成分低解像度動画データＤＬＦ２を合わせて、単一の画像フォーマットとして蓄積することも可能である。
また本実施の形態では、拡散反射成分と鏡面反射成分の高解像度化の処理を同一方式にて行っているが、実際には同一手法で実施する必要はなく、別方式で扱うことも可能である。例えば、拡散反射成分については既存の補間拡大手法だけを用いる、などの方法も考えられる。
さらに、拡散反射成分と鏡面反射成分を両方とも高解像度化する必要は、必ずしもない。片方のみを高解像度化する場合、拡散反射成分と鏡面反射成分のいずれを選択するかは、対象とする被写体の特性や撮影時の光源環境、さらに高解像度化の目的等によって決めればよい。例えば、工芸品や特殊な表面加工を施した被写体に対して、表面凹凸感をより強調再現したい場合には鏡面反射成分を用い、それらの表面に書いてある印刷の文字などを忠実に再現したい場合は拡散反射成分を用いる、といった方法が考えられる。
図３４は本実施形態における高解像度化を模式的に示す図である。被写体は、表面に凹凸がある球体で文字「ＡＢＣ」が印刷されている物を想定する。図３４において、入力となる低解像度画像３３０１では、文字部に鏡面反射によるハイライト３３０７が入ってしまっている。これを鏡面反射成分３３０２と拡散反射成分３３０３に分離すると、鏡面反射成分３３０２では拡散反射である文字部は消えてしまい、一方、拡散反射成分３３０３ではハイライト部や表面凹凸部が消えてしまう。次に、鏡面反射成分３３０２を高解像度化すると、文字部は消えたまま表面の凹凸や鏡面反射成分が高解像度化された画像３３０４が生成される。また拡散反射成分３３０３を高解像度化すると、鏡面反射やハイライトは無くなり、文字部のみが高解像度化された画像３３０５が生成される。画像３３０４，３３０５から、出力として高解像度画像３３０６を生成することができる。この画像３３０６は、拡散反射成分と鏡面反射成を分離せず、そのまま高解像度化した場合に比較して多くの情報量を有しており、視覚的に良好な結果を得られる。
本発明は、被写体特性が反映された精度の高い解像度変換を、少ない画像処理量で、実現することができるので、例えば、視覚的情報量が重要視される様々な応用分野において、材質感あふれるデジタル高解像度動画データを生成するのに有効である。また例えば、携帯電話のような低解像度表示系への画像表示にも、有効である。
本発明は、画像処理技術に関し、特に、例えば動画データの高解像化などの解像度変換を行うための技術に関するものである。
デジタルビデオカメラ、デジタルスチルカメラなどデジタル画像機器の普及により、高解像度デジタル画像が様々な入出力機器において取り扱われることが、普通になっている。特に静止画では、民生用デジタルスチルカメラの撮像素子は５００万画素以上が普通となり、現在では１０００万画素を越える製品も登場しており、デジタル写真プリント用途に十分な高解像度化が達成されつつある。
しかしながら、今後のデジタル画像の用途としては、静止画での高解像度化がある程度達成されたため、動画データでの解像度拡大、特に映画のようにフレーム画像のそれぞれが静止画として通用する程度の高解像度動画データが、大きなニーズになってくると予想されている。画像高解像度化の応用先としては、カメラのような画像入力系の分野と、テレビのような画像表示系の分野の２つがあるが、本願は主として、画像入力系への応用に関するものである。
画像入力系において動画データの高解像度化という要求に答えるためには、以下のような問題がある。ＨＤ（High Definition）ＴＶ相当以上の高精細動画データにおいては、たとえ撮像素子の画素数が充分であっても、その画素数の多さゆえに30ｆｐｓ程度の動画データフレームレートでの全画素読み出しが非常に困難である。無理に高速読み出し処理した場合、機器の消費電力・発熱が巨大となる。したがって現状の技術では、動画データ全フレームの高解像度撮像は困難であって、動画データの数フレームに１枚しか高解像度画像が取得できないという問題がある。そこで画像撮像後に様々な画像処理技術を用いることが検討されてきた。
すなわち本分野の従来技術としては、時空間的に考えた場合、時間的には高解像度で空間的には低解像度の動画データから、時間的には低解像度で空間的に高解像度の画像を用いることによって、画像処理技術を利用して時間空間の両方の軸で高解像度の動画データを得るものがあった。
特許文献１では、撮影時に、低解像度の動画データと高解像度の静止画像から高解像度の動画データを作り出す技術が開示されている。この特許文献１の技術では、低解像度動画データの１フレームと高解像度静止画とを一定のサンプル時間毎に対応づけて、低解像度動画データを空間的に補間して高解像度化している。
特許文献２では次のような技術が開示されている。すなわち、シーンを撮像して低品位画像データを生成するとともに、シーンの一部を撮像して高品位画像データを生成する。そして、高品位画像データ及び低品位画像データを学習アルゴリズムにおける学習対として用いて、品位向上関数のパラメータを決定し、これを用いて、シーンの残りの部分の高品位画像を導出する。
特許第３２４０３３９号公報 特表２００５−５２２１０８号公報
しかしながら、従来の技術には、次のような問題があった。
特許文献１に開示された技術は、低解像度の動画データから空間的に高解像度の動画データを作り出すものである。具体的には、動画データと静止画の対応づけが時間軸上の離散点で行われるため、対応情報が存在しない動画データフレームについて、既に対応付けが判明したフレームの情報を用いる。そして、類似した信号レベルのエッジを探索し、これを同一の被写体が平行移動的に動いたと考えて、動ベクトル探索を用いて、空間的に補間する画素を決定する。このため、探索処理の負担が重い上、間違った画素対応を得る可能性があるという問題がある。また動きと同時に被写体が変形したり向きが変化した場合には、対応点が見つからず処理が破綻する。
また、特許文献１では、高解像度画像読み出しと低解像度動画データの読み出しが同速度で行われる。このため、動画データと静止画の解像度変換比率が縦横２倍程度であれば、高解像度画像の読み出しにさほど時間はかからないが、この変換比率を縦横４倍程度にすると、高解像度画像の総読み出し面積が低解像度画像の１６倍にもなり、画素読み出しに時間がかかりすぎてしまう。この結果、動画データの撮像フレーム欠落が大幅に増え、動画データのコマ落ちにより品質が劣化してしまう可能性が高い。
また特許文献２では、高品位画像データを撮像する位置は、例えばシーンのほぼ中央に、固定されている。このため、品位向上関数のパラメータは、画像中の固定位置の画像特性に応じて決定されることになる。したがって、その固定位置とその他の位置とにおいて画像特性に違いが有る場合には、必ずしも高品位画像が適切に導出されるとは限らない。このことは、特に動画データの高解像度化の場合には大きな問題となり、解像度変換において、十分な精度が得られない可能性が高い。
前記の問題に鑑み、本発明は、動画データの高解像度化を行う画像処理において、例えば縦横４倍程度以上のような高い解像度変換比率であっても、精度良く解像度変換を実現可能にすることを課題とする。
本発明では、低解像度動画データを記録する録画プロセスにおいて、各フレームで、画像の一部領域であるウインドウ領域において、高解像度画像を取得する。そして、ウインドウ領域における高解像度画像を用いて、解像度変換ルールを学習する。ウインドウ領域の位置は、各フレーム毎に変化させる。高解像度化プロセスでは、録画プロセスで学習した解像度変換ルールを用いて、記録した低解像度動画データの高解像度化を行う。
本発明によると、画像の一部領域であるウインドウ領域についてのみ、高解像度画像を取得するので、画素読み出しにさほど時間がかからず、したがって、低解像度動画データはフレーム欠落なく記録できる。また、高解像度画像は各フレームにおいて取得されるため、低解像度画像と時間のずれはなく、解像度変換ルールを適切に学習することができる。そして、ウインドウ領域の位置は各フレーム毎に変化するので、解像度変換ルールの学習の際に、画像中の偏った領域が利用されるのではなく、広い範囲の様々な位置の画像領域が利用されることになる。このため、解像度変換ルールを適切に学習することが可能となる。さらに、高解像度画像は記録する必要がなく、低解像度動画データと解像度変換ルールのみを記録するだけで済むので、従来と比べて、記録情報量を大幅に削減することができる。また、高解像度化の際には、記録した低解像度動画データの全領域に対して、画像の一部領域であるウインドウ領域で学習した解像度変換ルールを適用するが、この際、ウインドウ領域と他の領域とで被写体の画像特性に大きな違いがなければ、画像全体で精度の高い解像度変換が実現される。
また、本発明において、ウインドウ領域においては、高解像度画像から、間引き処理や平均化処理などの画像フィルタ処理によって、低解像度画像を生成するようにしてもよい。これにより、ウインドウ領域については低解像度画像を読み出す必要がなくなり、読み出し画素の数をより一層削減することができる。
また、本発明において、フレーム毎に、複数フレームにわたって画像全体を走査するように、ウインドウ領域を移動させるようにしてもよい。これにより、複数フレームにおいて、画像全体について解像度変換ルールの学習が行われることになるので、さらに精度の高い高解像度化処理が実現される。
本発明によると、解像度変換ルールを適切に学習することができ、精度の高い解像度変換を実現できる。しかも、画素読み出しに時間がかからないため、低解像度動画データをフレーム欠落なく記録でき、また、高解像度画像を記録する必要がないため、記録情報量を大幅に削減することができる。したがって、例えば縦横４倍程度以上のような解像度変換比率であっても、精度良く、解像度変換を実現することができる。
また、本発明は、高解像度化に限らず、一般的な解像度変換にも適用できるため、例えば、携帯電話のような低解像度表示系への画像表示のための低解像度画像生成にも、有効に利用できる。
本発明の第１態様では、低解像度動画データを記録する録画プロセスと、前記録画プロセスにおいて記録した低解像度動画データを高解像度化する高解像度化プロセスとを備え、前記録画プロセスは、前記低解像度動画データの各フレームにおいて、画像の一部領域であるウインドウ領域において、高解像度画像を取得するステップと、前記各フレームにおいて、前記ウインドウ領域における高解像度画像を用いて、解像度変換ルールを学習するステップとを備え、前記高解像度化プロセスは、前記録画プロセスにおいて学習した解像度変換ルールを用いて、前記低解像度動画データの高解像度化を行うステップを備え、前記録画プロセスにおいて前記ウインドウ領域の位置を前記各フレーム毎に変化させる画像処理方法を提供する。
本発明の第２態様では、前記録画プロセスは、前記ウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得し、前記画素密度混在動画データについて、前記ウインドウ領域の高解像度画像に対して画像フィルタ処理によって低解像度化を行い、前記低解像度動画データを生成する第１態様の画像処理方法を提供する。
本発明の第３態様では、前記録画プロセスにおいて、前記低解像度動画データにおいて、被写体候補領域の動きを検出し、検出した被写体候補領域の動きに応じて、前記ウインドウ領域の位置を移動させる第２態様の画像処理方法を提供する。
本発明の第４態様では、前記録画プロセスにおいて、前記画素密度混在動画データを、拡散反射成分と鏡面反射成分とに分離して取得し、前記低解像度動画データおよび解像度変換ルールを、拡散反射成分と鏡面反射成分とに分けて、求める第２態様の画像処理方法を提供する。
本発明の第５態様では、前記解像度変換ルールは、解像度が異なる画像間の、テクスチャ特徴ベクトルの対応関係を記述するものである第１態様の画像処理方法を提供する。
本発明の第６態様では、前記高解像度化プロセスにおいて、高解像度化を行うフレームについて、当該フレームにおいて学習した解像度変換ルールに加えて、その前後の少なくとも１つのフレームにおいて学習した解像度変換ルールを用いて、高解像度化を行う第１態様の画像処理方法を提供する。
本発明の第７態様では、前記録画プロセスにおいて、前記ウインドウ領域を、フレーム毎に、複数フレームにわたって画像全体を走査するように、移動させる第１態様の画像処理方法を提供する。
本発明の第８態様では、前記ウインドウ領域は、画像全体をｎ（ｎは２以上の整数）分割した１個の領域であり、かつ、ｎ個のフレームにわたって画像全体を占めるように、設定されている第７態様の画像処理方法を提供する。
本発明の第９態様では、前記高解像度化プロセスにおいて、高解像度化を行うフレームについて、当該フレームを含むｎ個のフレームにおいて学習した解像度変換ルールを用い、かつ、前記ｎ個のフレームの各ウインドウ領域に対応する各部分領域に、対応するフレームに係る解像度変換ルールを用いて、高解像度化を行う第８態様の画像処理方法を提供する。
本発明の第１０態様では、前記高解像度化プロセスにおいて、前記ウインドウ領域において、元の高解像度画像と、高解像度化によって得られた画像とを、所定の合成比をもって、合成する第１態様の画像処理方法を提供する。
本発明の第１１態様では、画像の一部領域であるウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得し、記録するステップを備え、前記記録ステップにおいて、前記ウインドウ領域の位置を、フレーム毎に変化させる画像記録方法を提供する。
本発明の第１２態様では、画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、前記ウインドウ領域の高解像度画像に対して、画像フィルタ処理によって低解像度化を行う低解像度変換部と、前記低解像度変換部の出力と前記画素密度混在動画データとから得られた低解像度動画デ―タを、記録する低解像度動画記録部と、前記ウインドウ領域の高解像度画像と前記低解像度変換部の出力とを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、前記高解像度化パラメータを記録する高解像度化パラメータ記録部とを備えた画像処理装置を提供する。
本発明の第１３態様では、前記画素密度混在撮像部は、前記画素密度混在動画データを輝度成分と色差成分とに分離された形で取得するものである第１２態様の画像処理装置を提供する。
本発明の第１４態様では、録画ボタンを備え、前記録画ボタンが押されたとき、前記画素密度混在撮像部が撮像を行い、前記低解像度動画データおよび高解像度化パラメータが記録される第１２態様の画像処理装置を提供する。
本発明の第１５態様では、前記低解像度動画データにおいて、被写体候補領域の動きを検出し、検出した被写体候補領域の動きに応じて、前記ウインドウ領域の位置を移動させるウインドウ位置更新部を備えた第１２態様の画像処理装置を提供する。
本発明の第１６態様では、前記ウインドウ位置更新部は、画像の周波数解析によって、前記被写体候補領域を検出するものである第１５態様の画像処理装置を提供する。
本発明の第１７態様では、前記画素密度混在撮像部は、前記画素密度混在動画データを、拡散反射成分と鏡面反射成分とに分離された形で取得するものである第１２態様の画像処理装置を提供する。
本発明の第１８態様では、前記画素密度混在撮像部は、撮像したカラー画像から複数の原色成分を分離し、前記複数の原色成分のうちの１つについて鏡面反射成分と拡散反射成分の分離を行い、この分離した鏡面反射成分および拡散反射成分を用いて、前記カラー画像の拡散反射成分と鏡面反射成分を得るものである第１７態様の画像処理装置を提供する。
本発明の第１９態様では、前記画素密度混在撮像部は、撮影時の照明光を推定し、この推定した照明光を用いて、鏡面反射成分を求めるものである第１７態様の画像処理装置を提供する。
本発明の第２０態様では、第１２態様の画像処理装置によって記録された低解像度動画データおよび高解像度化パラメータを用いて、高解像度化を行う画像処理装置であって、前記低解像度動画データを読み込む動画入力部と、前記高解像度化パラメータを読み込む高解像度化パラメータ入力部と、前記高解像度化パラメータ入力部によって読み込まれた高解像度化パラメータを用いて、前記動画入力部によって読み込まれた低解像度動画データの高解像度化を行う高解像度化部とを備えたものを提供する。
本発明の第２１態様では、画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、前記ウインドウ領域の高解像度画像に対して、画像フィルタ処理によって低解像度化を行う低解像度変換部と、前記画素密度混在動画デ―タを記録する画素密度混在動画記録部と、前記ウインドウ領域の高解像度画像と前記低解像度変換部の出力とを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、前記高解像度化パラメータを記録する高解像度化パラメータ記録部とを備えた画像処理装置を提供する。
本発明の第２２態様では、前記画素密度混在動画記録部は、前記画素密度混在動画データを、低解像度動画データと、前記画素密度混在動画データと前記低解像度動画データとの差分を表す差分動画データとに分けて、記録するものである第２１態様の画像処理装置を提供する。
本発明の第２３態様では、画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、前記画素密度混在動画デ―タを、低解像度動画データと、前記画素密度混在動画データと前記低解像度動画データとの差分を表す差分動画データとに分けて、記録する画素密度混在動画記録部とを備えた画像処理装置を提供する。
本発明の第２４態様では、第２３態様の画像処理装置によって記録された画素密度混在動画データを用いて、高解像度化パラメータを求める画像処理装置であって、前記画素密度混在動画データを読み込み、前記低解像度動画データを分離するとともに、前記差分動画データを用いてウインドウ領域における高解像度画像を得る動画分離部と、前記ウインドウ領域の高解像度画像と、前記低解像度動画データとを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、前記高解像度化パラメータを記録する高解像度化パラメータ記録部とを備えたものを提供する。
本発明の第２５態様では、動画データの画像ファイルフォーマットであって、各フレームにおいて、画像の一部領域であるウインドウ領域内の解像度が、前記ウインドウ領域以外の領域の解像度よりも、高く、前記ウインドウ領域の位置が、フレーム毎に、変化しているものを提供する。
本発明の第２６態様では、拡散反射成分と鏡面反射成分とが、分離して格納されている第２５態様の画像ファイルフォーマットを提供する。
本発明の第２７態様では、各フレームにおいて、画像の一部領域であるウインドウ領域内の解像度が、前記ウインドウ領域以外の領域の解像度よりも高い動画データを表す画像ファイルフォーマットであって、前記ウインドウ領域以外の領域の解像度を持つ低解像度動画データを、圧縮して得た第１の圧縮データと、前記動画データと前記低解像度動画データとの差分を表す差分動画データを、圧縮して得た第２の圧縮データとを備え、前記ウインドウ領域の位置が、フレーム毎に、変化しているものを提供する。
以下、本発明の実施の形態について、図面を参照して、詳細に説明する。
（第１の実施形態）
図１および図２は本発明の第１の実施形態に係る画像処理方法を示すフローチャートである。図１はシーンを撮影する場合の録画プロセスを示し、図２は録画した動画データを再生、表示する場合の高解像度化プロセスを示す。図１および図２のプロセスは、一般には、ビデオ撮影時と、撮影したビデオをディスプレイで観る再生表示時とにそれぞれ対応する。
図１の録画プロセスでは、まず時刻ｔにおける低解像度画像ＬＦ（ｔ）を取得して記録する（Ｓ１１）。またこれとともに、画像フレームの一部を占めるウインドウ領域において、高解像度画像ＨＷＦ（ｔ）を取得する（Ｓ１２）。この高解像度画像ＨＷＦ（ｔ）は以降の処理に用いるだけなので、動画データとして記録する必要は必ずしもない。そして、この解像度が異なる画像ＬＦ（ｔ），ＨＷＦ（ｔ）から、解像度変換ルールとしての高解像度化パラメータＰ（ｔ）を学習し記録する（Ｓ１３）。次に、ウインドウ領域の設定位置を他の位置へ移動する（Ｓ１４）。そして、録画が続行されていれば次の時刻ｔ＋１での処理に進み（Ｓ１６）、録画が完了すれば、プロセスを終了する（Ｓ１５）。
ステップＳ１３では、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）とについてそれぞれテクスチャ特徴量を求め、このテクスチャ特徴量同士の対応関係をパラメータ化する。このパラメータＰ（ｔ）のことを、本願明細書において、高解像度化パラメータと呼ぶ。その実体は、低解像度テクスチャＴＦＬを入力して高解像度テクスチャＴＦＨを出力する関数またはテーブル
ＴＦＨ＝Ｆｕｎｃｔｉｏｎ（ＴＦＬ，ｔ） …（式１）
に他ならない。この高解像度化パラメータを解像度変換ルールとして用いる。
図２の高解像度化プロセスにおいて、録画プロセスで記録された低解像度の動画データＬＦ（ｔ）および録画プロセスで学習された高解像度化パラメータＰ（ｔ）を取得する（Ｓ２１）。そして、動画データの１フレームを取得し（Ｓ２２）、当該フレームについて高解像度化パラメータを用いて高解像度化を行う（Ｓ２３）。全フレームについて完了したときはプロセスを終了し（Ｓ２４）、そうでないときは、次のフレームの処理に進む（Ｓ２５）。
ここで、ステップＳ２３では、当該フレームにおいて学習した高解像度化パラメータだけでなく、その前後の少なくとも１つのフレームにおいて学習した高解像度化パラメータも併せて用いて、高解像度化を行うのが好ましい。この理由は、当該フレームでは、画像の一部であるウインドウ領域のみにおいて高解像度化パラメータを学習しているに過ぎず、画像全体の高解像度化には必ずしも十分ではないためである。例えば、当該フレームの時刻ｔに対して時間Ｔだけの前後期間を含む期間の高解像度化パラメータＰ（ｔ’）を適用すればよい。すなわち、
ｔ−Ｔ≦ｔ’≦ｔ＋Ｔ …（式２）
図３は本実施形態における録画プロセスおよび高解像度化プロセスの例を概念的に示す図である。図３では、低解像度動画データＬＦ（ｔ）の各フレームは８×８画素の画像からなり、画像全体を４分割した１個の領域をウインドウ領域ＷＤ１〜ＷＤ４としている。ウインドウ領域ＷＤ１〜ＷＤ４の設定位置はフレーム毎に変化しており、ここでは副走査方向（縦方向）に順に、上から下へ、そして下端から上端に戻るように移動している。もちろん、ウインドウ領域の形状や移動方法はこれに限定されるものではないが、説明の便宜上、簡単な例を挙げている。
そして、ウインドウ領域ＷＤ１〜ＷＤ４内では、ウインドウ領域外の領域よりも高解像度で撮像を行い、高解像度画像ＨＷＦ（ｔ）を得る。ここでは、ウインドウ領域内では、他領域に対して縦横２×２倍の画素密度によって撮像を行うものとする。なお、後述するように、ウインドウ領域内は高解像で撮像し、ウインドウ領域外は低解像度で撮像した、一画面中で画素密度が混在している動画データを取得するようにしてもかまわない。このような動画データを、本願明細書では、画素密度混在動画データと呼ぶ。
画素密度混在動画データを取得した場合、ウインドウ領域外では低解像度画像が記録されるが、ウインドウ領域内では高解像度画像しか記録されない。ただし、ウインドウ領域における低解像度画像は再度取得する必要はなく、高解像度画像に対して間引きまたは平均化などの画像フィルタ処理を行うことによって生成できる。なお、このモデル化は、光学系や撮像素子の開口形状を考慮することによって現実に近い形に高精度化することができる。例えば、高解像度画像に対してＰＳＦ(Point Spread Function)をガウス型関数との畳み込み演算として実施し、次にこれを２次元的に一定の幅を持つ撮像素子領域の範囲で積分する手法などが考えられる。
いま、時刻ｔに着目すると、画像を縦方向に４分割した各部分領域ＡＲ１〜ＡＲ４について、上から順に、時刻ｔ−２のウインドウ領域ＷＤ１、時刻ｔ−１のウインドウ領域ＷＤ２、時刻ｔのウインドウ領域ＷＤ３および時刻ｔ−３のウインドウ領域ＷＤ４が、それぞれ対応している。すなわち、時刻ｔでは、各部分領域ＡＲ１〜ＡＲ４に対応する高解像度化パラメータが、すでに、時刻ｔ−２，ｔ−１，ｔ，ｔ−３において学習済になっている。動画データのフレームレートを１／３０(sec)とすると、時刻ｔ−３から時刻ｔまでの時間経過は約１／１０(sec)程度に過ぎず、よほど瞬間的な画面変化が発生しない限り、各フレームにおいてほぼ同様の特徴量情報が取得される。このため、時刻ｔ−３から時刻ｔまでの高解像度化パラメータを適用することは有効である。
また、時刻ｔにおける低解像度画像の領域は、時刻ｔに加えて、
・時刻（ｔ−１）または時刻（ｔ＋３）
・時刻（ｔ−２）または時刻（ｔ＋２）
・時刻（ｔ−３）または時刻（ｔ＋１）
において、必ず高解像度にて取得されているという性質がある。このため、前後３フレームの高解像度化パラメータを適用することによって、その時間内に大きなシーン変化が無い限り、高解像度化は有効であるといえる。これは、上の（式１）においてＴ＝３とすることに相当する。
図３に示すように、各時刻において、高解像度化パラメータＰ（ｔ−３），Ｐ（ｔ−２），…が与えられたとする。高解像度化プロセスでは、低解像度動画データの各フレームについて、各部分領域に対して、その位置にウインドウ領域が対応しており、かつ、時刻ずれが少ないフレームにおける高解像度化パラメータを適用して、高解像度化を行えばよい。例えば、時刻ｔにおける画像ＬＦ（ｔ）の場合には、画像の上部から順に、部分領域ＡＲ１に対しては高解像度化パラメータＰ（ｔ−２）を、部分領域ＡＲ２に対しては高解像度化パラメータＰ（ｔ−１）を、部分領域ＡＲ３に対しては高解像度化パラメータＰ（ｔ）を、そして部分領域ＡＲ４に対しては高解像度化パラメータＰ（ｔ＋１）を、それぞれ適用すればよい。なお、例えば部分領域ＡＲ１に対しては、高解像度化パラメータＰ（ｔ＋２）を適用してもよいし、部分領域ＡＲ２に対しては、高解像度化パラメータＰ（ｔ＋３）を適用してもかまわない。
なお、図３では４分割の例を示したが、画像全体をｎ（ｎは２以上の整数）分割した１個の領域をウインドウ領域とし、ｎ個のフレームにわたって画像全体を占めるように、ウインドウ領域を移動させてもよい。また、これ以外でも、ウインドウ領域は、フレーム毎に、複数フレームにわたって画像全体を走査するように、移動させるのが好ましい。
図４は図１におけるステップＳ１３の処理の一例を示すフローチャートである。ここでは、画像をテクスチャ特徴量ベクトルに変換する手法の一例として、ウェーブレット変換による多重解像度解析を用いて、高解像度化パラメータの学習を行うものとする。まず、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）の画像サイズを合わせるために、低解像度画像ＬＦ（ｔ）を補間拡大する（Ｓ１３１）。次に、後述する３段階のスケーリングによるウェーブレット変換を用いて、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）をウェーブレット変換する（Ｓ１３２）。最後に、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）のウェーブレット係数の対応関係を、画素位置ごとに、蓄積する（Ｓ１３３）。この対応関係が、高解像度化パラメータＰ（ｔ）となる。
図５は図２におけるステップＳ２３の処理の一例を示すフローチャートである。ここでは、ある期間における高解像度化パラメータＰ（ｔ’）を適用して、高解像度化を行う。まず、低解像度画像ＬＦ（ｔ）を補間拡大して画像サイズを高解像度画像ＨＷＦ（ｔ）に合わせる（Ｓ２３１）。次に、低解像度画像ＬＦ（ｔ）をウェーブレット変換し（Ｓ２３２）、高解像度化パラメータＰ（ｔ’）を用いてウェーブレット係数を置換する（Ｓ２３３）。そして、逆ウェーブレット変換を行い、高解像度画像に変換する（Ｓ２３４）。ステップＳ２３３において、図３で説明したように、画像上の部分領域に対して異なるフレーム時刻の高解像度化パラメータを用いてもよい。あるいは、ある期間における高解像度化パラメータを１つの集合に量子化し、これを高解像度化パラメータとして適用してもよい。
図６は図４のステップＳ１３２におけるウェーブレット変換の例を示す図である。図６において、第１段（スケール）では、入力画像ＩＮが、Ｘ、Ｙ方向のウェーブレット変換により、入力画像ＩＮと同一サイズの４成分画像Ｈ１Ｈ１、Ｈ１Ｌ１、Ｌ１Ｈ１、Ｌ１Ｌ１に分解される。第２段（スケール）では、分解した４成分のうち、Ｘ，Ｙ双方向の高周波成分Ｈ１Ｈ１以外の成分がさらに分解される。このとき、Ｌ１Ｌ１のみが再度Ｘ，Ｙの双方向に分解されるのに対して、Ｈ１Ｌ１とＬ１Ｈ１は１方向への分解だけが行われ、計８個の成分となる。さらに第３段（スケール）では、Ｈ１Ｈ２，Ｈ２Ｈ１，Ｈ２Ｈ２以外の成分を分解し、同様にＬ２Ｌ２のみがＸ，Ｙ双方向へ分解され、他は１方向への分解が行われ、１２個の成分に分解される。ここで、スケールの増加によって２個、４個に再分解されたもの（点線で図示）は、後の合成によって作成することができる。
図６のようなウェーブレット変換の分解によって、図７に示すように、入力画像ＩＮは、各画素が１６次元の成分に分解されたことになる。これら１６成分を束ねたベクトルが、画素位置ＰＰにおけるテクスチャ特徴量ＴＦ１である。
以上のようにして、低解像度画像と高解像度画像とをそれぞれテクスチャ特徴量に変換し、これら相互の関係を学習して、分析コードブックと再生コードブックを作成する。なお、この処理については、阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤義明「多重解像度ベクトル量子化を用いた輪郭強調」電子情報通信学会論文誌 Vol.J79A 1996/5 （１０３２−１０４０ページ）、などに詳しく説明されており、ここでは詳細な説明を省略する。この場合、ステップＳ１３におけるパラメータ化とは、分析コードブックおよび再生コードブックを作成することに相当する。ここから、（式１）によって示した高解像度化パラメータＰ（ｔ）が算出される。
本実施形態では、撮影時に、画像の一部であるウインドウ領域のみにおいて高解像度画像を取得し、テクスチャなどの画像特徴量を用いて高解像度パラメータを生成する。このような処理にした利点は、以下のとおりである。
第１に、高解像度化パラメータは、別の動画データから事前学習によって求めておくのではなく、後で実際に高解像度化する動画データの被写体自身に関して学習できるため、高精度の画像処理が実現できることである。また高解像度化パラメータは時間の関数であるため、フレーム毎に学習することによって、画面内にいかなる特性をもつ被写体が出現しても瞬時に最適な高解像度化パラメータを取得でき、表示時に利用できる。このため、学習によって取得した高解像度化パラメータと実際に高解像度化を行う動画データとの特性の違いに起因する性能劣化が、原理的に存在しない。
第２に、高解像度化に利用するのは画像テクスチャなどの特徴量であるため、画面内の位置と直接的には無関係であり、ウインドウ領域をいかに移動しても、その影響を受けることはあまりない、ということである。したがって、ウインドウを適宜移動して画像全体をカバーすることにより、画面全域からの情報を十分に利用できる。
なお、図１に示す録画プロセスと図２に示す高解像度化プロセスは、典型的には、録画プロセス、高解像度化プロセスの順に実施されるが、例えば中継放送のように、カメラ撮影と伝送表示とが同時に実行される場合は、録画プロセスと高解像度化プロセスを時間的に並行して実施してもかまわない。
また、録画プロセスでは、低解像度動画データのみを記録して、これを高解像度化プロセスで高解像度化するものとしたが、これ以外でも例えば、図３に示したようないわゆる画素密度混在動画データを、そのまま録画しておき、これを高解像度化プロセスで高解像度化する、という態様にしてもかまわない。
（第２の実施形態）
本発明の第２の実施形態では、上述の第１の実施形態をベースとして、具体的な装置構成を例にとって説明する。ここでは、上述した画素密度混在動画データを撮像可能に構成された画素密度混在撮像部を備えたビデオムービーカメラを用いて、録画プロセスを実行するものとする。画素密度混在撮像部は、後述するとおり、ＣＭＯＳ型撮像センサ等のＸＹアドレス型撮像素子を用いて構成される。
図８は本実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図８の画像処理装置１０は、レンズ１０１、画素密度混在撮像部１０２、低解像度動画データの１フレームＬＦ（ｔ）を蓄積する低解像度フレームメモリ１０３、低解像度動画データＤＬＦを録画する低解像度動画記録部１０４、１フレーム内のウインドウ領域における高解像度画像ＨＷＦ（ｔ）を蓄積する高解像度ウインドウメモリ１０５、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を画像処理によって低解像度に変換する低解像度変換部１０６、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を用いて高解像度化パラメータＰ（ｔ）を学習する高解像度化パラメータ学習部１２０、高解像度化パラメータＤＰを記録する高解像度化パラメータ記録部１０９、全体制御部１１０および録画ボタン１１１を備えている。高解像度化パラメータ学習部１２０は、高解像度画像ＨＷＦ（ｔ）をテクスチャ特徴量に変換するテクスチャ変換部１０７、低解像度画像の画素サイズを補正した後、テクスチャに変換する画像サイズ補正・テクスチャ変換部１１２、およびテクスチャの対応関係を学習するテクスチャ学習部１０８を備えている。なお、ここでは、画素密度混在撮像部１０２はライン単位の読み出しを行うものとしているので、水平方向の画素間引きを行う間引き回路１１５が、画素密度混在撮像部１０２と低解像度フレームメモリ１０３との間に設けられている。
録画ボタン１１１が押されると、全体制御部１１０が、画素密度混在撮像部１０２および低解像度動画記録部１０４に録画コマンドを送出する。画素密度混在撮像部１０２は録画コマンドを受けて撮像を実行し、低解像度画像ＬＦ（ｔ）が低解像度フレームメモリ１０３内にフレームごとに蓄積される。そして低解像度動画記録部１０４は、低解像度フレームメモリ１０３に蓄積された低解像度画像ＬＦ（ｔ）を時間的に連続して動画データとし、さらに圧縮などの処理を行って、低解像度動画データＤＬＦとして蓄積メディアやネットワーク上に記録する。
全体制御部１１０は、録画コマンドの送出と同時に、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９に学習信号を送出する。画素密度混在撮像部１０２が取得したウインドウ領域における高解像度画像ＨＷＦ（ｔ）は、高解像度ウインドウメモリ１０５に蓄積され、テクスチャ変換部１０７を経由してテクスチャ学習部１０８に入力される。高解像度画像ＨＷＦ（ｔ）はまた、低解像度変換部１０６によって低解像度変換された後、画像サイズ補正・テクスチャ変換部１１２を経由してテクスチャ学習部１０８に入力される。テクスチャ学習部１０８は、解像度が異なる同一時刻の画像からテクスチャ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータＰ（ｔ）を学習する。高解像度化パラメータ記録部１０９は、これを高解像度化パラメータＤＰとして蓄積またはネットワーク上に送出する。
なお、低解像度変換部１０６の出力は低解像度フレームメモリ１０３にも供給されている。これは、画素密度混在撮像部１０２は、ウインドウ領域内は高解像度画像のみを取得しており、低解像度画像を読み出していないので、低解像度画像ＬＦ（ｔ）において欠落したウインドウ領域の部分を補充するためである。
録画ボタン１１１の押下が解除されると、上述した動作は停止する。
図８の構成において、画素密度混在撮像部１０２から低解像度動画記録部１０４までは例えばハードウエアによって構成でき、また、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９は、ＣＰＵまたはＧＰＵ(Graphic Processing Unit)などを中心に構成することも可能である。
図９は画素密度混在撮像部１０２の構成例を示す概念図である。図９において、３板方式の通常のビデオムービーにおけるカラー画像撮像用の光学系が用いられている。３板方式では、ダイクロックプリズム１３１によって波長帯域がレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）に分離される。そして、各カラーバンドにそれぞれ、画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂが割り当てられる。信号処理回路１３３はこれら画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂからの出力を処理して、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。このとき、後述する「飛び越しライン読み出し」がなされた低解像度の信号と、同じく後述する「プログレッシブ読み出し」がなされた高解像度の信号とに分離されて出力される。
動画データの記録には、このＹＣｒＣｂ形式が用いられる。一方、テクスチャ学習には、このＹＣｒＣｂ形式のまま輝度色差信号を全て用いてもよいし、輝度Ｙ信号のみを用いてもよい。ただし、高解像度化倍率が４×４を超える場合には、人視覚系の輝度成分と色成分の周波数応答特性比率から考えると、輝度Ｙのみの高解像度化では画質的に不十分であるため、色差ＣｒＣｂの両方を別個に高解像度化する必要がある。したがって、４×４以上の倍率の場合には、テクスチャ学習にはレッドＲ、グリーンＧ、ブルーＢの３信号成分を用いてもよい。図９の構成では、レット、グリーン、ブルー全てに画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂを割り当て、かつ、動画データ記録方式を従来の輝度色差空間に設定しているため、テクスチャ学習には、輝度Ｙと２種類の色差Ｃｒ，Ｃｂ信号を独立に用いるものとする。
図１０は画素密度混在撮像素子による読み出し画素位置の一例を示す図である。図１０において、ハッチが付された画素が読み出し対象画素である。なお、実用的撮像素子は２０００×３０００個程度の画素を有するが、ここでは簡単のため、１６×１６画素すなわち垂直（Ｖ方向）１６ライン、水平（Ｈ方向）１６ラインの２次元センサを例として描いている。（Ａ）〜（Ｄ）は時間的に連続する４個のフレームにそれぞれ対応している。
図１０から分かるように、２５６（＝１６×１６）個の画素は、全画素読み出しを行う範囲（高解像度画像を取得するウインドウ領域に相当）と、それ以外の飛び越し読み出しを行う範囲とに分離されている。ウインドウ領域は下から上に順に移動しており、（Ａ）から（Ｄ）までの４フレームを１周期として、ウインドウ領域の位置は同様の移動を繰り返す。
ウインドウ領域以外の低解像度画像の読み出しは、様々な方法が考えられるが、図１０では、画像全体を均等に１６分割した仮想的なブロックの概略中心を、低解像度画像の読み出し画素位置として設定している。この方法によって、水平Ｈ、垂直Ｖ方向それぞれに１／４に間引きされた低解像度画像が得られる。図１０では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（７，１１，１５）、（Ｂ）では（３，１１，１５）、（Ｃ）では（３，７，１５）、（Ｄ）では（３，７，１１）となっている。
このように、全ラインを読み出すウインドウ領域は、垂直方向に４ラインづつ規則的に移動させ、それ以外の場所では、垂直方向に３ラインを固定位置で読みだす。この方法により、同一画素を２回読み出すことなく、画素密度混在撮像を行うことができる。本実施形態では、この読み出し方法を用いるものとする。
図１１は画素密度混在撮像素子による読み出し画素位置の他の例を示す図である。図１１の例では、低解像度画像の読み出し方法が図１０と異なっている。この方式では、ウインドウ領域における全ライン読み出しとは独立に、１／４に間引きされた低解像度画像を、フレーム毎に異なる位置で読み出すようにしている。これは、時空間的なサンプリングを均等化する効果をねらったものであり、一部の画素について読み出しが重複することも許している。図１１では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（１，５，９，１３）、（Ｂ）では（２，６，１０，１４）、（Ｃ）では（３，７，１１，１５）、（Ｄ）では（４，８，１２，１６）となっている。黒く塗りつぶされた画素は、重複読み出しが行われるものである。この方法では、飛び越し読み出しの画素だけで低解像度動画データを構成することが可能となる。このため、低解像度画像において欠落したウインドウ領域を補充するための、低解像度変換部１０６から低解像度フレームメモリ１０３への画素値の供給処理が、不要になるという利点がある。
＜画素密度混在撮像素子の構造＞
図１２は画素密度混在撮像素子の構造の一例を示す回路ブロック図である。図１２では、垂直１６ライン、水平１６ラインの２次元センサを例として示しており、図１１で示したような読み出し方法を実現するものとする。なお、以降の説明では、画面の一部を高解像度で読み出す処理を「プログレッシブ読み出し」、画面を低解像度画像で読み出す処理を「飛び越しライン読み出し」というように、ラインを基準とした用語を用いるものとする。
撮像素子は概略、入射光の光電変換を行う撮像単位画素２１１が２次元配置（アレイ配置）された撮像部２０１と、撮像単位画素２１１にそれぞれ対応して蓄積単位画素２２１が２次元配置されており、入射光に対して遮光部を備えた蓄積部２０２とを備えている。そして撮像部２０１と蓄積部２０２とは、撮像部２０１から蓄積部２０２へ信号電荷を移動する信号線ｐ２ｓｔｒによって接続されている。
撮像部２０１の周辺には、読み出しパルスをライン毎に順次シフトする読み出し用シフトレジスタ２０３、およびリセットパルスをライン毎に順次シフトするリセット用シフトレジスタ２０４が設けられている。読み出しパルスは読み出しパルス供給線ｒｄ−ｐを介して、リセットパルスはリセットパルス供給線ｒｓｔ−ｐを介して、撮像部２０１の各撮像単位画素２１１に送られる。読み出しパルスを受けた撮像単位画素２１１は信号電荷を出力し、リセットパルスを受けた撮像単位画素２１１は信号電荷をリセットする。
蓄積部２０２の周辺には、「飛び越しライン読み出し」に用いる読み出しパルスを出力する飛び越し走査用シフトレジスタ２０５、「プログレッシブ読み出し」に用いる読み出しパルスを出力するプログレッシブ走査用シフトレジスタ２０６、飛び越し走査用シフトレジスタ２０５およびプログレッシブ走査用シフトレジスタ２０６の出力のいずれかを選択して蓄積部２０２に供給するセレクタ２０７、および、撮像部２０１から蓄積部２０２に信号電荷を転送する際に用いる読み込み用シフトレジスタ２０８が設けられている。セレクタ２０７から出力される読み出しパルスは、読み出しパルス供給線ｒｄ−ｓを介して蓄積部２０２の各蓄積単位画素２２１に供給される。また、読み込み用シフトレジスタ２０８から出力された転送パルスは、転送パルス供給線ｔｒｎを介して蓄積部２０２の各蓄積単位画素２２１に供給される。
プログレッシブ走査用シフトレジスタ２０６は、全ライン読み出しの高解像度画像を毎フレーム部分的に読み出す（例えば、毎フレーム１／４画面づつ出力し、４フレームにて１画面を構成する）ためのパルスを、発生する。一方、飛び越し走査用シフトレジスタ２０５は、飛び越しライン読み出しの低解像度画像を毎フレーム１画面得るためのパルスを、発生する。飛び越し走査用シフトレジスタ２０５に関しては、別途図１５にて詳細を説明する。
その他、セレクトトランジスタ群２０９、水平シフトレジスタ２１０および出力アンプ２１１が設けられている。蓄積部２０２の各蓄積単位画素２２１に蓄積された信号電荷は、信号出力線ｓｉｇ−ｏｕｔを介して、水平シフトレジスタ２１０によって選択された順番にもとづき、セレクトトランジスタ群２０９および出力アンプ２１１を通じて、外部に出力される。
また、タイミング発生回路２１２は、読み出し用シフトレジスタ２０３、リセット用シフトレジスタ２０４、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み込み用シフトレジスタ２０８、水平シフトレジスタ２１０、およびリセットパルス供給線ｒｓｔ−ｓにパルスを供給する。ただし、タイミング発生回路２１２は、撮像素子とは別のチップに分割搭載されていてもかまわない。
信号線ｐ２ｓｔｒ、読み出し用シフトレジスタ２０３、読み出しパルス供給線ｒｄ−ｐ、読み込み用シフトレジスタ２０８、転送パルス供給線ｔｒｎによって、転送部が構成されている。また、信号出力線ｓｉｇ−ｏｕｔ、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み出しパルス供給線ｒｄ−ｓによって、出力部が構成されている。
図１３は撮像単位画素２１１の構成の一例を示す図である。図１３の構成は、オーソドックスな３トランジスタ構成である。すなわち、光によって信号電荷を発生するフォトダイオードＰＤ、ゲートが読み出しパルス供給線ｒｄ−ｐに接続されており、信号電荷を信号線ｐ２ｓｔｒに出力するための読み出し用トランジスタＴＲ１、ソースフォロアトランジスタＴＲ２、および、ゲートがリセットパルス供給線ｒｓｔ−ｐに接続されており、蓄積された信号電荷をリセットするリセット用トランジスタＴＲ３を備えている。
図１４は蓄積単位画素２２１の構成の一例を示す図である。図１４の構成は、４トランジスタと１キャパシタで構成されている。すなわち、ゲートが転送パルス供給線ｔｒｎと接続されたトランジスタＴＲ４、信号線ｐ２ｓｔｒおよびトランジスタＴＲ４を通じて撮像単位画素２１１から転送された信号電荷を蓄積するための蓄積容量Ｃ−ｓｔｒ、ゲートが読み出しパルス供給線ｒｄ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒに蓄積された信号電荷を信号出力線ｓｉｇ−ｏｕｔに読み出すためのトランジスタＴＲ５、ゲートがリセットパルス供給線ｒｓｔ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒをＧＮＤレベルにリセットするためのトランジスタＴＲ６、およびソースフォロアトランジスタＴＲ７を備えている。
図１５は飛び越し走査用シフトレジスタ２０５の構成の一例を示す図である。図１５において、飛び越し走査用シフトレジスタ２０５は、飛び越しライン指定レジスタ２５１、ライン群走査シフトレジスタ２５２、およびＤラッチ２５３などから構成されている。その動作の詳細は、後述する。
図１６は図１２〜図１５に示す画素密度混在撮像素子における撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。図１６では、連続する４フレーム期間の概略動作を示している（ただし、図示の都合上、第３フレームを省略している）。
第１フレームにおいて、撮像部２０１におけるラインＰＤＲ１の露光時間Ｔ１が終了すると、続く転送期間Ｔ１１において、ラインＰＤＲ１上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ１の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。続いてラインＰＤＲ２の露光時間Ｔ２が終了すると、続く転送期間Ｔ２１において、ラインＰＤＲ２上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ２の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。
このような読み出し・転送動作が、高速Ｖ転送期間Ｔｐ２ｓｔｒおいて、１６本のラインＰＤＲ１〜ＰＤＲ１６について、順次実行される。すなわち、露光時間中に各撮像単位画素２１１内のフォトダイオードＰＤにおいて光電変換された信号電荷は、高速Ｖ転送期間Ｔｐ２ｓｔｒにおいて、撮像部２０１から蓄積部２０２に転送され、蓄積される。
第１フレームにおいて蓄積部２０２に蓄積された信号電荷は、次の第２フレームの水平読み出し期間において、外部に読み出される。第２フレームでは、ラインＳＴＲ５〜ＳＴＲ８の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ２，ＳＴＲ６，ＳＴＲ１０，ＳＴＲ１４の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。
以降のフレームにおいても、同様の走査が行われる。第４フレームでは、ラインＳＴＲ１３〜ＳＴＲ１６の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ４，ＳＴＲ８，ＳＴＲ１２，ＳＴＲ１６の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。
なお、図１６では、各フレームにおいて、プログレッシブ読み出しを４ライン連続で行い、飛び越し読み出しを４ラインおきの４ラインについて行うものとしているが、読み出すライン数はこれに限られるものではなく、また、プログレッシブ読み出しと飛び越し読み出しとで読み出すライン数を同じにする必要もない。例えば、プログレッシブ読み出しをｎライン連続で行い、飛び越し読み出しをｍラインおきに行うようにしてもよい。また、簡単のため、例えば第２フレームでは、ラインＳＴＲ６について重複読み出しを行うものとしているが、重複させる必要は必ずしもない。
図１７は高速Ｖ転送期間Ｔｐ２ｓｔｒにおける動作を示すタイミングチャートである。図１７において、第１フレームのラインＰＤＲ１において、露光時間Ｔ１が終了すると、読み出しパルス供給線ｒｄ−ｐに読み出しパルスが供給される。この読み出しパルスは、図１３の撮像単位画素２１１におけるトランジスタＴＲ１のゲートに印加され、フォトダイオードＰＤの信号電荷に相当する信号電位はソースフォロアトランジスタＴＲ２を介して、信号線ｐ２ｓｔｒに出力される。ラインＳＴＲ１において、転送パルス供給線ｔｒｎに転送パルスが供給されると、この転送パルスは図１４の蓄積単位画素２２１におけるトランジスタＴＲ４のゲートに印加され、信号線ｐ２ｓｔｒからトランジスタＴＲ４を介して蓄積容量Ｃ−ｓｔｒに信号電荷が転送される。
読み出しパルスの供給後に、リセットパルス供給線ｒｓｔ−ｐにリセットパルスが供給される。このリセットパルスは図１３の撮像単位画素２１１におけるトランジスタＴＲ３のゲートに印加され、これにより、フォトダイオードＰＤがリセットされる。
このような動作により、撮像部２０１の各ラインＰＤＲ１〜ＰＤＲ１６における撮像単位画素２１１の信号電荷は、蓄積部２０２の対応するラインＳＴＲ１〜ＳＴＲ１６の蓄積単位画素２２１に、全て転送される。
図１８は水平読み出し期間および蓄積部リセット期間の動作を示すタイミングチャートである。図１８において、タイミング発生回路２１２からクロックＣＫが供給される。第１フレームの水平読み出し期間では、クロックＣＫから、選択信号ｓｅｌ−Ｈ／Ｌによって切り出されたシフトクロックＣＫ−Ｈが、プログレッシブ走査用シフトレジスタ２０６に与えられる。プログレッシブ走査用シフトレジスタ２０６は、このシフトクロックＣＫ−Ｈと、タイミング発生回路２１２から供給されたシフトデータＤａｔａ−Ｈ（図示せず）とを受けて、ラインＳＴＲ１〜ＳＴＲ４に向けて、読み出しパルスを出力する。第２フレームの水平読み出し期間では、プログレッシブ走査用シフトレジスタ２０６は、ラインＳＴＲ５〜ＳＴＲ８に向けて、読み出しパルスを出力する。
ここで図１５に示すように、飛び越し走査用シフトレジスタ２０５は、当該フレームにおける飛び越しラインを決定する飛び越しライン指定レジスタ２５１と、複数のラインを同位相で走査するためのライン群走査シフトレジスタ２５２とを備えている。まず、飛び越しライン指定レジスタ２５１は、タイミング発生回路２１２から供給されたクロックＣＫ−Ｌ１および飛び越しライン選択データＤａｔａ−Ｌ１を受けて、出力Ｌ１〜Ｌ１６のうち、当該フレームにおける飛び越し走査ラインに対応するものを“Ｈ”にする。第１フレームでは、Ｌ１，Ｌ５，Ｌ９、Ｌ１３が“Ｈ”になる。
次に、ライン群走査シフトレジスタ２５２は、タイミング発生回路２１２から供給されたデータシフト用クロックＣＫ−Ｌ２およびデータＤａｔａ−Ｌ２が与えられる。ここでは、データＤａｔａ−Ｌ２として、データラッチ用クロックＣＫ−Ｌ３の４サイクル分を１周期として、１サイクル期間（データシフト用クロックＣＫ−Ｌ２の４パルス分）は“Ｈ”、続く３サイクル期間は“Ｌ”となるデータが与えられるものとする。これにより、Ｄラッチ２５３の出力ＬＴ１〜ＬＴ１６は図１８のようになる。
図１９はセレクタ２０７の出力を示すタイミングチャートである。セレクタ２０７は、選択信号ｓｅｌ−Ｈ／Ｌが“Ｈ”のときはプログレッシブ走査用シフトレジスタ２０６の出力を選択し、“Ｌ”のときは飛び越し走査用シフトレジスタ２０５の出力を選択する。これにより、図１８に示した一連の動作の結果、各ラインＳＴＲ１〜ＳＴＲ１６に対して図１９に示すような出力が得られる。
ここで、飛び越しライン数を任意に変更するためには、タイミング発生回路２１２の出力であるデータＤａｔａ−Ｌ２、データシフト用クロックＣＫ−Ｌ２およびデータラッチ用クロックＣＫ−Ｌ３を変更すればよい。また、プログレッシブ走査の連続するライン数を任意に変更するためには、これもまたタイミング発生回路２１２の出力である選択信号ｓｅｌ−Ｈ／Ｌにおける“Ｈ”期間を変更すればよい。このように、飛び越しライン数やプログレッシブ走査の連続するライン数は回路構成によって一意に決定されるものではなく、本実施形態では、自由に動作モードが設定でき、自由度のある駆動が可能となっている。
また、水平読み出し期間における１ラインの読み出しは、次のように行われる。水平シフトレジスタ２１０は、タイミング発生回路２１２から供給された、１水平期間の選択信号ＨＳＥＬと水平転送クロックＨｃｋを受け、これに応じて、セレクトトランジスタ群２０９における各トランジスタＣ１〜Ｃ１６にパルスを次々に供給する。この結果、ラインＳＴＲ１〜ＳＴＲ１６のうちセレクタ２０７の出力によって選択されたラインから、蓄積単位画素２２１の蓄積容量Ｃ−ｓｔｒに蓄えられていた信号電荷が、順次、出力アンプ２１１を介して外部信号処理回路（ここでは図示せず）に転送され、読み出しが完了する。
図８の構成にもどり、画素密度混在撮像部１０２からプログレッシブ読み出しされた画素値は、高解像度画像ＨＷＦ（ｔ）として高像度ウインドウメモリ１０５に一時的に蓄積される。また、画素密度混在撮像部１０２から飛び越しライン読み出しされた画素値は、間引き回路１１５によってＨ方向に１／４に間引きされた後、低解像度フレームメモリ１０３に１フレーム画面として一時的に蓄積される。この間引きは、図１０および図１１の例では、Ｈ方向の画素番号（２，６，１０，１４）のみの画素値を通過させ、他は読み捨てる動作によって、実現される。
ここで、図１０の読み出し動作の場合には、このままでは、１フレームのうち、ウインドウ領域における低解像度画像が欠落することになる。このため、低解像度変換部１０６が高解像度画像ＨＷＦ（ｔ）に対してサンプリング処理などの画像処理を行い、低解像度フレームメモリ１０３における当該位置に格納する。例えば図１０の例では、ウインドウ領域の下辺をＶ方向の原点基準にして、座標（Ｖ，Ｈ）＝（２，３）、（６，３）、（１０，３）、（１４，３）の位置にある特定画素のサンプリングを、行えばよい。
低解像度フレームメモリ１０３に蓄積された、縦横１／４×１／４に間引きされた低解像度画像ＬＦ（ｔ）は、逐次、フレーム毎に低解像度動画データ記録部１０４によって記録される。この際に、既存の動画データ圧縮方式を適用することは任意である。
高解像度ウインドウメモリ１０５に蓄積された高解像度画像ＨＷＦ（ｔ）の輝度成分は、テクスチャ変換部１０７に入力され、ウェーブレット変換などの多重解像度変換によって、輝度画像のテクスチャ特徴量に変換される。一方、低解像度変換部１０６から出力された低解像度画像の輝度成分は、画像サイズ補正・テクスチャ変換部１１２に入力される。画像サイズ補正・テクスチャ変換部１１２では、低解像度画像を一旦、高解像度画像と同じ画素数に戻した上で、ウェーブレット変換などの多重解像度変換を実施し、輝度画像のテクスチャ特徴量に変換する。ここで画像サイズ補正の手法は任意であるが、バイリニア補間、バイキュービック補間などの手法を用いることができる。ここで用いた画像サイズ補正手法は、後で動画データ高解像表示の際に低解像度画像から高解像度化する場合の前処理として利用される。
図２０はテクスチャ変換処理を概念的に示す図である。図２０において、２００１はウインドウ領域における高解像度画像であり、ここでは正方形のウインドウ領域を想定している。２００２は高解像度画像２００１をウェーブレット変換して得た複数階層からなるウェーブレット係数画像である。また２００３は低解像度画像であり、２００４は画素サイズ補正により高解像度画像２００１と画素数を一致させた画像、２００５は画像２００４から得たウェーブレット係数画像である。画像２００１を鮮鋭化画像、画像２００４をボケ画像と呼ぶものとすると、２００６および２００７はそれぞれ、鮮鋭化画像２００１とボケ画像２００４での画素位置ＰＰにおける１６次元の成分を持つテクスチャ特徴量である。
学習（撮像）時には、テクスチャ特徴量２００６，２００７の関係を学習して、低解像度のテクスチャ特徴量２００７から高解像度のテクスチャ特徴量２００６への変換ルールを高解像度化パラメータとして得る。そして高解像度化においては、低解像度画像２００３を入力し、画素サイズ補正を行うことによってボケ画像２００４を得て、学習した高解像度化パラメータを適用することにより、高解像度画像２００１を得る。なお、ここでの説明では、学習した画像自身を用いて高解像度化を実施しているため理想的な高解像度化が実現されているが、実際には、未学習の画像が対象となることが多く、必ずしも理想的な高解像度画像にまで復元するわけではない。ところが本発明では、撮像時に一緒に、被写体の一部のウインドウ領域において高解像度化パラメータを学習するので、類似した被写体を予め学習して高解像度化パラメータを得る方法よりも、数段性能の高い高解像度化が実現できる。
テクスチャ学習部１０８は、テクスチャ変換部１０７および画像サイズ補正・テクスチャ変換部１１２から出力されたテクスチャ特徴量相互の関係を学習し、分析コードブックと再生コードブックを作成して高解像度化パラメータを生成する。この手法について、図２１を用いて説明する。
ここでは、ボケ画像と鮮鋭化画像はともに１００画素からなるものとする。ボケ画像と鮮鋭化画像について、それぞれ、画素位置ごとに、多重解像度ベクトルＵ１〜Ｕ１００、Ｖ１〜Ｖ１００に変換する。ベクトルＵ１〜Ｕ１００とベクトルＶ１〜Ｖ１００との間には、画素位置が同一という関係があるので、コードブックは、Ｕを入力したとき対応するＶを出力するように作成すればよい。ただし、実際には、各多重解像度ベクトルはベクトル量子化によって代表ベクトルに分類される。
図２１の例では、ベクトルＵは２１０１と２１０２の２種に量子化され、ベクトルＶは２１０３と２１０４の２種に量子化されている。分析コードブックや再生コードブックの量子化インデックスとは、これら量子化されたベクトル集合に付けられた番号を意味している。そして、コードブックを引くということは、ベクトル番号Ｖを入力すると量子化されたベクトルの集合の番号である１，２といった番号を得ることに他ならない。また、量子化集合２１０３には代表ベクトルＺ１が、量子化集合２１０４には代表ベクトルＺ２が付随している。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代表値をとるなどの方法によって計算される。本発明では、ここで述べたコードブックが時刻ｔの関数としてフレーム毎に計算され、高解像度化パラメータＰ（ｔ）となる。
次に、ベクトル番号から量子化インデックス（１または２）を出力する分析コードブックＩＧと、量子化インデックス（１または２）を入力して再生ベクトルを出力する再生コードブックＩＦとが生成される。このようにして生成した分析コードブックと再生コードブックを結合して用いることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重解像度ベクトルに変換することができる。
以上のようにして求められた分析コードブックと再生コードブックは、高解像度パラメータ記録部１０９により、高解像度化パラメータＤＰとして蓄積される。
図２２は本実施形態に係る画像表示部の構成を示す図である。図２２の構成は、図８のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。図２２の画像表示部３０は、動画入力部３０１、画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３、テクスチャ逆変換部３０４、高解像度化パラメータ入力部３０５、全体制御部３０６およびディスプレイ３０７を備えている。画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３およびテクスチャ逆変換部３０４によって、高解像度化部３１０が構成されている。
まず、図８の画像処理装置１０によって記録された低解像度動画データＤＬＦおよび高解像度化パラメータＤＰが、ネットワーク経由または様々な媒体経由にて、画像表示部３０に入力される。全体制御部３０６は動画データ入力部３０１にコマンドを送り、コマンドを受けた動画データ入力部３０１は、例えば圧縮された低解像度動画データＤＬＦを伸張して読み出す。ここでは、通常のカラー動画データを想定しているので、ＹＣｒＣｂの輝度色差信号が生成されるものとする。読み出された画像は、本来の高解像度画像に比較して画素サイズが１／４×１／４の低解像度であるから、次に画像サイズ補正・テクスチャ変換部３０３が、画像サイズを縦横４倍に拡大してボケ画像を得て、次にカラー信号の輝度成分Ｙと色差ＣｒＣｂ独立にテクスチャ変換する。この動作は、図８の画像サイズ補正・テクスチャ変換部１１２と同様であり、説明は省略する。
次に、全体制御部３０６は高解像度化パラメータ入力部３０５にコマンドを送り、コマンドを受けた高解像度化パラメータ入力部３０５は、高解像度化パラメータＤＰを読み出してテクスチャ置換部３０３に入力する。テクスチャ置換部３０３は、高解像度化パラメータに記載された分析コードブックと再生コードブックを結合して用いることによって、ボケ画像のテクスチャを表現する多重解像度ベクトル（テクスチャ特徴量）を、鮮鋭画像のテクスチャを表現する多重解像度ベクトルに変換する。次に、テクスチャ逆変換部３０４は鮮鋭画像テクスチャ特徴量から高解像度化された輝度画像への変換を行う。そして、高解像度化された輝度Ｙ画像と元の色差ＣｒＣｂ画像とがディスプレイ３０７に入力されて、高解像度画像が動画データとして表示される。
なお、以上の説明は、カラー動画データをＹＣｒＣｂという輝度・色差成分に分離して扱い、各成文を独立に高解像度化する、という考え方に基づく。ただし本発明はこれに限られるものではなく、カラー動画データをＲＧＢ成分で扱い、全成分について独立に高解像度化する方法や、輝度成分しか持たないモノクロ画像を高解像度化する方法を用いてもよい。
また上述のように、本実施形態では、低解像度の記録動画データから高解像度の動画データを生成表示可能であるので、カメラ撮影時に蓄積情報量が少なくて済み、消費電力の大きな高解像度動画データ用の超高速撮像素子が不要になる、という利点がある。このため、消費電力に制限のある超小型ビデオカメラなどへの応用が可能になる。この結果、超小型ビデオカメラで撮影した動画データを大画面ディスプレイに高画質拡大表示したり、見たい部分をさらに拡大する等の処理に対応できる、という大きな利点を有する。
（第３の実施形態）
図２３は本発明の第３の実施形態に係る画像処理装置であって、図８と同様に本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図８の構成との相違は、低解像度フレームメモリ１０３が省かれており、低解像度動画データＤＬＦを記録する低解像度動画記録部１０４の代わりに、画素密度混在圧縮動画データＤＭＣを記録する画素密度混在動画記録部４０１が設けられている点である。すなわち、第２の実施形態では低解像度化された動画データを録画していたのに対して、本実施形態では、画素密度混在撮像部１０２によって取得した画像をそのまま蓄積する。取得された画素密度混在動画データを、あえて低解像度化することなく有効に用いることによって、高解像度化の性能を向上させることを図っている。
録画ボタン１１１が押されると、全体制御部１１０が、画素密度混在撮像部１０２および画素密度混在動画記録部４０１に録画コマンドを送出する。画素密度混在撮像部１０２は録画コマンドを受けて撮像を実行し、画素密度混在動画データＦ（ｔ）を画素密度混在動画記録部４０１に送る。画素密度混在動画記録部４０１は画素密度混在動画データＦ（ｔ）を受け、後述する圧縮などの処理を行い、画素密度混在圧縮動画データＤＭＣとして蓄積メディアやネットワーク上に記録する。
全体制御部１１０は、録画コマンドの送出と同時に、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９に学習信号を送出する。画素密度混在撮像部１０２が取得したウインドウ領域における高解像度画像ＨＷＦ（ｔ）は、高解像度ウインドウメモリ１０５に蓄積され、テクスチャ変換部１０７を経由してテクスチャ学習部１０８に入力される。高解像度画像ＨＷＦ（ｔ）はまた、低解像度変換部１０６によって低解像度変換された後、画像サイズ補正・テクスチャ変換部１１２を経由してテクスチャ学習部１０８に入力される。テクスチャ学習部１０８は、解像度が異なる同一時刻の画像からテクスチャ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータＰ（ｔ）を学習する。高解像度化パラメータ記録部１０９は、これを高解像度化パラメータＤＰとして蓄積またはネットワーク上に送出する。
図２４は画素密度混在圧縮動画データＤＭＣの画像フォーマットを示す図である。ここで説明する処理は、画素密度混在動画記録部４０１が実行する。画素密度混在撮像部１０２によって撮像された画素密度混在撮像動画データＦ（ｔ）では、１フレーム内に画素密度が異なる部分が存在するため、このままでは動画データとして効率的な圧縮ができない。そこで、まず、全体を低解像度化した動画データＬＦ（ｔ）を生成する。これは、第２の実施形態などで述べたとおり、画像フィルタ処理によって行えばよい。次に、この低解像度動画データＬＦ（ｔ）を圧縮して、第１の圧縮データとしての低解像度の圧縮動画データＣＬＦ（ｔ）を生成する。これは、既存の動画圧縮手法を用いればよい。
次に、差分動画データＤＦ（ｔ）を生成する。
ＤＦ（ｔ）＝Ｆ（ｔ）−ＬＦ（ｔ） …（式３）
ここで、この差分動画データＤＦ（ｔ）は、高解像度画像を取得したウインドウ領域のみに差分値を持ち、その他の領域では差分値は０であるため、データを持つ面積が小さい。その上、高周波成分を非常に多く含んでいるため、量子化する際の圧縮効率が高くなる。そこで、差分動画データＤＦ（ｔ）を別途圧縮して、第２の圧縮データとしての差分圧縮動画データＣＤＦ（ｔ）を得る。２種類の圧縮動画データＣＬＦ（ｔ），ＣＤＦ（ｔ）をまとめて１つの画像フォーマットとし、これを画素密度混在圧縮データＤＭＣとして記録する。
図２５は本実施形態に係る画像表示部の構成を示す図である。図２５の構成は、図２３のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービー付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。図２５において、図２２と共通の構成要素については同一の符号を付しており、ここでは説明を省略する。図２２と異なるのは、画素密度混在圧縮動画データＤＭＣを入力として用いる点であり、このため、入力された画素密度混在圧縮動画データＤＭＣを差分動画データＤＦ（ｔ）と低解像度動画データＬＦ（ｔ）とに分離するための圧縮動画データ分離部４０２を備えている。また、高解像度ウインドウ生成部４０３、高解像度成分合成部４０４、および合成比決定部４０５を備えている。
圧縮動画データ分離部４０２は、全体制御部３０６からコマンドを受けると、画素密度混在圧縮動画データＤＭＣを分離伸張し、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）を得る。低解像度動画データＬＦ（ｔ）は、図２２と同様に、画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３およびテクスチャ逆変換部３０４によって処理され、高解像度画像ＨＦ（ｔ）に変換される。ただし、この高解像度画像ＨＦ（ｔ）は、あくまでも低解像度動画データＬＦ（ｔ）のみから生成されたものであり、これをそのままディスプレイ３０７に表示したのでは、画素密度混在撮像画像Ｆ（ｔ）を録画したことによる利点を利用していないことになる。
そこで、本来撮影された高解像度画像を用いるために、高解像度ウインドウ生成部４０３は、差分動画データＤＦ（ｔ）および低解像度動画データＬＦ（ｔ）を用いて元の画素密度混在撮像画像Ｆ（ｔ）を得て、ウインドウ領域における高解像度画像ＨＷＦ（ｔ）を出力する。そして高解像度成分合成部４０４は、高解像度画像ＨＦ（ｔ），ＨＷＦ（ｔ）を用いて、合成比決定部４０５によって決定された合成比ｍ（ｍ＝０〜１）を用いて重み付け合成を行い、ディスプレイ３０７に表示するための高解像度動画データＨＨＦ(ｔ)を出力する。この重み付け合成は、ウインドウ領域について行われ、ウインドウ領域以外の領域については、テクスチャ置換によって得られた高解像度画像ＨＦ（ｔ）がそのまま用いられる。
ＨＨＦ（ｔ）＝ｍ×ＨＷＦ（ｔ）＋（１−ｍ）×ＨＦ（ｔ） …（式４）
ただし全体制御部３０６は、合成比決定部４０５に合成比ｍを決定する信号を送ることにより、この合成比ｍを変化させることができる。これによって、重み付け合成を行ったウインドウ領域と、それ以外の領域とにおける画像の差を、違和感ないレベルまで低減することができる。
（第４の実施形態）
第３の実施形態では、高解像度化パラメータの学習は、録画時にビデオムービーカメラ内で実施されるものとした。これに対して本実施形態では、高解像度化パラメータの学習を、録画時に実行せず、ネットワーク上のサーバまたは表示装置に実行させるものとする。これにより、カメラ側の処理負荷が軽減されるとともに、表示側において、録画された動画データから高解像度化パラメータを学習しつつ、自由自在な高解像度化が可能になる。
図２６は本実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図２６では、図２３と共通の構成要素には同一の符号を付しており、ここではその説明を省略する。図２３の構成と対比すると、図２６の画像処理装置５１では、高解像度化パラメータを学習する構成が省かれており、ただ単に、画素密度混在撮像部１０２からの出力が画素密度混在圧縮動画データＤＭＣとして記録される。この動画データＤＭＣは、ハードディスクなどの媒体に記録される他、ネットワーク５０１経由で、後述する映像処理サーバ、または画像表示部に送出される。
図２７は本実施形態に係る映像処理サーバの構成を示すブロック図である。図２７では、図２３および図２５と共通の構成要素には同一の符号を付しており、ここではその詳細な説明を省略する。図２７の映像処理サーバ５２は、画素密度混在圧縮動画データＤＭＣから高解像化パラメータＤＰを生成する。圧縮動画データ分離部４０２および高解像度ウインドウ生成部４０３によって、動画分離部４１０が構成されている。
図２７に示すように、圧縮動画データ分離部４０２は画素密度混在圧縮動画データＤＭＣを分離伸張し、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）を得る。高解像度ウインドウ生成部４０３は、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）から元の画素密度混在撮像動画データＦ（ｔ）を得て、ウインドウ領域における高解像度画像ＨＷＦ（ｔ）を出力する。高解像度化パラメータ学習部１２０は、高解像度画像ＨＷＦ（ｔ）と低解像度動画データＬＦ（ｔ）とから、高解像度化パラメータＰ（ｔ）を得る。高解像度化パラメータ記録部１０９は、高解像度化パラメータＰ（ｔ）を高解像度化パラメータＤＰとして蓄積、またはネットワーク５０１上に送出する。
本実施形態では、高解像度画像の表示は、第３の実施形態と同様に、図２５のような構成によって実行されるため、ここでは説明は省略する。
なお、本実施形態では、高解像度化パラメータの学習機能は、映像処理サーバにおいて実現されるものとした。このため、動画データの分離伸張機能を、表示部とは別に、映像処理サーバにも設ける必要があった。これに対して、図２７の映像処理サーバと図２５の画像表示部とを合体させたような構成を実現してもよい。これにより、動画データの分離伸張機能を、高解像度化パラメータの学習時と高解像度画像の表示時とにおいて共用することができる。
(第５の実施形態)
図２８は本発明の第５の実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図２８の構成は、第２の実施形態に係る図８の構成を改良したものであり、図８と共通の構成要素には図８と同一の符号を付しており、ここではその詳細な説明を省略する。
本実施形態では、高解像度画像を取得するウインドウ領域の位置を、単に時間経過とともにずらしていくのではなく、撮影する対象の被写体の動きに合わせて、被写体を追跡するように更新していく。これによって、高解像度化パラメータを、注目度の高い被写体の位置から外れない領域において、集中的に学習することができ、高解像度化の精度を向上させることができる。被写体候補の領域は、画像の周波数成分を解析することにより、検出することができる。例えば、空間高周波数成分を最も多く含む部分を、被写体候補領域として定義すればよい。
図２８の構成では、図８と対比すると、前フレーム低解像度フレームメモリ６０１と、低解像度動画データにおいて被写体候補領域の動きを検出し、検出した被写体候補領域の動きに応じてウインドウ領域の位置を移動させるウインドウ位置更新部１６０とが、追加されている。ウインドウ位置更新部１６０は、被写体候補検出部６０２、被写体動き検出部６０３およびウインドウ設定部６０４を備えている。
被写体候補検出部６０２は、前フレーム低解像度フレームメモリ６０１に蓄積された低解像度画像に対して、高周波数成分を保存する画像フィルタ処理を行い、高い周波数パワーを有する領域を被写体候補領域として検出する。被写体動き検出部６０３は、低解像度フレームメモリ１０３に蓄積された現在時刻ｔの低解像度画像と、前フレーム低解像度フレームメモリ６０１に蓄積された時刻ｔ−１の低解像度画像とを用いて、被写体候補検出部６０４によって検出された被写体候補領域について、ブロックマッチング処理によって、動きベクトルを検出する。ウインドウ設定部６０４は、被写体動き検出部６０３によって検出された動きベクトルに基づいて、ウインドウ領域を設定する。
図２９は被写体候補領域の検出処理を示す図である。図２９（Ａ）の入力画像に対して、エッジ検出処理とモザイク処理を実施した結果、周波数パワーの集中度合を濃度で描いた図２９（Ｂ）が得られる。図２９（Ｂ）から最も濃度が高い位置を含む領域をブロックとして選択し、ブロックの連結程度を加味して、図２９（Ｃ）のように被写体候補領域を選択する。この場合、被写体候補領域を含む領域として、図２９（Ｄ）のようにウインドウ領域を決定できる。なお、ここでは、ウインドウ領域を８×２ブロックからなる矩形に設定しているが、ウインドウ領域の形状は、画素密度混在撮像素子の構成に応じて、任意の形状に設定しうる。
求められた被写体候補領域について、連続するフレーム間のブロックマッチング手法により、動きベクトルを計算する。そして得られた動きベクトルに基づいて、次の時刻ｔ＋１におけるウインドウ領域を、位置をずらして設定する。このような処理によって、高解像度画像を取得するウインドウ領域は、注目度の高い被写体を追跡するように設定される。
図３０は本実施形態におけるウインドウ領域の設定の一例を示す図である。図３０では、ウインドウ領域２９０３の形状は、図３と同様に横長の矩形としている。被写体２９０１は画面内で時間経過とともに移動しており、各フレームにおいて、被写体２９０１の動きを表す動きベクトル２９０２が検出されている。ウインドウ領域２９０３は、被写体の垂直（Ｖ）方向の動きに合わせて、時間経過とともに移動している。このウインドウ領域２９０３の動きは、図３で示したような走査順でもなければ、隣り合うフレーム間で連続していることもなく、任意である。なお、図１２の画素密度混在撮像部の構成では、プログレッシブ走査用シフトレジスタ２０６からの出力パルスを変化させることによって、ウインドウ領域を垂直Ｖ方向に任意に移動させることができる。さらに水平Ｈ方向については、不要な画素を読み捨てることによって、任意形状のウインドウ領域を設定することができる。
（第６の実施形態）
図３１は本発明の第６の実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図３１の構成は、第２の実施形態に係る図８の構成を改良したものであり、図８と共通の構成要素には図８と同一の符号を付しており、ここではその詳細な説明を省略する。
本実施形態では、低解像度動画データと高解像度化パラメータを、拡散反射成分と鏡面反射成分とに分けて、取得するようにしている。すなわち、低解像度動画記録部１０４は、拡散反射成分低解像度動画データＤＬＦ１および鏡面反射成分低解像度動画データＤＬＦ２を記録し、高解像度化パラメータ記録部１０９は、拡散反射成分高解像度化パラメータＤＰ１および鏡面反射成分高解像度化パラメータＤＰ２を記録する。また、図８の画素密度混在撮像部１０２に代えて、偏光フィルタ付き画素密度混在撮像部７０１が設けられている。
すなわち、本実施形態では、通常のカラーの３板でなく４個の撮像素子を用いて、被写体の鏡面反射成分と拡散反射成分とを分離して別個に記録し、別個に高解像度化し、最後に画像を合成する。被写体の物理反射光学特性は、表面の輝度から鏡面反射成分と拡散反射成分の分離を行うことによって取得することができ、この結果、被写体表面の粗さ特性と表面のアルベドなど材質固有の反射率特性が分離して得られるため、被写体の表面の質感を向上させる場合に非常に有効である。そこで、鏡面反射成分と拡散反射成分とについてそれぞれ高解像度化を実施することによって、被写体の表面質感をより向上させることが期待できる。
鏡面反射成分と拡散反射成分の分離には様々な方式があるが、ここでは照明に特別な条件をあたえることなく、カメラレンズ前に偏光板を設置し、その偏光軸をずらして撮影した２枚の画像だけから分離する手法を用いる。本手法に関しては、梅山伸二、「物体の見えからの拡散／鏡面反射成分の分離−偏光フィルタを介した多重観測と確率的独立性を用いて−」、画像の認識、理解シンポジウム（ＭＩＲＵ２００２）（Ｉ−４６９〜４７６ページ）などに詳しく説明されており、ここでは処理内容の詳細な説明を省略し、撮像部の構成のみについて述べる。
図３２は偏光フィルタ付き画素密度混在撮像部７０１の構成を示す図である。図３２に示すように、偏光フィルタ付き画素密度混在撮像部７０１は、４分割プリズム７１１、レッド用画素密度混在撮像素子７１２、ブルー用画素密度混在撮像素子７１３、第１の偏光板７１４、第１のグリーン用画素密度混在撮像素子７１５、第２の偏光板７１６、および第２のグリーン用画素密度混在撮像素子７１７、鏡面拡散反射成分分離部７１８および照明光推定部７１９を備えている。この構成では、非常にコントラストの高い鏡面反射成分を取得するため、ダイナミックレンジの広い画素密度混在撮像素子を用いることが望ましい。
４分割プリズム７１１の境界面には、多層膜干渉フィルタなどが挟み込まれて用いられている。入射光は、第１回目の境界反射でＧ（グリーン）光とＭ（マゼンタ）光に分離され、次に第２回目の反射でＭ光はＲ（レッド）光とＢ（ブルー）光に分離され、それぞれがレッド用画素密度混在撮像素子７１２、ブルー用画素密度混在撮像素子７１３に導かれる。一方、Ｇ光は、第２回目の反射で、第１の偏光板７１４を通り、第１のグリーン用画素密度混在撮像素子７１５に入るｇ１光と、第２の偏光板７１６を通り、第２のグリーン用画素密度混在撮像素子７１７に入るｇ２光とに分離される。第１の偏光板７１４と第２の偏光板７１６は、ともに偏光主軸成分だけを透過させるが、偏光軸が互いにずれており、これにより、第１のグリーン用画素密度混在撮像素子７１５と第２のグリーン用画素密度混在撮像素子７１７とでは、異なる画像が取得される。偏光板を透過したｇ１光、ｇ２光は、元のＧ光とは別の光である。
ｇ１光とｇ２光は、鏡面拡散反射成分分離部７１８において、元のＧ光の鏡面成分Ｇｓと拡散成分Ｇｄに変換される。ここで、ＧｓとＧｄは次の関係を満たす。
Ｇ＝Ｇｓ＋Ｇｄ …（式５）
一方、照明光推定部７１９は、一般のカメラに搭載されているＡＷＢ（オートホワイトバランス）機能などを用いて、被写体を照明する光に関する情報を取得する。２色性反射モデルが成立する被写体では、鏡面反射成分Ｇｓは照明光のＧ成分そのものであるから、照明光推定部７１９が照明の色成分（Ｒ，Ｇ，Ｂ）比率を、Ｇを１として（ＲIL、１、ＢIL）のように推定した場合、レッドＲおよびブルーＢの鏡面反射成分Ｒｓ、Ｂｓは、照明光のレッドＲ、ブルーＢ成分として次のように推定できる。
Ｒｓ＝ＲIL・Ｇｓ
Ｂｓ＝ＢIL・Ｇｓ …（式６）
これらを用いて、Ｒ光，Ｂ光についても、鏡面反射成分と拡散反射成分への分離が次のように可能となる。
Ｒ＝Ｒｓ＋Ｒｄ
Ｂ＝Ｂｓ＋Ｂｄ …（式７）
以上のようにＲＧＢ全てにつき拡散反射成分と鏡面反射成分が推定できるので、これらの反射成分を、通常のマトリクス演算によって、拡散反射成分輝度色差空間（Ｙｄ、Ｃｒｄ，Ｃｂｄ）と鏡面反射成分輝度色差空間（Ｙｓ，Ｃｒｓ，Ｃｂｓ）に変換することができる。
したがって、図３１の構成では、２種類の動画データすなわち、拡散反射成分低解像度動画データＤＬＦ１、鏡面反射成分低解像度動画データＤＬＦ２と、２種類の高解像度化パラメータすなわち、拡散反射成分高解像度化パラメータＤＰ１、鏡面反射成分高解像度化パラメータＤＰ２が得られる。
本来であれば、Ｙ信号を拡散反射成分Ｙｄと鏡面反射成分Ｙｓに分離する場合、ＲＧＢ原色信号それぞれを鏡面反射成分、拡散反射成分に分離して画素密度混在撮像する処理が必要になるため、合計６個の撮像素子が必要になる。ところが本実施形態では、照明光推定部７１９を用いることによって、撮像素子４個で実現することができる。
図３３は本実施形態に係る画像表示部の構成を示す図である。図３３の構成は、図３１のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。第２の実施形態における図２２の構成との相違は、拡散反射成分と鏡面反射成分とについて別個に高解像度化を実現し、その後、拡散反射成分鏡面反射成分合成部７０２が、輝度、色差レベルで鏡面反射成分・拡散反射成分を合成する点である。なお、この合成は、テクスチャから逆変換された輝度色差ＹＣｒＣｂ空間、または原色ＲＧＢ空間のいずれで行ってもよい。動画入力部３０１ａ，３０１ｂは図２２の動画入力部３０１と同様に動作し、また、画像サイズ補正・テクスチャ変換部３０２ａ，３０２ｂ、テクスチャ置換部３０３ａ，３０３ｂ、テクスチャ逆変換部３０４ａ，３０４ｂ、高解像度化パラメータ入力部３０５ａ，３０５ｂはそれぞれ、図２２の画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３、テクスチャ逆変換部３０４、高解像度化パラメータ入力部３０５と同様に動作する。
本実施形態では、拡散反射成分と鏡面反射成分を分離独立した信号と考え、各々別個に高解像度化するので、上述の第２〜第５の実施形態と組み合わせて実施することも可能である。また、拡散反射成分低解像度動画データＤＬＦ１および鏡面反射成分低解像度動画データＤＬＦ２を合わせて、単一の画像フォーマットとして蓄積することも可能である。
また本実施の形態では、拡散反射成分と鏡面反射成分の高解像度化の処理を同一方式にて行っているが、実際には同一手法で実施する必要はなく、別方式で扱うことも可能である。例えば、拡散反射成分については既存の補間拡大手法だけを用いる、などの方法も考えられる。
さらに、拡散反射成分と鏡面反射成分を両方とも高解像度化する必要は、必ずしもない。片方のみを高解像度化する場合、拡散反射成分と鏡面反射成分のいずれを選択するかは、対象とする被写体の特性や撮影時の光源環境、さらに高解像度化の目的等によって決めればよい。例えば、工芸品や特殊な表面加工を施した被写体に対して、表面凹凸感をより強調再現したい場合には鏡面反射成分を用い、それらの表面に書いてある印刷の文字などを忠実に再現したい場合は拡散反射成分を用いる、といった方法が考えられる。
図３４は本実施形態における高解像度化を模式的に示す図である。被写体は、表面に凹凸がある球体で文字「ＡＢＣ」が印刷されている物を想定する。図３４において、入力となる低解像度画像３３０１では、文字部に鏡面反射によるハイライト３３０７が入ってしまっている。これを鏡面反射成分３３０２と拡散反射成分３３０３に分離すると、鏡面反射成分３３０２では拡散反射である文字部は消えてしまい、一方、拡散反射成分３３０３ではハイライト部や表面凹凸部が消えてしまう。次に、鏡面反射成分３３０２を高解像度化すると、文字部は消えたまま表面の凹凸や鏡面反射成分が高解像度化された画像３３０４が生成される。また拡散反射成分３３０３を高解像度化すると、鏡面反射やハイライトは無くなり、文字部のみが高解像度化された画像３３０５が生成される。画像３３０４，３３０５から、出力として高解像度画像３３０６を生成することができる。この画像３３０６は、拡散反射成分と鏡面反射成を分離せず、そのまま高解像度化した場合に比較して多くの情報量を有しており、視覚的に良好な結果を得られる。
本発明は、被写体特性が反映された精度の高い解像度変換を、少ない画像処理量で、実現することができるので、例えば、視覚的情報量が重要視される様々な応用分野において、材質感あふれるデジタル高解像度動画データを生成するのに有効である。また例えば、携帯電話のような低解像度表示系への画像表示にも、有効である。
本発明の第１の実施形態に係る画像処理方法における録画プロセスを示すフローチャートである。 本発明の第１の実施形態に係る画像処理方法における高解像度化プロセスを示すフローチャートである。 本発明の第１の実施形態における録画プロセスおよび高解像度化プロセスの例を示す概念図である。 図１のステップＳ１３の処理の一例を示すフローチャートである。 図２のステップＳ２３の処理の一例を示すフローチャートである。 図４のステップＳ１３２におけるテクスチャ特徴量への変換手法の一例を示す図である。 変換後のテクスチャ特徴量を示す図である。 本発明の第２の実施形態に係る画像処理装置の構成例を示す図である。 図８における画素密度混在撮像部の構成例を示す概念図である。 画素密度混在撮像素子による画素読み出し方法の一例を示す図である。 画素密度混在撮像素子による画素読み出し方法の一例を示す図である。 画素密度混在撮像素子の回路構成の例を示す図である。 図１２の画素密度混在撮像素子における撮像単位画素の回路構成例を示す図である。 図１２の画素密度混在撮像素子における蓄積単位画素の回路構成例を示す図である。 図１２の画素密度混在撮像素子における飛び越し走査用シフトレジスタの回路構成例を示す図である。 図１２〜図１５に示す画素密度混在撮影素子の撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。 図１６の高速Ｖ転送期間における動作を示すタイミングチャートである。 図１６の水平読み出し期間の動作を示すタイミングチャートである。 図１２のセレクタの出力を示すタイミングチャートである。 本発明の第２の実施形態におけるテクスチャ変換処理を概念的に示す図である。 分析コードブックおよび再生コードブックの作成手法を示す図である。 本発明の第２の実施形態に係る画像表示部の構成を示す図である。 本発明の第３の実施形態に係る画像処理装置の構成を示す図である。 本発明の第３の実施形態に係る画素密度混在圧縮動画データの画像フォーマットを示す図である。 本発明の第３の実施形態に係る画像表示部の構成を示す図である。 本発明の第４の実施形態に係る画像処理装置の構成例を示す図である。 本発明の第４の実施形態に係る映像処理サーバの構成を示す図である。 本発明の第５の実施形態に係る画像処理装置の構成を示す図である。 本発明の第５の実施形態における被写体候補領域の検出処理を示す図である。 本発明の第５の実施形態におけるウインドウ領域の設定の一例を示す図である。 本発明の第６の実施形態に係る画像処理装置の構成を示す図である。 図３１における偏光フィルタ付き画素密度混在撮像部の構成を示す図である。 本発明の第６の実施形態に係る画像表示部の構成を示す図である。 本発明の第６の実施形態における高解像度化の効果を示す図である。
符号の説明
ＬＦ（ｔ） 低解像度動画データ
ＷＤ１〜ＷＤ４ ウインドウ領域
ＨＷＦ（ｔ） ウインドウ領域における高解像度画像
Ｐ（ｔ） 高解像度化パラメータ（解像度変換ルール）
ＤＦ（ｔ） 差分動画データ
ＤＬＦ 低解像度動画データ
ＤＰ 高解像度化パラメータ
ＤＭＣ 画素密度混在圧縮動画データ
ＣＬＦ（ｔ） 低解像度圧縮動画データ（第１の圧縮データ）
ＣＤＦ（ｔ） 差分圧縮動画データ（第２の圧縮データ）
１０２ 画素密度混在撮像部
１０４ 低解像度動画記録部
１０６ 低解像度変換部
１０９ 高解像度化パラメータ記録部
１１１ 録画ボタン
１２０ 高解像度化パラメータ学習部
１６０ ウインドウ位置更新部
３０１ 動画入力部
３０５ 高解像度化パラメータ入力部
３１０ 高解像度化部
４０１ 画素密度混在動画記録部
４０２ 圧縮動画データ分離部
４０３ 高解像度ウインドウ生成部
４１０ 動画分離部
７０１ 偏光フィルタ付き画素密度混在撮像部

Claims (27)

  1. 低解像度動画データを記録する録画プロセスと、
    前記録画プロセスにおいて記録した低解像度動画データを、高解像度化する高解像度化プロセスとを備え、
    前記録画プロセスは、
    前記低解像度動画データの各フレームにおいて、画像の一部領域であるウインドウ領域において、高解像度画像を取得するステップと、
    前記各フレームにおいて、前記ウインドウ領域における高解像度画像を用いて、解像度変換ルールを学習するステップとを備え、
    前記高解像度化プロセスは、
    前記録画プロセスにおいて学習した解像度変換ルールを用いて、前記低解像度動画データの高解像度化を行うステップを備え、
    前記録画プロセスにおいて、前記ウインドウ領域の位置を、前記各フレーム毎に、変化させる
    ことを特徴とする画像処理方法。
  2. 請求項１において、
    前記録画プロセスは、
    前記ウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得し、
    前記画素密度混在動画データについて、前記ウインドウ領域の高解像度画像に対して画像フィルタ処理によって低解像度化を行い、前記低解像度動画データを生成する
    ことを特徴とする画像処理方法。
  3. 請求項２において、
    前記録画プロセスにおいて、
    前記低解像度動画データにおいて、被写体候補領域の動きを検出し、
    検出した被写体候補領域の動きに応じて、前記ウインドウ領域の位置を移動させる
    ことを特徴とする画像処理方法。
  4. 請求項２において、
    前記録画プロセスにおいて、
    前記画素密度混在動画データを、拡散反射成分と鏡面反射成分とに分離して取得し、
    前記低解像度動画データおよび解像度変換ルールを、拡散反射成分と鏡面反射成分とに分けて、求める
    ことを特徴とする画像処理方法。
  5. 請求項１において、
    前記解像度変換ルールは、解像度が異なる画像間の、テクスチャ特徴ベクトルの対応関係を記述するものである
    ことを特徴とする画像処理方法。
  6. 請求項１において、
    前記高解像度化プロセスにおいて、
    高解像度化を行うフレームについて、当該フレームにおいて学習した解像度変換ルールに加えて、その前後の少なくとも１つのフレームにおいて学習した解像度変換ルールを用いて、高解像度化を行う
    ことを特徴とする画像処理方法。
  7. 請求項１において、
    前記録画プロセスにおいて、前記ウインドウ領域を、フレーム毎に、複数フレームにわたって画像全体を走査するように、移動させる
    ことを特徴とする画像処理方法。
  8. 請求項７において、
    前記ウインドウ領域は、画像全体をｎ（ｎは２以上の整数）分割した１個の領域であり、かつ、ｎ個のフレームにわたって画像全体を占めるように、設定されている
    ことを特徴とする画像処理方法。
  9. 請求項８において、
    前記高解像度化プロセスにおいて、
    高解像度化を行うフレームについて、当該フレームを含むｎ個のフレームにおいて学習した解像度変換ルールを用い、かつ、前記ｎ個のフレームの各ウインドウ領域に対応する各部分領域に、対応するフレームに係る解像度変換ルールを用いて、高解像度化を行う
    ことを特徴とする画像処理方法。
  10. 請求項１において、
    前記高解像度化プロセスにおいて、
    前記ウインドウ領域において、元の高解像度画像と、高解像度化によって得られた画像とを、所定の合成比をもって、合成する
    ことを特徴とする画像処理方法。
  11. 画像の一部領域であるウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得し、記録するステップを備え、
    前記記録ステップにおいて、前記ウインドウ領域の位置を、フレーム毎に、変化させる
    ことを特徴とする画像記録方法。
  12. 画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、
    前記ウインドウ領域の高解像度画像に対して、画像フィルタ処理によって低解像度化を行う低解像度変換部と、
    前記低解像度変換部の出力と前記画素密度混在動画データとから得られた低解像度動画データを、記録する低解像度動画記録部と、
    前記ウインドウ領域の高解像度画像と前記低解像度変換部の出力とを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、
    前記高解像度化パラメータを記録する高解像度化パラメータ記録部とを備えた
    ことを特徴とする画像処理装置。
  13. 請求項１２において、
    前記画素密度混在撮像部は、前記画素密度混在動画データを輝度成分と色差成分とに分離された形で取得するものである
    ことを特徴とする画像処理装置。
  14. 請求項１２において、
    録画ボタンを備え、
    前記録画ボタンが押されたとき、前記画素密度混在撮像部が撮像を行い、前記低解像度動画データおよび高解像度化パラメータが記録される
    ことを特徴とする画像処理装置。
  15. 請求項１２において、
    前記低解像度動画データにおいて、被写体候補領域の動きを検出し、検出した被写体候補領域の動きに応じて、前記ウインドウ領域の位置を移動させるウインドウ位置更新部を備えた
    ことを特徴とする画像処理装置。
  16. 請求項１５において、
    前記ウインドウ位置更新部は、画像の周波数解析によって、前記被写体候補領域を検出するものである
    ことを特徴とする画像処理装置。
  17. 請求項１２において、
    前記画素密度混在撮像部は、前記画素密度混在動画データを、拡散反射成分と鏡面反射成分とに分離された形で取得するものである
    ことを特徴とする画像処理装置。
  18. 請求項１７において、
    前記画素密度混在撮像部は、撮像したカラー画像から複数の原色成分を分離し、前記複数の原色成分のうちの１つについて鏡面反射成分と拡散反射成分の分離を行い、この分離した鏡面反射成分および拡散反射成分を用いて、前記カラー画像の拡散反射成分と鏡面反射成分を得るものである
    ことを特徴とする画像処理装置。
  19. 請求項１７において、
    前記画素密度混在撮像部は、撮影時の照明光を推定し、この推定した照明光を用いて、鏡面反射成分を求めるものである
    ことを特徴とする画像処理装置。
  20. 請求項１２記載の画像処理装置によって記録された低解像度動画データおよび高解像度化パラメータを用いて、高解像度化を行う画像処理装置であって、
    前記低解像度動画データを読み込む動画入力部と、
    前記高解像度化パラメータを読み込む高解像度化パラメータ入力部と、
    前記高解像度化パラメータ入力部によって読み込まれた高解像度化パラメータを用いて、前記動画入力部によって読み込まれた低解像度動画データの高解像度化を行う高解像度化部とを備えた
    ことを特徴とする画像処理装置。
  21. 画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、
    前記ウインドウ領域の高解像度画像に対して、画像フィルタ処理によって低解像度化を行う低解像度変換部と、
    前記画素密度混在動画データを記録する画素密度混在動画記録部と、
    前記ウインドウ領域の高解像度画像と前記低解像度変換部の出力とを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、
    前記高解像度化パラメータを記録する高解像度化パラメータ記録部とを備えた
    ことを特徴とする画像処理装置。
  22. 請求項２１において、
    前記画素密度混在動画記録部は、前記画素密度混在動画データを、低解像度動画データと、前記画素密度混在動画データと前記低解像度動画データとの差分を表す差分動画データとに分けて、記録するものである
    ことを特徴とする画像処理装置。
  23. 画像の一部領域であり、フレーム毎に位置が変化するウインドウ領域内を高解像度で撮像するとともに、前記ウインドウ領域外を低解像度で撮像して、画素密度混在動画データを取得する画素密度混在撮像部と、
    前記画素密度混在動画データを、低解像度動画データと、前記画素密度混在動画データと前記低解像度動画データとの差分を表す差分動画データとに分けて、記録する画素密度混在動画記録部とを備えた
    ことを特徴とする画像処理装置。
  24. 請求項２３記載の画像処理装置によって記録された画素密度混在動画データを用いて、高解像度化パラメータを求める画像処理装置であって、
    前記画素密度混在動画データを読み込み、前記低解像度動画データを分離するとともに、前記差分動画データを用いてウインドウ領域における高解像度画像を得る動画分離部と、
    前記ウインドウ領域の高解像度画像と、前記低解像度動画データとを用いて、高解像度化パラメータを学習する高解像度化パラメータ学習部と、
    前記高解像度化パラメータを記録する高解像度化パラメータ録部とを備えた
    ことを特徴とする画像処理装置。
  25. 動画データの画像ファイルフォーマットであって、
    各フレームにおいて、画像の一部領域であるウインドウ領域内の解像度が、前記ウインドウ領域以外の領域の解像度よりも、高く、
    前記ウインドウ領域の位置が、フレーム毎に、変化している
    ことを特徴とする画像ファイルフォーマット。
  26. 請求項２５において、
    拡散反射成分と鏡面反射成分とが、分離して格納されている
    ことを特徴とする画像ファイルフォーマット。
  27. 各フレームにおいて、画像の一部領域であるウインドウ領域内の解像度が、前記ウインドウ領域以外の領域の解像度よりも高い動画データを表す画像ファイルフォーマットであって、
    前記ウインドウ領域以外の領域の解像度を持つ低解像度動画データを、圧縮して得た第１の圧縮データと、
    前記動画データと前記低解像度動画データとの差分を表す差分動画データを、圧縮して得た第２の圧縮データとを備え、
    前記ウインドウ領域の位置が、フレーム毎に、変化している
    ことを特徴とする画像ファイルフォーマット。
JP2006554387A 2005-09-09 2006-08-08 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット Active JP3996631B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005262610 2005-09-09
JP2005262610 2005-09-09
PCT/JP2006/315655 WO2007029443A1 (ja) 2005-09-09 2006-08-08 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007015512A Division JP5013889B2 (ja) 2005-09-09 2007-01-25 画像処理装置

Publications (2)

Publication Number Publication Date
JP3996631B2 JP3996631B2 (ja) 2007-10-24
JPWO2007029443A1 true JPWO2007029443A1 (ja) 2009-03-26

Family

ID=37835568

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2006554387A Active JP3996631B2 (ja) 2005-09-09 2006-08-08 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
JP2007534451A Active JP4129287B2 (ja) 2005-09-09 2006-09-06 撮像素子
JP2007015512A Active JP5013889B2 (ja) 2005-09-09 2007-01-25 画像処理装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2007534451A Active JP4129287B2 (ja) 2005-09-09 2006-09-06 撮像素子
JP2007015512A Active JP5013889B2 (ja) 2005-09-09 2007-01-25 画像処理装置

Country Status (4)

Country Link
US (3) US7623174B2 (ja)
JP (3) JP3996631B2 (ja)
CN (2) CN101053249B (ja)
WO (2) WO2007029443A1 (ja)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
JPWO2003084222A1 (ja) * 2002-04-02 2005-08-11 松下電器産業株式会社 印刷制御装置及び印刷制御方法
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
WO2004034589A2 (en) 2002-10-05 2004-04-22 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
CN101834610B (zh) 2003-10-06 2013-01-30 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法和装置
KR101161193B1 (ko) * 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
CN100521743C (zh) * 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置
JP5550834B2 (ja) 2006-02-13 2014-07-16 デジタル ファウンテン， インコーポレイテッド 可変ｆｅｃオーバヘッド及び保護期間を利用したストリーミング及びバッファリング
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
JP4614925B2 (ja) * 2006-07-28 2011-01-19 三洋電機株式会社 画素情報読出方法および撮像装置
US20080055414A1 (en) * 2006-09-05 2008-03-06 Stephen George Mican Modified Baird sequential detail scanning system
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
US9237101B2 (en) * 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
CA2701603A1 (en) * 2007-10-03 2009-04-09 Kabushiki Kaisha Toshiba Visual inspection apparatus and visual inspection method
WO2009072260A1 (ja) * 2007-12-07 2009-06-11 Panasonic Corporation 画像処理装置および画像処理方法ならびに撮像装置
JP4998829B2 (ja) * 2008-03-11 2012-08-15 日本電気株式会社 動画符号復号装置および動画符号復号方法
EP2312858B1 (en) * 2008-06-18 2012-09-26 Panasonic Corporation Image processing apparatus, imaging apparatus, image processing method, and program
WO2010004677A1 (ja) * 2008-07-08 2010-01-14 パナソニック株式会社 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
US8270773B2 (en) * 2008-08-04 2012-09-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP4504443B2 (ja) 2008-08-12 2010-07-14 株式会社東芝 再生装置および再生装置の制御方法
JP5130171B2 (ja) * 2008-09-22 2013-01-30 株式会社日立製作所 画像信号処理装置および画像信号処理方法
JP5067811B2 (ja) * 2008-12-01 2012-11-07 富士フイルム株式会社 撮像装置
JP4564565B2 (ja) * 2009-01-27 2010-10-20 株式会社東芝 再生装置および再生装置の制御方法
JP5226552B2 (ja) * 2009-02-03 2013-07-03 オリンパスイメージング株式会社 撮像装置
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
KR101675117B1 (ko) * 2009-08-13 2016-11-10 삼성전자 주식회사 다계층의 저해상도 영상을 이용한 고해상도 영상 생성 방법 및 그 장치
US8571355B2 (en) * 2009-08-13 2013-10-29 Samsung Electronics Co., Ltd. Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
WO2011040074A1 (ja) * 2009-09-30 2011-04-07 シャープ株式会社 画像拡大装置、画像拡大プログラム、及び表示装置
CN102844786A (zh) * 2010-03-01 2012-12-26 夏普株式会社 图像放大装置、图像放大程序、存储图像放大程序的存储介质和显示装置
KR101671185B1 (ko) 2010-03-22 2016-11-01 삼성전자주식회사 렌더링을 위한 빛 및 질감 추출 장치 및 방법, 그리고, 빛 및 질감을 이용한 렌더링 장치
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
KR101756841B1 (ko) * 2011-06-07 2017-07-11 삼성전자주식회사 블록 기반 영상의 해상도 변환 방법 및 장치
US9886945B1 (en) * 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
US9047681B2 (en) * 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
JP5984260B2 (ja) * 2011-09-20 2016-09-06 東芝メディカルシステムズ株式会社 画像処理装置及び医用画像診断装置
KR101915520B1 (ko) * 2011-11-07 2018-11-07 삼성전자 주식회사 휴대단말기의 영상 표시 제어장치 및 방법
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2013142775A (ja) * 2012-01-11 2013-07-22 Sony Corp 表示装置、電子機器、表示方法、並びにプログラム
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
US9363494B2 (en) * 2012-12-05 2016-06-07 At&T Intellectual Property I, L.P. Digital video recorder that enables recording at a selected resolution
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
US20160210746A1 (en) * 2013-10-01 2016-07-21 Konica Minolta, Inc. Organ imaging device
JP6274495B2 (ja) * 2013-10-25 2018-02-07 キヤノンメディカルシステムズ株式会社 画像処理装置および超音波診断装置
US9489104B2 (en) 2013-11-14 2016-11-08 Apple Inc. Viewable frame identification
US9582160B2 (en) 2013-11-14 2017-02-28 Apple Inc. Semi-automatic organic layout for media streams
US20150254806A1 (en) * 2014-03-07 2015-09-10 Apple Inc. Efficient Progressive Loading Of Media Items
CN103927967A (zh) * 2014-03-14 2014-07-16 四川虹欧显示器件有限公司 一种等离子显示面板扫描方法
WO2015170503A1 (ja) * 2014-05-08 2015-11-12 ソニー株式会社 情報処理装置及び情報処理方法
JP6202276B2 (ja) * 2014-07-14 2017-09-27 パナソニックＩｐマネジメント株式会社 画像処理システム、画像処理装置、及び画像処理方法
US9462026B2 (en) * 2014-07-31 2016-10-04 Senza Tech, Llc Communicating multimedia data
CN104410845B (zh) * 2014-11-10 2019-08-06 北京智谷睿拓技术服务有限公司 光通信发送方法和装置、接收方法和装置、光通信系统
JP6516446B2 (ja) * 2014-11-14 2019-05-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
EP3259911B1 (en) 2015-02-19 2021-04-07 Magic Pony Technology Limited Enhancing visual data using updated neural networks
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
EP3278559B1 (en) 2015-03-31 2021-05-05 Magic Pony Technology Limited Training end-to-end video processes
JP6545013B2 (ja) 2015-06-17 2019-07-17 キヤノン株式会社 画像形成方法、画像形成装置、および画像形成プログラム
JP6557568B2 (ja) * 2015-09-24 2019-08-07 日本放送協会 撮像装置
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN106851399B (zh) * 2015-12-03 2021-01-22 阿里巴巴（中国）有限公司 视频分辨率提升方法及装置
JP2017142356A (ja) * 2016-02-10 2017-08-17 ソニー株式会社 撮像装置、および、撮像装置の制御方法
EP3298579B1 (en) 2016-04-12 2021-07-21 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
GB201608101D0 (en) * 2016-05-09 2016-06-22 Magic Pony Technology Ltd Multiscale 3D texture synthesis
WO2018003502A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 撮像装置、撮像方法、プログラム
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
KR102342283B1 (ko) * 2016-11-28 2021-12-22 삼성전자주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체
KR102190483B1 (ko) * 2018-04-24 2020-12-11 주식회사 지디에프랩 Ai 기반의 영상 압축 및 복원 시스템
JP6818724B2 (ja) * 2018-10-01 2021-01-20 キヤノン株式会社 放射線撮像装置、その制御方法及び放射線撮像システム
JP7336773B2 (ja) * 2018-10-29 2023-09-01 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、及び、情報提示システム
CN110501339B (zh) * 2019-08-13 2022-03-29 江苏大学 一种复杂环境下的布面定位方法
KR20210078218A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 전자장치 및 그 제어방법
US11240465B2 (en) 2020-02-21 2022-02-01 Alibaba Group Holding Limited System and method to use decoder information in video super resolution
US11704767B2 (en) * 2020-07-31 2023-07-18 Spot Vision Llc Texture extraction
US11297260B1 (en) * 2020-11-20 2022-04-05 Donald Siu Techniques for capturing video in landscape mode by a handheld device
US20240233355A9 (en) * 2021-09-10 2024-07-11 Nec Corporation Model training apparatus, control method, and non-transitory computer-readable medium

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5043821A (en) * 1988-08-31 1991-08-27 Canon Kabushiki Kaisha Image pickup device having a frame-size memory
JP2737947B2 (ja) * 1988-08-31 1998-04-08 キヤノン株式会社 撮像装置
JPH02224637A (ja) * 1988-11-16 1990-09-06 A T R Tsushin Syst Kenkyusho:Kk 視線検出方法
US5103306A (en) * 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
US5200818A (en) * 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
JP3240339B2 (ja) 1993-11-16 2001-12-17 コニカ株式会社 画像撮影装置及び画像処理装置
JP3538918B2 (ja) * 1994-10-31 2004-06-14 ソニー株式会社 画像データ採取装置および方法
JP4229481B2 (ja) * 1996-07-31 2009-02-25 オリンパス株式会社 撮像表示システム
US6701017B1 (en) * 1998-02-10 2004-03-02 Nihon Computer Co., Ltd. High resolution high-value added video transfer method system and storage medium by using pseudo natural image
JP4049896B2 (ja) 1998-07-09 2008-02-20 オリンパス株式会社 画像入力装置
US6906751B1 (en) * 1998-07-22 2005-06-14 Minolta Co., Ltd. Digital camera and control method thereof
CN1247993A (zh) * 1998-09-14 2000-03-22 林朝宗 多解析度影像读取装置
US6714249B2 (en) * 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
KR100850729B1 (ko) * 2000-07-06 2008-08-06 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 데이터 해상도를 향상시키는 방법 및 장치
US6766067B2 (en) 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US6677979B1 (en) * 2001-06-12 2004-01-13 Cisco Technology, Inc. Method and apparatus for dual image video teleconferencing
JP3616585B2 (ja) 2001-07-11 2005-02-02 Ｎｅｃアクセステクニカ株式会社 光インタフェース終端モジュールおよび光インタフェース終端接続方法
JP2003219346A (ja) * 2002-01-17 2003-07-31 Seiko Epson Corp 画像データ生成装置、画像表示装置、画像データ生成方法、画像表示方法、画像データ生成プログラムを記録した媒体、画像表示プログラムを記録した媒体、画像データ生成プログラムおよび画像表示プログラム
AU2003226081A1 (en) 2002-03-25 2003-10-13 The Trustees Of Columbia University In The City Of New York Method and system for enhancing data quality
JP2003302211A (ja) * 2002-04-11 2003-10-24 Canon Inc ３次元画像処理装置及び方法
JP2004021388A (ja) * 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム
JP4131133B2 (ja) * 2002-06-21 2008-08-13 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2004120341A (ja) * 2002-09-26 2004-04-15 Riosu Corp:Kk 映像監視システム
JP4084991B2 (ja) 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
JP2004229119A (ja) * 2003-01-24 2004-08-12 Matsushita Electric Ind Co Ltd Ｍｏｓ型固体撮像素子およびこれを備えた撮像装置
CN100499752C (zh) * 2003-01-28 2009-06-10 松下电器产业株式会社 固体摄像器件、其驱动方法及应用它的相机
JP4373689B2 (ja) * 2003-03-13 2009-11-25 株式会社日立国際電気 テレビジョンカメラ
JP2005012403A (ja) * 2003-06-18 2005-01-13 Fuji Photo Film Co Ltd デジタルカメラ及び画像情報取得方法
JP4379056B2 (ja) * 2003-08-12 2009-12-09 富士ゼロックス株式会社 三次元画像撮像装置および方法
US20050168589A1 (en) * 2004-01-30 2005-08-04 D. Amnon Silverstein Method and system for processing an image with an image-capturing device
CN101685535B (zh) 2004-06-09 2011-09-28 松下电器产业株式会社 图象处理方法
CN100521743C (zh) * 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置

Also Published As

Publication number Publication date
US20070223887A1 (en) 2007-09-27
CN101053249B (zh) 2011-02-16
JP4129287B2 (ja) 2008-08-06
CN101053249A (zh) 2007-10-10
US7623174B2 (en) 2009-11-24
US8249370B2 (en) 2012-08-21
CN101243682B (zh) 2010-05-19
JP2007174689A (ja) 2007-07-05
JPWO2007029738A1 (ja) 2009-03-19
JP3996631B2 (ja) 2007-10-24
WO2007029738A1 (ja) 2007-03-15
WO2007029443A1 (ja) 2007-03-15
US20080309780A1 (en) 2008-12-18
US7636393B2 (en) 2009-12-22
JP5013889B2 (ja) 2012-08-29
US20100046906A1 (en) 2010-02-25
CN101243682A (zh) 2008-08-13

Similar Documents

Publication Publication Date Title
JP3996631B2 (ja) 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
US7876980B2 (en) Imaging apparatus and imaging method for outputting a specified number of pixels in a specified area
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
JP4469019B2 (ja) 画像データを生成する装置、方法およびプログラム
US7646910B1 (en) Digital video camera non-integer-ratio Bayer domain scaler
US20100265353A1 (en) Image Processing Device, Image Sensing Device And Image Reproduction Device
JP4555775B2 (ja) 撮像装置
US20130038758A1 (en) Image processing device, imaging device, information storage medium, and image processing method
KR101046012B1 (ko) 동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US5442718A (en) Apparatus and method for storing and reproducing digital image data yielding high resolution and high quality video image data
US7868925B2 (en) Device, method, and program for generating high-resolution image data at a low data transfer rate
US7236194B2 (en) Image signal processing apparatus
Lukac Single-sensor imaging in consumer digital cameras: a survey of recent advances and future directions
JP4333270B2 (ja) 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP2012142676A (ja) 撮像装置及び画像生成方法
KR100254081B1 (ko) 화상 데이타 처리 장치 및 그 방법
JP2012231378A (ja) 撮像装置及び画像生成方法
JP2020092302A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3996631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110810

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110810

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130810

Year of fee payment: 6

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20070205