JP4877090B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP4877090B2
JP4877090B2 JP2007160590A JP2007160590A JP4877090B2 JP 4877090 B2 JP4877090 B2 JP 4877090B2 JP 2007160590 A JP2007160590 A JP 2007160590A JP 2007160590 A JP2007160590 A JP 2007160590A JP 4877090 B2 JP4877090 B2 JP 4877090B2
Authority
JP
Japan
Prior art keywords
image
video data
motion
image data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007160590A
Other languages
English (en)
Other versions
JP2008312162A (ja
Inventor
央二 中神
潤一 田中
陽一 矢ケ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007160590A priority Critical patent/JP4877090B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US12/597,792 priority patent/US8804832B2/en
Priority to PCT/JP2008/059314 priority patent/WO2008155972A1/ja
Priority to CN201210269974.0A priority patent/CN102833457B/zh
Priority to CN2008800205818A priority patent/CN101690189B/zh
Priority to RU2011141290/08A priority patent/RU2506713C2/ru
Priority to KR20097024642A priority patent/KR20100021574A/ko
Priority to BRPI0813400-6A2A priority patent/BRPI0813400A2/pt
Priority to EP08764437.3A priority patent/EP2161928B1/en
Priority to RU2009147046/07A priority patent/RU2446616C2/ru
Publication of JP2008312162A publication Critical patent/JP2008312162A/ja
Application granted granted Critical
Publication of JP4877090B2 publication Critical patent/JP4877090B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/217Interfaces allowing access to a single user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3267Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of motion picture signals, e.g. video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
最近、デジタル映像データ(以下、映像データ)の配信に関する技術が大きく発展してきている。とりわけ、高画質な映像データの配信や記録に関する技術の発展には目を見張るものがある。その中でも、映像データの符号化及び復号に関する技術に注目が集まっている。高い空間解像度及び時間解像度を有する映像データは、そのデータサイズが非常に大きいため、その映像データを符号化した上で効率良く圧縮して配信又は記録される必要がある。そのため、高画質の映像データをより高い圧縮率で圧縮できるようにする符号化技術や、より高い空間解像度で再生できるように復号技術が求められている。
例えば、下記の特許文献1及び2には、空間解像度は低いが時間解像度の高い第1の映像データ(例えば、動画データ等)と、空間解像度は高いが時間解像度が低い第2の映像データ(例えば、静止画データの系列等)とを組み合わせて、高い空間解像度及び時間解像度を有する映像データを生成するための基礎となる技術が開示されている。この技術は、第1の映像データからフレーム間の動きベクトルを予測し、その動きベクトルと第2の映像データとを用いて、第1の映像データの高周波成分を補償するというものである。当該技術は、第2の映像データにフレームが含まれない任意時点のフレームを第1の映像データから検出された動きベクトルと、その任意時点に近い時点における第2の映像データのフレームとを用いて生成するというものである。また、下記の特許文献1及び2には、前記の技術を用いて高い空間解像度及び時間解像度を有する映像データを生成するための画像データ記録再生装置に関する記載がある。
特開2004−312276号公報 特開2004−312277号公報
しかしながら、静止画データが記録される時間間隔が大きい場合、上記の画像データ記録再生装置は、動きベクトルを精度良く予測することが難しいため、高品質の映像データが生成されにくい。すなわち、生成したい映像データの記録時刻が記録された静止画データの記録時刻から離れれば離れるほど、画像データ中の動物体の変化量が大きくなるため、記録された高解像度の静止画中に含まれる高周波成分を用いて動き補償され難くなるためである。例えば、静止画データの記録時刻と所望の生成画像の記録時刻との間の時間hが0.1秒よりも大きくなると、動き補償により高周波成分を補償することが難しくなると言われている。一方、高精細な静止画データの記録数を増やすと、当然の事ながら、保存すべきデータ量が膨大になってしまう。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、低解像度の画像データ系列で動き予測し、かつ、高解像度の画像データを用いて動き補償して高解像度の画像データを生成しようとした場合に、生成される画像データの時刻と高解像度の画像データの時刻とが離れていても、高い精度で動き補償することが可能な、新規かつ改良された画像処理装置、画像処理方法、及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、複数の連続したフレームが含まれる動画データと、前記フレームに対応し、かつ、当該フレームよりも高い空間解像度を有する一又は複数の画像データとを取得する取得部と、前記動画データを用いて前記フレーム間の動きベクトルを検出する動き予測部と、前記画像データと前記動きベクトルとに基づいて、所定の前記フレームに対応する動き補償された画像データを生成する画像生成部と、を備える画像処理装置が提供される。
そして、前記画像生成部は、前記所定のフレームと前記画像データに対応するフレームとの間に位置し、かつ、前記フレームに対応する前記動き補償された画像データを生成し、その動き補償された画像データと前記動きベクトルとに基づいて、前記所定のフレームに対応する動き補償された画像データを生成する。
また、前記画像生成部は、前記画像データに近い時刻に対応するフレームから順に動き補償を実行し、その動き補償された画像データと前記動きベクトルとに基づいて、逐次的に前記所定のフレームに対応する動き補償された画像データを生成する機能を有していてもよい。
また、前記画像処理装置は、前記動画データと前記一又は複数の画像データとを記録する記憶部をさらに備えていてもよい。そして、前記取得部は、前記記憶部に記録された前記画像データと前記一又は複数の画像データとを取得する機能を有していてもよい。
また、前記記憶部には、前記動画データとして、低い空間解像度及び高い時間解像度を有する第1画像データ系列が記録され、前記一又は複数の画像データとして、前記第1画像データ系列に含まれる前記フレームに対応するように、前記第1画像データ系列よりも高い空間解像度及び低い時間解像度を有する第2画像データ系列が記録されていてもよい。
また、前記動画生成部は、前記第1画像データ系列に含まれ、かつ、前記第2画像データ系列に含まれないフレームを前記所定のフレームとし、当該所定のフレームに対応する前記画像データを生成して前記第2画像データ系列の時間解像度を向上させる機能を有していてもよい。
また、前記記憶部には、前記動画データとして、撮像された画像信号をダウンサンプリング処理して得られた画像データ系列が記録されていてもよい。
また、前記画像生成部は、前記差分量が所定値より大きい場合、前記動き補償に際し、前記動きベクトルの参照元である前記所定のフレームと前記動きベクトルの参照先である前記画像データとを合成する比率を前記差分量に応じて変更する機能を有していてもよい。
また、前記画像生成部は、前記画像データに対応するフレームと前記所定のフレームとの間の差分量が所定値よりも小さい場合に、当該画像データを動き補償せずに前記所定のフレームに対応する画像データとして出力する機能を有していてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、複数の連続したフレームが含まれる動画データと、前記フレームに対応し、かつ、当該フレームよりも高い空間解像度を有する一又は複数の画像データとを取得する取得ステップと、前記動画データを用いて前記フレーム間の動きベクトルを検出する動き予測ステップと、前記画像データと前記動きベクトルとに基づいて、所定の前記フレームに対応する動き補償された画像データを生成する画像生成ステップと、を含む画像処理方法が提供される。
そして、前記画像生成ステップでは、前記所定のフレームと前記画像データに対応するフレームとの間に位置し、かつ、前記フレームに対応する前記動き補償された画像データを生成し、その動き補償された画像データと前記動きベクトルとに基づいて、前記所定のフレームに対応する動き補償された画像データが生成される。
また、上記課題を解決するために、本発明の別の観点によれば、上記の画像処理装置が有する機能をコンピュータに実現させるためのプログラムが提供される。さらに、そのプログラムが記録された記録媒体が提供される。
上記の画像処理装置は、記録済みの静止画データに近い時刻から高解像度画像を生成していき、過去に生成した高解像度画像をフレームメモリに保存して、その保存された画像を再び参照して新たな高解像度画像を生成する。そのため、記録時刻から離れた時間においても高精細な静止画像を生成することが可能である。
以上説明したように本発明によれば、低解像度の画像データ系列で動き予測し、かつ、高解像度の画像データを用いて動き補償して高解像度の画像データを生成しようとした場合に、生成される画像データの時刻と高解像度の画像データの時刻とが離れていても、高い精度で動き補償することが可能になる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。但し、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
(高解像度画像の生成方法)
まず、本発明の実施形態に係る画像処理装置、及び画像処理方法について説明するに先立ち、図1を参照しながら、低い空間解像度で連続する映像が記録された画像データ系列(以下、動画データ)と、その動画データに含まれる適当なフレーム(以下、低解像度記録画像(LRP;Low Resolution Picture))に対応して離散的に記録された高空間解像度の画像データ(以下、静止画データ、又は高解像度記録画像(HRP;High Resolution Picture))とを用いて、前記動画データに含まれる任意のフレームに対応する高空間解像度の画像データ(以下、生成画像(CP;Created Picture)、又は高解像度生成画像)を生成するアイデアについて簡単に説明する。図1は、高解像度画像の生成方法の一例を示す説明図である。
図1には、高解像度記録画像HRP(t)と、低解像度記録画像LRP(t)、LRP(t+h)と、拡大スケーリング画像(MP;Magnified Picture)MP(t)、MP(t+h)、生成画像CP(t+h)とが描画されている。以下、カッコ内の文字は、撮影時刻を表すものとする。例えば、生成画像CP(t+h)は、時刻t+hに撮影された低解像度記録画像LRP(t+h)に対応する生成画像を表す。
生成画像CPは、低解像度記録画像LRPを用いて検出された動きベクトルと高解像度記録画像HRPとを用いて動き補償することによって生成された画像データである。例えば、図1に示すように、低解像度記録画像LRP(t)を拡大スケーリングして生成された拡大スケーリング画像MP(t)と、低解像度記録画像LRP(t+h)を拡大スケーリングして生成された拡大スケーリング画像MP(t+h)とを用いて、時刻tと時刻t+hとの間の動きベクトル(MV;Motion Vector)が検出される(S1)。次いで、動きベクトルMVに基づき、低解像度記録画像LRP(t)の参照ブロック(BLK)に対応する高解像度記録画像HRP(t)の参照ブロックが抽出される。次いで、その参照ブロックの画素と拡大スケーリング画像MP(t+h)の画素とが所定の比率で合成されて、生成画像CP(t+h)が生成される(S2)。
上記の例では、動き予測と動き補償とが実質的に異なる画像を用いて実行される。低解像度記録画像LRPを拡大スケーリングして生成された拡大スケーリング画像MPは、高解像度記録画像HRPと同じ空間解像度に拡大してはいるものの、高解像度記録画像HRPに比べて高周波成分が欠落している。そのため、拡大スケーリング画像MPを用いて検出された動きベクトルと高解像度記録画像HRPが本来有すべき動きベクトルとにズレが生じる可能性がある。動き予測の精度が低い場合、高解像度記録画像HRPの中の参照ブロックの位置がズレてしまうため、動き補償して生成された生成画像CPの高周波成分にノイズが付加されてしまう。
そこで、互いに異なる空間解像度を有する複数の画像データに基づいて動き補償を実行する場合に、動き補償に起因してノイズが付加されることを抑制する技術が求められている。特に、動きベクトルの誤差は、高解像度記録画像HRP(t)が撮影された時刻tと、生成画像CP(t+h)を生成したい時刻t+hとが離れている場合に大きくなるため、時間間隔hが大きい場合に高精細な生成画像CP(t+h)を得るための技術が求められている。
以下で説明するように、本発明の一実施形態に係る画像処理装置は、まず、高解像度記録画像HRP(t)が撮影された時刻tに近い時刻に撮影された低解像度記録画像LRP(t+h”)に対し、動き予測及び動き補償を実行して暫定的な生成画像CP’(t+h”)を生成して、その暫定的な生成画像CP’(t+h)に基づいて、更に動き予測及び動き補償を実行する。この処理を逐次的に繰り返すことによって、所望の時刻t+hにおける生成画像CP(t+h)を高い精度で生成することができる。なぜなら、一度の動き予測を実行する際に参照されるフレーム間の時間間隔が短いため、動き予測の精度が向上するためである。以下、この技術的思想を実現可能な画像処理装置の具体的な構成例について説明する。
<本発明の一実施形態>
以下、本発明の一実施形態に係る画像処理装置100について詳細に説明する。
[画像処理装置100の装置構成]
まず、図2を参照しながら、本実施形態に係る画像処理装置100の装置構成について説明する。図2は、本実施形態に係る画像処理装置100の装置構成の一例を示す説明図である。
図2に示すように、画像処理装置100は、主に、撮像レンズ102と、撮像素子104と、カメラ信号処理ブロック110と、動画像記録再生ブロック120と、動画像記録再生ブロック120と、画像生成回路202と、フレームメモリ204と、画像生成タイミングコントローラ106と、表示回路108とを有する。
撮像レンズ102は、光を集光させて被写体の像(以下、集光画像)を形成するための光学レンズである。撮像素子104は、撮像レンズ102が集光した光を電気信号に変換する光電素子である。撮像素子104には、例えば、CCDイメージセンサ(Charge Coupled Device Image Sensor)やCMOSイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)等の半導体素子が用いられる。また、撮像素子104は、動画データが持つ空間解像度の有効画素数よりも多い画素を有している。表示回路108は、画像データを記録又は再生する際、或いは、その画像データを確認する際に、、図示しない表示装置に対して前記の画像データを表示させる。画像生成タイミングコントローラ106は、動画データを再生している途中でオペレータが静止画データを取得するように指示する装置である。
(カメラ信号処理ブロック110)
カメラ信号処理ブロック110は、図2に示すように、A/D変換器112と、デジタル信号処理回路114とを含む。
A/D変換器112は、入力されたアナログ信号をデジタル信号に変換して出力するアナログ・デジタル変換器(Analog−to−Digital Converter)である。A/D変換器112は、撮像素子104から入力された集光画像のアナログ信号をデジタル信号に変換してデジタル信号処理回路114に出力する。デジタル信号処理回路114は、A/D変換器112から入力された集光画像のデジタル信号(以下、画像データ)に対し、ホワイトバランスの調整やガンマ補正等の処理を行う。
(動画像記録再生ブロック120)
動画像記録再生ブロック120は、図2に示すように、画像密度変換回路126と、動画像圧縮/伸長回路124と、記憶部122とを含む。
画像密度変換回路126は、動画データの記録に際し、デジタル信号処理回路114から入力された画像データの系列(動画データ)に対して間引き処理(例えば、フレーム間差分符号化等)を施す。画像密度変換回路126は、その間引き処理後の動画データを動画像圧縮/伸長回路124に出力する。動画像圧縮/伸長回路124は、画像密度変換回路126から入力された前記間引き後の動画データを圧縮処理し、その圧縮された動画データを記憶部122に記録する。
一方、動画データの再生に際し、動画像圧縮/伸長回路124は、記憶部122に記録された前記の動画データを読出して伸長処理を施す。そして、動画像圧縮/伸長回路124は、その伸長された動画データを画像密度変換回路126に対して出力する。画像密度変換回路126は、動画像圧縮/伸長回路124から入力された動画データに対して補間処理(例えば、差分化されたデータの復元等)を施す。
(動画像記録再生ブロック120)
静止画像記録再生ブロック130は、図2に示すように、静止画像圧縮/伸長回路134と、記憶部132とを含む。但し、記憶部132は、前記の記憶部122と共通の記憶装置を用いて、その機能を実現することもできる。
静止画像圧縮/伸長回路134は、静止画データの記録に際し、デジタル信号処理回路114から入力された画像データに圧縮処理を施して記憶部132に出力する。一方、静止画データの再生に際し、静止画像圧縮/伸長回路134は、記憶部122に記録された画像データを読出して伸長処理を施す。
(画像生成回路202)
図中には明示しないが、画像生成回路202は、動き予測部212と、動き補償部214とを含む。なお、動き予測部212は、上記の動き予測部の一例である。また、動き補償部214は、上記の画像生成部の一例である。
動き予測部212は、動画像記録再生ブロック120から伝送された動画データについて、フレーム間の動き予測を実行して動きベクトルを検出する。例えば、動き予測部212は、所定時刻に記録されたフレームに最も近い時点で記録された静止画データを選択する。そして、動き予測部212は、その静止画データに対応するフレームと所定時刻に記録されたフレームとの間で動き予測を実行してフレーム間の動きベクトルを検出する。このとき、動き予測部212は、参照する各フレーム(LRP)を拡大スケーリングして拡大スケーリング画像(MP)に変換し、該当する拡大スケーリング画像間で動きベクトルを検出する。
他の例として、動き予測部212は、所定時刻に記録されたフレームに近い時点で記録された複数の静止画データを抽出した上で、前記の所定時刻に記録されたフレームに最も近似した静止画データに対応するフレームを選択することもできる。そして、動き予測部212は、その選択された静止画データに対応するフレームと所定時刻に記録されたフレームとの間で動き予測を実行してフレーム間の動きベクトルを検出してもよい。また、動き予測部212は、各フレーム(LRP)を拡大スケーリングせずに、該当するフレーム間で動きベクトルを検出し、生成画像(CP)の空間解像度に適合するように前記動きベクトルを拡大することも可能である。
動き補償部214は、動き予測部212から入力された動きベクトルの情報と、静止画像記録再生ブロック130から入力された静止画データとに基づいて動き補償を実行する。例えば、動き補償部214は、所定時刻に記録されたフレームの参照ブロックに対応する静止画データの参照ブロックを前記の動きベクトルに基づいて特定する。動き補償部214は、その特定された静止画データの参照ブロックと、所定時刻に記録されたフレームの参照ブロックとを所定の比率で合成して画像データ(生成画像CP’)を生成する。
さらに、画像生成回路202は、生成画像CP(t+h)を生成する際に、過去に生成した生成画像CP’(t+h”)(t<h”<h)をフレームメモリ204に展開する。つまり、画像生成回路202は、図3に示すように、高解像度記録画像HRP(t)を直接用いて生成画像CP(t+h)を生成するのではなく、一端、高解像度記録画像HRP(t)に時間的に近い拡大スケーリング画像MP(t+h”)を用いて中間的な生成画像CP’(t+h”)を生成し、この生成画像CP’(t+h”)をフレームメモリ204に保存して利用するのである。そして、画像生成回路202は、拡大スケーリング画像MP(t+h)及びMP(t+h”)の間で動き予測を実行し、検出された動きベクトルと中間的な生成画像CP’(t+h”)に基づいて所望の生成画像CP(t+h)を生成するのである。そして、この生成画像CP(t+h)が表示回路108に出力される。
また、画像生成回路202は、フレームメモリに生成画像CP’(t+h”)を格納する際、利用する処理単位に応じて格納する方法を変更してもよい。例えば、画像全体を格納してもよいし、或いは、メモリ量を節約するために動きのある画素領域のみを格納してもよい。
さらに、画像生成回路202は、生成画像CP’又はCPを生成する際、生成画像CP’又はCPに対応する拡大スケーリング画像MPと参照先の画像との差分量を監視する。高解像度記録画像HRPと拡大スケーリング画像MPとの差分量が小さい場合、画像生成回路202は、生成画像CP’又はCPとして高解像度記録画像HRPをそのまま出力することができる。同様に、生成画像CP’と拡大スケーリング画像MPとの差分量が小さい場合、画像生成回路202は、生成画像CPとして生成画像CP’をそのまま出力することができる。これらのケースは、完全に静止している被写体を撮影した場合等に起こりうる状況である。
上記のように、本実施形態に係る画像生成回路202は、生成画像CPと高解像度記録画像HRPとの記録時刻が離れている場合に、高解像度記録画像HRPの記録時刻に近い時刻に対応する拡大スケーリング画像MPから順番に中間的な生成画像CP’を生成する。さらに、画像生成回路202は、中間的な生成画像CP’を利用して動き補償を実行し、逐次的に中間的な生成画像CP’を生成することで、最終的に高精細な生成画像CPを得るものである。
[画像データの記録動作]
次に、本実施形態に係る画像処理装置100による画像データの記録動作について簡単に説明する。
まず、オペレータが画像処理装置100に記録動作の開始を指示する(S10)。その指示を受け、画像処理装置100は、動画データを構成するフレームの連続記録を開始する(S12)。画像処理装置100は、撮像レンズ102を介して集光画像を取得する(S14)。次いで、画像処理装置100は、その集光画像を撮像素子104により光電変換してアナログ信号を生成する(S16)。次いで、画像処理装置100は、そのアナログ信号をA/D変換器112に入力してデジタル信号に変換する(S18)。次いで、画像処理装置100は、そのデジタル信号をデジタル信号処理回路114に入力して、そのデジタル信号に対応する画像データのホワイトバランスの調整やガンマ補正等の処理を実行する(S20)。画像処理装置100は、前記の画像データを蓄積して動画データを形成することができる。
次いで、画像処理装置100は、画像密度変換回路126により、上記の動画データに間引き処理を施す(S22)。ステップS22を実行する際、NTSC(National Television Standard Committee)方式、PAL(Phase Alternation by Line)方式、又はISDB(Integrated Services Digital Broadcasting)方式等の各ビデオ信号フォーマットにおける有効画素数が得られる。次いで、画像処理装置100は、動画像圧縮/伸長回路124により、前記の間引き処理が施された動画データを圧縮処理し(S24)、記憶部122に記録する(S25)。また、画像処理装置100は、静止画像圧縮/伸長回路134により、所定の時間間隔で間歇的に前記の画像データ(静止画データ)を取得して圧縮処理し(S32)、記憶部132に記録する(S34)。
[画像データの再生動作]
次に、本実施形態に係る画像処理装置100による画像データの再生動作について簡単に説明する。
画像処理装置100に対し、オペレータが画像生成タイミングコントローラ106を用いて再生動作の開始を指示する(S50)。その指示を受け、画像処理装置100は、前記の動画データよりも空間解像度が高く、かつ、前記の静止画データが記録されていない記録時点における高画質画像データの生成を開始する(S52)。画像処理装置100は、記憶部122に記録された圧縮処理後の動画データを読み出し(S54)、動画像圧縮/伸長回路124により伸長処理を実行する(S56)。次いで、画像処理装置100は、画像密度変換回路126により、伸長処理された動画データの補間処理を実行する(S58)。ステップS58により、前記の動画データの各フレームは、静止画データと同一画素数を有する画像データに変換される。そして、その動画データは、画像生成回路202に伝送される(S60)。
また、画像処理装置100は、静止画像圧縮/伸長回路134により、記憶部132に記録された静止画データを読み出して伸長し(S72)、画像生成回路202に伝送する(S74)。
(画像生成回路202の動作)
ここで、図3を参照しながら、画像生成回路202の処理動作について説明する。図3は、画像生成回路202の処理動作を説明するための説明図である。
図3には、撮影時刻に対応するように、高解像度記録画像HRP(t)と、複数の低解像度記録画像LRP(t)、LRP(t+h”)、LRP(t+h)、LRP(t+h)と、中間的な生成画像CP’(t+h”)と、所望の生成画像CP(t+h)とが描画されている。尚、図3は、時刻t+hに記録された低解像度記録画像LRP(t+h)に対応する生成画像CP(t+h)を生成する処理動作を具体的に説明するものである。
但し、高解像度記録画像HRPは、水平画素数がN、垂直画素数がM、フレームレートが1/ΔT[fps]であるものと仮定する。また、低解像度記録画像LRPは、水平画素数がn、垂直画素数がm、フレームレートが1/Δt[fps]であるものと仮定する。そして、各変数は、N≧n、M≧m、ΔT≧tの関係を満たすものと仮定する。さらに、変数hは、0≦h≦ΔTの関係を満たすものと仮定する。
以下、図3の例を参照しながら、時刻t+hの生成画像CP(t+h)を生成する方法について説明する。但し、本実施形態に係る画像処理装置100の処理方法は、これに限定されるものではない。例えば、図示しない他の時刻t+ΔTの高解像度記録画像HRP(t+ΔT)を併せて参照しながら、生成画像CP(t+h)を生成することもできる。その際、画像処理装置100は、被写体の動きの大きさや速度等に応じて参照すべき高解像度記録画像HRPを選択するといった処理を行ってもよい。
(S1)
まず、画像処理装置100は、動き予測部212により、低解像度記録画像LRP(t)及びLRP(t+h”)を用いて動き予測を実行する。このとき、動き予測部212は、低解像度記録画像LRP(t)及びLRP(t+h”)を拡大スケーリングして拡大スケーリング画像MP(t)及びMP(t+h”)を生成する。次いで、動き予測部212は、拡大スケーリング画像MP(t)とMP(t+h”)とを比較してMP(t)とMP(t+h”)との間の動きベクトルMVを検出する。尚、動き予測の方法として、例えば、ブロックマッチング法、位相相関法、又はオプティカルフロー法等を本実施形態に適用することができる。
(S2)
次いで、画像処理装置100は、動き補償部214により、前記の動きベクトルMVと高解像度記録画像HRP(t)とを用いて動き補償を実行する。動き補償部214は、前記の動きベクトルMVを利用して、拡大スケーリング画像MP(t+h”)の参照ブロックに対応する高解像度記録画像HRP(t)の参照ブロックを特定する。そして、動き補償部214は、その参照ブロックと前記の拡大スケーリング画像MP(t+h”)の参照ブロックとを所定の比率で合成して、中間的な生成画像CP’(t+h”)を生成する。
(S3)
次いで、画像処理装置100は、動き予測部212により、低解像度記録画像LRP(t+h)及びLRP(t+h”)を用いて動き予測を実行する。このとき、動き予測部212は、低解像度記録画像LRP(t+h)を拡大スケーリングして拡大スケーリング画像MP(t+h)を生成する。次いで、動き予測部212は、拡大スケーリング画像MP(t+h”)とMP(t+h)とを比較してMP(t+h”)とMP(t+h)との間の動きベクトルMVを検出する。
(S4)
次いで、画像処理装置100は、動き補償部214により、前記の動きベクトルMVと中間的な生成画像CP’(t+h”)とを用いて動き補償を実行する。動き補償部214は、前記の動きベクトルMVを利用して、拡大スケーリング画像MP(t+h)の参照ブロックに対応する生成画像CP’(t+h”)の参照ブロックを特定する。そして、動き補償部214は、その参照ブロックと前記の拡大スケーリング画像MP(t+h)の参照ブロックとを所定の比率で合成して最終的な生成画像CP(t+h)を生成する。
もし、生成画像CP(t+h)と高解像度記録画像HRP(t)との間の時間間隔hが非常に短ければ、前記の高解像度記録画像HRP(t)を用いて動き補償しても動き予測精度に起因して生成画像CP(t+h)にノイズが発生することは少ない。しかし、その時間間隔hが長いと、その高解像度記録画像HRPに含まれる高周波成分の情報にノイズが発生する可能性が高い。つまり、動き予測の精度に依存して動き補償に用いる高解像度記録画像HRPの参照ブロックと、それに対応する拡大スケーリング画像MPの参照ブロックとの間の相関が低くなる可能性が懸念されるのである。
一般に、動き予測の処理は、被写体の動きが少なければ少ないほど、すなわち、予測元から予測先への時間的距離が少なければ少ないほど、精度のよい動き予測を行うことが可能である。したがって、拡大スケーリング画像MP(t+h)から拡大スケーリング画像MP(t)に対して行う動き予測よりも、拡大スケーリング画像MP(t+h”)から拡大スケーリング画像MP(t)に対して行う動き予測のほうが、予測の精度が良くなるのは当然である。そのため、拡大スケーリング画像MP(t+h”)から拡大スケーリング画像MP(t)への動き予測結果を用いた場合の生成画像CP’(t+h”)の品質は、拡大スケーリング画像MP(t+h)から拡大スケーリング画像MP(t)への動き予測結果を用いた場合の生成画像に比べて高くなる。
また、図4の例に示すように、画像生成回路202は、生成画像CP’又はCPを生成する際、上記の画像以外の画像を参照することも可能である。ここでは、時間的に後方に位置する画像を参照して動き予測及び動き補償する例について説明したが、前方に位置する画像を参照してもよい。また、前後の画像を共に参照してもよい。さらに、画像生成回路202は、時間的に前方又は後方に位置する複数枚の画像を参照して生成画像CP’又はCPを生成することも可能である。さらに、画像生成回路202は、より細かい時間間隔で逐次的に中間的な生成画像CP’を生成し、最終的な生成画像CPに到達するように処理することもできる。
上記のように、本実施形態に係る画像生成回路202には種々の変形が可能である。例えば、時刻t+ΔT(h<ΔT)に高解像度記録画像HRP(t+ΔT)が存在する場合、画像生成回路202は、高解像度記録画像HRP(t+ΔT)に基づいて前方から動き補償された生成画像CPと、上記の方法で後方から逐次的に動き補償して生成されて生成画像CPとを比較して、より高品質の画像を選択することも可能である。そうした選択等の用途を考慮し、画像生成回路202は、例えば、所定の時刻t、t+h”、t+ΔT等における拡大スケーリング画像MP(t)、MP(t+h”)、MP(t+ΔT)等を比較して差分値を監視しておくこともできる。
また、動き予測に際し、画像生成回路202は、双方向予測処理を組み合わせることもできる。すなわち、画像生成回路202は、複数の予測元に対する動きベクトルに基づいて動き補償を実行し、動き補償の画素値を重み付けして平均するのである。単純な例を挙げると、例えば、予測元画素Aと予測元画素Bに対して、予測後の画素Cを下式(1)に従って求める。
Figure 0004877090
これは、重みの割合が等しい平均値をとる方法である。一般に、片方向予測に比べ双方向予測を行うことにより、差分エネルギーを小さくできることが、MPEG(Moving Picture Experts Group)等の画像圧縮技術に関連して広く知られている。そこで、本実施形態においても、双方向予測を組み合わせて用いることで、生成画像CPの品質をより向上させることが可能になると考えられる。さらに、H.264等において知られている双方向予測技術のように、2つのベクトルの予測方向が時間的に同じ方向(前方又は後方)に設定することも可能である。
生成画像CPを生成するに際し、比較的単純な双方向予測の方法として、例えば、2枚の高解像度記録画像HRP(t)と高解像度記録画像HRP(t+ΔT)との平均値をとって生成された画像を生成画像CP(t+h)として用いる方法が考えられる。この方法は、被写体が静止しており、フェードが含まれるような映像に対して有効である。
また、被写体に動物体が含まれる場合、画像生成回路202は、拡大スケーリング画像MP(t+h)、MP(t+h”)、MP(t)に対して双方向予測を実行し、高解像度記録画像HRP(t)及びHRP(t+ΔT)に基づいて動き補償を実行することも可能である。また、画像生成回路202は、拡大スケーリング画像MP(t+h)とMP(t)との間の被写体の動き情報、或いは、MP(t+h)とMP(t+ΔT)との間の被写体の動き情報を用いたり、複数の中間的に生成された生成画像CP’の高周波成分を利用することで、生成画像CP(t+h)の画質を向上させることができる。
さらに、画像生成回路202は、図5に示すように、生成画像CPを生成する際、中間的に生成された生成画像CP’に基づいて動き補償された画像と、生成画像CPに対応する拡大スケーリング画像MPとの差分値を判定して、動き予測の精度が低い場合に拡大スケーリング画像MPをそのまま生成画像CPとして出力することも可能である。
(画像処理方法)
ここで、図6を参照しながら、本実施形態に係る画像処理方法について説明する。図6は、本実施形態に係る画像生成処理の流れを説明するための説明図である。
まず、動き予測部212は、低解像度記録画像LRPを拡大スケーリングして高解像度記録画像HRPと同じ空間解像度を有する拡大スケーリング画像MPを生成する(S202)。次いで、参照ブロックの位置を示すパラメータbが初期化される(S204)。次いで、パラメータbがパラメータbの最大値b_maxを超えているか否かが判定される(S206)。但し、b_maxは、フレームに含まれるブロック数である。
b≧b_maxの場合、画像生成回路202は、画像生成処理を終了する。b<b_maxの場合、動き予測部212は、カレントフレーム(MP(t+h”))からキーフレーム(MP(t))、又はカレントフレーム(MP(t+h))から高解像度画像生成済みフレーム(MP(t+h”))への動き予測を実行する(S208)。このとき、動き予測の参照フレームは、逐次実行される動き予測の参照元フレームの位置に依存する。次いで、画像生成回路202は、予測残差信号の大きさに基づいて動き補償を実行可能か否かを判定する(S210)。
ステップS210において、動き補償の実行が不可であると判定された場合、動き補償部214は、ステップS202で拡大スケーリング画像MP(t+h)を生成画像CP(t+h)として出力する(S216)。一方、ステップS210において、動き補償の実行が可能であると判定された場合、動き補償部214は、キーフレームに対応する高解像度記録画像HRP(t)と拡大スケーリング画像MP(t+h)とを用いて差分画像判定(前記の「D>Th」or「D≦Th」判定;図5を参照)を実行し、動き補償が可能か否かを判定する(S212)。
ステップS212において、動き補償が可能であると判定された場合、動き補償部214は、高解像度記録画像HRP(t)又は生成画像CP’(t+h”)を用いて動き補償を実行する(S214)。このとき、動き補償部214は、ステップS208で得られたカレントフレームからキーフレームへの動きベクトル、単位ブロックサイズ、又は参照フレーム情報等を利用する。一方、ステップS212において、動き補償の実行が不可であると判定された場合、動き補償部214は、拡大スケーリング画像MP(t+h)を生成画像CP(t+h)として出力する(S216)。
次いで、画像生成回路202は、パラメータbをインクリメントし(S218)、再びステップS206から始まる処理を実行する。このように、画像生成回路202は、逐次的に動き補償を実行するが、動き補償する際に前記の差分画像判定を実行しながら動き補償が可能か否かを判定する。そのため、画像生成回路202は、動き補償に起因して生成画像CP(t+h)にノイズが発生することを抑制できる。
尚、画像処理装置100の各構成要素が実現する機能は、例えば、以下に例示する情報処理装置を用いて所定のプログラムにより実現することも可能である。
[ハードウェア構成]
上記の画像処理装置100が有する機能は、例えば、図7に示すハードウェア構成を有する情報処理装置によっても実現することが可能である。図7は、上記の画像処理装置100の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成例を示す説明図である。
図6に示すように、前記の情報処理装置は、主に、CPU(Central Processing Unit)902と、ROM(Read Only Memory)904と、RAM(Random Access Memory)906と、ホストバス908と、ブリッジ910と、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926とにより構成される。
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、例えば、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する。RAM906は、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908によって相互に接続されている。また、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続されている。
入力部916は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部916は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段(所謂、リモコン)であってもよい。なお、入力部916は、上記の操作手段を用いて入力された情報を入力信号としてCPU902に伝送するための入力制御回路等により構成されている。
出力部918は、例えば、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)、又はELD(Electro−Luminescence Display)等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
記憶部920は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ(HDD;Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD−DVDメディア、コンパクトフラッシュ(CF;CompactFlash)(登録商標)、メモリースティック、又はSDメモリカード(Secure Digital memory card)等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit Card)、又は電子機器等であってもよい。
接続ポート924は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、放送、又は衛星通信等である。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記の実施形態の説明においては、後方のフレームを参照して動き予測、及び動き補償を実行する方法について述べたが、本発明の技術的範囲はこれに限定されず、前方のフレーム、或いは、前後のフレームを参照して動き予測、及び動き補償を実行することも可能である。
高解像度生成画像の生成方法を説明するための説明図である。 本発明の一実施形態に係る画像処理装置の装置構成を示す説明図である。 本実施形態に係る画像生成回路の動作を説明するための説明図である。 本実施形態に係る画像生成回路の動作を説明するための説明図である。 本実施形態に係る画像生成回路の動作を説明するための説明図である。 本実施形態に係る高解像度画像の生成方法を示す説明図である。 本実施形態に係る画像処理装置の機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。
符号の説明
100 画像処理装置
102 撮像レンズ
104 撮像素子
106 画像生成タイミングコントローラ
108 表示回路
110 カメラ信号処理ブロック
112 A/D変換器
114 デジタル信号処理回路
120 動画像記録再生ブロック
122、132 記憶部
124 動画像圧縮/伸長回路
126 画像密度変換回路
130 静止画像記録再生ブロック
134 静止画像圧縮/伸長回路
202 画像生成回路
204 フレームメモリ
212 動き予測部
214 動き補償部
HRP 高解像度記録画像
LRP 低解像度記録画像
MP 拡大スケーリング画像
CP、CP’ 生成画像

Claims (10)

  1. 複数のフレームを含む第1映像データと、前記第1映像データに含まれるフレームよりも高い解像度を有する第2映像データとを受け取る受け取り部と、
    前記受け取り部により受け取られた第1映像データに含まれる複数のフレームを用いて当該フレームのそれぞれに対して拡大スケーリングすることにより、拡大スケーリング画像を生成する生成部と、
    前記生成部により生成された拡大スケーリング画像間の動きベクトルを検出する動き予測部と、
    前記受け取り部により受け取られた第2映像データと前記動き予測部により検出された動きベクトルとに基づいて前記第2映像データに時間的に近い第1映像データのフレームに対応する動き補償された画像データを生成し、動き補償された画像データと前記動きベクトルとに基づいて、前記第1映像データに含まれるフレームに対応する動き補償された画像データを、第2映像データに時間的に近い第1映像データのフレームから順に生成する画像生成部と、
    を備える、
    画像処理装置。
  2. 前記動き予測部は、時間的に隣合う前記拡大スケーリング画像間の動きベクトルを検出し、
    前記画像生成部は、前記第2映像データを動き補償することによって、動き補償された画像データを生成し、当該動き補償された画像データを動き補償することによって、逐次的に前記第1映像データのフレームに対応する動き補償された画像データを生成する、
    請求項に記載の画像処理装置。
  3. 前記生成部は、前記第1映像データに含まれる複数の前記フレームを前記第2映像データと同じ空間解像度に拡大することにより前記拡大スケーリング画像を生成する、
    請求項1に記載の画像処理装置。
  4. 前記画像生成部は、前記動き予測部により検出された動きベクトルを用いて動き補償を行う際に、前記動きベクトルの参照元に対応する前記第2映像データと前記動きベクトルの参照先に対応する前記拡大スケーリング画像とを参照して、前記動き補償された画像データを生成する、
    請求項1に記載の画像処理装置。
  5. 前記第1映像データと前記第2映像データとを記憶する記憶部をさらに備え、
    前記受け取り部は、前記記憶部から、前記第1映像データと前記第2映像データとを受け取る、
    請求項1に記載の画像処理装置。
  6. 前記第2映像データは、前記第1映像データよりも空間解像度が高い、
    請求項1に記載の画像処理装置。
  7. 前記記憶部は、前記第1映像データとして、撮像された画像信号をダウンサンプリング処理して得られた画像データを記憶する、
    請求項に記載の画像処理装置。
  8. 複数のフレームを含む第1映像データと、前記第1映像データに含まれるフレームよりも高い解像度を有する第2映像データとを受け取る工程と、
    受け取られた前記第1映像データに含まれる複数の前記フレームを用いて前記フレームのそれぞれに対して拡大スケーリングすることにより、拡大スケーリング画像を生成する工程と、
    生成された前記拡大スケーリング画像間の動きベクトルを検出する工程と、
    受け取られた前記第2映像データと検出された前記動きベクトルとに基づいて前記第2映像データに時間的に近い第1映像データのフレームに対応する動き補償された画像データを生成し、動き補償された画像データと前記動きベクトルとに基づいて、前記第1映像データに含まれるフレームに対応する動き補償された画像データを、第2映像データに時間的に近い第1映像データのフレームから順に生成する工程と、
    を含む、
    画像処理方法。
  9. 複数のフレームを含む第1映像データと、前記第1映像データに含まれるフレームよりも高い解像度を有する第2映像データとを受け取る受け取り機能と、
    前記受け取り機能により受け取られた前記第1映像データに含まれる複数の前記フレームを用いて前記フレームのそれぞれに対して拡大スケーリングすることにより、拡大スケーリング画像を生成する生成機能と、
    前記生成機能により生成された前記拡大スケーリング画像間の動きベクトルを検出する動き予測機能と、
    前記受け取り機能により受け取られた第2映像データと前記動き予測機能により検出された動きベクトルとに基づいて前記第2映像データに時間的に近い第1映像データのフレームに対応する動き補償された画像データを生成し、動き補償された画像データと前記動きベクトルとに基づいて、前記第1映像データに含まれるフレームに対応する動き補償された画像データを、第2映像データに時間的に近い第1映像データのフレームから順に生成する画像生成機能と、
    コンピュータに実現させるためのプログラム。
  10. 複数のフレームを含む第1映像データと、前記第1映像データに含まれるフレームよりも高い解像度を有する第2映像データとを受け取る受け取り機能と、
    前記受け取り機能により受け取られた前記第1映像データに含まれる複数の前記フレームを用いて前記フレームのそれぞれに対して拡大スケーリングすることにより、拡大スケーリング画像を生成する生成機能と、
    前記生成機能により生成された前記拡大スケーリング画像間の動きベクトルを検出する動き予測機能と、
    前記受け取り機能により受け取られた第2映像データと前記動き予測機能により検出された動きベクトルとに基づいて前記第2映像データに時間的に近い第1映像データのフレームに対応する動き補償された画像データを生成し、動き補償された画像データと前記動きベクトルとに基づいて、前記第1映像データに含まれるフレームに対応する動き補償された画像データを、第2映像データに時間的に近い第1映像データのフレームから順に生成する画像生成機能と、
    コンピュータに実現させるためのプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
JP2007160590A 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム Expired - Fee Related JP4877090B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2007160590A JP4877090B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム
EP08764437.3A EP2161928B1 (en) 2007-06-18 2008-05-21 Image processing device, image processing method, and program
CN201210269974.0A CN102833457B (zh) 2007-06-18 2008-05-21 图像处理设备和图像处理方法
CN2008800205818A CN101690189B (zh) 2007-06-18 2008-05-21 图像处理设备、图像处理方法
RU2011141290/08A RU2506713C2 (ru) 2007-06-18 2008-05-21 Устройство и способ обработки изображения
KR20097024642A KR20100021574A (ko) 2007-06-18 2008-05-21 화상처리장치, 화상처리방법 및 프로그램
US12/597,792 US8804832B2 (en) 2007-06-18 2008-05-21 Image processing apparatus, image processing method, and program
PCT/JP2008/059314 WO2008155972A1 (ja) 2007-06-18 2008-05-21 画像処理装置、画像処理方法、及びプログラム
RU2009147046/07A RU2446616C2 (ru) 2007-06-18 2008-05-21 Устройство обработки изображения, способ обработки изображения
BRPI0813400-6A2A BRPI0813400A2 (pt) 2007-06-18 2008-05-21 Aparelho de processamento de imagem, método de processamento de imagem, e, programa.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007160590A JP4877090B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011210038A Division JP5170296B2 (ja) 2011-09-27 2011-09-27 撮像装置、撮像方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2008312162A JP2008312162A (ja) 2008-12-25
JP4877090B2 true JP4877090B2 (ja) 2012-02-15

Family

ID=40156131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007160590A Expired - Fee Related JP4877090B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム

Country Status (8)

Country Link
US (1) US8804832B2 (ja)
EP (1) EP2161928B1 (ja)
JP (1) JP4877090B2 (ja)
KR (1) KR20100021574A (ja)
CN (2) CN101690189B (ja)
BR (1) BRPI0813400A2 (ja)
RU (2) RU2446616C2 (ja)
WO (1) WO2008155972A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2153649A2 (en) * 2007-04-25 2010-02-17 David Chaum Video copy prevention systems with interaction and compression
WO2010010942A1 (ja) * 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
CN102100072B (zh) * 2008-07-25 2013-03-27 索尼公司 图像处理装置和方法
WO2010035776A1 (ja) * 2008-09-26 2010-04-01 日本電気株式会社 サーバ装置及び通信システムと通信方法とプログラム
JP5146335B2 (ja) * 2009-01-22 2013-02-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
KR20110042980A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 반복 처리를 통해 화질을 개선하는 디스플레이 장치 및 이에 적용되는 영상 처리 방법
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
US20110243442A1 (en) * 2010-03-31 2011-10-06 Agrawal Amit K Video Camera for Acquiring Images with Varying Spatio-Temporal Resolutions
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
CN103262545B (zh) * 2010-12-17 2015-10-14 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法
CN102821241B (zh) * 2011-06-10 2015-06-03 华晶科技股份有限公司 利用对象移动趋势驱动快门的装置及方法
KR101921935B1 (ko) * 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
GB2509704B (en) * 2013-01-04 2016-06-01 Canon Kk Method and device for processing prediction information for encoding or decoding at least part of an image
EP2967438A1 (en) * 2013-03-15 2016-01-20 Koninklijke Philips N.V. Apparatus and method for determining a respiration volume signal from image data
CN104869381B (zh) * 2014-02-25 2017-07-25 炬芯(珠海)科技有限公司 一种图像处理系统、方法及装置
US20150262380A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Adaptive resolution in optical flow computations for an image processing system
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN105704403B (zh) * 2016-01-18 2019-04-23 深圳市金立通信设备有限公司 一种图像处理的方法及终端
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066760A (ja) * 1992-06-22 1994-01-14 Canon Inc 画像情報再生装置
JP3404803B2 (ja) 1993-06-18 2003-05-12 松下電器産業株式会社 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
KR100215586B1 (ko) 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP3240339B2 (ja) * 1993-11-16 2001-12-17 コニカ株式会社 画像撮影装置及び画像処理装置
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
JP3631804B2 (ja) 1995-04-26 2005-03-23 富士写真フイルム株式会社 画像データ記録装置および方法
RU2201654C2 (ru) * 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
JP4244394B2 (ja) * 1998-02-17 2009-03-25 富士ゼロックス株式会社 多地点会議システム
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6907075B2 (en) * 2000-06-30 2005-06-14 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7949047B2 (en) * 2003-03-17 2011-05-24 Qualcomm Incorporated System and method for partial intraframe encoding for wireless multimedia transmission
JP4193552B2 (ja) * 2003-04-04 2008-12-10 ソニー株式会社 画像データ記録再生装置及び方法
JP4288992B2 (ja) 2003-04-04 2009-07-01 ソニー株式会社 撮像装置及び方法
US7627040B2 (en) 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
US7512180B2 (en) * 2003-06-25 2009-03-31 Microsoft Corporation Hierarchical data compression system and method for coding video data
TWI255146B (en) 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
US7660487B2 (en) * 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
JP4453976B2 (ja) * 2004-03-30 2010-04-21 正彦 谷内田 画像生成装置、画像データ列生成システム、及び画像伝送システム
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP2006115475A (ja) * 2004-09-15 2006-04-27 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
JP2007096412A (ja) * 2005-09-27 2007-04-12 Victor Co Of Japan Ltd 動画撮影装置及び動画送受信システム

Also Published As

Publication number Publication date
CN102833457B (zh) 2016-05-04
WO2008155972A1 (ja) 2008-12-24
CN102833457A (zh) 2012-12-19
US20100118963A1 (en) 2010-05-13
RU2009147046A (ru) 2011-07-10
EP2161928B1 (en) 2013-12-04
RU2446616C2 (ru) 2012-03-27
EP2161928A4 (en) 2011-01-26
US8804832B2 (en) 2014-08-12
RU2011141290A (ru) 2013-04-20
CN101690189A (zh) 2010-03-31
CN101690189B (zh) 2012-10-10
JP2008312162A (ja) 2008-12-25
KR20100021574A (ko) 2010-02-25
RU2506713C2 (ru) 2014-02-10
EP2161928A1 (en) 2010-03-10
BRPI0813400A2 (pt) 2014-12-30

Similar Documents

Publication Publication Date Title
JP4877090B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4356777B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4826546B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4525561B2 (ja) 撮像装置、画像処理方法、並びにプログラム
WO2010035730A1 (ja) 画像処理装置および方法
JP4780222B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2010035157A (ja) 画像処理装置
JP5170296B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5327297B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5327296B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4179089B2 (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
JP2007228119A (ja) 撮像装置、画像処理方法、およびプログラム
JP6416255B2 (ja) 画像処理システム、及び、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110927

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111114

R151 Written notification of patent or utility model registration

Ref document number: 4877090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees