JP5546593B2 - 画像表示装置及びその制御方法 - Google Patents

画像表示装置及びその制御方法 Download PDF

Info

Publication number
JP5546593B2
JP5546593B2 JP2012168674A JP2012168674A JP5546593B2 JP 5546593 B2 JP5546593 B2 JP 5546593B2 JP 2012168674 A JP2012168674 A JP 2012168674A JP 2012168674 A JP2012168674 A JP 2012168674A JP 5546593 B2 JP5546593 B2 JP 5546593B2
Authority
JP
Japan
Prior art keywords
image
images
input
image processing
independent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012168674A
Other languages
English (en)
Other versions
JP2013065283A (ja
Inventor
英一 松崎
徹 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012168674A priority Critical patent/JP5546593B2/ja
Priority to US13/595,329 priority patent/US20130057578A1/en
Publication of JP2013065283A publication Critical patent/JP2013065283A/ja
Application granted granted Critical
Publication of JP5546593B2 publication Critical patent/JP5546593B2/ja
Priority to US15/178,759 priority patent/US10127701B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/06Use of more than one graphics processor to process data before displaying to one or more screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置及びその制御方法に関する。
近年、高解像度の画像フォーマットが提案されている。例えば、デジタルシネマでは、フルHD(HighDefinition:1920×1080画素)の4倍の画素数(3840×2160画素)の画像フォーマットが提案されている。
このような高解像度の画像(高解像画像)を処理するためには、高速な信号処理回路が必要である。しかしながら、そのような高速な信号処理回路を用いると、装置のコストが増してしまう。
そこで、高解像画像を複数の分割画像に分割し、複数の信号処理回路を用いて複数の分割画像に対する画像処理を並列に行うことにより、低速な信号処理回路を用いて高解像画像を処理する方法が考えられる。
しかしながら、分割画像に対し、近傍画素を参照するような空間フィルタ処理を施す場合には、他の分割画像との境界部分で、本来あるべき画素(他の分割画像の画素)の値が参照されないため、適切な処理結果を得ることができない。そのため、画像処理された分割画像を合成して高解像画像を生成、表示した際に、分割画像間で画素値が不連続となり、境界線が見えてしまうことがある。
このような課題を解決するため、高解像画像を複数の分割画像に分割する際に、分割画像の端部に、該分割画像に隣接する分割画像(隣接画像)から生成されたのりしろ画像を付加する技術が提案されている(例えば、特許文献1,2参照)。このような技術を用いれば、分割画像間の境界部分において適切な処理結果を得ることができ、上述した境界線の発生を抑制することができる。このような技術は、例えば、特許文献1,2に開示されている。
特開2010−245961号公報 特開2008−263646号公報
しかしながら、画像処理装置には、マルチ構成画像(それぞれ独立した複数の独立画像が並べられた画像)が入力されることがある。入力された画像がマルチ構成画像である場合に、独立画像の端部に、該独立画像の隣接画像から生成されたのりしろ画像を付加してしまうと、独立画像間の境界部分において適切な処理結果を得ることができないことがある。例えば、上記のりしろ画像が付加された独立画像に対し、近傍画素を参照する画像処理を施すと、他の独立画像との境界部分で、処理対象の独立画像と関連の無い他の独立画像の画素値が参照されてしまう。そのため、適切な処理結果を得ることができない。
そこで、本発明は、複数の入力画像に画像処理を施し、該画像処理が施された複数の入力画像が並べられた合成画像を生成する際に、適切な画像処理結果を得ることのできる技術を提供することを目的とする。
本発明の画像表示装置は、
複数の入力画像が、1つの元画像を分割して得られた複数の分割画像であるか、それぞれ独立した複数の独立画像であるかを判断する判断手段と、
前記判断手段による判断結果に基づいて、前記複数の入力画像に画像処理を施す複数の画像処理手段と、
前記判断手段で前記複数の入力画像が複数の分割画像であると判断された場合、及び、前記判断手段で前記複数の入力画像が複数の独立画像であると判断された場合に、前記複数の画像処理手段で画像処理が施された前記複数の入力画像を合成する合成手段と、
前記合成手段により合成された前記複数の入力画像を表示する表示手段と、
を有し、
前記複数の画像処理手段の各々は、
前記判断手段で前記複数の入力画像が複数の分割画像であると判断された場合に、前記元画像において処理対象の入力画像に隣接する他の入力画像からのりしろ画像を生成し、前記処理対象の入力画像の端部に前記のりしろ画像を付加し、前記のりしろ画像が付加された前記処理対象の入力画像に画像処理を施し、
前記判断手段で前記複数の入力画像が複数の独立画像であると判断された場合に、前記元画像において処理対象の入力画像に隣接する他の入力画像からのりしろ画像を生成して前記処理対象の入力画像の端部に付加することは行わずに、前記処理対象の入力画像に画像処理を施す
ことを特徴とする。
本発明の画像表示装置の制御方法は、
複数の入力画像が、1つの元画像を分割して得られた複数の分割画像であるか、それぞれ独立した複数の独立画像であるかを判断する判断ステップと、
前記判断ステップによる判断結果に基づいて、複数の画像処理手段が前記複数の入力画像に画像処理を施す画像処理ステップと、
前記判断手段で前記複数の入力画像が複数の分割画像であると判断された場合、及び、前記判断手段で前記複数の入力画像が複数の独立画像であると判断された場合に、前記画像処理ステップで画像処理が施された前記複数の入力画像を合成する合成ステップと、
前記合成ステップにより合成された前記複数の入力画像を表示する表示ステップと、
を有し、
前記画像処理ステップでは、
前記複数の画像処理手段の各々が、
前記判断ステップで前記複数の入力画像が複数の分割画像であると判断された場合に、前記元画像において処理対象の入力画像に隣接する他の入力画像からのりしろ画像を生成し、前記処理対象の入力画像の端部に前記のりしろ画像を付加し、前記のりしろ画像が付加された前記処理対象の入力画像に画像処理を施し、
前記判断ステップで前記複数の入力画像が複数の独立画像であると判断された場合に、前記元画像において処理対象の入力画像に隣接する他の入力画像からのりしろ画像を生成して前記処理対象の入力画像の端部に付加することは行わずに、前記処理対象の入力画像に画像処理を施す
ことを特徴とする。
本発明によれば、複数の入力画像に画像処理を施し、該画像処理が施された複数の入力画像が並べられた合成画像を生成する際に、適切な画像処理結果を得ることができる。
実施例1に係る画像処理装置の機能構成の一例 実施例1に係る入力処理部の機能構成の一例 実施例1に係る元画像、低解像画像、のりしろ画像の一例 実施例1に係る低解像画像の読み出しに関する処理の流れの一例 低解像画像にのりしろ画像が付加される様子の一例 実施例2に係る画像処理システムの構成の一例 実施例2に係る画像生成装置の機能構成の一例 実施例2に係る画像処理装置の機能構成の一例 実施例2に係る入力処理部の機能構成の一例 実施例2に係る入力処理部の機能構成の一例 実施例2に係る入力処理部での処理の流れの一例 実施例3に係る画像処理装置の機能構成の一例 実施例3に係る入力処理部の機能構成の一例 実施例3に係る低解像画像の読み出しに関する処理の流れの一例
以下、本発明の実施例に係る画像処理装置及びその制御方法について説明する。
<実施例1>
図1は、実施例1に係る画像処理装置の機能構成の一例を示すブロック図である。図1に示すように、本実施例に係る画像処理装置は、入力処理部101、フレームメモリ102、画像処理部103〜106、合成部107、表示部108などを有する。
入力処理部101は、入力された画像(元画像)を分割することにより複数の低解像画像(入力画像)を生成する。具体的には、入力処理部101は、元画像をフレームメモリ102へ書き込む。そして、入力処理部101は、フレームメモリ102へ書き込んだ元画像を複数の低解像画像に分割して読み出し、複数の低解像画像を画像処理部103〜106へ出力する。入力処理部101の詳細については後述する。
なお、本実施例では、元画像が4つの低解像画像に分割され、該4つの低解像画像がそれぞれ4つの画像処理部へ入力される構成としたが、この構成に限らない。分割数(分割画像の数)は2つ(縦又は横方向に2分割)、3つ(縦又は横方向に3分割)、6つ(縦方向に2分割×横方向に3分割、又は縦方向に3分割×横方向に2分割)、9つ(縦方向に3分割×横方向に3分割)などであってもよい。
また、「低解像画像」の画素数は特に限定されない。本実施例では、元画像よりも画素数が少ないという理由から、元画像を分割して得られる画像を低解像画像とよぶ。
なお、本発明における「解像度」は、例えば1インチ×1インチあたりに含まれる画素の数といった、定められた領域における画素密度に限定されるものではない。本発明における「解像度」は、画像信号が本来有する画素の数という意味を含む表現である。従って、「低解像」は、画素密度が低いことに限定されず、画素の数が少ないという意味を含む。「高解像」は、画素の密度が高いことに限定されず、画素の数が多いという意味を含む。本発明の特許請求の範囲、明細書及び図面で用いられる「解像度」は、上述した定義で利用されていることに留意されたい。
画像処理部103〜106は、複数の低解像画像に画像処理を施す。具体的には、画像処理部103〜106は、それぞれ、入力処理部101から出力された低解像画像を、画像処理を施して合成部107へ出力する。本実施例では、各低解像画像に対する画像処理を並列に行うため、低解像画像数と同じ数の画像処理部が用意されている。なお、本実施例では、低解像画像数と同じ数の画像処理部を用いる構成(低解像画像と画像処理部が1対1の構成)としたが、この構成に限らない。例えば、複数の低解像画像に対して1つの画像処理部が設けられていてもよい。具体的には、元画像が8つの低解像画像に分割され、8つの低解像画像が2つずつ画像処理部103〜106に入力され、画像処理されてもよい。
合成部107は、画像処理部103〜106で画像処理が施された複数の低解像画像を合成することにより、1つの合成画像を生成する。具体的には、合成部107は、画像処理部103〜106から出力された複数の低解像画像をフレームメモリ102へ書き込むとともに、フレームメモリ102へ書き込んだ複数の低解像画像を読み出し、合成して表示部108へ出力する。
表示部108は、合成部107から出力された合成画像を表示する。表示部108とし
ては、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ELディスプレイパネルなどを用いることができる。なお、本実施例では、画像処理装置が表示部を有する構成としたが、表示部は画像処理装置と別体の装置であってもよい。
フレームメモリ102は、入力処理部101及び合成部107での処理に用いられるフレームメモリであり、複数のフレームの画像を保持することのできるフレームメモリである。
図2は、入力処理部101の機能構成の一例を示すブロック図である。図2に示すように、入力処理部101は、書き込み制御部1011、境界解析部1012、RDMAC(Read Direct Memory Access Controller)1013、読み出し制御部1014などを有する。
書き込み制御部1011は、元画像をフレームメモリ102へ書き込む制御を行う。
境界解析部1012は、複数の低解像画像を所定の順番で並べた際の低解像画像間(入力画像間)の境界部分毎に、低解像画像間で画素値の変化が連続となるか否か(画素値の連続性が有るか否か)を判断する。具体的には、境界解析部1012は、一方の低解像画像から他方の低解像画像へ画素値が連続的に変化しているか否かを判断する。そして、境界解析部1012は、その判断結果を読み出し制御部1014に出力する。
読み出し制御部1014は、元画像を複数の低解像画像に分割し、該複数の低解像画像を並列的に複数の画像処理部(画像処理部103〜106)へ出力する。具体的には、読み出し制御部1014は、低解像画像毎に、その低解像画像をフレームメモリ102から読み出すための読み出し要求をRDMAC1013へ出力する。このとき、読み出し制御部1014は、元画像を分割して得られる複数の低解像画像が、1つのシングル構成画像を分割して得られた複数の分割画像であるか、それぞれ独立した複数の独立画像であるかを判断する。換言すれば、読み出し制御部1014は、元画像が、1つの高解像画像であるか、複数の独立画像が並べられたマルチ構成画像であるかを判断する。本実施例では、読み出し制御部1014は、境界解析部1012による画素値の連続性の判断結果に基づいて、複数の低解像画像が複数の分割画像であるか複数の独立画像であるかを判断する。そして、読み出し制御部1014は、複数の低解像画像が複数の分割画像であるか複数の独立画像であるかの判断結果に基づいて、上記読み出し要求を出力する。読み出し制御部1014は、読み出し要求に応じてRDMAC1013から並列的に出力された複数の低解像画像を、複数の画像処理部へ出力する。
なお、複数の低解像画像が複数の分割画像である場合、シングル構成画像の画素数は低解像画像よりも多くなるため、シングル構成画像を高解像画像とよんでもよい。
RDMAC1013は、メモリ読み出し制御部1014からの低解像画像毎の読み出し要求を調停して、フレームメモリ102から複数の低解像画像を並列的に読み出し、読み出し制御部1014へ出力する。
本実施例に係る画像処理装置の動作の具体例について以下に詳述する。
図3(A)は、本実施例に係る画像処理装置に入力される画像(元画像)の一例を示す模式図である。
本実施例では、図3(A)に示すように、水平方向3840画素、垂直方向2160ラインの画像が画像処理装置に入力されるものとする。なお、元画像のサイズはどのようなサイズであってもよい。例えば、元画像は、水平方向の画素数×垂直方向のライン数が1920×1080や4096×2160の画像であってもよい。
まず、書き込み制御部1011が、元画像をフレームメモリ102へ書き込む。
同時に、境界解析部1012が、読み出し制御部1014にて読み出される低解像画像間(元画像を分割することにより得られる低解像画像間)の境界部分毎に、その境界部分において画素値の連続性が有るか否かを判断する。
本実施例では、読み出し制御部1014において、元画像が4つの低解像画像に分割されて読み出される。元画像が複数の低解像画像に分割される様子の一例を図3(B)に示す。図3(B)の例では、図3(A)で示した元画像が、互いにサイズが等しい4つの低解像画像A1〜A4に分割されている。1つの低解像画像は、水平方向1920画素、垂直方向1080ラインの画像である。そのため、境界解析部1012では、低解像画像A1とA2の境界部分、低解像画像A1とA3の境界部分、低解像画像A2とA4の境界部分、低解像画像A3とA4の境界部分の4つの境界部分について、上記連続性の判断が行われる。
境界解析部1012は、例えば、低解像画像A1と低解像画像A2の境界部分の画素値の連続性を判断する場合に、低解像画像A1と低解像画像A2の境界から所定の範囲内の低解像画像A1と低解像画像A2とを比較する。そして、境界解析部1012は、上記所定の範囲内の低解像画像A1と低解像画像A2とが類似している場合に、低解像画像A1と低解像画像A2の境界部分において画素値の連続性が有ると判断する。具体的には、境界解析部1012は、上記所定の範囲内にある低解像画像A1の画素値の代表値と、上記所定の範囲内にある低解像画像A2の画素値の代表値との差分が所定の閾値以下の場合に、上記所定の範囲内の低解像画像A1とA2が類似していると判断する。上記所定の範囲は、例えば、低解像画像間の境界からの距離がN(N=1,5,10など)画素の領域である。
なお、連続性の判断の方法は、上記方法に限らない。
例えば、上記所定の範囲内にある一方の低解像画像の複数の画素値と、上記所定の範囲内にある他方の低解像画像の複数の画素値とがそれぞれ比較されてもよい。具体的には、上記所定の範囲内にある一方の低解像画像の複数の画素値と、上記所定の範囲内にある他方の低解像画像の複数の画素値との差分がそれぞれ算出されてもよい。そして、各差分(または差分の代表値)が所定の閾値以下の場合に、上記所定の範囲内の2つの分割画像が互いに類似していると判断されてもよい。
そして、読み出し制御部1014が、上記連続性の判断結果に基づいて、複数の低解像画像が複数の分割画像か否か(元画像がシングル構成画像か否か)を判断する。本実施例では、読み出し制御部1014は、全ての境界部分について画素値の連続性があると判断された場合に、複数の低解像画像が複数の分割画像であると判断する。
なお、複数の低解像画像が複数の分割画像か否かの判断方法はこれに限らない。例えば、全ての境界部分に対する、画素値の連続性があると判断された境界部分の割合が所定値以上の場合に、複数の低解像画像が複数の分割画像であると判断してもよい。画素値の連続性があると判断された境界部分が1つでもある場合に、複数の低解像画像が複数の分割画像であると判断してもよい。
また、元画像を分割して得られる複数の低解像画像が複数の分割画像か否か、元画像が上記シングル構成画像か否か、などを示す画像情報が外部から取得される場合には、上記連続性の判断を行わなくてもよい。そのような場合には、上記画像情報を用いて、複数の低解像画像が複数の分割画像か否か(元画像が上記シングル構成画像か否か)が判断されてもよい。画像情報は、例えば、画像にメタデータとして付加されていてもよい。
次に、読み出し制御部1014が、複数の低解像画像が複数の分割画像か否かの判断結果を基に、フレームメモリ102から低解像画像を読み出す。
読み出し制御部1014による低解像画像の読み出しに関する処理の流れの一例を、図4(A)のフローチャートに示す。
まず、境界解析部1012が、複数の低解像画像の境界部分毎に、画素値の連続性が有るか否かを判断する(S101)。
そして、読み出し制御部1014は、全ての境界部分について画素値の連続性があるか
否かを判断する(S102)。
全ての境界部分について画素値の連続性があると判断された場合(S102:YES)、読み出し制御部1014は、複数の低解像画像が複数の分割画像である(元画像が1つのシングル構成画像である)と判断し、S103へ処理が進められる。S103では、読み出し制御部1014が、各低解像画像の端部に、上記シングル構成画像においてその低解像画像に隣接する低解像画像から生成されたのりしろ画像を付加する。具体的には、のりしろ画像が付加された複数の低解像画像がフレームメモリ102から読み出される。
画素値の連続性がないと判断された境界部分がある場合(S102:NO)、読み出し制御部1014は、複数の低解像画像が複数の分割画像でない(複数の低解像画像が複数の独立画像である;元画像がマルチ構成画像である)と判断する。そして、読み出し制御部1014は、複数の低解像画像をそのまま読み出す。即ち、上記のりしろ画像の付加を行わずに、のりしろ画像が付加されていない複数の低解像画像が読み出される。
読み出された複数(4つ)の低解像画像(のりしろ画像が付加されている低解像画像/のりしろ画像が付加されていない低解像画像)は、4つの画像処理部103〜106へそれぞれ出力される。
そして、画像処理部103〜106が、入力処理部101から出力される4つの低解像画像(のりしろ画像が付加されている低解像画像/のりしろ画像が付加されていない低解像画像)をそれぞれ並列的に処理して出力する。
即ち、画像処理部103〜106では、複数の低解像画像が複数の分割画像であると判断された場合に、のりしろ画像が付加された複数の低解像画像に画像処理が施される。また、複数の低解像画像が複数の独立画像であると判断された場合に、他の低解像画像から生成されたのりしろ画像が付加されていない複数の低解像画像に画像処理が施される。具体的には、のりしろ画像が付加されていない複数の低解像画像に画像処理が施される。
なお、低解像画像にのりしろ画像が付加されている場合には、低解像画像の領域に対してのみ画像処理が施されてもよいし、低解像画像とのりしろ画像の両方の領域に対して画像処理が施されてもよい。低解像画像の領域に対してのみ画像処理を施す構成とすれば、画像処理の処理負荷を低減することができる。
次に、合成部107が、画像処理部103〜106から出力される複数の低解像画像をフレームメモリ102へ書き込む。そして、合成部107は、当該書き込んだ低解像画像を読み出して、複数の低解像画像が並べられた合成画像(本実施例では水平方向3840画素、垂直方向2160ラインの画像)として表示部108へ出力する。それにより、元画像が、画像処理が施されて表示されることとなる。なお、低解像画像にのりしろ画像が付加されている場合には、合成部107は、付加されているのりしろ画像を削除して低解像画像を読み出す。
なお、本実施例では、複数の低解像画像を所定の順番で並べたものを合成画像とするが、合成画像はこれに限らない。複数の低解像画像が複数の分割画像である場合に、複数の低解像画像を所定の順番(正しいシングル構成画像を形成する順番)で並べたものが合成画像とされればよい。複数の低解像画像が複数の独立画像である場合には、複数の低解像画像を所定の順番で並べたものが合成画像とされてもよいし、複数の低解像画像をランダムな順番で並べたものが合成画像とされてもよい。
図3(C)は、低解像画像A1に対しのりしろ画像が付加される様子を示す模式図である。
図3(C)の例では、水平方向1920画素、垂直方向1080ラインの低解像画像A1をフレームメモリ102から読み出す際に、画像A2−1、画像A3−1、画像A4−1がのりしろ画像として付加される。画像A2−1は、低解像画像A1の右側に付加される、水平方向α画素、垂直方向1080ラインののりしろ画像である。画像A3−1は、低解像画像A1の下側に付加される、水平方向1920画素、垂直方向βラインののりし
ろ画像である。画像A4−1は、低解像画像A1の右下側に付加される、水平方向α画素、垂直方向βラインののりしろ画像である。α,βの値は、後段の画像処理部で低解像画像の領域を処理(例えば、空間フィルタ処理)する際に用いられる(参照される)画素が含まれるように決定される。例えば、画像処理部で実行される処理が空間フィルタ処理である場合には、α,βの値は、該空間フィルタのサイズに基づいて決定される。α,βの値は、予め読み出し制御部1014内に設定されていていてもよいし、外部から(ユーザやメーカ等により)入力されてもよい。空間フィルタ処理では、注目画素とその近傍の画素の画素値に画素位置に応じた重み付けがされ、それら(重み付けされた画素値)の和が、注目画素の新しい画素値として算出される。空間フィルタ処理としては、画像内のノイズを除去する平滑化フィルタ処理や、画像内のエッジを強調するエッジ強調処理などが挙げられる。
低解像画像A2〜A4をフレームメモリ102から読み出す際にも、同様に、隣接する低解像画像から生成されたのりしろ画像が付加される。
なお、のりしろ画像の画素値は、低解像画像A1に隣接する低解像画像A2〜A4の少なくとも一部の領域の画素値を用いて決定される。例えば、画像A2−1の画素値は、低解像画像A2の画素値を用いて決定される。画像A3−1の画素値は、低解像画像A3の画素値を用いて決定される。画像A4−1の画素値は、低解像画像A4の画素値を用いて決定される。具体的には、のりしろ画像の画素毎に、その画素に対応する他の低解像画像の画素の値が画素値とされる。例えば、低解像画像A2の低解像画像A1と隣接する水平方向α画素、垂直方向1080ラインの領域の画像が画像A2−1とされる。
但し、のりしろ画像の画素値の決定方法はこれに限らない。
低解像画像に隣接する画素(隣接する低解像画像の画素)の値のみを用いてのりしろ画像の画素値が決定されてもよい。例えば、ライン毎(行毎)に、そのラインにおいて低解像画像A1と隣接する低解像画像A2の画素の値が、該ラインの画像A2−1の各画素の値とされてもよい。列毎に、その列において低解像画像A1と隣接する低解像画像A3の画素の値が、該列の画像A3−1の各画素の値とされてもよい。そして、低解像画像A1と隣接する低解像画像A4の画素の値が、画像A4−1の各画素の値とされてもよい。
また、のりしろ画像毎に、そののりしろ画像に対応する低解像画像の画素値の代表値(平均値、最頻値、最大値、最小値など)が、該のりしろ画像の各画素値とされてもよい。例えば、低解像画像A2の低解像画像A1と隣接する水平方向α画素、垂直方向1080ラインの領域の画素値の代表値(平均値、最頻値、最大値、最小値など)が画像A2−1の各画素の値とされてもよい。
複数の低解像画像が複数の分割画像である場合(元画像が1つのシングル構成画像である場合)、のりしろ画像を付加しなければ、画像処理部での処理において、本来あるべき画素(他の低解像画像の画素)の値が参照されず、適切な処理結果を得ることができない。本実施例では、複数の低解像画像が複数の分割画像である場合に、各低解像画像の端部に、その低解像画像に隣接する低解像画像から生成されたのりしろ画像が付加される。そのため、画像処理部での処理において、本来あるべき画素の値(またはそれに準じた値)が参照され、適切な処理結果を得ることができる。
図3(D)は、4つの独立画像B,C,D,Eを含むマルチ構成画像の一例を示す模式図である。独立画像B,C,D,Eは、それぞれ、低解像画像A1,A2,A3,A4に対応する。また、独立画像B,C,D,Eは、それぞれ、独立した画像であり、互いに関連性は無い。このような独立画像に対して、図3(C)と同様にのりしろ画像を付加すると、独立画像に対して全く関連性の無い画像がのりしろ画像として付加されてしまう。例えば、図3(E)に示すように、独立画像Bの端部に、全く関連性の無い独立画像C,D,E(独立画像Bに隣接する独立画像)から生成されたのりしろ画像C−1,D−1,E−1が付加されてしまう。その結果、1つの独立画像に対する処理において、全く関連性
の無い独立画像の画素値が参照されてしまう。そのため、境界部分において適切な処理結果を得ることができない(境界部分において画像の不整合が生じてしまう)。本実施例では、複数の低解像画像が複数の独立画像である場合に、低解像画像へのりしろ画像の付加は行われない。そのため、上記不整合が発生することなく、適切な処理結果を得ることができる。
以上述べたように、本実施例によれば、複数の低解像画像が複数の分割画像であるか複数の独立画像であるかが判断される。そして、複数の低解像画像が複数の分割画像であると判断された場合に、各低解像画像に、その低解像画像に隣接する低解像画像から生成されたのりしろ画像が付加される。そして、該のりしろ画像が付加された低解像画像に画像処理が施される。また、複数の低解像画像が複数の独立画像であると判断された場合に、他の低解像画像から生成されるのりしろ画像が付加されていない複数の低解像画像に画像処理が施される。具体的には、のりしろ画像が付加されていない複数の低解像画像に画像処理が施される。
その結果、複数の低解像画像が複数の分割画像である場合には、1つの低解像画像に対する処理において、該低解像画像に隣接する低解像画像の画素値を参照することができる。また、複数の低解像画像が複数の独立画像である場合には、1つの低解像画像に対する処理において、該低解像画像と関連性の無い低解像画像の画素値が参照されることを抑制することができる。そして、複数の低解像画像に画像処理を施し、該画像処理が施された複数の低解像画像が並べられた合成画像を生成する際に、適切な画像処理結果を得ることができる。
なお、本実施例では、読み出し制御部が複数の低解像画像が複数の分割画像か否かを判断する構成としたが、そのような判断は他の機能部が行ってもよい。例えば、そのような判断は境界解析部で行われてもよい。画像処理装置にそのような判断を行う機能部が別途設けられていてもよい。
なお、本実施例では、複数の低解像画像が複数の独立画像であると判断された場合に、低解像画像にのりしろ画像を付加しない構成としたが、複数の低解像画像が複数の独立画像であると判断された場合にものりしろ画像を付加してもよい。
図4(B)は、読み出し制御部1014による低解像画像の読み出しに関する処理の流れの他の例を示す図である。
図4(B)のS201,S202,S204の処理は、図4(A)のS101,S102,S103の処理と同様である。
画素値の連続性がないと判断された境界部分がある場合には(S202:NO)、S203において、各低解像画像の端部にのりしろ画像が付加される。具体的には、のりしろ画像が付加された複数の低解像画像がフレームメモリ102から読み出される。但し、S203で付加されるのりしろ画像は、自身(該のりしろ画像の付加対象である低解像画像)から生成された画像である。即ち、S203では、各低解像画像の端部に、その低解像画像から生成されたのりしろ画像が付加される。
図5(A),5(B)は、S203で低解像画像(独立画像)にのりしろ画像が付加される様子の一例を示した模式図である。図5(A),5(B)は、図3(D)の独立画像Bの1ライン目に対して水平方向16画素ののりしろ画像が付加される様子を示している。
図5(A)は、低解像画像の縁に位置する画素の値のみを用いて、該低解像画像に付加するのりしろ画像の画素値を決定した場合の例である。具体的には、図5(A)では、独立画像Bの1ライン目の最も右側の画素の値(B1919)が、独立画像Bの右側に付加されるのりしろ画像の1ライン目の各画素の値とされている。
図5(B)は、低解像画像の縁部の画像(縁から所定の範囲内の画像)を、該縁に対し
て反転させることにより、該低解像画像に付加するのりしろ画像を生成する場合の例である。図5(B)では、独立画像Bの1ライン目の右側縁部の画像である16画素を、独立画像Bの右側縁を基準として反転させた画像が、独立画像Bの1ライン目の右側に付加されるのりしろ画像とされている。
このように、複数の低解像画像が複数の分割画像であるか否かに拘わらず、各低解像画像にのりしろ画像が付加されることで、入力処理部101以降の処理で、処理する画像の大きさを統一することが可能となる。また、複数の低解像画像が複数の独立画像である場合、低解像画像には、該低解像画像から生成されたのりしろ画像が付加される。即ち、複数の低解像画像が複数の独立画像である場合、低解像画像には、該低解像画像と関連性のある画像がのりしろ画像として付加される。そのため、複数の低解像画像が複数の独立画像である場合に、のりしろ画像を付加したとしても、上述したような不整合が発生することなく、適切な処理結果を得ることができる。
<実施例2>
実施例1では、元画像を複数の低解像画像に分割し、複数の低解像画像を、画像処理を施して合成する構成について説明した。本実施例では、複数の低解像画像が入力され、入力された複数の低解像画像を、画像処理を施して合成する構成について説明する。
図6は、本実施例に係る画像処理システムの構成の一例を示すブロック図である。
図6に示すように、本実施例に係る画像処理システムは、画像処理装置10と画像生成装置20を有する。
画像処理装置10は、入力された複数の低解像画像を、画像処理を施して合成することにより、1つの合成画像を生成する。そして、画像処理装置10は、合成画像を表示部に表示する。
画像生成装置20は、1つの元画像を複数の低解像画像に分割し、該低解像画像を画像処理装置10へ出力する。
図7は、本実施例に係る画像生成装置20の機能構成の一例を示すブロック図である。図7に示すように、画像生成装置20は、ホストCPU201、高速バス202、中速バス203、システムROM204、ブリッジ205,207を有する。また、画像生成装置20は、DRAM206、I/Oコントローラ208、DVD装置209、HDD装置210、キーボード211、マウス212、RTC213、オーディオサブシステム214、ディスプレイコントローラ215〜218を有する。
ホストCPU(Central Processing Unit)201は、画像生成装置全体を制御する。
高速バス202は、アドレスバス、データバス、コントロールバス等を備えるPCI(Peripheral Component Interconnect)express等である。
ブリッジ205は、ホストCPU201と高速バス202との間のインタフェースを行なう。
DRAM(DynamicRandomAccessMemory)206は、メインメモリとして使用される。具体的には、DRAM206は、ホストCPU201により実行される制御プログラムを記憶している。また、DRAM206は、ホストCPU201による制御処理時にワーク領域として使われる。
中速バス203は、SerialATA(ATAttachment)等である。
ブリッジ207は、高速バス202と中速バス203とを接続する。
システムROM(ReadOnlyMemory)204は、装置全体の初期化処理を行なうプログラム等を記憶する。
ディスプレイコントローラ215〜218は、画像を生成する。具体的には、1つのディスプレイコントローラは、最大で水平方向1920画素、垂直方向1080ラインの低解像画像を生成することができる。本実施例では、4つのディスプレイコントローラを用いて、最大で水平方向3840画素、垂直方向2160ラインの元画像を生成することができる。具体的には、水平方向3840画素、垂直方向2160ラインの元画像を分割して得られる4つの低解像画像を生成することができる。
本実施例では、高速バス202を介してホストCPU201からディスプレイコントローラ215〜218へ表示情報(ディスプレイコントローラで生成される低解像画像のサイズ、元画像内での領域など)がセットされる。ディスプレイコントローラ215〜218からは、図3(B)に示したような4つの分割画像(低解像画像A1〜A4)、または、図3(D)に示したように4つの独立画像が出力される。
I/Oコントローラ208は、DVD(Digital Video Disc)装置209およびHDD(Hard Disk Drive)装置210のためのディスク・インタフェースを有する。また、I/Oコントローラ208は、外部装置との通信を行なうために用いられるシリアル・インタフェース、文字、数字等の入力を行なうためのキーボード211や、ポインティングデバイスであるマウス212とのインタフェース等を有する。
RTC213は、リアルタイムクロックであり、クロックを計数して時間を計時するタイマ機能を有する。
オーディオサブシステム214は、マイクからの音声信号を入力して中速バス203に出力したり、あるいは中速バス203からの信号に基づいてスピーカに可聴信号を出力する。
ユーザは、一般に、画像処理装置10が有する表示部(画像表示装置に接続された表示部)に表示される各種情報を確認しながら、画像生成装置20を操作する。
具体的には、DVD装置209、HDD装置210、キーボード211、マウス212等から供給される画像(文字、写真、TV番組などの画像)が、ディスプレイコントローラ215〜218を介して画像生成装置20から画像処理装置10へ出力される。また、システムROM204やメインメモリ(DRAM)206に格納されたユーザのシステム操作に係る操作情報等も、ディスプレイコントローラ215〜218を介して画像生成装置20から画像処理装置10へ出力される。
そして、ユーザは、画像処理装置10が有する表示部の表示内容を確認しながら各種情報の編集や、システムに対する指示操作を行なう。
図8は、本実施例に係る画像処理装置10の機能構成の一例を示したブロック図である。図8に示すように、画像処理装置10は、入力処理部111、フレームメモリ102、画像処理部103〜106、合成部107、表示部108などを有する。
入力処理部111は、画像生成装置20から出力された複数の低解像画像を、フレームメモリ102へ書き込む。そして、入力処理部111は、フレームメモリ102に書き込んだ複数の低解像画像を読み出し、画像処理部103〜106へ出力する。入力処理部111の詳細については後述する。
フレームメモリ102、画像処理部103〜106、合成部107、表示部108は、実施例1の図1で示したものと同じものである。
図9は、入力処理部111の機能構成の一例を示すブロック図である。図9に示すように、入力処理部111は、書き込み制御部1111、WDMAC(Write Direct Memory Access Controller)1115、境界解析部1112、RDMAC1013、読み出し制御部1014などを有する。
書き込み制御部1111は、入力された複数の低解像画像をフレームメモリ102へ書き込む制御を行う。
WDMAC1115は、書き込み制御部1111からの4系統の書き込み要求を調停して、フレームメモリ102への複数の低解像画像の書き込みを制御する。
境界解析部1112は、入力された複数の低解像画像の境界部分毎に、その境界部分において画素値の連続性が有るか否かを判断し、その判断結果を読み出し制御部1014に出力する。
RDMAC1013、読み出し制御部1014は、実施例1の図2で示したものと同じものである。
本実施例に係る画像処理装置の動作の具体例について以下に詳述する。
まず、書き込み制御部1111が、画像生成装置20から出力される4つの低解像画像をWDMAC1115を介してフレームメモリ102へ書き込む。
次に、境界解析部1112が、実施例1と同様に、画像生成装置20から出力される4つの低解像画像の境界部分毎に、その境界部分において画素値の連続性が有るか否かを判断する。
そして、読み出し制御部1014は、実施例1と同様に、上記連続性の判断結果に基づいて、複数の低解像画像が複数の分割画像か否かを判断する。
次に、読み出し制御部1014が、実施例1と同様に(図4(A)または図4(B)に示す処理フローに従って)、複数の低解像画像が複数の分割画像か否かの判断結果を基に、フレームメモリ102から低解像画像を読み出す。読み出された複数の低解像画像は、実施例1と同様に、4つの画像処理部103〜106へそれぞれ出力される。
そして、画像処理部103〜106が、実施例1と同様に、入力処理部101から出力される4つの低解像画像をそれぞれ並列的に処理して出力する。
次に、合成部107が、実施例1と同様に、画像処理部103〜106から出力される複数の低解像画像をフレームメモリ102へ書き込む。そして、合成部107は、実施例1と同様に、当該書き込んだ低解像画像を読み出して、複数の低解像画像が並べられた合成画像として表示部108へ出力する。それにより、元画像が、画像処理が施されて表示されることとなる。
以上述べたように、本実施例によれば、画像処理装置に複数の低解像画像が入力される場合にも、実施例1と同様に複数の低解像画像に画像処理が施される。そして、画像処理が施された複数の低解像画像が並べられた合成画像が生成され、表示される。その結果、実施例1と同様の効果を得ることができる。
なお、複数の低解像画像に含まれるフレーム同期信号(VS信号;VerticalSyncronous信号)を更に用いることにより、複数の低解像画像が複数の分割画像か否かをより精度良く判断することができる。
図10は、本実施例に係る入力処理部111の機能構成の他の例を示すブロック図である。図10の例では、入力処理部111は、書き込み制御部1111、WDMAC1115、境界解析部1112、RDMAC1013、読み出し制御部1014、フレーム同期検出部1116などを有する。
書き込み制御部1111、WDMAC1115、RDMAC1013は、図9で示したものと同じである。
フレーム同期検出部1116は、複数の低解像画像のフレーム同期信号が同期しているか否かを判断し、判断結果を境界解析部1112へ出力する。具体的には、フレーム同期検出部1116は、画像生成装置20から出力された4系統の低解像画像に含まれるVS信号を解析し(図11(A)のS301)、全てのVS信号が互いに同期しているか否か
判断を判断する。そして、4つの低解像画像のVS信号が同期していると判断した場合には(S302:YES)、フレーム同期検出部1116は、判断結果としてSyncFlag信号“1”を境界解析部1112に出力する(S303)。また、4つの低解像画像のVS信号が同期していないと判断した場合には(S302:NO)、フレーム同期検出部1116は、SyncFlag信号“0”を境界解析部1112に出力する(S304)。図11(A)は、フレーム同期検出部1116の動作の一例を示すフローチャートである。
境界解析部1112は、図9の境界解析部1112と同様に、複数の低解像画像の境界部分毎に、画素値の連続性が有るか否かを判断する。そして、境界解析部1112は、画素値の連続性の判断結果と、フレーム同期検出部1116からのSyncFlag信号とを、読み出し制御部1014へ出力する。
読み出し制御部1014は、画素値の連続性の判断結果と、フレーム同期検出部1116からのSyncFlag信号の状態とから、複数の低解像画像(画像生成装置20から出力される4系統の低解像画像)が複数の分割画像か否かを判断する。
図11(B)は、図10の読み出し制御部1014による低解像画像の読み出しに関する処理の流れの一例を示すフローチャートである。
まず、境界解析部1112が、複数の低解像画像の境界部分毎に、画素値の連続性が有るか否かを判断する(S401)。
そして、読み出し制御部1014は、全ての境界部分について画素値の連続性があるか否かを判断する(S402)。
全ての境界部分について画素値の連続性があると判断された場合(S402:YES)、読み出し制御部1014は、SyncFlag信号が“1”か否かを判断する(S403)。
SyncFlag信号が“1”である場合(S403:YES)、読み出し制御部1014は、複数の低解像画像が複数の分割画像であると判断し、複数の低解像画像をのりしろ画像を付加して読み出す(S404)。
SyncFlag信号が“0”である場合(S403:NO)、読み出し制御部1014は、複数の低解像画像が複数の独立画像であると判断し、複数の低解像画像をのりしろ画像を付加せずにそのまま読み出す。なお、S402において画素値の連続性がないと判断された境界部分がある場合も、同様に、のりしろ画像の付加は行われない。なお、複数の低解像画像が複数の独立画像であると判断された場合に、図4(B)のように、各低解像画像に、その低解像画像から生成されたのりしろ画像が付加されてもよい。
複数の低解像画像が複数の分割画像である場合には、複数の低解像画像のフレーム同期信号は特定の位相関係を有する(同期する)。そのため、複数の低解像画像のフレーム同期信号が同期している場合には、該複数の低解像画像が複数の分割画像である可能性が高い。また、複数の低解像画像のフレーム同期信号が同期していない場合には、該複数の低解像画像が複数の独立画像である可能性が高い。
上述した構成によれば、複数の低解像画像のフレーム同期信号が同期しているか否かが判断される。そして、複数の低解像画像のフレーム同期信号が同期していない場合には、複数の低解像画像が複数の独立画像であると判断される。
それにより、画素値の連続性の判断結果のみに基づいて複数の低解像画像が複数の分割画像か否かを判断するよりも、複数の低解像画像が複数の分割画像か否かをより精度良く判断することができる。例えば、画素値の連続性の判断結果のみに基づいて複数の低解像画像が複数の分割画像であると判断された場合であっても、複数の低解像画像のフレーム同期信号が同期していない場合には、複数の低解像画像が複数の独立画像である可能性が高い。上記構成によれば、そのような場合に複数の低解像画像が複数の独立画像であると判断することができる。
なお、このような構成(フレーム同期信号を用いた判断)は、実施例1の構成にも適用
できる。
<実施例3>
実施例1,2では、画像処理装置が複数の低解像画像の境界部分毎に画素値の連続性が有るか否かを判断し、その判断結果に従って境界部分の処理(のりしろ画像の付加)を制御する例について説明した。
本実施例では、画像処理装置が、複数の低解像画像が複数の分割画像であるか複数の独立画像であるかの少なくともいずれかを示す情報を取得し、該取得した情報に従って境界部分の処理(のりしろ画像の付加)を制御する例について説明する。
本実施例に係る画像処理システムは、図6と同様に、画像処理装置10と画像生成装置20を有する。画像生成装置20は、実施例2(図7)と同様の構成を有する。本実施例では、I/Oコントローラ208からのシリアル・インタフェースが画像処理装置10に接続される。
図12は、本実施例に係る画像処理装置10の機能構成の一例を示したブロック図である。図12に示すように、画像処理装置10は、入力処理部121、フレームメモリ102、画像処理部103〜106、合成部107、表示部108などを有する。
入力処理部121は、画像生成装置20から出力された複数の低解像画像を、フレームメモリ102へ書き込む。そして、入力処理部121は、フレームメモリ102に書き込んだ複数の低解像画像を読み出し、画像処理部103〜106へ出力する。更に、入力処理部121は、画像生成装置20とシリアル・インタフェースを介して通信を行う機能を有する。なお、外部(本実施例では画像生成装置20)との通信方法は、シリアル・インタフェースを用いた方法でなくてもよい。
フレームメモリ102、画像処理部103〜106、合成部107、表示部108は、実施例1での図1で示したものと同じものである。
図13は、入力処理部121の機能構成の一例を示すブロック図である。図13示すように、入力処理部111は、書き込み制御部1111、WDMAC1115、読み出し制御部1014、RDMAC1013、通信制御部1217などを有する。
書き込み制御部1111、WDMAC1115、読み出し制御部1014、RDMAC1013は、図9で示したものと同じものである。
通信制御部1217は、シリアル・インタフェースを介して画像生成装置20と通信を行う。
本実施例では、通信制御部1217は、画像生成装置20から、複数の低解像画像が複数の分割画像であるか複数の独立画像であるかの少なくともいずれかを示す情報(画像情報)を取得する。具体的には、通信制御部1217は、画像生成装置20から、画像情報として、境界部分毎の画素値の連続性の有無を示す境界部分情報を取得する。本実施例では、全ての境界部分について画素値の連続性が有る場合に複数の低解像画像を複数の分割画像とする。そのため、境界部分情報が全ての境界部分について画素値の連続性が有ることを示す場合には、該境界部分情報は複数の低解像画像が複数の分割画像であることを示す情報であるといえる。
本実施例に係る画像処理システムの動作の一例を以下に詳述する。なお、以下で述べる動作以外の動作は、実施例1,2と同様である。
まず、画像生成装置20において、ホストCPU201が高速バス202を介してディスプレイコントローラ215〜218へ表示情報をセットする。また、ホストCPU201は、中速バス203を介してI/Oコントローラ208へシリアル通信の設定を行う。具体的には、ホストCPU201は、I/Oコントローラ208へ、ディスプレイコントローラ215〜218から出力される複数(4つ)の低解像画像が複数の分割画像である
か複数の独立画像であるかの少なくともいずれかを示す画像情報を送る。
I/Oコントローラ208は、ホストCPU201から送られた画像情報(本実施例では境界部分情報)を、シリアル・インタフェースを介して画像処理装置10へ送る。
通信制御部1217は、画像生成装置20から送られた境界部分情報を取得し、読み出し制御部1014へ出力する。
読み出し制御部1014は、通信制御部1217から出力された境界部分情報を用いて、複数の低解像画像が複数の分割画像であるか複数の独立画像であるかを判断する。そして、読み出し制御部1014は、その判断結果に従って、フレームメモリ102から複数の低解像画像を読み出す。
図14(A),14(B)は、図13の読み出し制御部1014による低解像画像の読み出しに関する処理の流れの一例を示すフローチャートである。
まず、図14(A),14(B)のS501,S601において、読み出し制御部1014は、通信制御部1217を介して、境界部分情報を取得する。
そして、S502,S602において、読み出し制御部1014が、取得した境界部分情報から、全ての境界部分について画素値の連続性があるか否かを判断する。
S503,S603,S604の処理は、それぞれ、S103,S203,S204の処理と同様のため、その説明は割愛する。
以上述べたように、本実施例によれば、画像処理装置に、外部から、複数の低解像画像が複数の分割画像であるか複数の独立画像であるかの少なくともいずれかを示す画像情報が入力される。そして、該画像情報を用いて、複数の低解像画像が複数の分割画像であるか複数の独立画像であるかが判断される。それにより、実施例1,2で述べた連続性の判断などを省略することができ、画像処理装置の処理負荷を軽減することができる。
なお、本実施例では、画像情報として、境界部分の画素値の連続性を示す境界部分情報が取得されるものとしたが、画像情報はこれに限らない。画像情報は、画像処理装置に入力される複数の低解像画像が複数の分割画像か否かを直接示す情報であってもよい。また、実施例1のように、1つの画像が入力される場合には、画像情報は、元画像がシングル構成画像かマルチ構成画像かを示す情報であってもよい。
なお、本実施例では画像情報が画像生成装置から画像処理装置に入力されるものとしたが、これに限らない。画像情報は、画像生成装置とは異なる装置から入力されてもよいし、ユーザによって入力されてもよい。
10 画像処理装置
101,111,121 入力処理部
103〜106 画像処理部
107 合成部
1014 読み出し制御部

Claims (18)

  1. 複数の入力画像が、1つの元画像を分割して得られた複数の分割画像であるか、それぞれ独立した複数の独立画像であるかを判断する判断手段と、
    前記判断手段による判断結果に基づいて、前記複数の入力画像に画像処理を施す複数の画像処理手段と、
    前記判断手段で前記複数の入力画像が複数の分割画像であると判断された場合、及び、前記判断手段で前記複数の入力画像が複数の独立画像であると判断された場合に、前記複数の画像処理手段で画像処理が施された前記複数の入力画像を合成する合成手段と、
    前記合成手段により合成された前記複数の入力画像を表示する表示手段と、
    を有し、
    前記複数の画像処理手段の各々は、
    前記判断手段で前記複数の入力画像が複数の分割画像であると判断された場合に、前記元画像において処理対象の入力画像に隣接する他の入力画像からのりしろ画像を生成し、前記処理対象の入力画像の端部に前記のりしろ画像を付加し、前記のりしろ画像が付加された前記処理対象の入力画像に画像処理を施し、
    前記判断手段で前記複数の入力画像が複数の独立画像であると判断された場合に、前記元画像において処理対象の入力画像に隣接する他の入力画像からのりしろ画像を生成して前記処理対象の入力画像の端部に付加することは行わずに、前記処理対象の入力画像に画像処理を施す
    ことを特徴とする画像表示装置。
  2. 前記判断手段は、前記複数の入力画像を所定の順番で並べた際の入力画像間の境界部分毎に、入力画像間で画素値の変化が連続となるか否かを判断し、その判断結果に基づいて、前記複数の入力画像が、複数の分割画像であるか、複数の独立画像であるかを判断することを特徴とする請求項1に記載の画像表示装置。
  3. 前記複数の画像処理手段の各々は、前記判断手段で前記複数の入力画像が複数の独立画像であると判断された場合に、のりしろ画像が付加されていない前記入力画像に画像処理を施す
    ことを特徴とする請求項1または2に記載の画像表示装置。
  4. 前記複数の画像処理手段の各々は、前記判断手段で前記複数の入力画像が複数の独立画像であると判断された場合に、前記処理対象の入力画像からのりしろ画像を生成し、前記処理対象の入力画像の端部に前記のりしろ画像を付加し、前記のりしろ画像が付加された前記処理対象の入力画像に画像処理を施す
    ことを特徴とする請求項1または2に記載の画像表示装置。
  5. 前記判断手段は、
    前記複数の入力画像のフレーム同期信号が同期しているか否かを判断し、
    前記複数の入力画像のフレーム同期信号が同期していない場合には、前記複数の入力画像が複数の独立画像であると判断する
    ことを特徴とする請求項1〜4のいずれか1項に記載の画像表示装置。
  6. 入力された画像を分割することにより前記複数の入力画像を生成する生成手段を更に有し、
    前記判断手段は、前記生成手段で生成された前記複数の入力画像が、複数の分割画像であるか、複数の独立画像であるかを判断する
    ことを特徴とする請求項1〜5のいずれか1項に記載の画像表示装置。
  7. 前記複数の入力画像が、複数の分割画像であるか、複数の独立画像であるかを示す情報を取得する取得手段を更に有し、
    前記判断手段は、前記取得手段で取得された情報を用いて、前記複数の入力画像が、複数の分割画像であるか、複数の独立画像であるかを判断する
    ことを特徴とする請求項1〜6のいずれか1項に記載の画像表示装置。
  8. 前記画像処理は、注目画素の画素値を、前記注目画素の画素値とその近傍の画素の画素値とを画素位置に応じた重みで重み付け合成した値に書き換える空間フィルタ処理であることを特徴とする請求項1〜のいずれか1項に記載の画像表示装置。
  9. 前記複数の画像処理手段によって、のりしろ画像が付加された複数の入力画像に画像処理が施された場合に、前記合成手段は、前記複数の入力画像に付加されたのりしろ画像を削除して、のりしろ画像が削除された複数の入力画像を合成する
    ことを特徴とする請求項1〜のいずれか1項に記載の画像表示装置。
  10. 複数の入力画像が、1つの元画像を分割して得られた複数の分割画像であるか、それぞれ独立した複数の独立画像であるかを判断する判断ステップと、
    前記判断ステップによる判断結果に基づいて、複数の画像処理手段が前記複数の入力画像に画像処理を施す画像処理ステップと、
    前記判断手段で前記複数の入力画像が複数の分割画像であると判断された場合、及び、前記判断手段で前記複数の入力画像が複数の独立画像であると判断された場合に、前記画像処理ステップで画像処理が施された前記複数の入力画像を合成する合成ステップと、
    前記合成ステップにより合成された前記複数の入力画像を表示する表示ステップと、
    を有し、
    前記画像処理ステップでは、
    前記複数の画像処理手段の各々が、
    前記判断ステップで前記複数の入力画像が複数の分割画像であると判断された場合に、前記元画像において処理対象の入力画像に隣接する他の入力画像からのりしろ画像を生成し、前記処理対象の入力画像の端部に前記のりしろ画像を付加し、前記のりしろ画像が付加された前記処理対象の入力画像に画像処理を施し、
    前記判断ステップで前記複数の入力画像が複数の独立画像であると判断された場合に、
    前記元画像において処理対象の入力画像に隣接する他の入力画像からのりしろ画像を生成して前記処理対象の入力画像の端部に付加することは行わずに、前記処理対象の入力画像に画像処理を施す
    ことを特徴とする画像表示装置の制御方法。
  11. 前記判断ステップでは、前記複数の入力画像を所定の順番で並べた際の入力画像間の境界部分毎に、入力画像間で画素値の変化が連続となるか否かが判断され、その判断結果に基づいて、前記複数の入力画像が、複数の分割画像であるか、複数の独立画像であるかが判断される
    ことを特徴とする請求項10に記載の画像表示装置の制御方法。
  12. 前記画像処理ステップでは、前記複数の画像処理手段の各々が、前記判断ステップで前記複数の入力画像が複数の独立画像であると判断された場合に、のりしろ画像が付加されていない前記入力画像に画像処理
    ことを特徴とする請求項10または11に記載の画像表示装置の制御方法。
  13. 前記画像処理ステップでは、前記複数の画像処理手段の各々が、前記判断ステップで前記複数の入力画像が複数の独立画像であると判断された場合に、前記処理対象の入力画像からのりしろ画像生成、前記処理対象の入力画像の端部に前記のりしろ画像付加、前記のりしろ画像が付加された前記処理対象の入力画像に画像処理
    ことを特徴とする請求項10または11に記載の画像表示装置の制御方法。
  14. 前記判断ステップでは、
    前記複数の入力画像のフレーム同期信号が同期しているか否かが判断され、
    前記複数の入力画像のフレーム同期信号が同期していない場合には、前記複数の入力画像が複数の独立画像であると判断される
    ことを特徴とする請求項1013のいずれか1項に記載の画像表示装置の制御方法。
  15. 入力された画像を分割することにより前記複数の入力画像を生成する生成ステップを更に有し、
    前記判断ステップでは、前記生成ステップで生成された前記複数の入力画像が、複数の分割画像であるか、複数の独立画像であるかが判断される
    ことを特徴とする請求項1014のいずれか1項に記載の画像表示装置の制御方法。
  16. 前記複数の入力画像が、複数の分割画像であるか、複数の独立画像であるかを示す情報を取得する取得ステップを更に有し、
    前記判断ステップでは、前記取得ステップで取得された情報を用いて、前記複数の入力画像が、複数の分割画像であるか、複数の独立画像であるかが判断される
    ことを特徴とする請求項1015のいずれか1項に記載の画像表示装置の制御方法。
  17. 前記画像処理は、注目画素の画素値を、前記注目画素の画素値とその近傍の画素の画素値とを画素位置に応じた重みで重み付け合成した値に書き換える空間フィルタ処理であることを特徴とする請求項1016のいずれか1項に記載の画像表示装置の制御方法。
  18. 前記複数の画像処理手段によって、のりしろ画像が付加された複数の入力画像に画像処理が施された場合に、前記合成ステップでは、前記複数の入力画像に付加されたのりしろ画像が削除され、のりしろ画像が削除された複数の入力画像が合成される
    ことを特徴とする請求項1017のいずれか1項に記載の画像表示装置の制御方法。
JP2012168674A 2011-09-02 2012-07-30 画像表示装置及びその制御方法 Active JP5546593B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012168674A JP5546593B2 (ja) 2011-09-02 2012-07-30 画像表示装置及びその制御方法
US13/595,329 US20130057578A1 (en) 2011-09-02 2012-08-27 Image processing apparatus and control method thereof
US15/178,759 US10127701B2 (en) 2011-09-02 2016-06-10 Image processing apparatus and control method thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011191904 2011-09-02
JP2011191904 2011-09-02
JP2012168674A JP5546593B2 (ja) 2011-09-02 2012-07-30 画像表示装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2013065283A JP2013065283A (ja) 2013-04-11
JP5546593B2 true JP5546593B2 (ja) 2014-07-09

Family

ID=47752808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012168674A Active JP5546593B2 (ja) 2011-09-02 2012-07-30 画像表示装置及びその制御方法

Country Status (2)

Country Link
US (2) US20130057578A1 (ja)
JP (1) JP5546593B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240247A1 (en) * 2013-02-22 2014-08-28 Xiaomi Inc. Method for presenting a photo gallery and terminal device thereof
JP2015138417A (ja) * 2014-01-22 2015-07-30 キヤノン株式会社 画像処理装置および画像処理方法
JP6442867B2 (ja) 2014-05-14 2018-12-26 株式会社ソシオネクスト 画像処理装置、撮像装置、及び画像処理方法
KR102254676B1 (ko) * 2014-10-31 2021-05-21 삼성전자주식회사 이미지를 실시간으로 처리할 수 있는 이미지 처리 회로와 이를 포함하는 장치들
JP2017191145A (ja) * 2016-04-11 2017-10-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN107423571B (zh) * 2017-05-04 2018-07-06 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统
WO2019111815A1 (ja) * 2017-12-06 2019-06-13 シャープ株式会社 映像処理装置および表示装置
WO2020166596A1 (ja) * 2019-02-13 2020-08-20 株式会社ラディウス・ファイブ 画像処理システム及びプログラム
WO2022067489A1 (zh) * 2020-09-29 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、装置及图像采集设备
CN115526901B (zh) * 2022-09-21 2024-04-09 吉林农业科技学院 一种互联网的大数据图像处理系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3710524C3 (de) * 1986-03-31 1994-08-11 Canon Kk Bildreproduktionsgerät
US5515181A (en) * 1992-03-06 1996-05-07 Fuji Xerox Co., Ltd. Image reading apparatus providing high quality images through synthesis of segmented image data
US5452105A (en) * 1992-11-19 1995-09-19 Sharp Kabushiki Kaisha Joint-portion processing device for image data for use in an image processing apparatus
JPH06334960A (ja) * 1993-05-21 1994-12-02 Kyocera Corp マルチ画面表示システム
JP3437249B2 (ja) * 1994-04-04 2003-08-18 キヤノン株式会社 画像処理方法および画像処理装置
JP3616256B2 (ja) * 1998-07-03 2005-02-02 シャープ株式会社 画像処理装置
US7808663B2 (en) * 1999-12-07 2010-10-05 Minolta Co., Ltd. Apparatus, method and computer program product for processing document images of various sizes and orientations
JP2001189847A (ja) * 2000-01-04 2001-07-10 Minolta Co Ltd 画像傾き補正装置、画像傾き補正方法および画像傾き補正プログラムを記録した記録媒体
JP4182638B2 (ja) * 2000-11-07 2008-11-19 コニカミノルタホールディングス株式会社 撮像装置、撮像画像の合成方法、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及び撮像システム
JP4651876B2 (ja) * 2001-07-19 2011-03-16 富士通株式会社 パターン識別装置、パターン識別方法及びパターン識別用プログラム
US20030189581A1 (en) * 2002-04-08 2003-10-09 Nasoff David G. Content based window filtering for simultaneous display of multiple high-quality video and graphics windows
JP3913220B2 (ja) * 2003-01-24 2007-05-09 キヤノン株式会社 画像形成装置およびイメージリピート方法およびレイアウト方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP4057545B2 (ja) * 2004-03-10 2008-03-05 株式会社Pfu 画像処理装置及び方法
US7930627B2 (en) * 2005-09-22 2011-04-19 Konica Minolta Systems Laboratory, Inc. Office document matching method and apparatus
JP4939156B2 (ja) * 2006-09-19 2012-05-23 東京エレクトロン株式会社 位置合わせ対象物の再登録方法及びその方法を記録した記録媒体
US20090237690A1 (en) * 2008-03-18 2009-09-24 Kabushiki Kaisha Toshiba Image processing apparatus, image processing method, and image forming apparatus
JP5147535B2 (ja) * 2008-05-20 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP4533447B2 (ja) 2008-06-30 2010-09-01 オリンパス株式会社 画像処理装置
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
US20100128971A1 (en) * 2008-11-25 2010-05-27 Nec System Technologies, Ltd. Image processing apparatus, image processing method and computer-readable recording medium
US20100157079A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
JP5249116B2 (ja) 2009-04-08 2013-07-31 オリンパス株式会社 画像処理装置
JP2011107558A (ja) * 2009-11-20 2011-06-02 Seiko Epson Corp 映像処理装置、映像処理方法、コンピュータープログラム
JP5426422B2 (ja) * 2010-02-10 2014-02-26 株式会社Pfu 画像処理装置、画像処理方法及び画像処理プログラム
JP5604894B2 (ja) * 2010-02-16 2014-10-15 セイコーエプソン株式会社 画像処理装置、画像処理方法、コンピュータープログラム

Also Published As

Publication number Publication date
US20130057578A1 (en) 2013-03-07
JP2013065283A (ja) 2013-04-11
US20160284113A1 (en) 2016-09-29
US10127701B2 (en) 2018-11-13

Similar Documents

Publication Publication Date Title
JP5546593B2 (ja) 画像表示装置及びその制御方法
EP2893529B1 (en) Method and device for selective display refresh
US9830880B1 (en) Method and system for adjusting the refresh rate of a display device based on a video content rate
TWI698834B (zh) 用於圖形處理之方法及裝置
US20230290319A1 (en) Video timing for display systems with variable refresh rates
US20160140998A1 (en) Smooth playing of video
CN107682730B (zh) 图层叠加处理方法、图层叠加处理装置和视频处理器
KR102061869B1 (ko) 전자 장치 및 영상 표시 방법
US9154665B2 (en) Image processing apparatus and control method thereof
US20120154411A1 (en) Multiple display frame rendering method and apparatus
JP5676924B2 (ja) 投影装置及び投影方法
JP7134883B2 (ja) 映像出力装置、表示システム及び映像出力方法
JP6864757B2 (ja) 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
CN103489150A (zh) 平铺视区合成
US20140063068A1 (en) Accommodating display data corresponding to a scanout area of a graphics processor within an incompatible display unit
JP6381310B2 (ja) 画像表示装置、画像表示装置の制御方法、及び、プログラム
JP7129347B2 (ja) 表示システム及び表示方法
JP5419783B2 (ja) 画像再生装置及び画像再生装置の制御方法
JP5888899B2 (ja) 映像処理装置、映像処理方法、及びプログラム
KR101719273B1 (ko) 디스플레이 컨트롤러 및 이를 포함하는 디스플레이 장치
JP2000235643A (ja) 画像合成方法
JP2013182504A (ja) 画像処理装置及びその制御方法
JP6040217B2 (ja) 投影装置及び投影方法
KR101337950B1 (ko) 그래픽 데이터 출력 장치 및 방법
JP2021173912A (ja) 表示システム、表示方法、及び表示プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140513

R151 Written notification of patent or utility model registration

Ref document number: 5546593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151