JP4977255B1 - 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム - Google Patents

表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JP4977255B1
JP4977255B1 JP2011079952A JP2011079952A JP4977255B1 JP 4977255 B1 JP4977255 B1 JP 4977255B1 JP 2011079952 A JP2011079952 A JP 2011079952A JP 2011079952 A JP2011079952 A JP 2011079952A JP 4977255 B1 JP4977255 B1 JP 4977255B1
Authority
JP
Japan
Prior art keywords
line segment
detected
horizontal line
vertical line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011079952A
Other languages
English (en)
Other versions
JP2012215671A (ja
Inventor
正樹 北
裕介 伴場
磊 朱
暁 朱
義行 鈴木
玲央 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eizo Nanao Corp
Original Assignee
Eizo Nanao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo Nanao Corp filed Critical Eizo Nanao Corp
Priority to JP2011079952A priority Critical patent/JP4977255B1/ja
Priority to PCT/JP2011/070571 priority patent/WO2012132050A1/ja
Application granted granted Critical
Publication of JP4977255B1 publication Critical patent/JP4977255B1/ja
Publication of JP2012215671A publication Critical patent/JP2012215671A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像中にタイル状に配置したウインドウ領域を精度よく検出することができ、領域の画像に適した表示特性での表示を実現することができる表示装置、画像処理装置、画像領域検出方法及びコンピュータプログラムを提供する。
【解決手段】水平方向の連続数が所定値を超えるエッジ画素群を水平方向線分として検出し、垂直方向の連続数が所定範囲内のエッジ画素群を垂直方向線分として検出し、更に水平方向線分ペア及び垂直方向線分ペアを検出し、水平方向線分ペア及び垂直方向線分ペアで囲まれた領域を基本ウインドウとして検出する。水平方向線分ペア又は垂直方向線分ペアでないとされた水平方向線分又は垂直方向線分を基に、ショート垂直方向線分ペア及びショート水平方向線分ペアを検出し、これらに囲まれた領域をポップアップウインドウとして検出する。検出されたウインドウの画像種別を判定し、画像の種別に応じてLUTを選択して補正処理を行う。
【選択図】図2

Description

本発明は、入力画像中に含まれる特定の画像領域を検出して画像処理を施すことができる表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラムに関する。
近年、液晶パネル又はPDP(Plasma Display Panel)等を用いたカラーの表示装置が広く普及している。例えば医療向けの表示装置は、X線撮影による画像の表示及び内視鏡などで撮影した画像の表示等に利用されている。
表示装置は、PC(Personal Computer)などからの入力画像の画素値を、表示装置の表示特性に適した画素値に変換する補正処理(いわゆるガンマ補正処理)を行っている。医療向けの表示装置では、X線撮影によるモノクローム(以下、単にモノクロという)画像と、内視鏡などの撮影によるカラー画像とでは適した表示特性が異なるため、表示画像に最適な補正処理を行うことが望まれる。
しかし近年では、PCに搭載されるOS(Operating System)がマルチウインドウシステムを備え、表示装置に複数のウインドウを表示することができる。このため、医療向けの表示装置においては、X線撮影のモノクロ画像と、内視鏡などのカラー画像とが一画面中に同時的に表示される場合があり、このような場合には上記の補正処理を適切に行うことが難しいという問題があった。
特許文献1においては、複数のルックアップテーブルを備え、画像情報からルックアップテーブルを切り替える引金となる画素を検出し、引金を検出したことを受けて使用すべきルックアップテーブルを決定する鍵となる画素を保持し、鍵に基づいてルックアップテーブルを選択して画素値の変換を行うことにより、表示するウインドウ毎に使用すべきルックアップテーブルを切り替えることができるビットマップ表示装置が提案されている。しかしながら特許文献1に記載のビットマップ表示装置では、ウインドウの垂直方向の境界線が予め定められた画素値の画素(引金及び鍵となる画素)で構成されている必要があり、この構成以外のウインドウについてはルックアップテーブルの切り替えを行うことができないため、汎用性が低いという問題がある。
特許文献2においては、主画面及び副画面を有する他画面の画像信号から副画面領域を検出し、検出結果に応じて走査状態を制御することによって、文字又は図形表示に適した表示条件を設定して、ラインフリッカが目立たず鮮明な画像表示が実現できるテレビジョン受信機が提案されている。副画面領域の検出は、例えば主画面に画像を表示し、副画面に文字を表示した場合に、文字が表示された領域では画像信号の信号レベルが急激に変化することから、信号レベルの変化具合を微分回路及び比較器等にて判定することで行われる。
特開平01−188896号公報 特開平08−181932号公報
医療用の表示装置では、カラー画像、モノクロ画像及びアプリケーションを操作するためのアイコンなどが設けられたツール画像等の複数種の画像を、その境界が接するようにタイル状に並べて表示することが多い。例えば複数のカラー画像をタイル状に並べて表示した場合など、同種の複数の画像をタイル状に並べて表示した場合には、各画像(を表示するウインドウ)は境界を共有し、境界を示す画像も著しく細い線である場合もあるから、境界を判別することは難しく、各画像に適した補正処理を行うことが難しいという問題があった。特許文献2に記載のテレビジョン受信機も、主画面に画像を表示し、副画面に文字を表示した場合などには有効であるが、主画面及び副画面に同種の画像を表示した場合には、境界を判別できず、副画面を検出することは難しい。
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、表示画像中に存在する特定の画像領域(例えばウインドウ領域)を精度よく検出することができ、各領域に適した画像処理を施し、各領域の画像に適した表示特性での表示を実現することができる表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラムを提供することにある。
本発明に係る表示装置は、水平方向及び垂直方向に画素が並べられた画像の表示を行う表示装置において、入力画像から水平方向の線分を検出する水平線分検出手段と、該水平線分検出手段が検出した水平方向線分から、所定条件を満たして隣り合う2つの水平方向線分の組を検出する水平線分組検出手段と、前記入力画像から垂直方向の線分を検出する垂直線分検出手段と、該垂直線分検出手段が検出した垂直方向線分から、所定条件を満たして隣り合う2つの垂直方向線分の組を検出する垂直線分組検出手段と、前記垂直線分組検出手段にて垂直方向線分の組として検出されない垂直方向線分のうち、垂直方向の長さが所定範囲内の垂直方向線分を検出する垂直線分再検出手段と、該垂直線分再検出手段が検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出する垂直線分組再検出手段と、前記水平線分組検出手段にて水平方向線分の組として検出されない水平方向線分のうち、水平方向の長さが所定範囲内の水平方向線分を検出する水平線分再検出手段と、該水平線分再検出手段が検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出する水平線分組再検出手段と、前記水平線分組検出手段が検出した水平方向線分の組、及び、前記垂直線分組検出手段が検出した垂直方向線分の組で囲まれた領域、並びに、前記水平線分組再検出手段が検出した水平方向線分の組、及び、前記垂直線分組再検出手段が検出した垂直方向線分の組で囲まれた領域を、特定領域として検出する特定領域検出手段と、該特定領域検出手段が検出した特定領域毎に画像処理を施す画像処理手段とを備え、該画像処理手段が画像処理を施した画像を表示するようにしてあることを特徴とする。
また、本発明に係る表示装置は、前記特定領域検出手段が検出した特定領域に含まれる画素のうち、画素値が所定条件を満たす画素の画素数を計数する計数手段と、該計数手段の計数結果に応じて、前記特定領域の画像の種別を判定する判定手段とを更に備え、前記画像処理手段は、前記判定手段の判定結果に応じた画像処理を前記特定領域に対して施すようにしてあることを特徴とする。
また、本発明に係る表示装置は、前記計数手段は、前記特定領域に含まれるカラー画素数又はモノクローム画素数を計数するようにしてあり、前記判定手段は、前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて画像の種別を判定するようにしてあることを特徴とする。
また、本発明に係る表示装置は、水平方向及び垂直方向に画素が並べられた画像の表示を行う表示装置において、入力画像から水平方向の線分を検出する水平線分検出手段と、該水平線分検出手段が検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出する水平線分組検出手段と、前記入力画像から垂直方向の線分を検出する垂直線分検出手段と、該垂直線分検出手段が検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出する垂直線分組検出手段と、前記水平線分組検出手段が検出した水平方向線分の組、及び、前記垂直線分組検出手段が検出した垂直方向線分の組で囲まれた領域を、特定領域として検出する特定領域検出手段と、前記特定領域検出手段が検出した特定領域に含まれるカラー画素数又はモノクローム画素数を計数する計数手段と、前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて、前記特定領域の画像の種別を判定する判定手段と、前記特定領域検出手段が検出した特定領域毎に、前記判定手段の判定結果に応じた画像処理を施す画像処理手段とを備え、該画像処理手段が画像処理を施した画像を表示するようにしてあることを特徴とする。
また、本発明に係る表示装置は、前記計数手段の計数結果に基づいて、前記特定領域に含まれる画素の画素値に係る度数分布を算出する算出手段を更に備え、前記判定手段は、前記算出手段が算出した度数分布の分布パターンに基づいて画像の種別を判定するようにしてあることを特徴とする。
また、本発明に係る表示装置は、入力画像の画素値に対する表示画素の画素値が対応付けられた表示特性を複数記憶する記憶手段を更に備え、前記画像処理手段は、前記判定手段の判定結果に応じて前記記憶手段から一の表示特性を読み出し、該表示特性に基づく画素値の変換処理を行うようにしてあることを特徴とする。
また、本発明に係る表示装置は、前記判定手段が判定した画像の種別、及び、特定領域の頂点間の距離に応じて、隣り合う2つの特定領域を1つの特定領域に結合する特定領域結合手段を更に備えることを特徴とする。
また、本発明に係る表示装置は、前記入力画像からエッジに相当する画素を抽出するエッジ画素抽出手段を更に備え、前記水平線分検出手段は、水平方向の連続数が所定値を超える複数のエッジ画素を、水平方向線分として検出するようにしてあり、前記垂直線分検出手段は、垂直方向の連続数が所定範囲内の複数のエッジ画素を垂直方向線分として検出するようにしてあることを特徴とする。
また、本発明に係る表示装置は、前記入力画像から処理対象の画像領域の指定を受け付ける受付手段を更に備え、前記特定領域検出手段は、前記受付手段が受け付けた画像領域内について、特定領域の検出を行うようにしてあることを特徴とする。
また、本発明に係る画像処理装置は、水平方向及び垂直方向に画素が並べられた画像に対して所定の画像処理を施す画像処理装置において、入力画像から水平方向の線分を検出する水平線分検出手段と、該水平線分検出手段が検出した水平方向線分から、所定条件を満たして隣り合う2つの水平方向線分の組を検出する水平線分組検出手段と、前記入力画像から垂直方向の線分を検出する垂直線分検出手段と、該垂直線分検出手段が検出した垂直方向線分から、所定条件を満たして隣り合う2つの垂直方向線分の組を検出する垂直線分組検出手段と、前記垂直線分組検出手段にて垂直方向線分の組として検出されない垂直方向線分のうち、垂直方向の長さが所定範囲内の垂直方向線分を検出する垂直線分再検出手段と、該垂直線分再検出手段が検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出する垂直線分組再検出手段と、前記水平線分組検出手段にて水平方向線分の組として検出されない水平方向線分のうち、水平方向の長さが所定範囲内の水平方向線分を検出する水平線分再検出手段と、該水平線分再検出手段が検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出する水平線分組再検出手段と、前記水平線分組検出手段が検出した水平方向線分の組、及び、前記垂直線分組検出手段が検出した垂直方向線分の組で囲まれた領域、並びに、前記水平線分組再検出手段が検出した水平方向線分の組、及び、前記垂直線分組再検出手段が検出した垂直方向線分の組で囲まれた領域を検出する特定領域検出手段とを備えることを特徴とする。
また、本発明に係る画像処理装置は、水平方向及び垂直方向に画素が並べられた画像に対して所定の画像処理を施す画像処理装置において、入力画像から水平方向の線分を検出する水平線分検出手段と、該水平線分検出手段が検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出する水平線分組検出手段と、前記入力画像から垂直方向の線分を検出する垂直線分検出手段と、該垂直線分検出手段が検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出する垂直線分組検出手段と、前記水平線分組検出手段が検出した水平方向線分の組、及び、前記垂直線分組検出手段が検出した垂直方向線分の組で囲まれた領域を検出する特定領域検出手段と、前記特定領域検出手段が検出した特定領域に含まれるカラー画素数又はモノクローム画素数を計数する計数手段と、前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて、前記特定領域の画像の種別を判定する判定手段と、前記特定領域検出手段が検出した特定領域毎に、前記判定手段の判定結果に応じた画像処理を施す画像処理手段とを備えることを特徴とする。
また、本発明に係る画像領域検出方法は、水平方向及び垂直方向に画素が並べられた画像から特定条件を満たす画像領域を検出する画像領域検出方法において、入力画像から水平方向の線分を検出し、検出した水平方向線分から、所定条件を満たして隣り合う2つの水平方向線分の組を検出し、前記入力画像から垂直方向の線分を検出し、検出した垂直方向線分から、所定条件を満たして隣り合う2つの垂直方向線分の組を検出し、垂直方向線分の組として検出されない垂直方向線分のうち、垂直方向の長さが所定範囲内の垂直方向線分を再検出し、再検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を再検出し、水平方向線分の組として検出されない水平方向線分のうち、水平方向の長さが所定範囲内の水平方向線分を再検出し、再検出した水平方向線分から、隣り合う2つの水平方向線分の組を再検出し、検出した水平方向線分の組及び垂直方向線分の組で囲まれた領域、並びに、再検出した水平方向線分の組、及び、再検出した垂直方向線分の組で囲まれた領域を検出することを特徴とする。
また、本発明に係る画像処理方法は、水平方向及び垂直方向に画素が並べられた画像に対して所定の画像処理を施す画像処理方法において、入力画像から水平方向の線分を検出し、検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出し、前記入力画像から垂直方向の線分を検出し、検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出し、検出した水平方向線分の組及び垂直方向線分の組で囲まれた領域を、特定領域として検出し、検出した特定領域に含まれるカラー画素数又はモノクローム画素数を計数し、前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて、前記特定領域の画像の種別を判定し、検出した特定領域毎に、判定した種別に応じた画像処理を施すことを特徴とする。
また、本発明に係るコンピュータプログラムは、コンピュータに、水平方向及び垂直方向に画素が並べられた画像から特定条件を満たす画像領域を検出させるコンピュータプログラムにおいて、コンピュータに、入力画像から水平方向の線分を検出させる水平線分検出ステップと、コンピュータに、前記水平線分検出ステップにて検出した水平方向線分から、所定条件を満たして隣り合う2つの水平方向線分の組を検出させる水平線分組検出ステップと、コンピュータに、前記入力画像から垂直方向の線分を検出させる垂直線分検出ステップと、コンピュータに、前記垂直線分検出ステップにて検出した垂直方向線分から、所定条件を満たして隣り合う2つの垂直方向線分の組を検出させる垂直線分組検出ステップと、コンピュータに、前記垂直線分組検出ステップにて垂直方向線分の組として検出されない垂直方向線分のうち、垂直方向の長さが所定範囲内の垂直方向線分を検出させる垂直線分再検出ステップと、コンピュータに、前記垂直線分再検出ステップにて検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出させる垂直線分組再検出ステップと、コンピュータに、前記水平線分組検出ステップにて水平方向線分の組として検出されない水平方向線分のうち、水平方向の長さが所定範囲内の水平方向線分を検出させる水平線分再検出ステップと、コンピュータに、前記水平線分再検出ステップにて検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出させる水平線分組再検出ステップと、コンピュータに、前記水平線分組検出ステップにて検出した水平方向線分の組、及び、前記垂直線分組検出ステップにて検出した垂直方向線分の組で囲まれた領域、並びに、前記水平線分組再検出手段が検出した水平方向線分の組、及び、前記垂直線分組再検出手段が検出した垂直方向線分の組で囲まれた領域を検出させるステップとを行わせることを特徴とする。
また、本発明に係るコンピュータプログラムは、コンピュータに、水平方向及び垂直方向に画素が並べられた画像に対して所定の画像処理を施させるコンピュータプログラムにおいて、コンピュータに、入力画像から水平方向の線分を検出させる水平線分検出ステップと、コンピュータに、前記水平線分検出ステップにて検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出させる水平線分組検出ステップと、コンピュータに、前記入力画像から垂直方向の線分を検出させる垂直線分検出ステップと、コンピュータに、前記垂直線分検出ステップにて検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出させる垂直線分組検出ステップと、コンピュータに、前記水平線分組検出ステップにて検出した水平方向線分の組、及び、前記垂直線分組検出ステップにて検出した垂直方向線分の組で囲まれた領域を、特定領域として検出させるステップと、コンピュータに、前記特定領域検出ステップにて検出した特定領域に含まれるカラー画素数又はモノクローム画素数を計数させる計数ステップと、コンピュータに、前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて、前記特定領域の画像の種別を判定させる判定ステップと、コンピュータに、前記特定領域検出ステップにて検出した特定領域毎に、前記判定ステップの判定結果に応じた画像処理を施させる画像処理ステップとを行わせることを特徴とする。
本発明においては、入力画像から水平方向線分の検出を行い、検出された複数の水平方向線分のうち、隣り合う2つの水平方向線分を組として検出する。例えば入力画像からm本の水平方向線分が検出された場合、(m−1)組の水平方向線分の組が(最多で)得られる(3本の水平方向線分が検出された場合、1番目及び2番目の水平方向線分の組と、2番目及び3番目の水平方向線分の組との2組が得られる)。同様に、入力画像から垂直方向線分の検出を行い、検出された複数の垂直方向線分のうち、隣り合う2つの垂直方向線分を組として検出する。例えば入力画像からn本の垂直方向線分が検出された場合、(n−1)組の垂直方向線分の組が(最多で)得られる。水平方向線分の組及び垂直方向線分の組で囲まれた領域は、矩形領域であり、ウインドウ領域(又はその候補)として扱うことができる領域である。(m−1)組の水平方向線分の組と、(n−1)組の垂直方向線分の組とからは、最多で(m−1)×(n−1)個の領域を(最多で)得ることができ、この領域を特定領域として検出する。複数のウインドウがタイル状に配された画像表示する場合、ウインドウの境界のほとんどが1つの領域の境界を担うことになるが、上記のような特定領域の検出を行うことによって、画像中のウインドウを特定領域として高精度に検出することができる。
検出した各特定領域について、例えば画素値に応じて画像の種別を判定し、判定結果に応じた画像処理を施すことができる。特定領域毎の画像処理を施した画像を表示することによって、ウインドウ毎に最適な表示特性での表示を行うことが可能となる。
また、本発明においては、入力画像からエッジに相当する画素(エッジ画素)を抽出する。エッジを抽出する処理は、例えばソーベルフィルタを用いたものなど、既存の画像処理技術により行うことができる。次いで、エッジ画素が水平方向に連続している部分を入力画像から探し出し、エッジ画素の連続数が所定値を超える場合に、これら複数のエッジ画素を水平方向線分として検出する。同様にエッジ画素が垂直方向に連続している部分を入力画像から探し出し、エッジ画素の連続数が所定範囲内の場合に、これら複数のエッジ画素を垂直方向線分として検出する。
ウインドウの境界はエッジに相当する可能性が高いため、エッジ画素に基づく検出を行うことによって、ウインドウを構成する水平方向線分及び垂直方向線分を精度よく検出することができる。
なお、上記のように水平方向又は垂直方向に連続するエッジ画素を水平方向線分又は垂直方向線分として検出する構成において、本来はウインドウの境界として1つの線分として検出されるべきエッジ画素の連続が、途中にいくつかの非エッジ画素を含むことによって途切れる場合がある。このような場合には、1つの線分が2つ以上の線分として検出され、ウインドウの検出精度を低下させる虞がある。
そこで、水平方向に隣り合う2つの水平方向線分の間の非エッジ画素数が所定値(数画素〜数十画素程度)以下の場合に、これら2つの水平方向線分を1つの水平方向線分として検出してもよい(ただし、1つとみなした水平方向線分が、上記の水平方向線分判定のための所定値より大きい必要がある)。同様に、垂直方向に隣り合う2つの垂直方向線分の間の非エッジ画素数が所定値以下の場合に、これら2つの垂直方向線分を1つの垂直方向線分として検出してもよい。
また、水平方向線分の組を検出する場合には、垂直方向に所定距離以上離れて隣り合う2つの水平方向線分の組を検出してもよい。水平方向線分の組はウインドウの上下の境界をなすものであるが、その距離が近いものは1つのウインドウの上下の境界をなすものである可能性は低いため、これらの水平方向線分の組を検出の対象から除外することができる。
同様に、垂直方向線分の組を検出する場合には、水平方向に所定距離以上離れて隣り合う2つの垂直方向線分の組を検出してもよい。垂直方向線分の組はウインドウの左右の境界をなすものであるが、その距離が近いものは1つのウインドウの左右の境界をなすものである可能性は低いため、これら垂直方向線分の組を検出対象から除外することができる。
上記のような処理を行うことによって、例えば線分の長さが短い又は線分間の距離が短い等の要因で、水平方向線分の組又は垂直方向線分の組としては検出されない水平方向線分又は垂直方向線分が存在する。
そこで本発明においては、これらの水平方向線分又は垂直方向線分を再検出し、再検出した水平方向線分又は垂直方向線分からそれぞれ組の再検出を行い、再検出した水平方向線分の組及び垂直方向線分の組から特定領域の再検出を行う。これにより、例えば大きな画像が表示されたウインドウに重ねて表示されるポップアップウインドウのような小さなウインドウを再検出することができる。
また、本発明においては、検出された各特定領域について、所定条件を満たす画素を計数し、計数結果に応じてこの特定領域に表示された画像の種別を判定し、画像の種別に応じた画像処理を施す。
例えば特定領域のカラー画素数又はモノクロ画素数を計数することにより、これらの画素の比率から特定領域の画像がカラー画像又はモノクロ画像のいずれであるかを判定することができる。
また例えば特定領域の画素値の度数分布を算出し、分布パターンに応じて画像種別を判定することができる。例えば一般的な画像とアプリケーションのツール画像又はテキスト等との度数分布を比較すると、アプリケーションのツール画像又はテキスト等は特定階調に度数が偏った分布となる。
このように特定領域の画像種別を判定し、画像種別に応じた画像処理を施すことによって、ウインドウ毎に最適な表示特性での表示を行うことができる。
また、本発明においては、入力画素値に対する表示画素値が対応付けられた表示特性、即ちルックアップテーブルを複数記憶しておき、画像種別の判定結果に応じたルックアップテーブルを用いて特定領域毎に画素値を変換し、表示を行う。これにより特定領域毎に最適な表示特性での画像表示を実現できる。
また、本発明においては、検出した複数の特定領域について、隣り合う2つの特定領域の画像種別及び頂点間の距離を調べ、例えば画像種別が同一であり且つ頂点間の距離が所定範囲内の2つの特定領域を1つの特定領域に結合する。複数の特定領域を1つに結合することによって、特定領域に関する情報の情報量を削減でき、この情報を記憶するためのメモリを削減できる。
また、本発明においては、上述の処理を入力画像全体に対して行うのではなく、ユーザから処理対象とする画像領域の指定を受け付け、受け付けた画像領域内についてのみ特定領域の検出を行い、検出した特定領域についての画像処理を行う。これにより、ユーザが必要とする領域に限定して処理を行うことができ、処理負荷を低減できる。
本発明による場合は、入力画像から検出した水平方向線分の組及び垂直方向線分の組に囲まれた領域を特定領域として検出することにより、複数のウインドウがタイル状に配された画像において、画像中のウインドウを特定領域として高精度に検出することができる。よって、高精度に検出した特定領域について画像種別を判定し、画像種別に適した画像処理を施すことにより、特定領域毎に最適な表示特性での表示を行うことができる。
本発明に係る表示装置の構成を示すブロック図である。 画像処理部の構成を示すブロック図である。 基本ウインドウ検出部が行う基本ウインドウ検出処理の手順を示すフローチャートである。 基本ウインドウ検出部が行う水平方向線分ペア検出処理の手順を示すフローチャートである。 基本ウインドウ検出部が行う垂直方向線分ペア検出処理の手順を示すフローチャートである。 基本ウインドウ検出処理を説明するための模式図である。 基本ウインドウ検出部の処理結果の一例を示す模式図である。 ポップアップウインドウ検出部が行うポップアップウインドウ検出処理の手順を示すフローチャートである。 ポップアップウインドウ検出部が行うショート垂直方向線分検出処理の手順を示すフローチャートである。 ポップアップウインドウ検出部が行うショート水平方向線分検出処理の手順を示すフローチャートである。 画像種別判定部が行う画像種別判定処理の手順を示すフローチャートである。 画像種別判定部が作成するヒストグラムの一例を示す模式図である。 画像種別判定部が行うカラー/モノクロ判定処理の手順を示すフローチャートである。 変形例1に係る表示装置が行うウインドウ検出処理を説明するための模式図である。 変形例2に係る表示装置の画像処理部の構成を示すブロック図である。 ポップアップウインドウの結合処理を説明するための模式図である。 ポップアップウインドウの結合処理を説明するための模式図である。 基本ウインドウの結合処理を説明するための模式図である。 変形例3に係る表示システムの構成を示すブロック図である。 画像処理の処理対象領域の指定を説明するための模式図である。
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。なお、本実施の形態においては、液晶表示装置を例に説明を行うが、これに限るものではなく、本発明は
OLED(Organic Light Emitting Diode)を用いた表示装置又は電子ペーパー等のような他の構成の表示装置にも適用可能である。図1は、本発明に係る表示装置の構成を示すブロック図である。図において1は、表示用のデバイスとして液晶パネル19を備えるカラーの表示装置であり、PC9から入力される画像の表示を行うものである。表示装置1は、例えば医療用として用いることができ、X線撮影によるモノクロ画像、内視鏡などの撮影によるカラー画像及びその他の画像(テキスト、グラフ、表など)等の種々の画像を表示することができる。
表示装置1は、制御部11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、操作部14、バックライト駆動部15、液晶駆動部16、画像入力部17、バックライト18、液晶パネル19及び画像処理部20等を備えて構成されている。制御部11は、具体的にはCPU(Central Processing Unit)又はMPU(Micro Processing Unit)等の演算処理装置にて構成することができ、表示装置1内の各部と情報の授受を行ってこれら各部の動作を制御することにより、液晶パネル19に画像を表示するための種々の処理を実行する。
ROM12は、例えばEEPROM(Electrically Erasable Programmable ROM)又はフラッシュメモリ等の不揮発性のメモリ素子により構成され、制御部11の動作に必要な制御プログラム12aと、個の制御プログラム12aの実行に際して利用される種々のデータ(図示は省略する)とが予め記憶されている。RAM13は、例えばSRAM(Static RAM)又はDRAM(Dynamic RAM)等のデータ書き換え可能なメモリ素子により構成されており、制御部11の処理過程にて発生する一時的なデータを記憶することができる。
操作部14は、ユーザが表示装置1を操作するための各種のファンクションキーなどを有している。例えば、液晶パネル19の画像表示の明るさ(ブライトネス)を変更するためのキー、又は画像表示のカラーバランスを変更するためのキー等のように、表示装置1の表示特性を設定するための設定キーが操作部14に設けられている。操作部14は、これらのファンクションキーに対するユーザの操作を受け付けて制御部11へ通知し、制御部11は操作部14からの通知に応じて各部の動作を制御することができる。
バックライト18は、表示装置1内にて液晶パネル19の背面側に配設されており、バックライト駆動部15から与えられる出力電圧により駆動される。バックライト駆動部15は、制御部11の制御に応じて、バックライト18への出力電圧を調整する。これにより、例えばユーザが操作部14を操作して設定したブライトネス設定に応じて、バックライト駆動部15に出力電圧を調整させて、バックライト18の輝度を調整することができる。例えばバックライト駆動部15からバックライト18へパルス状の電圧が与えられる場合、バックライト駆動部15による出力電圧の調整は、パルスの振幅を変更すること(いわゆる振幅変調)で行ってもよく、パルス幅を変更すること(いわゆるパルス幅変調)で行ってもよい。
液晶パネル19は、一対のガラス基板が対向配置され、その間隙内に液晶物質である液晶層が形成された構造をなしている。一方のガラス基板には、複数の画素電極と、画素電極のそれぞれにドレインを接続したTFT(Thin Film Transistor)とが設けられ、他方のガラス基板には共通電極が設けられている。各TFTのゲート及びソースは、液晶駆動部16のゲートドライバ及びソースドライバ(図示は省略する)に接続され、液晶駆動部16から駆動信号がそれぞれ入力されている。
液晶駆動部16は、与えられた画像信号に応じて液晶パネル19を駆動するための駆動信号を出力する。詳しくは、液晶駆動部16のゲートドライバは、液晶パネル19が有する多数のTFTのゲートに、与えられた画像信号に応じて選択的に電圧を印加し、また同様に、液晶駆動部16のソースドライバは、TFTのソースに、入力された映像信号に応じた電圧値で電圧を印加する。これにより液晶パネル19は、液晶駆動部16のゲートドライバから印加される電圧によって各画素のTFTのオン/オフが制御され、液晶駆動部16のソースドライバから入力される出力電圧(液晶パネル19への入力レベル)が各画素のTFTに印加されることにより、液晶物質の電気光学特性によって決定される光透過率が制御されて、バックライト18からの光の透過が調整され、所望の画像を階調表示することができる。液晶パネル19の各画素は、RGBのように複数色分の副画素で更に構成され、光の透過方向にカラーフィルムを配することで、カラー表示を可能としている。
画像入力部17は、PC9などの外部機器に信号ケーブルを介して接続される接続端子を有しており、PC9から入力される画像信号を取得する。画像信号は、RGB又はCMY等のように複数色で構成され、色毎に入力される。この画像信号は、画像処理部20により明るさ調整又はカラーバランス調整等の種々の画像処理が施された後に液晶駆動部16へ与えられ、与えられた画像信号に応じて液晶駆動部16が液晶パネル19を駆動することにより、表示装置1はPC9からの画像信号に基づく画像表示を行うことができる。なお、PC9から画像入力部17へ入力される画像信号は、アナログ信号又はデジタル信号のいずれであってもよい。
画像処理部20は、制御部11の制御に応じて、画像入力部17から与えられた画像信号(入力画像)に対して種々の画像処理を施し、画像処理後の画像信号(出力画像)を液晶駆動部16へ与える。また画像処理部20は、画像入力部17からの入力画像の階調値を、予め記憶されたLUT(ルックアップテーブル)に応じて補正する画像処理(いわゆるガンマ補正)を行う。更に、本実施の形態に係る表示装置1の画像処理部20は、入力画像からウインドウを検出し、ウインドウ毎に最適なルックアップテーブルを用いた補正を行うことができる。
図2は、画像処理部20の構成を示すブロック図である。画像処理部20は、エッジ検出部21、基本ウインドウ検出部22、ポップアップウインドウ検出部23、画像種別判定部24及び画質補正部25等の画像処理を行うための各部と、画質補正部25が行う画像処理に必要な情報を記憶したLUT記憶部26とを備えて構成されている。
エッジ検出部21は、画像入力部17から画像処理部20へ与えられた入力画像から、画像のエッジ部分を構成する画素(エッジ画素)を検出する画像処理を行うものである。例えばエッジ検出部21は、入力画像に対してソーベルフィルタを用いた画像処理を行うことによって、エッジ画素の検出を行うことができる(ただしエッジ検出方法はソーベルフィルタを用いるものに限定されない)。
基本ウインドウ検出部22は、エッジ検出部21が検出したエッジ画素に基づいて、入力画像に含まれるサイズが大きいウインドウを基本ウインドウとして検出する画像処理を行うものである。詳細は後述するが、基本ウインドウ検出部22は、水平方向及び垂直方向に並ぶエッジ画素から水平方向線分及び垂直方向線分を検出し、水平方向線分のペア及び垂直方向線分のペアで囲まれた特定領域を基本ウインドウとして検出する。
ポップアップウインドウ検出部23は、エッジ検出部21が検出したエッジ画素及び基本ウインドウ検出部22の検出結果に基づいて、入力画像に含まれる基本ウインドウに重畳されて表示されるウインドウをポップアップウインドウとして検出する画像処理を行うものである。詳細は後述するが、ポップアップウインドウ検出部23は、基本ウインドウ検出部22にて基本ウインドウを構成する水平方向線分のペア又は垂直方向線分のペアとされなかった水平方向線分及び垂直方向線分を取得し、取得した水平方向線分のペア及び垂直方向線分のペアで囲まれた特定領域をポップアップウインドウとして検出する。
画像種別判定部24は、基本ウインドウ検出部22が検出した基本ウインドウ及びポップアップウインドウ検出部23が検出したポップアップウインドウのそれぞれについて、ウインドウ内の画像種別を判定する画像処理を行うものである。画像種別判定部24が判定する画像種別は、例えばカラー画像、モノクロ画像、アプリケーションのツール画像、及びその他のウインドウ外の画像である。詳細は後述するが、画像種別判定部24は、例えばウインドウ内のカラー画素の比率又はモノクロ画素の比率をカウントすることで、カラー画像であるか、又は、モノクロ画像であるかを判定する。
画質補正部25は、画像種別判定部24の判定結果に基づいて、入力画像のウインドウ毎に異なるLUTを用いてガンマ補正を行う。画質補正部25が用いるLUTはLUT記憶部26に予め記憶されている。本実施の形態においては、LUT記憶部26には、高輝度sRGB(standard RGB)用のLUT26a、低輝度sRGB用のLUT26b、及び、高輝度DICOM(Digital Imaging and Communications in Medicine)用のLUT26cの3つのLUTが記憶されている。画質補正部25が補正処理を行った画像は、出力画像(表示画像)として液晶駆動部16へ与えられ、液晶パネル19に表示される。
<基本ウインドウ検出処理>
次に、画像処理部20の基本ウインドウ検出部22にて行われる基本ウインドウ検出処理の詳細を説明する。図3は、基本ウインドウ検出部22が行う基本ウインドウ検出処理の手順を示すフローチャートである。まず基本ウインドウ検出部22は、エッジ検出部21の画像処理により検出された入力画像のエッジ画素に関する情報を取得する(ステップS1)。次いで基本ウインドウ検出部22は、入力画像のエッジ画素に基づいて、基本ウインドウを構成する水平方向線分のペアを検出する処理を行う(ステップS2)。
図4は、基本ウインドウ検出部22が行う水平方向線分ペア検出処理の手順を示すフローチャートであり、図3に示すフローチャートのステップS2にて行われる処理である。基本ウインドウ検出部22は、エッジ検出部21が検出した入力画像のエッジ画素から、入力画像の水平方向に連続する複数のエッジ画素(エッジ画素群)を検出する(ステップS11)。このときに基本ウインドウ検出部22は、水平方向に隣り合う2つのエッジ画素群の間に存在する非エッジ画素の数が所定数(例えば数画素〜十数画素程度)以下であれば、この2つのエッジ画素群を1つのエッジ画素群として扱い、以下の処理を行ってよい。
次いで基本ウインドウ検出部22は、検出したエッジ画素群の水平方向の長さが所定値以上であるか否かを判定する(ステップS12)。なおステップS12の判定に用いる所定値は、例えば入力画像の水平方向のサイズに対する比率として予め定められる。エッジ画素群の長さが所定値に満たない場合(S12:NO)、基本ウインドウ検出部22は、このエッジ画素群が水平方向線分でないと判断し、ステップS17へ処理を進める。エッジ画素群の長さが所定値以上の場合(S12:YES)、基本ウインドウ検出部22は、このエッジ画素群が水平方向線分であると判断し、この水平方向線分に関する情報(座標情報など)を記憶する(ステップS13)。
次いで基本ウインドウ検出部22は、現時点で処理対象としている水平方向線分(現水平方向線分)の以前に検出されて記憶された水平方向線分があるか否かを判定し(ステップS14)、記憶済みの水平方向線分がない場合には(S14:NO)、ステップS17へ処理を進める。記憶済みの水平方向線分がある場合(S14:YES)、基本ウインドウ検出部22は、現水平方向線分とこれの直前に記憶された水平方向線分との垂直方向の距離を算出し、この距離が所定距離以上であるか否かを判定する(ステップS15)。現水平方向線分と直前の水平方向線分との距離が所定距離未満の場合(S15:NO)、基本ウインドウ検出部22は、ステップS17へ処理を進める。現水平方向線分と直前の水平方向線分との距離が所定距離以上の場合(S15:YES)、基本ウインドウ検出部22は、直前の水平方向線分と現水平方向線分とを水平方向線分ペアとして記憶する(ステップS16)。
その後、基本ウインドウ検出部22は、入力画像の全エッジ画素について上記S11〜S16の処理を終了したか否かを判定し(ステップS17)、処理を終了していない場合には(S17:NO)、ステップS11へ処理を戻し、全エッジ画素についての処理を終了するまでS11〜S16の処理を繰り返し行う。全エッジ画素についての処理を終了した場合(S17:YES)、基本ウインドウ検出部22は、図3に示したフローチャートへ処理を戻す。
水平方向線分ペア検出処理を行った後、基本ウインドウ検出部22は、入力画像のエッジ画素に基づいて垂直方向線分のペアを検出する処理を行う(ステップS3)。
図5は、基本ウインドウ検出部22が行う垂直方向線分ペア検出処理の手順を示すフローチャートであり、図3に示すフローチャートのステップS3にて行われる処理である。基本ウインドウ検出部22は、エッジ検出部21が検出した入力画像のエッジ画素から、入力画像の垂直方向に連続するエッジ画素群を検出する(ステップS21)。このときに基本ウインドウ検出部22は、垂直方向に隣り合う2つのエッジ画素群の間に存在する非エッジ画素の数が所定数(例えば数画素〜十数画素程度)以下であれば、この2つのエッジ画素群を1つのエッジ画素群として扱い、以下の処理を行ってよい。
次いで基本ウインドウ検出部22は、検出したエッジ画素群の垂直方向の長さが所定範囲内であるか否かを判定する(ステップS22)。なおステップS22の判定に用いる所定範囲は、水平方向線分ペア検出処理にて検出された複数の水平方向線分のうち、垂直方向の最上及び最下に位置する2つの水平方向線分間の距離を算出し、この距離に対して例えば±10%の範囲のように定められる。エッジ画素群の長さが所定範囲外の場合(S22:NO)、基本ウインドウ検出部22は、このエッジ画素群が垂直方向線分でないと判断し、ステップS27へ処理を進める。エッジ画素群の長さが所定範囲内の場合(S22:YES)、基本ウインドウ検出部22は、このエッジ画素群が垂直方向線分であると判断し、この垂直方向線分に関する情報(座標情報など)を記憶する(ステップS23)。
次いで基本ウインドウ検出部22は、現時点で処理対象としている垂直方向線分(現垂直方向線分)の以前に検出されて記憶された垂直方向線分があるか否かを判定し(ステップS24)、記憶済みの垂直方向線分がない場合には(S24:NO)、ステップS27へ処理を進める。記憶済みの垂直方向線分がある場合(S24:YES)、基本ウインドウ検出部22は、現垂直方向線分とこれの直前に記憶された垂直方向線分との水平方向の距離を算出し、この距離が所定距離以上であるか否かを判定する(ステップS25)。現垂直方向線分と直前の垂直方向線分との距離が所定距離未満の場合(S25:NO)、基本ウインドウ検出部22は、ステップS27へ処理を進める。現垂直方向線分と直前の垂直方向線分との距離が所定距離以上の場合(S25:YES)、基本ウインドウ検出部22は、直前の垂直方向線分と現垂直方向線分とを垂直方向線分ペアとして記憶する(ステップS26)。
その後、基本ウインドウ検出部22は、入力画像の全エッジ画素について上記S21〜S26の処理を終了したか否かを判定し(ステップS27)、処理を終了していない場合には(S27:NO)、ステップS21へ処理を戻し、全エッジ画素についての処理を終了するまでS21〜S26の処理を繰り返し行う。全エッジ画素についての処理を終了した場合(S27:YES)、基本ウインドウ検出部22は、図3に示したフローチャートへ処理を戻す。
図6は、基本ウインドウ検出処理を説明するための模式図であり、入力画像100に対して基本ウインドウ検出部22が検出した水平方向線分及び垂直方向線分を示したものである。本図においては、例えば基本ウインドウ検出処理部22は、3つの水平方向線分Y1〜Y3を検出しており、水平方向線分ペアとして(Y1、Y2)、(Y2、Y3)の2つのペアを検出する。また基本ウインドウ検出処理部2は、4つの垂直方向線分X1〜X4を検出しており、垂直方向線分ペアとして(X1、X2)、(X2、X3)、(X3、X4)の3つのペアを検出する。
垂直方向線分ペア検出処理を行った後、基本ウインドウ検出部22は、検出した水平方向線分ペア及び垂直方向線分ペアで囲まれた矩形領域を基本ウインドウ(特定領域)として検出する(ステップS4)。なお検出する特定領域は、必ずしも4つの線分で完全に囲まれている(即ち閉塞されている)必要はなく、各線分の延長線を含めて囲まれた矩形領域であればよい。
例えば図6に示す例では、2つの水平方向線分ペアと3つの垂直方向線分ペアとによって、基本ウインドウ検出部22は、6つ(=2×3)の基本ウインドウW1〜W6を検出する。なお、基本ウインドウW1は(Y1、Y2)及び(X1、X2)で囲まれた領域であり、基本ウインドウW2は(Y2、Y3)及び(X1、X2)で囲まれた領域であり、基本ウインドウW3は(Y1、Y2)及び(X2、X3)で囲まれた領域であり、基本ウインドウW4は(Y2、Y3)及び(X2、X3)で囲まれた領域であり、基本ウインドウW5は(Y1、Y2)及び(X3、X4)で囲まれた領域であり、基本ウインドウW6は(Y2、Y3)及び(X3、X4)で囲まれた領域である。
その後、基本ウインドウ検出部22は、検出した基本ウインドウの4つの位置情報を記憶して(ステップS5)、処理を終了する。
図7は、基本ウインドウ検出部22の処理結果の一例を示す模式図であり、図3に示したフローチャートのステップS5にて記憶される基本ウインドウの位置情報である。なお、図7に示す位置情報は、水平方向線分YnのY座標をynとし、垂直方向線分XnのX座標をxnとして、基本ウインドウの位置を4つの座標で表したものである。基本ウインドウ検出部22は、処理結果として図示のようなテーブルを作成して出力する。
<ポップアップウインドウ検出処理>
次に、画像処理部20のポップアップウインドウ検出部23にて行われるポップアップウインドウ検出処理の詳細を説明する。図8は、ポップアップウインドウ検出部23が行うポップアップウインドウ検出処理の手順を示すフローチャートである。まずポップアップウインドウ検出部23は、基本ウインドウを構成する垂直方向線分ペアとされず、ポップアップウインドウを構成する可能性のある垂直方向線分(ショート垂直方向線分)を検出する処理を行う(ステップS31)。
図9は、ポップアップウインドウ検出部23が行うショート垂直方向線分検出処理の手順を示すフローチャートであり、図8に示すフローチャートのステップS31にて行われる処理である。ポップアップウインドウ検出部23は、基本ウインドウ検出処理にて垂直方向線分ペアを構成しなかった垂直方向線分(ただし、ステップS23にて記憶した垂直方向線分のみでなく、ステップS21にて検出されたエッジ画素群を対象とする)を取得し(ステップS41)、取得した垂直方向線分の長さが所定範囲内であるか否かを判定する(ステップS42)。なおステップS42にて判定に用いる所定範囲は、例えばポップアップウインドウの標準的な垂直方向の幅又は基本ウインドウの垂直方向の幅等から予め算出することができる。
垂直方向線分の長さが所定範囲内である場合(S42:YES)、ポップアップウインドウ検出部23は、この垂直方向線分をショート垂直方向線分として記憶し(ステップS43)、ステップS44へ処理を進める。垂直方向線分の長さが所定範囲外である場合(S42:NO)、ポップアップウインドウ検出部23は、ステップS44へ処理を進める。
その後、ポップアップウインドウ検出部23は、基本ウインドウ検出処理にて垂直方向線分ペアを構成しなかった全ての垂直方向線分について上記S41〜S43の処理を終了したか否かを判定し(ステップS44)、処理を終了していない場合には(S44:NO)、ステップS41へ処理を戻し、全ての垂直方向成分についての処理を終了するまでS41〜S43の処理を繰り返し行う。全ての垂直方向線分について処理を終了した場合(S44:YES)、ポップアップウインドウ検出部23は、図8に示したフローチャートへ処理を戻す。
ショート垂直方向線分検出処理の終了後、ポップアップウインドウ検出部23は、基本ウインドウを構成する水平方向線分ペアとされず、ポップアップウインドウを構成する可能性のある水平方向線分(ショート水平方向線分)を検出する処理を行う(ステップS32)。
図10は、ポップアップウインドウ検出部23が行うショート水平方向線分検出処理の手順を示すフローチャートであり、図8に示すフローチャートのステップS32にて行われる処理である。ポップアップウインドウ検出部23は、基本ウインドウ検出処理にて水平方向線分ペアを構成しなかった水平方向線分(ただし、ステップS13にて記憶した水平方向線分のみでなく、ステップS11にて検出されたエッジ画素群を対象とする)を取得し(ステップS51)、取得した水平方向線分の長さが所定範囲内であるか否かを判定する(ステップS52)。なおステップS52にて判定に用いる所定範囲は、例えばポップアップウインドウの標準的な水平方向の幅又は基本ウインドウの水平方向の幅等から予め算出することができる。
水平方向線分の長さが所定範囲内である場合(S52:YES)、ポップアップウインドウ検出部23は、この水平方向線分をショート水平方向線分として記憶し(ステップS53)、ステップS54へ処理を進める。水平方向線分の長さが所定範囲外である場合(S52:NO)、ポップアップウインドウ検出部23は、ステップS54へ処理を進める。
その後、ポップアップウインドウ検出部23は、基本ウインドウ検出処理にて水平方向線分ペアを構成しなかった全ての水平方向線分について上記S51〜S53の処理を終了したか否かを判定し(ステップS54)、処理を終了していない場合には(S54:NO)、ステップS51へ処理を戻し、全ての水平方向成分についての処理を終了するまでS51〜S53の処理を繰り返し行う。全ての水平方向線分について処理を終了した場合(S54:YES)、ポップアップウインドウ検出部23は、図8に示したフローチャートへ処理を戻す。
ショート水平方向線分検出処理の終了後、ポップアップウインドウ検出部23は、ステップS31のショート垂直方向線分検出処理にて検出したショート垂直方向線分を基に、ポップアップウインドウを構成する可能性のあるショート垂直方向線分のペアを検出する(ステップS33)。このときポップアップウインドウ検出部23は、ステップS31にて検出された複数のショート垂直方向線分を水平方向へ順に走査し、各ショート垂直方向線分について、その前後に存在する所定個数(例えば20個)のショート垂直方向線分とのペアを作成する。
次いでポップアップウインドウ検出部23は、ステップS33にて検出した複数のショート垂直方向線分ペアをそれぞれ比較し、例えば頂点の座標の差が所定範囲内であるなど、比較したショート垂直方向線分ペアが略同じものであると判断できる場合、複数のショート垂直方向線分ペアをいずれか1つに統合し、不要なショート垂直方向線分ペアを削減する(ステップS34)。
次いでポップアップウインドウ検出部23は、ステップS34の処理によって得られた各ショート垂直方向線分ペアに対して、ステップS32にて検出された複数のショート水平方向線分から、ポップアップウインドウを構成するのに最も適した2つのショート水平方向線分を探索することによって、ショート垂直方向線分ペアに対するショート水平方向線分ペアを決定する(ステップS35)。ポップアップウインドウ検出部23は、ショート垂直方向線分ペアを構成する2つのショート垂直方向線分の両端の座標に基づいて、2つのショート垂直方向線分の両端を連結するのに適した2つのショート水平方向線分を探索する。
次いでポップアップウインドウ検出部23は、ステップS35にて得られたショート垂直方向線分ペア及びショート水平線分ペアの組み合わせをポップアップウインドウとして検出し、このポップアップウインドウの位置情報を記憶して(ステップS36)、処理を終了する。なおポップアップウインドウの位置情報は、図7に示した基本ウインドウの位置情報と同様に、4つの座標で表すことができる。ポップアップウインドウ検出部23は、処理結果としてポップアップウインドウの位置情報を作成して出力する。
<画像種別判定処理>
次に、画像処理部20の画像種別判定部24にて行われる画像種別判定処理の詳細を説明する。画像処理部20へ入力される入力画像は、ウインドウ(基本ウインドウ及びポップアップウインドウ)の領域と、ウインドウ以外のその他の領域とに分類することができる。これは上述の基本ウインドウ検出処理及びポップアップウインドウ検出処理にて検出された領域であるか否かにより判定することができる。ウインドウ以外のその他の領域は、画像処理部20の画質補正部25によって低輝度sRGB用のLUT26bを用いた補正処理が施される。
ウインドウと判定された領域は、更に、ウインドウ内に画像を表示したものと、アプリケーションのツール又は文字などを表示したものとに分類することができる。画像処理部20の画像種別判定部24は、ウインドウ内の画素値についてのヒストグラムを生成し、ヒストグラムの分布パターンに応じて画像又はツール、文字等のいずれの領域であるかを判定する。ツール、文字等と判定されたウインドウは、画質補正部25によって低輝度sRGB用のLUT26bを用いた補正処理が施される。
画像のウインドウと判定された領域は、更に、ウインドウ内の画像がカラー画像であるか又はモノクロ画像であるかで分類することができる。画像種別判定部24は、ウインドウ内の各画素の画素値を調べ、カラー画素の画素数をカウントし、ウインドウ内の全画素に対するカラー画素の比率が閾値を超えるか否かに応じて、カラー画像又はモノクロ画像のいずれであるかを判定する。モノクロ画像と判定されたウインドウは、画質補正部25によって高輝度DICOM用のLUT26cを用いた補正処理が施される。
カラー画像のウインドウと判定された領域は、画質補正部25によって高輝度sRGB用のLUT26a又は低輝度sRGB用のLUT26bが適宜に選択され、補正処理が施される。
このように画像種別判定部24は、ウインドウ内の画素の画素値に基づいて、ヒストグラムの作成及びカラー画素の比率算出等の処理を行って画像種別を判定する。なお画像種別判定部24は、ウインドウ内の全ての画素についてヒストグラムの作成又はカラー画素の比率算出等の処理を行う必要はなく、ウインドウ内の一部の画素についてこれらの処理を行って画像種別を判定してもよい。
図11は、画像種別判定部24が行う画像種別判定処理の手順を示すフローチャートである。まず画像種別判定部24は、基本ウインドウ検出部22及びポップアップウインドウ検出部23の検出結果を基に、入力画像のウインドウ(基本ウインドウ又はポップアップウインドウ)を1つ取得し(ステップS61)、取得したウインドウに対して図12に示したような判定領域を決定する(ステップS62)。次いで画像種別判定部24は、ウインドウの判定領域内に存在する画素の画素値(階調)に関するヒストグラムを作成し(ステップS63)、作成したヒストグラムに基づいて、このウインドウが画像を表示するものであるか、又は、アプリケーションのツールなどの非画像であるかを判定する(ステップS64)。
図12は、画像種別判定部24が作成するヒストグラムの一例を示す模式図であり、上段に一般的な画像を基に作成したヒストグラムを示し、下段にアプリケーションのツール画像を基に作成したヒストグラムを示す。また図12に示すヒストグラムは、横軸を画素値(階調)とし、縦軸を度数としたものである。図示のように、一般的な画像のヒストグラムでは複数の階調に亘って画素が分布しているが、ツール画像のヒストグラムでは特定の階調に画素が集中している。またウインドウがテキストなどの情報を表示するものである場合も同様に、ヒストグラムでは特定の階調に画素が集中する。よって画像種別判定部24は、作成したヒストグラムの分布パターンを調べ、度数が特定階調に集中しているか否かに応じて画像種別を判定することができる。
特定階調に度数が集中しており、対象のウインドウが一般的な画像を表示したものでないと判定した場合(S65:NO)、画像種別判定部24は、対象のウインドウの画像種別をツール、文字等と判定し、判定結果として”ツール、文字等”を記憶して(ステップS66)、ステップS69へ処理を進める。また特定階調に度数が集中しておらず、対象のウインドウが一般的な画像を表示したものであると判定した場合(S65:YES)、画像種別判定部24は、ウインドウの画像がカラーであるか又はモノクロであるかを判定する処理を更に行う(ステップS67)。
図13は、画像種別判定部24が行うカラー/モノクロ判定処理の手順を示すフローチャートであり、図11に示すフローチャートのステップS67にて行われる処理である。画像種別判定部24は、ウインドウの判定領域内のカラー画素数をカウントし(ステップS81)、判定領域内の全画素数に対するカラー画素数の比率を算出する(ステップS82)。次いで画像種別判定部24は、算出したカラー画素の比率が閾値(例えば90%など)を超えるか否かを判定する(ステップS83)。画像種別判定部24は、カラー画素の比率が閾値を超える場合には(S83:YES)、カラー画像であると判定し(ステップS84)、またカラー画素の比率が閾値を超えない場合には(S83:NO)、モノクロ画像であると判定して(ステップS85)、カラー/モノクロ判定処理を終了し、図11に示したフローチャートへ処理を戻す。
カラー/モノクロ判定処理の後、画像種別判定部24は、カラー画像と判定されたウインドウ及び/又はモノクロ画像と判定されたウインドウに対して、更にその他の画像種別を判定する処理を行ってもよい(ステップS68)。
その後、画像種別判定部24は、基本ウインドウ検出部22及びポップアップウインドウ検出部23にて検出された全てのウインドウについて上記S61〜S68の処理を終了したか否かを判定し(ステップS69)、処理を終了していない場合には(S69:NO)、ステップS61へ処理を戻し、全てのウインドウについての処理を終了するまでS61〜S68の処理を繰り返し行う。全てのウインドウについて処理を終了した場合(S69:YES)、画像種別判定部24は、画像種別判定処理を終了する。なお、画像種別判定部24は、画像種別の判定結果をステップS66、S84及びS85にて記憶する際に、図7に示したウインドウの情報に画像種別を対応付けて記憶しており、この情報を処理結果として画質補正部25へ出力する。
画質補正部25は、入力画像の各画素について、LUT記憶部26に記憶された高輝度sRGB用のLUT26a、低輝度sRGB用のLUT26b又は高輝度DICOM用のLUT26cのいずれかを選択して読み出し、画素値(階調)の補正を行う。各LUTは、入力画像の階調値と、液晶駆動部16へ与える出力画像の階調値とが対応付けられたテーブルであり、表示装置1の設計段階又は製造工程等にて画像種別に応じた理想的な表示特性となるように最適な値がそれぞれ記憶されている。
高輝度sRGB用のLUT26a及び低輝度sRGB用のLUT26bは、共にsRGB規格のカラー画像の補正を行うためのものであるが、画質補正部25は、高輝度sRGB用のLUT26aを用いることで入力されたカラー画像の輝度を高めて表示することができ、低輝度sRGB用のLUT26bを用いることで入力されたカラー画像の輝度を低減して表示することができる。即ち画質補正部25は、高輝度sRGB用のLUT26a又は低輝度sRGB用のLUT26bのいずれを用いるかによって、カラー画像の輝度を調整することができる。また高輝度DICOM用のLUT26cは、X線撮影画像などの医療用画像で用いられるDICOM規格のモノクロ画像の補正を行うためのものである。
画質補正部25は、画像種別判定部24にてカラー画像と判定されたウインドウを高輝度sRGB用のLUT26a又は低輝度sRGB用のLUT26bにて補正し、モノクロ画像と判定されたウインドウを高輝度DICOM用のLUT26cにて補正し、その他の画像(ツール、文字、ウインドウ以外の領域など)と判定されたウインドウを低輝度sRGB用のLUT26bにて補正する。画質補正部25にて補正処理が施された入力画像は、画像処理部20の出力画像として液晶駆動部16へ与えられ、補正後の出力階調にて液晶パネル19の画像表示が行われる。
以上の構成の表示装置1においては、基本ウインドウ検出部22が入力画像から水平方向線分ペア及び垂直方向線分ペアを検出し、水平方向線分ペア及び垂直方向線分ペアで囲まれた領域をウインドウ(基本ウインドウ)として検出する構成とすることにより、複数のウインドウがタイル状に配された(複数の基本ウインドウが重ならずに縦横に並べて配された)入力画像からウインドウを高精度に検出することができる。
またエッジ検出部21が入力画像からエッジ画素を抽出し、基本ウインドウ検出部22が、水平方向に連続しているエッジ画素群を探し出し、連続数が所定値を超えるエッジ画素群を水平方向線分として検出すると共に、垂直方向に連続しているエッジ画素群を探し出し、連続数が所定範囲内のエッジ画素群を垂直方向線分として検出する構成とすることにより、ウインドウを構成する可能性が高い水平方向線分及び垂直方向線分を容易且つ高精度に検出することができる。また基本ウインドウ検出部22が水平方向線分又は垂直方向線分の検出を行う際に、複数のエッジ画素群の間に少数の非エッジ画素が含まれている場合であっても、非エッジ画素数が所定値以下であればこれら複数のエッジ画素群を1つの水平方向線分又は垂直方向線分として検出する構成とすることにより、ウインドウの検出精度をより高めることができる。また、基本ウインドウ検出部22が水平方向線分ペア又は垂直方向線分ペアを検出する際に、所定距離以上離れて隣り合う2つの水平方向線分又は垂直方向線分をペアとして検出する構成とすることにより、ウインドウを構成する可能性が低い水平方向線分ペア又は垂直方向線分ペアが検出されることを防止でき、ウインドウの検出精度をより高めることができる。
また、基本ウインドウ検出部22によって基本ウインドウを構成する水平方向線分ペア又は垂直方向線分ペアでないとされた水平方向線分又は垂直方向線分(水平方向のエッジ画素群又は垂直方向のエッジ画素群)を基に、ポップアップウインドウ検出部23がポップアップウインドウを構成するショート垂直方向線分ペア及びショート水平方向線分ペアを検出し、これらに囲まれた領域をポップアップウインドウとして検出する構成とすることにより、基本ウインドウ検出部22によって検出されない小さいウインドウをポップアップウインドウとして再検出することができ、ウインドウの検出精度をより高めることができる。
また、検出されたウインドウに表示された画像の種別を画像種別判定部24が判定し、画像の種別に応じて画質補正部25がLUTを選択して補正処理を行う構成とすることにより、ウインドウ毎に最適な表示特性での画像表示を実現できる。また、画像種別判定部24がウインドウ内の画素値のヒストグラムを生成し、ヒストグラムの分布パターンから一般の画像又はツール画像、文字等のいずれであるかを判定する構成とすることにより、ウインドウの画像種別を容易且つ精度よく判定することができる。また、画像種別判定部24がウインドウ内のカラー画素数をカウントし、ウインドウ内の全体画素数に対するカラー画素数の比率を算出し、カラー画素の比率が閾値を超えるか否かに応じてカラー画像又はモノクロ画像の判定を行う構成とすることにより、ウインドウの画像種別を容易且つ精度よく判定することができる。
なお、本実施の形態においては、入力画像から検出したウインドウの画像種別を、カラー画像、モノクロ画像、ツール、文字等の画像、及び、その他の画像に分類したが、これら画像種別は一例であって、これに限るものではない。また、カラー画像に高輝度sRGB用のLUT26a又は低輝度sRGB用のLUT26bを適用し、モノクロ画像に高輝度DICOM用のLUT26cを適用し、その他の画像に低輝度sRGB用のLUT26bを適用する構成としたが、これに限るものではない。また、LUT記憶部26に記憶するLUTの種類は、像に高輝度sRGB用のLUT26a、低輝度sRGB用のLUT26b及び高輝度DICOM用のLUT26cに限らず、その他のLUTを記憶して画質補正部25が補正処理を行う構成であってもよい。
また、基本ウインドウ検出部22は、まず水平方向線分及び水平方向線分ペアを検出し、その後に垂直方向線分及び垂直方向線分ペアを検出する構成としたが、これに限るものではなく、まず垂直方向線分及び垂直方向線分ペアを検出し、その後に水平方向線分及び水平方向線分ペアを検出する構成であってもよい。この場合、垂直方向の連続数が所定値を超えるエッジ画素群を垂直方向線分として検出し、水平方向の連続数が所定範囲(垂直方向線分間の最大距離の±10%など)内のエッジ画素群を水平方向線分として検出することができる。同様に、ポップアップウインドウ検出部23は、まずショート垂直線分ペアを検出し、その後にショート水平線分ペアを検出する構成としたが、これに限るものではなく、まずショート水平線分ペアを検出し、その後にショート垂直線分ペアを検出する構成としてもよい。
また、ウインドウ検出処理、画像種別判定処理及び画質補正処理等を表示装置1の画像処理部20が行う構成としたが、これに限るものではなく、表示装置1の制御部11が行う構成としてもよい。この構成の場合、上記の処理は制御プログラム12a(コンピュータプログラム)の一処理として実現され、制御部11が制御プログラム12aを実行することによって、図2に示したエッジ検出部21〜画質補正部25がソフトウェア的な機能ブロックとして実現される。更には、これらの処理をPC9にて行い、表示装置1はPC9から入力された画像信号を直接的に表示する構成としてもよい。この構成の場合、PC9にはこれらの処理を行うためのコンピュータプログラム(例えばデバイスドライバなどとして)が予めインストールされ、PC9がコンピュータプログラムを実行することによって、図2に示したエッジ検出部21〜画質補正部25がPC9にてソフトウェア的な機能ブロックとして実現される。また、エッジ検出部21をPC9に設け、画質補正部25を表示装置1に設けるなど、エッジ検出部21〜画質補正部25が行う各処理をPC9及び表示装置1にて適宜に分担する構成としてもよい。また更には、PC9及び表示装置1の間に中継装置などを設け、この中継装置がエッジ検出部21〜画質補正部25が行う処理の全て又は一部を行う構成としてもよい。
(変形例1)
上述の実施の形態においては、表示装置1の画像処理部20は入力画像全体に対して一度にウインドウの検出処理を行う構成であるが、これに限るものではない。変形例1に係る表示装置1は、入力画像を水平方向に二分し、左半分の領域と右半分の領域とに対してそれぞれウインドウの検出処理を行う。図14は、変形例1に係る表示装置1が行うウインドウ検出処理を説明するための模式図であり、入力画像100に対して変形例1に係る表示装置1の基本ウインドウ検出部22が検出した水平方向線分及び垂直方向線分を示したものである。変形例1の基本ウインドウ検出部22は、入力画像100を水平方向に二分し(図14中の破線の位置を参照)、左半分の領域と右半分の領域とについて基本ウインドウ検出処理をそれぞれ行う。このとき、図4に示した水平方向線分ペア検出処理のステップS12にて判定に用いる所定値は、入力画像100の水平方向のサイズではなく、入力画像100の左半分の領域又は右半分の領域の水平方向のサイズを基準に決定される。
図示の例では、入力画像100の左半分の領域において、3つの水平方向線分Y11〜Y13及び3つの垂直方向線分X11〜X13が検出され、これにより2組の水平方向線分ペア及び2組の垂直方向線分ペアが検出されるため、4つの基本ウインドウW11〜W14が検出されている。また右半分の領域において、2つの水平方向線分Y21、Y22及び2つの垂直方向線分X21、X22が検出され、これにより1組の水平方向線分ペア及び1組の垂直方向線分ペアが検出されるため、1つの基本ウインドウW21が検出されている。基本ウインドウ検出部22は、検出した5つの基本ウインドウW11〜W14、W21に関する情報を生成して出力する。
このように、入力画像100を分割してウインドウの検出を行う構成とすることにより、例えば水平方向に長い液晶パネル19を有する表示装置1では、表示面の左右に異なるウインドウを表示して使用される場合が多く、このような使用態様でのウインドウの検出精度を高めることができる。なお、基本ウインドウ検出部22は、例えば入力画像100の水平方向の中心位置など、予め定められた位置で入力画像100の分割を行う構成であってもよく、また例えば垂直方向線分の検出を先に行って、最も長い垂直方向線分の位置で分割を行うなどの構成であってもよい。また、入力画像100を水平方向(左右)に二分してウインドウの検出を行うのではなく、垂直方向(上下)に二分してウインドウの検出を行ってもよい。また、入力画像100を二分するのではなく、3つ以上の複数の領域に分割してもよい。また、ポップアップウインドウ検出部23についても同様に、入力画像100を分割してポップアップウインドウの検出を行う構成としてよい。
(変形例2)
図15は、変形例2に係る表示装置1の画像処理部20の構成を示すブロック図である。変形例2の画像処理部20は、基本ウインドウ検出部22及びポップアップウインドウ検出部23によるウインドウの検出を行い、画像種別判定部24による各ウインドウの画像種別の判定を終えた後、検出された複数のウインドウをウインドウ結合部127にて結合する処理を行う。画像処理部20は、ウインドウ結合部127にて結合処理がなされたウインドウに対して、画質補正部25による画質補正の処理を行う。ウインドウ結合処理において画像処理部20は、まずポップアップウインドウの結合処理を行い、その後に基本ウインドウの結合処理を行う。
図16及び図17は、ポップアップウインドウの結合処理を説明するための模式図であり、ポップアップウインドウ検出部23にて検出されたポップアップウインドウを図16に示し、検出されたポップアップウインドウをウインドウ結合部127が結合した結果を図17に示す。例えば、図16に示すように、ポップアップウインドウ検出部23が9個のポップアップウインドウW1〜W9を検出したとする。ウインドウ結合部127は、検出された各ポップアップウインドウについて、水平方向(左右)に隣り合う他のポップアップウインドウの画像種別を調べ、対象のポップアップウインドウと隣り合う他のポップアップウインドウとの画像種別が同じであるか否かを判定する。ウインドウ結合部127は、画像種別が同じと判定した隣り合う2つのポップアップウインドウについて、隣接する頂点間の距離を算出し、この距離が所定範囲内であれば、この2つのポップアップウインドウを1つのポップアップウインドウに結合する。図17に示す例では、ポップアップウインドウW1及びW3がポップアップウインドウW13に結合され、ポップアップウインドウW6及びW9がポップアップウインドウW69に結合され、ポップアップウインドウW7及びW8がポップアップウインドウW78に結合されている。
図18は、基本ウインドウの結合処理を説明するための模式図であり、上段に基本ウインドウ検出部22にて検出された基本ウインドウを示し、下段に基本ウインドウをウインドウ結合部127が結合した結果を示す。例えば図18上段に示すように、基本ウインドウ検出部22が入力画像中においてタイル状に並べて配された9個の基本ウインドウW1〜W9を検出したとする。ウインドウ結合部127は、検出された基本ウインドウについて、垂直方向(上下)に隣り合う2つの基本ウインドウの画像種別を調べ、これらの画像種別が同じであるか否かを判定する。ウインドウ結合部127は、画像種別が同じと判定した隣り合う2つの基本ウインドウについて、隣接する頂点館の距離を算出し、この距離が所定範囲内であれば、2つの基本ウインドウを1つの基本ウインドウに結合する。図18下段に示す例では、基本ウインドウW2及びW3が基本ウインドウW23に結合され、基本ウインドウW4及びW5が基本ウインドウW45に結合されている。
このように、画像処理部20のウインドウ結合部127が、検出された基本ウインドウ及びポップアップウインドウを結合する処理を行うことによって、基本ウインドウ及びポップアップウインドウに関する情報の量を削減することができ、画像処理部20が使用する記憶領域(レジスタ又はメモリ等)の量を削減することができる。なおウインドウ結合部127は、水平方向に隣り合うポップアップウインドウを結合する構成としたが、これに限るものではなく、水平方向に隣り合うポップアップウインドウを結合する構成としてもよく、両方向に隣り合うポップアップウインドウを結合する構成としてもよい。同様にウインドウ結合部127は、垂直方向に隣り合う基本ウインドウを結合する構成としたが、これに限るものではなく、水平方向に隣り合う基本ウインドウを結合する構成としてもよく、両方向に隣り合う基本ウインドウを結合する構成としてもよい。
(変形例3)
上述の実施の形態は、表示装置1の画像処理部20が、PC9からの入力画像に対するウインドウの検出、画像種別の判定及び画質の補正等の処理を行って、液晶パネル19に表示する構成であるが、これに限るものではない。変形例3に係る表示システムは、PCにてウインドウの検出、画像種別の判定及び画質の補正等の処理を行った画像を表示装置へ与え、表示装置はPCから与えられた画像に対して画像処理を行うことなく(ただし何らかの画像処理を行ってもよい)液晶パネル19に表示する構成である。
図19は、変形例3に係る表示システムの構成を示すブロック図である。変形例3のPC110は、CPU111、メモリ112、ハードディスク113、画像出力部114、操作部115及びDVD(Digital Versatile Disk)ドライブ116等を備えて構成される汎用のコンピュータである。メモリ112は、SRAM及び/又はDRAM等のメモリ素子で構成されている。ハードディスク113は、大容量の磁気記憶装置であり、画像処理プログラム113a並びにその他の種々のプログラム及びデータが記憶されている。CPU111は、ハードディスク113に記憶されたプログラムをメモリ112に読み出して実行することによって、種々の処理を行うことができる。特に変形例3のPC110では、ハードディスク113に記憶された画像処理プログラム113aを読み出して実行することにより、PC110のCPU111は、図1及び図2等に示した画像処理部20と略同じ処理を行う画像処理部120として動作する。
また、画像出力部114は、表示装置101に信号線を介して接続され、表示装置に対して画像を出力する。操作部115は、例えばマウス及びキーボード等の装置で構成されるものであり、ユーザの操作を受け付けてCPU111へ通知する。DVDドライブ116は、外部記憶媒体であるDVD116aが装着され、DVD116aに記憶されたデータを読み出すことができる。これにより例えばDVD116aに記憶された画像処理プログラム113aをハードディスク113へインストールすることができる。
変形例3のPC110は、CPU111が画像処理部120として上述の基本ウインドウ検出処理、ポップアップウインドウ検出処理、画像種別判定処理及び画質補正処理を行い、処理後の画像を画像出力部114から表示装置101へ出力する。表示装置101は、PC110から入力された画像に対して画像処理を施すことなく、入力画像をそのまま液晶パネルに表示することができる。
更に変形例3に係るPC110は、例えば操作部115のマウスにて始点及び終点の指定を受け付けることによって、表示画面中の矩形領域の指定を受け付けることができ、受け付けた矩形領域内に対して上述の基本ウインドウ検出処理〜画質補正処理の画像処理を行うと共に、矩形領域外についてはこれらの画像処理を行わない。
図20は、画像処理の処理対象領域の指定を説明するための模式図であり、表示装置101に表示される画像の一例を示してある。図示の表示例では、10個のウインドウW1〜W10がタイル状に配置されている。ユーザはPC110の操作部115の例えばマウスを操作することによって、図中の破線で示すような矩形領域を指定することができる。図示の例では、ウインドウW1、W2、W5及びW6の4つを囲む矩形領域が指定されている。PC110の画像処理部120は、指定された矩形領域から4つのウインドウを検出し、検出したウインドウに対して画像種別の判定及び画質補正の処理を行う。また矩形領域外の領域については、画像処理部120は、予め定められたLUT(例えば、低輝度sRGB用のLUT26b)を用いて画像補正処理を行う。
このように、基本ウインドウ検出処理〜画像補正処理の画像を行う対象領域をユーザが選択することが可能な構成とすることによって、画像処理部120は入力画像全体ではなく、入力画像の一部に対してのみ画像処理を施せばよいため、PC110のCPU111の処理負荷を低減することができる。なお変形例3の表示システムにおいては、画像処理の対象領域をPC110の操作部115にて受け付け、PC110が画像処理を行う構成としたが、これに限るものではなく、例えば図1に示した表示システムにおいて、画像処理の対象領域を表示装置1の操作部14にて受け付け、受け付けた対象領域に対して表示装置1の画像処理部20が画像処理を行う構成としてもよく、また例えば図1に示した表示システムにおいて、画像処理の対象領域をPC9の操作部にて受け付け、受け付けた対象領域の情報をPC9から表示装置1へ与え、与えられた対象領域の情報に基づいて表示装置1の画像処理部20が画像処理を行う構成としてもよい。
1 表示装置(画像処理装置)
9 PC
11 制御部
14 操作部(受付手段)
15 バックライト駆動部
16 液晶駆動部
17 画像入力部
18 バックライト
19 液晶パネル
20 画像処理部
21 エッジ検出部(エッジ画素抽出手段)
22 基本ウインドウ検出部(水平線分検出手段、水平線分組検出手段、垂直線分検出手段、垂直線分組検出手段、特定領域検出手段)
23 ポップアップウインドウ検出部(垂直線分再検出手段、垂直線分組再検出手段、水平線分再検出手段、水平線分組再検出手段、特定領域検出手段)
24 画像種別判定部(計数手段、判定手段、算出手段)
25 画質補正部(画像処理手段)
26 LUT記憶部(記憶手段)
26a 高輝度sRGB用のLUT(表示特性)
26b 低輝度sRGB用のLUT(表示特性)
26c 高輝度DICOM用のLUT(表示特性)
100 入力画像
101 表示装置
110 PC(画像処理装置)
111 CPU
113 ハードディスク
113a 画像処理プログラム(コンピュータプログラム)
114 画像出力部
115 操作部(受付手段)
116 DVDドライブ
116a DVD
120 画像処理部
127 ウインドウ結合部(特定領域結合手段)

Claims (15)

  1. 水平方向及び垂直方向に画素が並べられた画像の表示を行う表示装置において、
    入力画像から水平方向の線分を検出する水平線分検出手段と、
    該水平線分検出手段が検出した水平方向線分から、所定条件を満たして隣り合う2つの水平方向線分の組を検出する水平線分組検出手段と、
    前記入力画像から垂直方向の線分を検出する垂直線分検出手段と、
    該垂直線分検出手段が検出した垂直方向線分から、所定条件を満たして隣り合う2つの垂直方向線分の組を検出する垂直線分組検出手段と、
    前記垂直線分組検出手段にて垂直方向線分の組として検出されない垂直方向線分のうち、垂直方向の長さが所定範囲内の垂直方向線分を検出する垂直線分再検出手段と、
    該垂直線分再検出手段が検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出する垂直線分組再検出手段と、
    前記水平線分組検出手段にて水平方向線分の組として検出されない水平方向線分のうち、水平方向の長さが所定範囲内の水平方向線分を検出する水平線分再検出手段と、
    該水平線分再検出手段が検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出する水平線分組再検出手段と、
    前記水平線分組検出手段が検出した水平方向線分の組、及び、前記垂直線分組検出手段が検出した垂直方向線分の組で囲まれた領域、並びに、前記水平線分組再検出手段が検出した水平方向線分の組、及び、前記垂直線分組再検出手段が検出した垂直方向線分の組で囲まれた領域を、特定領域として検出する特定領域検出手段と、
    該特定領域検出手段が検出した特定領域毎に画像処理を施す画像処理手段と
    を備え、
    該画像処理手段が画像処理を施した画像を表示するようにしてあること
    を特徴とする表示装置。
  2. 前記特定領域検出手段が検出した特定領域に含まれる画素のうち、画素値が所定条件を満たす画素の画素数を計数する計数手段と、
    該計数手段の計数結果に応じて、前記特定領域の画像の種別を判定する判定手段と
    を更に備え、
    前記画像処理手段は、前記判定手段の判定結果に応じた画像処理を前記特定領域に対して施すようにしてあること
    を特徴とする請求項1に記載の表示装置。
  3. 前記計数手段は、前記特定領域に含まれるカラー画素数又はモノクローム画素数を計数するようにしてあり、
    前記判定手段は、前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて画像の種別を判定するようにしてあること
    を特徴とする請求項2に記載の表示装置。
  4. 水平方向及び垂直方向に画素が並べられた画像の表示を行う表示装置において、
    入力画像から水平方向の線分を検出する水平線分検出手段と、
    該水平線分検出手段が検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出する水平線分組検出手段と、
    前記入力画像から垂直方向の線分を検出する垂直線分検出手段と、
    該垂直線分検出手段が検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出する垂直線分組検出手段と、
    前記水平線分組検出手段が検出した水平方向線分の組、及び、前記垂直線分組検出手段が検出した垂直方向線分の組で囲まれた領域を、特定領域として検出する特定領域検出手段と、
    前記特定領域検出手段が検出した特定領域に含まれるカラー画素数又はモノクローム画素数を計数する計数手段と、
    前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて、前記特定領域の画像の種別を判定する判定手段と
    前記特定領域検出手段が検出した特定領域毎に、前記判定手段の判定結果に応じた画像処理を施す画像処理手段と
    を備え、
    該画像処理手段が画像処理を施した画像を表示するようにしてあること
    を特徴とする表示装置。
  5. 前記計数手段の計数結果に基づいて、前記特定領域に含まれる画素の画素値に係る度数分布を算出する算出手段を更に備え、
    前記判定手段は、前記算出手段が算出した度数分布の分布パターンに基づいて画像の種別を判定するようにしてあること
    を特徴とする請求項2乃至請求項4のいずれか1つに記載の表示装置。
  6. 入力画像の画素値に対する表示画素の画素値が対応付けられた表示特性を複数記憶する記憶手段を更に備え、
    前記画像処理手段は、前記判定手段の判定結果に応じて前記記憶手段から一の表示特性を読み出し、該表示特性に基づく画素値の変換処理を行うようにしてあること
    を特徴とする請求項乃至請求項のいずれか1つに記載の表示装置。
  7. 前記判定手段が判定した画像の種別、及び、特定領域の頂点間の距離に応じて、隣り合う2つの特定領域を1つの特定領域に結合する特定領域結合手段を更に備えること
    を特徴とする請求項乃至請求項のいずれか1つに記載の表示装置。
  8. 前記入力画像からエッジに相当する画素を抽出するエッジ画素抽出手段を更に備え、
    前記水平線分検出手段は、水平方向の連続数が所定値を超える複数のエッジ画素を、水平方向線分として検出するようにしてあり、
    前記垂直線分検出手段は、垂直方向の連続数が所定範囲内の複数のエッジ画素を垂直方向線分として検出するようにしてあること
    を特徴とする請求項1乃至請求項7のいずれか1つに記載の表示装置。
  9. 前記入力画像から処理対象の画像領域の指定を受け付ける受付手段を更に備え、
    前記特定領域検出手段は、前記受付手段が受け付けた画像領域内について、特定領域の検出を行うようにしてあること
    を特徴とする請求項1乃至請求項8のいずれか1つに記載の表示装置。
  10. 水平方向及び垂直方向に画素が並べられた画像に対して所定の画像処理を施す画像処理装置において、
    入力画像から水平方向の線分を検出する水平線分検出手段と、
    該水平線分検出手段が検出した水平方向線分から、所定条件を満たして隣り合う2つの水平方向線分の組を検出する水平線分組検出手段と、
    前記入力画像から垂直方向の線分を検出する垂直線分検出手段と、
    該垂直線分検出手段が検出した垂直方向線分から、所定条件を満たして隣り合う2つの垂直方向線分の組を検出する垂直線分組検出手段と、
    前記垂直線分組検出手段にて垂直方向線分の組として検出されない垂直方向線分のうち、垂直方向の長さが所定範囲内の垂直方向線分を検出する垂直線分再検出手段と、
    該垂直線分再検出手段が検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出する垂直線分組再検出手段と、
    前記水平線分組検出手段にて水平方向線分の組として検出されない水平方向線分のうち、水平方向の長さが所定範囲内の水平方向線分を検出する水平線分再検出手段と、
    該水平線分再検出手段が検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出する水平線分組再検出手段と、
    前記水平線分組検出手段が検出した水平方向線分の組、及び、前記垂直線分組検出手段が検出した垂直方向線分の組で囲まれた領域、並びに、前記水平線分組再検出手段が検出した水平方向線分の組、及び、前記垂直線分組再検出手段が検出した垂直方向線分の組で囲まれた領域を検出する特定領域検出手段と
    を備えること
    を特徴とする画像処理装置。
  11. 水平方向及び垂直方向に画素が並べられた画像に対して所定の画像処理を施す画像処理装置において、
    入力画像から水平方向の線分を検出する水平線分検出手段と、
    該水平線分検出手段が検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出する水平線分組検出手段と、
    前記入力画像から垂直方向の線分を検出する垂直線分検出手段と、
    該垂直線分検出手段が検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出する垂直線分組検出手段と、
    前記水平線分組検出手段が検出した水平方向線分の組、及び、前記垂直線分組検出手段が検出した垂直方向線分の組で囲まれた領域を検出する特定領域検出手段と、
    前記特定領域検出手段が検出した特定領域に含まれるカラー画素数又はモノクローム画素数を計数する計数手段と、
    前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて、前記特定領域の画像の種別を判定する判定手段と、
    前記特定領域検出手段が検出した特定領域毎に、前記判定手段の判定結果に応じた画像処理を施す画像処理手段と
    を備えること
    を特徴とする画像処理装置。
  12. 水平方向及び垂直方向に画素が並べられた画像から特定条件を満たす画像領域を検出する画像領域検出方法において、
    入力画像から水平方向の線分を検出し、
    検出した水平方向線分から、所定条件を満たして隣り合う2つの水平方向線分の組を検出し、
    前記入力画像から垂直方向の線分を検出し、
    検出した垂直方向線分から、所定条件を満たして隣り合う2つの垂直方向線分の組を検出し、
    垂直方向線分の組として検出されない垂直方向線分のうち、垂直方向の長さが所定範囲内の垂直方向線分を再検出し、
    再検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を再検出し、
    水平方向線分の組として検出されない水平方向線分のうち、水平方向の長さが所定範囲内の水平方向線分を再検出し、
    再検出した水平方向線分から、隣り合う2つの水平方向線分の組を再検出し、
    検出した水平方向線分の組及び垂直方向線分の組で囲まれた領域、並びに、再検出した水平方向線分の組、及び、再検出した垂直方向線分の組で囲まれた領域を検出すること
    を特徴とする画像領域検出方法。
  13. 水平方向及び垂直方向に画素が並べられた画像に対して所定の画像処理を施す画像処理方法において、
    入力画像から水平方向の線分を検出し、
    検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出し、
    前記入力画像から垂直方向の線分を検出し、
    検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出し、
    検出した水平方向線分の組及び垂直方向線分の組で囲まれた領域を、特定領域として検出し、
    検出した特定領域に含まれるカラー画素数又はモノクローム画素数を計数し、
    前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて、前記特定領域の画像の種別を判定し、
    検出した特定領域毎に、判定した種別に応じた画像処理を施すこと
    を特徴とする画像処理方法。
  14. コンピュータに、水平方向及び垂直方向に画素が並べられた画像から特定条件を満たす画像領域を検出させるコンピュータプログラムにおいて、
    コンピュータに、入力画像から水平方向の線分を検出させる水平線分検出ステップと、
    コンピュータに、前記水平線分検出ステップにて検出した水平方向線分から、所定条件を満たして隣り合う2つの水平方向線分の組を検出させる水平線分組検出ステップと、
    コンピュータに、前記入力画像から垂直方向の線分を検出させる垂直線分検出ステップと、
    コンピュータに、前記垂直線分検出ステップにて検出した垂直方向線分から、所定条件を満たして隣り合う2つの垂直方向線分の組を検出させる垂直線分組検出ステップと、
    コンピュータに、前記垂直線分組検出ステップにて垂直方向線分の組として検出されない垂直方向線分のうち、垂直方向の長さが所定範囲内の垂直方向線分を検出させる垂直線分再検出ステップと、
    コンピュータに、前記垂直線分再検出ステップにて検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出させる垂直線分組再検出ステップと、
    コンピュータに、前記水平線分組検出ステップにて水平方向線分の組として検出されない水平方向線分のうち、水平方向の長さが所定範囲内の水平方向線分を検出させる水平線分再検出ステップと、
    コンピュータに、前記水平線分再検出ステップにて検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出させる水平線分組再検出ステップと、
    コンピュータに、前記水平線分組検出ステップにて検出した水平方向線分の組、及び、前記垂直線分組検出ステップにて検出した垂直方向線分の組で囲まれた領域、並びに、前記水平線分組再検出手段が検出した水平方向線分の組、及び、前記垂直線分組再検出手段が検出した垂直方向線分の組で囲まれた領域を検出させるステップと
    を行わせること
    を特徴とするコンピュータプログラム。
  15. コンピュータに、水平方向及び垂直方向に画素が並べられた画像に対して所定の画像処理を施させるコンピュータプログラムにおいて、
    コンピュータに、入力画像から水平方向の線分を検出させる水平線分検出ステップと、
    コンピュータに、前記水平線分検出ステップにて検出した水平方向線分から、隣り合う2つの水平方向線分の組を検出させる水平線分組検出ステップと、
    コンピュータに、前記入力画像から垂直方向の線分を検出させる垂直線分検出ステップと、
    コンピュータに、前記垂直線分検出ステップにて検出した垂直方向線分から、隣り合う2つの垂直方向線分の組を検出させる垂直線分組検出ステップと、
    コンピュータに、前記水平線分組検出ステップにて検出した水平方向線分の組、及び、前記垂直線分組検出ステップにて検出した垂直方向線分の組で囲まれた領域を、特定領域として検出させるステップと、
    コンピュータに、前記特定領域検出ステップにて検出した特定領域に含まれるカラー画素数又はモノクローム画素数を計数させる計数ステップと、
    コンピュータに、前記特定領域に含まれるカラー画素又はモノクローム画素の比率に応じて、前記特定領域の画像の種別を判定させる判定ステップと、
    コンピュータに、前記特定領域検出ステップにて検出した特定領域毎に、前記判定ステップの判定結果に応じた画像処理を施させる画像処理ステップと
    を行わせること
    を特徴とするコンピュータプログラム。
JP2011079952A 2011-03-31 2011-03-31 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム Active JP4977255B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011079952A JP4977255B1 (ja) 2011-03-31 2011-03-31 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム
PCT/JP2011/070571 WO2012132050A1 (ja) 2011-03-31 2011-09-09 表示装置、画像処理装置、画像領域検出方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011079952A JP4977255B1 (ja) 2011-03-31 2011-03-31 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012012426A Division JP5362052B2 (ja) 2012-01-24 2012-01-24 表示装置、画像処理装置、画像領域検出方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP4977255B1 true JP4977255B1 (ja) 2012-07-18
JP2012215671A JP2012215671A (ja) 2012-11-08

Family

ID=46678861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011079952A Active JP4977255B1 (ja) 2011-03-31 2011-03-31 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP4977255B1 (ja)
WO (1) WO2012132050A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064769A (ja) * 2012-09-26 2014-04-17 Canon Inc 画像処理装置及びその制御方法
WO2014061124A1 (ja) * 2012-10-18 2014-04-24 Necディスプレイソリューションズ株式会社 ディスプレイ装置、及び画像表示方法
WO2016151944A1 (ja) * 2015-03-23 2016-09-29 株式会社Jvcケンウッド 画像補正装置、画像補正方法及び画像補正プログラム
CN110991541B (zh) * 2019-12-09 2023-04-25 中国科学院自动化研究所 基于随机线段的图像特征分类方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5406899B2 (ja) * 2011-09-20 2014-02-05 Eizo株式会社 表示システム、画像出力装置及び表示装置
WO2014057586A1 (ja) * 2012-10-12 2014-04-17 Necディスプレイソリューションズ株式会社 表示装置及び表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266176A (ja) * 2000-01-14 2001-09-28 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP2010152366A (ja) * 2008-09-10 2010-07-08 Toshiba Corp 表示装置及びその制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
US6914611B2 (en) * 2000-07-07 2005-07-05 Koninklijke Philips Electronics N.V. Window detection
JP2011123084A (ja) * 2008-04-03 2011-06-23 Konica Minolta Medical & Graphic Inc 画像表示システム及び画像表示プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266176A (ja) * 2000-01-14 2001-09-28 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP2010152366A (ja) * 2008-09-10 2010-07-08 Toshiba Corp 表示装置及びその制御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064769A (ja) * 2012-09-26 2014-04-17 Canon Inc 画像処理装置及びその制御方法
WO2014061124A1 (ja) * 2012-10-18 2014-04-24 Necディスプレイソリューションズ株式会社 ディスプレイ装置、及び画像表示方法
CN104737222A (zh) * 2012-10-18 2015-06-24 Nec显示器解决方案株式会社 显示装置和图像显示方法
WO2016151944A1 (ja) * 2015-03-23 2016-09-29 株式会社Jvcケンウッド 画像補正装置、画像補正方法及び画像補正プログラム
JP2016180787A (ja) * 2015-03-23 2016-10-13 株式会社Jvcケンウッド 画像補正装置、画像補正方法及び画像補正プログラム
CN110991541B (zh) * 2019-12-09 2023-04-25 中国科学院自动化研究所 基于随机线段的图像特征分类方法及系统

Also Published As

Publication number Publication date
WO2012132050A1 (ja) 2012-10-04
JP2012215671A (ja) 2012-11-08

Similar Documents

Publication Publication Date Title
EP3013029B1 (en) Data conversation unit and method for data conversation and display device having data conversation unit
JP4977255B1 (ja) 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム
US9818046B2 (en) Data conversion unit and method
US20230222995A1 (en) Display device with image shift
US9711080B2 (en) Timing controller, driving method thereof, and display device using the same
US10460668B2 (en) Pixel compensation method, pixel compensation apparatus and display apparatus
US10332436B2 (en) Luminance adjustment system
EP2339568B1 (en) Data display method and device
US9171496B2 (en) Image control display device and image control method
US9779514B2 (en) Display device, display panel driver and driving method of display panel
US10854123B2 (en) Organic light emitting diode display device
US10714019B2 (en) Brightness compensation method for display apparatus, and display apparatus
JP5362052B2 (ja) 表示装置、画像処理装置、画像領域検出方法及びコンピュータプログラム
US20110018892A1 (en) Method, device, and program for processing image and image display device
EP3012830B1 (en) Image up-scale unit and method
JP4958875B2 (ja) 液晶表示装置の駆動方法および液晶表示装置
US20200160492A1 (en) Image Adjustment Method and Device, Image Display Method and Device, Non-Transitory Storage Medium
JP4731182B2 (ja) 表示装置
KR102203768B1 (ko) 잔상 저감이 가능한 유기발광 표시장치
KR102102906B1 (ko) Rbgb 픽셀 구조를 갖는 평판표시장치의 구동 방법
KR102488783B1 (ko) 표시 장치 및 표시 장치의 구동 방법
JP2021516768A (ja) データ処理順序決定方法、表示装置及びその表示方法
CN104966484A (zh) 显示面板及其驱动方法
TW201820307A (zh) 顯示器的控制方法
KR20170064647A (ko) 표시장치 및 이의 구동방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120413

R150 Certificate of patent or registration of utility model

Ref document number: 4977255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250