JP7218614B2 - 画像診断システム、画像診断装置、および画像診断方法 - Google Patents

画像診断システム、画像診断装置、および画像診断方法 Download PDF

Info

Publication number
JP7218614B2
JP7218614B2 JP2019034556A JP2019034556A JP7218614B2 JP 7218614 B2 JP7218614 B2 JP 7218614B2 JP 2019034556 A JP2019034556 A JP 2019034556A JP 2019034556 A JP2019034556 A JP 2019034556A JP 7218614 B2 JP7218614 B2 JP 7218614B2
Authority
JP
Japan
Prior art keywords
image
landmark
image data
defective
diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019034556A
Other languages
English (en)
Other versions
JP2020140366A (ja
Inventor
太郎 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2019034556A priority Critical patent/JP7218614B2/ja
Priority to US16/744,672 priority patent/US11244192B2/en
Publication of JP2020140366A publication Critical patent/JP2020140366A/ja
Application granted granted Critical
Publication of JP7218614B2 publication Critical patent/JP7218614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Image Processing (AREA)

Description

本発明は、画像形成装置により形成された画像を診断する画像診断システム、画像診断装置、および画像診断方法に関する。
画像形成装置には、画像形成条件を調整することにより、形成した画像の品質の維持を図るものがある。例えば、特許文献1には、カラーチャートの画像を外部装置から受信し、受信した画像に基づいてカラー印刷濃度の調整を行う画像形成装置が開示されている。
特開2017-132126号公報
このように、画像形成装置では、形成した画像の品質が高いことが望まれており、さらなる画質の向上が期待されている。
画質を高めることができる画像診断システム、画像診断装置、および画像診断方法を提供することが望ましい。
本発明の一実施の形態における画像診断システムは、サーバと、通信を行う携帯端末とを備えている。サーバは、記録媒体に形成され、複数のランドマーク画像および不良画像を含む診断対象画像に基づいて得られた全体画像データにおける、不良画像の位置、不良画像の大きさ、および複数のランドマーク画像の位置を算出する位置算出部を有する。携帯端末は、診断対象画像を撮像することにより、複数のランドマーク画像のうちの第1のランドマーク画像および不良画像を含む画像データを生成する撮像部を有する。サーバまたは携帯端末は、案内情報生成部を有する。案内情報生成部は、画像データに基づいて第1のランドマーク画像を検出し、位置算出部により算出された複数のランドマーク画像の位置に基づいて、第1のランドマーク画像の位置を特定し、特定された第1のランドマーク画像の位置および位置算出部により算出された不良画像の位置に基づいて、第1のランドマーク画像と不良画像の間の画像距離を算出し、画像データにおける第1のランドマーク画像の大きさおよび全体画像データにおける第1のランドマーク画像の大きさの画像比を算出し、画像データにおける第1のランドマーク画像の向きを検出し、画像データにおける第1のランドマーク画像を基準に、第1のランドマーク画像の向き、画像距離、および画像比を用いて座標変換を行うことにより、画像データにおける不良画像に配置されるべき案内マークの位置を算出するように構成される。携帯端末は、画像データおよび案内マークを同時に表示する表示部を有する。上記撮像部は、表示部が案内マークを表示した後、所定の条件を満たした場合に、上記診断対象画像に関連する関連画像データを生成するように構成される。
本発明の一実施の形態における画像診断装置は、位置算出部と、撮像部と、案内情報生成部と、表示部とを備えている。位置算出部は、記録媒体に形成され、複数のランドマーク画像および不良画像を含む診断対象画像に基づいて得られた全体画像データにおける、不良画像の位置、不良画像の大きさ、および複数のランドマーク画像の位置を算出するように構成される。撮像部は、診断対象画像を撮像することにより、複数のランドマーク画像のうちの第1のランドマーク画像および不良画像を含む画像データを生成するように構成される。案内情報生成部は、画像データに基づいて第1のランドマーク画像を検出し、位置算出部により算出された複数のランドマーク画像の位置に基づいて、第1のランドマーク画像の位置を特定し、特定された第1のランドマーク画像の位置および位置算出部により算出された不良画像の位置に基づいて、第1のランドマーク画像と不良画像の間の画像距離を算出し、画像データにおける第1のランドマーク画像の大きさおよび全体画像データにおける第1のランドマーク画像の大きさの画像比を算出し、画像データにおける第1のランドマーク画像の向きを検出し、画像データにおける第1のランドマーク画像を基準に、第1のランドマーク画像の向き、画像距離、および画像比を用いて座標変換を行うことにより、画像データにおける不良画像に配置されるべき案内マークの位置を算出するように構成される。表示部は、画像データおよび案内マークを同時に表示するように構成される。上記撮像部は、表示部が案内マークを表示した後、所定の条件を満たした場合に、診断対象画像に関連する関連画像データを生成するように構成される。
本発明の一実施の形態における画像診断方法は、記録媒体に形成され、複数のランドマーク画像および不良画像を含む診断対象画像に基づいて得られた全体画像データにおける、不良画像の位置、不良画像の大きさ、および複数のランドマーク画像のうちの不良画像に対応する第1のランドマーク画像の位置を算出することと、診断対象画像を撮像することにより、複数のランドマーク画像のうちの第1のランドマーク画像および不良画像を含む画像データを生成することと、画像データに基づいて第1のランドマーク画像を検出することと、算出された複数のランドマーク画像の位置に基づいて、第1のランドマーク画像の位置を特定することと、特定された第1のランドマーク画像の位置および算出された不良画像の位置に基づいて、第1のランドマーク画像と不良画像の間の画像距離を算出することと、画像データにおける第1のランドマーク画像の大きさおよび全体画像データにおける第1のランドマーク画像の大きさの画像比を算出することと、画像データにおける第1のランドマーク画像の向きを検出することと、画像データにおける第1のランドマーク画像を基準に、第1のランドマーク画像の向き、画像距離、および画像比を用いて座標変換を行うことにより、画像データにおける不良画像に配置されるべき案内マークの位置を算出することと、画像データおよび案内マークを同時に表示することと、案内マークを表示した後、所定の条件を満たした場合に、診断対象画像の拡大画像データを生成することとを含む。
本発明の一実施の形態における画像診断システム、画像診断装置、および画像診断方法によれば、画質を高めることできる。
一実施の形態に係る画像診断システムの一構成例を表すブロック図である。 診断チャートの一例を表す説明図である。 診断チャートの一例を表す他の説明図である。 図1に示した画像診断システムの一動作例を表すフローチャートである。 図1に示した画像診断システムの一動作例を表すシーケンス図である。 図3に示した処理の一例を表す説明図である。 図1に示した画像診断システムの一動作例を表す他のフローチャートである。 図6に示した処理の一例を表す説明図である。 図6に示した処理の一例を表す他の説明図である。 図6に示した処理の一例を表す他の説明図である。 図6に示した処理の一例を表す他の説明図である。 変形例に係る画像診断システムの一構成例を表すブロック図である。 図10に示した画像診断システムの一動作例を表すシーケンス図である。 変形例に係る診断チャートの一例を表す説明図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
<実施の形態>
[構成例]
図1は、本発明の一実施の形態に係る画像診断システム(画像診断システム1)の一構成例を表すものである。なお、本発明の実施の形態に係る画像診断方法は、本実施の形態により具現化されるので、併せて説明する。画像診断システム1は、サーバ20と、携帯端末30と、画像形成装置40とを備えている。
サーバ20、携帯端末30、および画像形成装置40は、インターネットなどのネットワークNETに接続されている。サーバ20は、例えば、有線LAN(Local Area Network)や無線LANを介してネットワークNETに接続される。画像形成装置40は、例えば、有線LANや無線LANを介してネットワークNETに接続されている。携帯端末30は、例えば、LTE(Long Term Evolution)や無線LANを介してネットワークNETに接続されている。この構成により、サーバ20、携帯端末30、および画像形成装置40は、互いに通信することができるようになっている。
画像診断システム1では、画像形成装置40の画質を診断するために、まず、画像形成装置40が、画像形成動作を行うことにより、紙などの記録媒体に診断チャートDCを形成する。
図2Aは、診断チャートDCの一例を表すものである。図2Aにおいて、網かけ部は、この例では黒色に塗りつぶされていることを示す。この診断チャートDCは、複数のランドマーク画像LMを含んでいる。複数のランドマーク画像LMは、この例では、所定の大きさを有し、数字を含むマークであり、診断チャートDCにおける12個の位置に、所定の間隔をあけて配置される。これらの複数のランドマーク画像LMには、診断チャートDCにおける配置位置に応じて、“1”から“12”までの互いに異なる数字が用いられている。ランドマーク画像LMは、後述するように、画像における不良が生じている位置を特定するために用いられる。なお、この例では、数字を用いてランドマーク画像LMを構成したが、これに限定されるものではなく、文字であってもよいし、記号であってもよい。
図2Bは、診断チャートDCの他の例を表すものである。この例では、画像に不良が発生しており、診断チャートDCは不良画像DEFを含んでいる。この例では、不良画像DEFは、“8”を示すランドマーク画像LMの右下に形成される。
画像診断システム1では、携帯端末30は、ユーザの操作に基づいて、記録媒体に形成された診断チャートDCの全体を撮像することにより、診断画像データAを生成する。サーバ20は、この診断画像データAに基づいて、画像に不良が発生しているかどうかを診断する。図2Bに示したように、画像に不良が発生している場合には、携帯端末30は、例えばユーザの操作に基づいて、この診断チャートDCにおける不良画像DEFを拡大して撮像することにより、診断画像データBを生成する。その際、携帯端末30は、ランドマーク画像LMに基づいて不良画像DEFの位置および大きさを特定し、その不良画像DEFを拡大して撮像するようにユーザに促す。すなわち、この例では、不良画像DEFに着目し不良画像DEFを撮像する。サーバ20は、この診断画像データBに基づいて、不良の種別を診断し、その診断結果に基づいて、不良の改善を図ることが可能な印刷設定値PSを生成する。画像形成装置40は、この印刷設定値PSに基づいて画像形成条件を更新する。これにより、画像診断システム1では、画質を高めることができるようになっている。
サーバ20は、通信部21と、制御部22と、記憶部26とを有する。
通信部21は、例えばネットワークNETを介して携帯端末30および画像形成装置40と通信を行うように構成される。この例では、通信部21は、携帯端末30から、診断チャートDCの全体画像を示す診断画像データA、および診断チャートDCにおける不良画像DEFの拡大画像を示す診断画像データBを受信する。また、通信部21は、携帯端末30に対して不良画像データDIおよび不良属性情報ATR(後述)を送信し、画像形成装置40に対して印刷設定値PSを送信するようになっている。
制御部22は、サーバ20内の各ブロックの動作を制御することによりサーバ20の全体動作を制御するように構成される。制御部22は、例えば、プログラムを実行可能なプロセッサやRAM(Random Access Memory)などを含んで構成される。制御部22は、第1の画像診断部23と、第2の画像診断部24と、印刷設定値生成部25とを有している。
第1の画像診断部23は、通信部21が受信した診断画像データAを診断するように構成される。具体的には、第1の画像診断部23は、例えば、診断チャートDCの全体画像を示す診断画像データAに含まれる最も著しい不良画像DEFを診断する。そして、第1の画像診断部23は、その診断画像データAにおける不良画像DEFの位置および大きさ、およびその不良画像DEFに対応するランドマーク画像LM(ランドマーク画像LM1)の位置を算出する。そして、第1の画像診断部23は、不良画像DEFに基づいて不良画像データDIを生成するとともに、診断画像データAにおける不良画像DEFの位置および大きさ、およびランドマーク画像LM1の位置についての情報に基づいて、不良属性情報ATRを生成するようになっている。
第2の画像診断部24は、通信部21が受信した診断画像データBを診断するように構成される。具体的には、第2の画像診断部24は、例えば、不良画像DEFの拡大画像を示す診断画像データBに基づいて、記憶部26に記憶された不良判別情報27(後述)を用いて、この不良画像DEFがどの不良の種別に該当するかを診断するようになっている。
印刷設定値生成部25は、記憶部26に記憶された不良判別情報27(後述)に基づいて、診断チャートDCを形成した画像形成装置40における、不良の改善を図ることが可能な印刷設定値PSを生成するように構成される。印刷設定値生成部25は、例えば、定着温度、各種印加電圧などの様々な画像形成パラメータの設定値を生成するようになっている。
記憶部26は、サーバ20において用いられる各種プログラム、各種設定、画像データなどの様々なデータを記憶するように構成される。記憶部26は、例えば、不揮発性のメモリを含んで構成される。記憶部26には、不良判別情報27が記憶されている。
不良判別情報27は、例えば、不良の種別についての情報と、その不良の種別に対応する不良画像の特徴についての情報と、その不良の改善を図ることが可能な画像形成パラメータの設定値についての情報を含んで構成される。不良の種別は、例えば、かすれ、ちり、画ずれなどが含まれる。この不良判別情報27は、例えば、図示しない機械学習を行う装置が、様々な不良画像のサンプルから特徴量を抽出し、抽出した特徴量を用いて不良の種別を分類することにより、生成される。第2の画像診断部24は、この不良判別情報27を用いて、不良画像DEFがどの不良の種別に該当するかを診断することができる。また、印刷設定値生成部25は、この不良判別情報27を用いて、不良の改善を図ることが可能な印刷設定値PSを生成するようになっている。
携帯端末30は、例えばスマートフォンやタブレット端末である。携帯端末30は、通信部31と、制御部32と、記憶部34と、操作部35と、表示部36と、撮像部37とを有する。
通信部31は、例えばネットワークNETを介してサーバ20および画像形成装置40と通信を行うように構成される。この例では、通信部31は、サーバ20に対して、診断チャートDCの全体画像を示す診断画像データA、および診断チャートDCにおける不良画像DEFの拡大画像を示す診断画像データBを送信する。また、通信部31は、サーバ20から、不良画像データDIおよび不良属性情報ATRを受信するようになっている。
制御部32は、携帯端末30内の各ブロックの動作を制御することにより携帯端末30の全体動作を制御するように構成される。制御部32は、例えば、プログラムを実行可能なプロセッサやRAMなどを含んで構成される。制御部32は、案内情報生成部33を有している。
案内情報生成部33は、撮像部37が生成した現撮像画像データIMG1、および通信部31が受信した不良属性情報ATRに基づいて、表示部36に表示される、案内マークM1、照準マークM2、および操作指示情報NAVIを生成するように構成される。案内マークM1は、不良画像DEFの位置に配置されるマークである。照準マークM2は、後述するように、不良画像DEFを拡大して撮像するために、案内マークM1が配置されるべき位置を示すマークである。操作指示情報NAVIは、不良画像DEFを拡大して撮像するようにユーザに促すメッセージ情報である。この例では、操作指示情報NAVIは、表示部36に表示される文字情報である。なお、これに限定されるものではなく、操作指示情報NAVIは、表示部36に表示されるアニメーションであってもよいし、ユーザへの操作指示を含む音声情報であってもよい。
記憶部34は、携帯端末30において用いられる各種プログラム、各種設定、画像データなど様々なデータを記憶するように構成される。記憶部34は、例えば、不揮発性のメモリを含んで構成される。
操作部35は、ユーザの操作を受け付けるように構成される。操作部35は、例えば、各種ボタンやタッチパネルなどを用いて構成される。
表示部36は、携帯端末30の動作状態や撮像画像データなどを表示するように構成される。表示部36は、例えば、液晶ディスプレイや各種インジケータを用いて構成される。
撮像部37は、画像を撮像するように構成される。撮像部37は、例えば、光学レンズ、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などを用いて構成される。
画像形成装置40は、例えばプリンタであり、トナーなどの現像剤を用いて画像形成動作を行うことにより、紙などの記録媒体にモノクロ画像やカラー画像を形成するように構成される。
ここで、診断チャートDCは、本発明における「診断対象画像」の一具体例に対応する。不良画像DEFは、本発明における「不良画像」の一具体例に対応する。診断画像データAは、本発明における「全体画像データ」の一具体例に対応する。第1の画像診断部23は、本発明における「位置算出部」の一具体例に対応する。現撮像画像データIMG1は、本発明における「画像データ」の一具体例に対応する。案内情報生成部33は、本発明における「案内情報生成部」の一具体例に対応する。診断画像データBは、本発明における「拡大画像データ」の一具体例に対応する。第2の画像診断部24および印刷設定値生成部25は、本発明における「画像診断部」の一具体例に対応する。
[動作および作用]
続いて、本実施の形態の画像診断システム1の動作および作用について説明する。
(全体動作概要)
まず、図1を参照して、画像診断システム1の全体動作概要を説明する。まず、携帯端末30の撮像部37は、ユーザの操作に基づいて、画像形成装置40により紙などの記録媒体に形成された診断チャートDCの全体を撮像することにより、診断画像データAを生成する。サーバ20の第1の画像診断部23は、診断チャートDCの全体画像を示す診断画像データAに基づいて診断を行うことにより、不良画像データDIおよび不良属性情報ATRを生成する。携帯端末30の案内情報生成部33は、不良属性情報ATRに基づいて、案内マークM1、照準マークM2、および操作指示情報NAVIを生成する。表示部36は、これらの案内マークM1、照準マークM2、および操作指示情報NAVIを表示することにより、診断チャートDCにおける不良画像DEFを拡大して撮像するように、ユーザに促す。携帯端末30の撮像部37は、診断チャートDCにおける不良画像DEFを拡大して撮像することにより、診断画像データBを生成する。サーバ20の第2の画像診断部24は、診断チャートDCにおける不良画像DEFの拡大画像を示す診断画像データBに基づいて、記憶部26に記憶された不良判別情報27を用いて、不良の種別を診断する。そして、印刷設定値生成部25は、その診断結果に基づいて、不良の改善を図ることが可能な印刷設定値PSを生成する。画像形成装置40は、この印刷設定値PSに基づいて画像形成条件を更新する。
(詳細動作)
図3は、画像診断システム1の一動作例を表すものである。
まず、画像形成装置40は、紙などの記録媒体に診断チャートDCを形成する(ステップS101)。具体的には、画像形成装置40は、例えば、携帯端末30から送信された、複数のランドマーク画像LMを含む所定の診断チャートデータに基づいて、記録媒体に診断チャートDCを形成する。画像形成装置40が形成する画像に不良が生じていない場合には、例えば図2Aに示したような診断チャートDCが得られ、不良が生じている場合には、例えば図2Bに示したような診断チャートDCが得られる。
次に、携帯端末30の撮像部37は、ユーザの操作に基づいて、診断チャートDCの全体を撮像範囲に含むように撮像を行うことにより、診断画像データAを生成する(ステップS102)。携帯端末30の通信部31は、この診断画像データAを、ネットワークNETを介してサーバ20に対して送信する。サーバ20の通信部21は、この診断画像データAを受信する。
次に、サーバ20の第1の画像診断部23は、この診断画像データAに基づいて、第1の画像診断を行う(ステップS103)。第1の画像診断部23は、この第1の画像診断により、画像に不良が発生したか否かを判定する(ステップS104)。画像に不良が発生していない場合(ステップS104において“NO”)には、この処理は終了する。この場合には、例えば、サーバ20は、携帯端末30に対して、不良が発生していない旨の通知を行い、携帯端末30の表示部36が、不良が発生していない旨の情報を表示することができる。
ステップS104において、画像に不良が発生した場合(ステップS104において“YES”)には、サーバ20の第1の画像診断部23は、不良画像データDIおよび不良属性情報ATRを生成する(ステップS105)。具体的には、第1の画像診断部23は、例えば、診断チャートDCの全体画像を示す診断画像データAに含まれる最も著しい不良画像DEFを検出し、その不良画像DEFの位置および大きさ、およびその不良画像DEFに対応するランドマーク画像LM1の位置を検出する。そして、第1の画像診断部23は、不良画像DEFに基づいて不良画像データDIを生成するとともに、診断画像データAにおける不良画像DEFの位置および大きさ、およびそのランドマーク画像LM1の位置とについての情報に基づいて不良属性情報ATRを生成する。サーバ20の通信部21は、不良画像データDIおよび不良属性情報ATRを、ネットワークNETを介して携帯端末30に対して送信する。携帯端末30の通信部31は、この不良画像データDIおよび不良属性情報ATRを受信する。
次に、携帯端末30は、現撮像画像データIMG1を生成しつつ、案内マークM1、照準マークM2、および操作指示情報NAVIを表示する(ステップS106)。具体的には、撮像部37が、記録媒体に形成された診断チャートDCを撮像することにより現撮像画像データIMG1を生成し、案内情報生成部33が、不良属性情報ATRに基づいて案内マークM1、照準マークM2、および操作指示情報NAVIを生成し、表示部36は、これらの案内マークM1、照準マークM2、および操作指示情報NAVIを表示する。ユーザは、表示部36に表示された指示に基づいて、撮像部37が、不良画像DEFを拡大して撮像できるように、携帯端末30の姿勢を変更し、あるいは携帯端末30の操作部35を操作する。具体的には、後述するように、ユーザは、例えば携帯端末30を診断チャートDCが形成された記録媒体に近づけ、あるいは、操作部35に対してピンチインやピンチアウトのジェスチャー操作を行う。
次に、携帯端末30の撮像部37は、診断チャートDCにおける不良画像DEFを拡大して撮像することにより、不良画像DEFの拡大画像を示す診断画像データBを生成する(ステップS107)。携帯端末30の通信部31は、この診断画像データBを、ネットワークNETを介してサーバ20に対して送信する。サーバ20の通信部21は、この診断画像データBを受信する。
次に、サーバ20の第2の画像診断部24は、この診断画像データBに基づいて、第2の画像診断を行う(ステップS108)。具体的には、第2の画像診断部24は、診断画像データBに基づいて、記憶部26に記憶された不良判別情報27を用いて、どのような種類の不良が発生したかを診断する。
次に、サーバ20の印刷設定値生成部25は、第2の画像診断部24による診断結果に基づいて、記憶部26に記憶された不良判別情報27を用いて、画像形成装置40が設定すべき印刷設定値PSを生成する(ステップS109)。サーバ20の通信部21は、この印刷設定値PSを、ネットワークNETを介して画像形成装置40に対して送信する。画像形成装置40は、この印刷設定値PSを受信する。
そして、画像形成装置40は、この印刷設定値PSに基づいて画像形成条件を更新する(ステップS110)。
以上で、この処理は終了する。
次に、画像形成装置40が生成した画像に不良が生じる場合の動作について、詳細に説明する。
図4は、画像に不良が生じた場合における画像診断システム1の一動作例を表すものである。この例では、画像診断システム1は、不良が発生している診断チャートDC(図2B)に基づいて画像診断を行う。以下に、この動作について、詳細に説明する。
まず、携帯端末30の撮像部37は、記録媒体に形成された診断チャートDCの全体を撮像することにより、診断画像データAを生成する(ステップS201)。これにより、撮像部37は、診断チャートDCの全体画像を示す診断画像データAを生成する。
携帯端末30は、サーバ20に診断画像データAを送信する(ステップS202)。
サーバ20の第1の画像診断部23は、診断画像データAに基づいて第1の画像診断を行う(ステップS203)。第1の画像診断部23は、不良画像DEFの位置および大きさ、および不良画像DEFに対応するランドマーク画像LM1の位置を検出する。
図5は、サーバ20の第1の画像診断部23における一動作例を表すものである。この例では、第1の画像診断部23は、診断画像データAに基づいて、不良画像DEFを検出し、図5において破線で示した不良画像DEFを囲う矩形領域100を設定し、この矩形領域100に含まれる画像データに基づいて不良画像データDIを生成する。そして、第1の画像診断部23は、不良画像DEFに対応するランドマーク画像LM1の位置と、矩形領域100の位置および大きさとに基づいて、不良属性情報ATRを生成する。この例では、矩形領域100の位置は、例えば矩形領域100の中央における座標(代表座標)であり、この代表座標は、(X,Y)=(1300,2400)で表される。また、矩形領域100の大きさは、(幅,高さ)=(500,600)で表される。この例では、不良画像DEFに対応するランドマーク画像LM1は、複数のランドマーク画像LMのうちの、不良画像DEFの最近傍にある“8”の数字を示すランドマーク画像である。第1の画像診断部23は、診断画像データAに基づいて、ランドマーク画像LM1の位置を求める。なお、不良属性情報ATRは、診断チャートDCに含まれる、すべてのランドマーク画像LMの位置の情報を含んでいてもよい。第1の画像診断部23は、診断画像データAにおける診断チャートDCの向きが傾いている場合には、回転補正などの、診断に適した補正を行うことができる。
図4に示したように、サーバ20は、不良画像データDIおよび不良属性情報ATRを、携帯端末30に送信する(ステップS204)。
携帯端末30は、診断チャートDCを撮像することにより現撮像画像データIMG1を生成し、案内マークM1、照準マークM2、および操作指示情報NAVIを表示する。(ステップS205)。具体的には、携帯端末30の撮像部37は、診断チャートDCを撮像することにより現撮像画像データIMG1を生成し、案内情報生成部33は、現撮像画像データIMG1および不良属性情報ATRに基づいて、案内マークM1、照準マークM2、および操作指示情報NAVIを生成し、表示部36は、これらの案内マークM1、照準マークM2、および操作指示情報NAVIを表示する。ユーザは、この表示部36に表示された指示に基づいて、撮像部37が不良画像DEFを拡大して撮像できるように、携帯端末30の姿勢を変更し、あるいは携帯端末30の操作部35を操作する。このステップS205について、詳細な動作は後述する。
携帯端末30の撮像部37は、診断チャートDCにおける不良画像DEFを拡大して撮像することにより、不良画像DEFの拡大画像を示す診断画像データBを生成する(ステップS206)。この診断画像データBは、不良画像DEFを拡大した画像であり、診断画像データAと比べて、不良画像DEFにおける解像度が高い画像データである。
携帯端末30は、診断画像データBをサーバ20に送信する(ステップS207)。
サーバ20の第2の画像診断部24は、診断画像データBに基づいて、記憶部26に記憶された不良判別情報27を用いて、第2の画像診断を行う(ステップS208)。第2の画像診断部24は、診断チャートDCに含まれる不良画像DEFに基づいて特徴量を抽出し、抽出した特徴量を不良判別情報27を用いて解析することにより、抽出した特徴量がどの不良の種別にあてはまるのかを診断する。
サーバ20の印刷設定値生成部25は、第2の画像診断部24の診断結果に基づき、印刷設定値PSを生成する(ステップS209)。第2の画像診断部24は、不良画像DEFがどのような不良の種別であるか特定したので、そのような不良の改善を図ることが可能な印刷設定値PSを生成することができる。
サーバ20は、画像形成装置40に印刷設定値PSを送信する(ステップS210)。
画像形成装置40は、受信した印刷設定値PSに基づき、画像形成条件を更新する(ステップS211)。
以上で、このシーケンスは終了する。
次に、この図4に示した、携帯端末30が現撮像画像データIMG1を生成しつつ操作指示情報NAVIを表示し、診断画像データBを生成する動作(ステップS205,S206)について、より具体的に説明する。
図6は、図4のステップS205,S206における携帯端末30の動作の一例を表すものである。携帯端末30の撮像部37は、例えば、記録媒体に形成された診断チャートDCを繰り返し撮像することにより、現撮像画像データIMG1を繰返し生成する。そして、この現撮像画像データIMG1に基づいて、不良画像DEFの拡大画像が高い解像度で得られるようになったときに、撮像部37は、診断画像データBを生成する。以下にこの動作について詳細に説明する。
まず、携帯端末30の撮像部37は、少なくとも1つのランドマーク画像LMを含むように診断チャートDCを撮像し、現撮像画像データIMG1を生成する(ステップS301)。
図7は、撮像部37が撮像する現撮像画像データIMG1の一例を表すものである。現撮像画像データIMG1は、この例では、不良画像DEF、“8”の数字を示すランドマーク画像LM1、および“5”の数字を示すランドマーク画像LM2を含んでいる。ここで、ランドマーク画像LM1は、診断画像データAにおいて、不良画像DEFと対応付けたものである。
携帯端末30の案内情報生成部33は、ステップS301において生成した現撮像画像データIMG1に基づいて、現撮像画像データIMG1が診断チャートDCにおけるどの領域の画像を含むかを推定する(ステップS302)。具体的には、案内情報生成部33は、現撮像画像データIMG1におけるランドマーク画像LM1を検出し、このランドマーク画像LM1の、位置、大きさ、および向きを特定する。そして、案内情報生成部33は、例えば、特定されたランドマーク画像LM1についての情報、および画像形成装置40が診断チャートDCを形成したときに使用した所定の診断チャートデータに基づいて、現撮像画像データIMG1が診断画像データAにおけるどの領域の画像を含むかを推定できる。また、例えば、不良属性情報ATRが、診断チャートDCに含まれる、すべてのランドマーク画像LMの位置の情報を含んでいる場合には、案内情報生成部33は、特定されたランドマーク画像LM1についての情報、およびこの不良属性情報ATRに基づいて、現撮像画像データIMG1が診断画像データAにおけるどの領域の画像を含むかを推定できる。
次に、携帯端末30の案内情報生成部33は、現撮像画像データIMG1における案内マークM1の位置および大きさを算出する(ステップS303)。
まず、案内情報生成部33は、診断画像データAにおける不良画像DEFおよびランドマーク画像LM1の間の位置関係と、現撮像画像データIMG1におけるランドマーク画像LM1の位置に基づいて、不良画像DEFの位置を算出する。具体的には、案内情報生成部33は、診断画像データAにおけるランドマーク画像LM1の代表座標および不良画像DEFの代表座標の間の画像距離DISを算出する。なお、第1の画像診断部23が画像距離DISを算出し、サーバ20が、この算出結果を不良属性情報ATRを用いて携帯端末30に供給してもよい。また、案内情報生成部33は、現撮像画像データIMG1におけるランドマーク画像LM1の大きさおよび診断画像データAにおけるランドマーク画像LM1の大きさの画像比SCを算出する。また、案内情報生成部33は、現撮像画像データIMG1におけるランドマーク画像LM1の向きを検出する。そして、案内情報生成部33は、現撮像画像データIMG1におけるランドマーク画像LM1の代表座標を基準に、ランドマーク画像LM1の向き、画像距離DIS、および画像比SCに基づいて、座標変換を行うことにより、不良画像DEFの位置を算出する。このように、案内情報生成部33は、現撮像画像データIMG1におけるランドマーク画像LM1の向きに基づいて座標変換を行うことにより、撮像範囲に対して診断チャートDCが傾いて撮像された場合においても、不良画像DEFの位置を正しく推定できる。
そして、案内情報生成部33は、不良属性情報ATRに含まれる不良画像DEFの大きさについての情報、および画像比SCに基づいて、不良画像DEFの大きさを算出する。
そして、案内情報生成部33は、算出した不良画像DEFの位置および大きさに基づいて、案内マークM1の位置および大きさを算出する。
次に、表示部36は、案内マークM1および照準マークM2を、現撮像画像データIMG1に同時に表示する(ステップS304)。
図8は、現撮像画像データIMG1に同時に表示された案内マークM1および照準マークM2の一例を表すものである。この例では、案内マークM1は、不良画像DEFを囲う枠形状を有している。案内マークM1の大きさは、現撮像画像データIMG1における不良画像DEFの大きさと同じでもよいし、異なっていてもよい。照準マークM2は、不良画像DEFを拡大して撮像するために、案内マークM1が配置されるべき位置に、所定の大きさで表示される。照準マークM2は、この例では、枠の4つの角を示す4つのマークを含んでいる。これらの4つのマークは、例えば、表示部36の表示画面における所定の位置に表示される。なお、ランドマーク画像LM1が現撮像画像データIMG1に含まれていない場合には、現撮像画像データIMG1における不良画像DEFの位置が算出されないため、案内マークM1は表示されない。
次に、案内情報生成部33は、案内マークM1が照準マークM2と一致したか否かを判定する(ステップS305)。案内マークM1は照準マークM2と厳密に一致する必要はなく、所定の条件を満たしたときに、案内マークM1が照準マークM2と一致したと判断すればよい。例えば、照準マークM2の大きさが案内マークM1の大きさと所定の範囲内で一致し、かつ案内マークM1の位置が照準マークM2の位置と所定の範囲内で一致した場合に、案内情報生成部33は、案内マークM1が照準マークM2と一致したと判断することができる。案内マークM1が照準マークM2と一致しなかった場合(ステップS305において“NO”)、案内情報生成部33は、操作指示情報NAVIを表示する(ステップS306)。
図9は、表示部36に表示された操作指示情報NAVIの一例を表すものである。図9において、表示部36は、現撮像画像データIMG1に同時に、操作指示情報NAVIを表示する。この図9の例では、案内マークM1は照準マークM2と一致していない。案内情報生成部33は、案内マークM1を照準マークM2にあわせるために必要な操作指示として、撮影領域を移動・拡大して案内マークM1を照準マークM2にあわせるようにユーザに促す操作指示情報NAVIを生成し、表示部36にその情報を表示させる。
例えば、ランドマーク画像LM1より上部にあるランドマーク画像LMのみが現撮像画像データIMG1に含まれていた場合には、表示部36は、撮影領域を診断チャートDCの下方に移動させる旨の操作指示情報NAVIを表示することができる。また、例えば、照準マークM2の大きさに対して案内マークM1の大きさの比率が所定の範囲内でない場合には、表示部36は、携帯端末30を診断チャートDCが形成された記録媒体に近づける旨、または光学ズームなどにより撮像画像を拡大する旨の操作指示情報NAVIを表示することができる。操作指示情報NAVIは、ユーザに、例えば、フリック、ピンチイン、ピンチアウトなどのジェスチャー操作を促すものであってもよい。また、例えば、現撮像画像データIMG1において診断チャートDCが傾いている場合には、表示部36は、撮影領域の向きを変更させる旨の操作指示情報NAVIを表示することができる。このような操作指示情報NAVIを表示した後、ステップS301に戻り、案内マークM1が照準マークM2と一致するまで、ステップS301~S306の動作を繰り返す。
案内マークM1が照準マークM2と一致した場合(ステップS305において“YES”)、撮像部37は、診断チャートDCを撮像することにより、診断画像データBを生成する(ステップS307)。
図10は、案内マークM1が照準マークM2と一致した場合における、表示部36の表示画面の一例を表すものである。表示部36は、現撮像画像データIMG1に同時に、案内マークM1および照準マークM2を表示している。案内マークM1は照準マークM2と一致しているので、表示部36は、撮像を促す旨の操作指示情報NAVIを表示している。なお、操作指示情報NAVIは、これに限定されるものではなく、画像を撮影してよいことをユーザに伝えることができる情報であればどのようなものであってもよい。具体的には、例えば、案内マークM1と照準マークM2が一致した場合に、案内マークM1の色を変えるようにしてもよい。携帯端末30のユーザは、操作指示情報NAVIに基づいて、操作部35を用いて撮像操作を行い、撮像部37は診断チャートDCを撮像することにより診断画像データBを生成する。なお、これに限定されるものではなく、案内マークM1が照準マークM2と一致した場合、ユーザが撮像操作を行うことなく、撮像部37が診断チャートDCを撮像してもよい。このようにして生成された診断画像データBは、診断画像データAに比べて、不良画像DEFにおける解像度が高い画像データである。
以上で、このフローは終了する。
このように、画像診断システム1では、サーバ20の第1の画像診断部23が、画像形成装置40が形成した診断チャートDCの全体画像を示す診断画像データAに基づいて、第1の画像診断を行うようにした。そして、画像に不良が発生した場合には、携帯端末30は、不良画像DEFを拡大して撮像するようにユーザに促すことにより、不良画像DEFの拡大画像を示す診断画像データBを生成するようにした。そして、サーバ20の第2の画像診断部24は、この診断画像データBに基づいて第2の画像診断を行い、印刷設定値生成部25が、その診断結果に基づいて、印刷設定値PSを生成するようにした。これにより、画像診断システム1では、この印刷設定値PSに基づいて画像形成装置40における画像形成条件を更新することができるので、画質を高めることができる。
すなわち、診断チャートDCの全体画像を示す診断画像データAのみに基づいて画像診断を行う場合には、その全体画像の一部である不良画像DEFに対しては十分な情報を得られないので、不良の種別を適切に診断できないことがあり得る。一方、画像診断システム1では、第2の画像診断部24は、診断画像データBに基づいて、不良画像DEFに対して詳細な情報を取得し画像を診断するようにした。これにより、不良画像DEFの細かなテクスチャを読み取ることができるので、どのような種別の不良が発生したかを高精度で診断することができる。その結果、画像診断システム1では、画像診断の精度を向上することができ、画質を高めることができる。
また、画像診断システム1では、案内情報生成部33は、診断画像データAにおける不良画像DEFおよびランドマーク画像LM1の間の位置関係と、現撮像画像データIMG1におけるランドマーク画像LM1の位置に基づいて、現撮像画像データIMG1に配置される案内マークM1の位置を算出するようにした。そして、表示部36は、案内マークM1および照準マークM2を表示し、ユーザに、案内マークM1が照準マークM2と一致するように促すようにした。これにより、撮像部37は、不良画像DEFの拡大画像を示す、診断画像データBを生成することができる。その結果、画像診断システム1では、不良画像DEFの画像診断ができるので、画質を高めることができる。
また、画像診断システム1では、案内情報生成部33は、例えば、診断画像データAにおけるランドマーク画像LM1の大きさと、現撮像画像データIMG1におけるランドマーク画像LM1の大きさと、診断画像データAにおける不良画像DEFの大きさとに基づいて、現撮像画像データIMG1における案内マークM1の大きさを算出するようにした。そして、表示部36は、案内マークM1および照準マークM2を表示し、ユーザに、案内マークM1が照準マークM2と一致するように促すようにした。これにより、撮像部37は、不良画像DEFの拡大画像を示す、解像度が高い診断画像データBを生成することができる。その結果、画像診断システム1では、不良画像DEFの高解像画像データを用いた画像診断ができるので、画質を高めることができる。
また、画像診断システム1では、案内情報生成部33は、不良画像DEFを拡大して撮像するようにユーザに促すメッセージ情報である操作指示情報NAVIを生成するようにした。具体的には、案内情報生成部33は、案内マークM1を照準マークM2に一致させるための具体的な操作についてのメッセージ情報を生成するようにした。これにより、携帯端末30のユーザに、案内マークM1を照準マークM2に一致させるためにどのようにすべきか、必要な操作を知らせることができる。その結果、画像診断システム1では、ユーザの利便性を高めることができることができる。
また、画像診断システム1では、案内情報生成部33は、第1の画像診断部23が診断した不良画像DEFに基づいて、案内マークM1を生成するようにした。これにより、画像診断システム1では、診断画像データBを生成する際、携帯端末30のユーザが、主観的に不良と判断できない箇所に対しても、案内マークM1に基づいて不良画像DEFを撮像できるので、画質を高めることができる。
[効果]
以上のように本実施の形態では、ユーザに対して、不良画像を拡大して撮像するようにユーザに促すことにより、不良画像の画像データの拡大画像を示す診断画像データBを生成し、この診断画像データBに基づいて第2の画像診断を行い、その診断結果に基づいて、印刷設定値を生成するようにした。これにより、この印刷設定値に基づいて画像形成装置における画像形成条件を更新することができるので、画質を高めることができる。
本実施の形態では、診断画像データAにおける不良画像およびランドマーク画像LM1の間の位置関係と、現撮像画像データにおけるランドマーク画像LM1の位置に基づいて、現撮像画像データに配置される案内マークの位置を算出し、案内マークおよび照準マークを表示し、ユーザに、案内マークが照準マークと一致するように促すようにした。これにより、不良画像の拡大画像を示す診断画像データBを生成することができるので、画質を高めることができる。
本実施の形態では、診断画像データAにおけるランドマーク画像LM1の大きさと、現撮像画像データにおけるランドマーク画像LM1の大きさと、診断画像データAにおける不良画像の大きさとに基づいて、現撮像画像データにおける案内マークの大きさを算出し、案内マークおよび照準マークを表示し、ユーザに、案内マークが照準マークと一致するように促すようにした。これにより、不良画像の拡大画像を示す、解像度が高い診断画像データBを生成することができるので、画質を高めることができる。
本実施の形態では、不良画像を拡大して撮像するようにユーザに促すメッセージ情報である操作指示情報を生成するようにした。これにより、携帯端末のユーザに、案内マークを照準マークに一致させるためにどのようにすべきか、必要な操作を知らせることができるので、ユーザの利便性を高めることができる。
本実施の形態では、第1の画像診断部が診断した不良画像に基づいて、案内マークを生成するようにしたので、ユーザが主観的に不良と判断できない箇所に対しても案内マークM1に基づいて不良画像を撮像できるので、画質を高めることができる。
[変形例1]
上記実施の形態では、サーバ20が、第1の画像診断部23、第2の画像診断部24、印刷設定値生成部25、および不良判別情報27を有するようにしたが、これに限定されるものではない。これに代えて、例えば、携帯端末が、第1の画像診断部、第2の画像診断部、印刷設定値生成部、および不良判別情報のうちの一部またはすべてを有するようにしてもよい。以下に、携帯端末が、第1の画像診断部、第2の画像診断部、印刷設定値生成部、および不良判別情報を有する場合を例に挙げて、詳細に説明する。
図11は、本変形例に係る画像診断システム2の一構成例を表すものである。画像診断システム2は、携帯端末500と、画像形成装置40とを備えている。携帯端末500は、通信部31と、制御部532と、記憶部534と、操作部35と、表示部36と、撮像部37とを有している。制御部532は、案内情報生成部33と、第1の画像診断部523と、第2の画像診断部524と、印刷設定値生成部525とを有している。第1の画像診断部523は、上記実施の形態に係る第1の画像診断部23(図1)に対応する。同様に、第2の画像診断部524は、上記実施の形態に係る第2の画像診断部24(図1)に対応し、印刷設定値生成部525は、上記実施の形態に係る印刷設定値生成部25(図1)に対応する。記憶部534は、不良判別情報27を記憶している。
ここで、第1の画像診断部523は、本発明における「位置算出部」の一具体例に対応する。第2の画像診断部524および印刷設定値生成部525は、本発明における「画像診断部」の一具体例に対応する。
図12は、画像に不良が生じた場合における画像診断システム2の一動作例を表すものである。
まず、携帯端末500の撮像部37は、診断チャートDCの全体を撮像することにより、診断画像データAを生成する(ステップS401)。
次に、第1の画像診断部523は、上記実施の形態に係る第1の画像診断部23と同様に、この診断画像データAに基づいて、第1の画像診断を行う(ステップS402)。これにより、第1の画像診断部523は、不良画像データDIおよび不良属性情報ATRを生成する。
なお、不良が発生していない場合には、案内情報生成部33が、不良が発生していないことを案内する情報を生成し、表示部36が、不良が発生していない旨の情報を表示してもよい。
次に、携帯端末500は、上記実施の形態に係る携帯端末30と同様に、診断チャートDCを撮像することにより現撮像画像データIMG1を生成し、案内マークM1、照準マークM2、および操作指示情報NAVIを表示する。(ステップS403)。
次に、撮像部37は、診断チャートDCにおける不良画像DEFを拡大して撮像することにより、不良画像DEFの拡大画像を示す診断画像データBを生成する(ステップS404)。
次に、第2の画像診断部524は、上記実施の形態に係る第2の画像診断部24と同様に、診断画像データBに基づいて、不良判別情報27を用いて第2の画像診断を行う(ステップS405)。
次に、印刷設定値生成部525は、上記実施の形態に係る印刷設定値生成部25と同様に、第2の画像診断部524の診断結果に基づき、印刷設定値PSを生成する(ステップS406)。
次に、携帯端末500は、上記実施の形態に係る携帯端末30と同様に、画像形成装置40に印刷設定値PSを送信する(ステップS407)。
そして、画像形成装置40は、受信した印刷設定値PSに基づき画像形成条件を更新する(ステップS408)。
以上で、このシーケンスは終了する。
[変形例2]
上記実施の形態では、携帯端末30の制御部32に案内情報生成部33を設け、携帯端末30が、案内マークM1、照準マークM2、および操作指示情報NAVIを生成するようにしたが、これに限定されるものではない。これに代えて、例えば、サーバの制御部に案内情報生成部を設け、サーバが、案内マークM1、照準マークM2、および操作指示情報NAVIを生成するようにしてもよい。
[変形例3]
上記実施の形態では、案内情報生成部33は、現撮像画像データIMG1と診断画像データAにおけるランドマーク画像LM1の大きさに基づいて画像比SCを算出したが、これに限定されるものではない。これに代えて、例えば、現撮像画像データIMG1および診断画像データAが、2つのランドマーク画像LMを含む場合において、案内情報生成部33は、現撮像画像データIMG1におけるこれらのランドマーク画像LMの間の距離と、診断画像データAにおけるこれらのランドマーク画像LMの間の距離との比率に基づいて画像比SCを算出してもよい。
[変形例4]
上記実施の形態では、案内情報生成部33は、現撮像画像データIMG1におけるランドマーク画像LM1の向きに基づいて、撮像した診断チャートDCの向きを検出したが、これに限定されるものではない。これに代えて、例えば、案内情報生成部33は、現撮像画像データIMG1における2つのランドマーク画像LMの並び方向に基づいて、撮像した診断チャートDCの向きを検出してもよい。
[変形例5]
上記実施の形態では、診断チャートDCは、一面黒色で塗り潰され、数字を含むランドマーク画像LMが、所定の間隔をあけて配置されたものとしたが、これに限定されるものではなく、不良個所を特定できるものであれば、どのようなものであってもよい。以下に、本変形例について詳細に説明する。
図13は、本変形例に係る診断チャートDCの一例を表すものである。本変形例に係る診断チャートDCは、互いに異なる色で塗り潰された複数の領域を有している。図13において、複数の網かけ部は、互いに異なる色で塗り潰されていることを示す。この診断チャートDCにおける複数のランドマーク画像LMは、外周の4辺に対応する4つの外周線OLおよび領域を区画する複数の境界線BLに設けられた点画像である。これらの点画像は、この例では、領域の境界線BLが互いに交わる点、境界線BLと外周線OLとが互いに交わる点、外周線OLが互いに交わる点に設けられる。このランドマーク画像LMは、大きさの情報をもたない点画像である。
この場合には、案内情報生成部33は、変形例3に示したように、例えば、現撮像画像データIMG1における2つのランドマーク画像LMの間の距離と、診断画像データAにおけるこれらのランドマーク画像LMの間の距離との比率に基づいて画像比SCを算出してもよい。また、案内情報生成部33は、変形例4に示したように、現撮像画像データIMG1における2つのランドマーク画像LMの並び方向に基づいて、撮像した診断チャートDCの向きを検出してもよい。
[変形例6]
上記実施の形態では、サーバ20は、ネットワークNETを介して、画像形成装置40に印刷設定値PSを送信するようにしたが、これに限定されるものではなく、これに代えて、例えば、携帯端末30に印刷設定値PSを送信してもよい。この場合、携帯端末30は、表示部36に印刷設定値PSを表示し、携帯端末30のユーザは、印刷設定値PSに基づいて、画像形成装置40の操作部を操作することにより、画像形成装置40の設定値を設定することができる。また、携帯端末30は、画像形成装置40へ、ネットワークNETを介さずに例えばNFC(Near Field Communication)、赤外線通信などを用いて印刷設定値PSを供給してもよい。
[変形例7]
上記実施の形態では、携帯端末30の撮像部37が診断画像データAを生成したが、これに限定されるものではなく、これに代えて、例えば、携帯端末30以外の撮像部を有する装置が診断画像データAを生成してもよい。携帯端末30以外の撮像部を有する装置は、例えば、携帯端末であってもよいし、スキャナ装置であってもよい。
[変形例8]
上記実施の形態では、案内マークM1および照準マークM2は、特定の領域を示す枠としたが、これに限定されるものではない。これに代えて、例えば、領域を塗りつぶしたもの、十字マーク、またはそれらの組合せなど、位置および大きさを表現可能なものであればどのような形状であってもよい。
[変形例9]
上記実施の形態では、表示部36は、不良画像DEFを囲う破線枠が配置されるべき領域を示す照準マークM2を表示したが、これに限定されるものではない。これに代えて、例えば、照準マークM2を表示しなくてもよい。この場合には、表示部36の表示領域が照準マークM2として機能する。言い換えれば、現撮像画像データIMG1が示す全画像領域が、照準マークM2として機能する。
[変形例10]
上記実施の形態では、不良画像DEFに着目し画像診断を行ったが、これに限定されるものではなく、これに代えて、例えば、不良画像DEF以外の画像に着目してもよい。具体的には、例えば、高品質の画像に着目し画像診断を行ってもよい。この場合には、高品質の画像が、本発明における「着目画像」の一具体例に対応する。
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
以上、実施の形態およびいくつかの変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
例えば、上記の実施の形態等では、本技術を単機能のプリンタに適用したが、これに限定されるものではない。これに代えて、例えば、コピー機能、ファックス機能、スキャン機能、プリント機能などを有する、いわゆる多機能周辺装置(MFP;Multi Function Peripheral)に適用してもよい。
例えば、上記の実施の形態等では、サーバ20、携帯端末30、および画像形成装置40は、インターネットであるネットワークNETを介して互いに通信を行うようにしたがこれに限定されるものではない。これに代えて、例えば、インターネットであるネットワークNETを介さずに、LAN、赤外線通信、USB(Universal Serial Bus)などを用いて互いに通信を行うようにしてもよい。
1,2…画像診断システム、20…サーバ、21…通信部、22…制御部、23,523…第1の画像診断部、24,524…第2の画像診断部、25,525…印刷設定値生成部、26…記憶部、27…不良判別情報、30,500…携帯端末、31…通信部、32,532…制御部、33…案内情報生成部、34,534…記憶部、35…操作部、36…表示部、37…撮像部、100…矩形領域、A,B…診断画像データ、ATR…不良属性情報、BL…境界線、DC…診断チャート、DEF…不良画像、DI…不良画像データ、IMG1…現撮像画像データ、LM,LM1,LM2…ランドマーク画像、M1…案内マーク、M2…照準マーク、NAVI…操作指示情報、NET…ネットワーク、OL…外周線、SC…画像比。

Claims (13)

  1. サーバと、
    前記サーバと通信を行う携帯端末と
    を備え、
    前記サーバは、記録媒体に形成され、複数のランドマーク画像および不良画像を含む診断対象画像に基づいて得られた全体画像データにおける、前記不良画像の位置、前記不良画像の大きさ、および前記複数のランドマーク画像の位置を算出する位置算出部を有し、
    前記携帯端末は、前記診断対象画像を撮像することにより、前記複数のランドマーク画像のうちの第1のランドマーク画像および前記不良画像を含む画像データを生成する撮像部を有し、
    前記サーバまたは前記携帯端末は、前記画像データに基づいて前記第1のランドマーク画像を検出し、前記位置算出部により算出された前記複数のランドマーク画像の位置に基づいて、前記第1のランドマーク画像の位置を特定し、特定された前記第1のランドマーク画像の位置および前記位置算出部により算出された前記不良画像の位置に基づいて、前記第1のランドマーク画像と前記不良画像の間の画像距離を算出し、前記画像データにおける前記第1のランドマーク画像の大きさおよび前記全体画像データにおける前記第1のランドマーク画像の大きさの画像比を算出し、前記画像データにおける前記第1のランドマーク画像の向きを検出し、前記画像データにおける前記第1のランドマーク画像を基準に、前記第1のランドマーク画像の向き、前記画像距離、および前記画像比を用いて座標変換を行うことにより、前記画像データにおける前記不良画像に配置されるべき案内マークの位置を算出する案内情報生成部を有し、
    前記携帯端末は、前記画像データおよび前記案内マークを同時に表示する表示部を有し、
    前記撮像部は、前記表示部が前記案内マークを表示した後、所定の条件を満たした場合に、前記診断対象画像の拡大画像データを生成する
    画像診断システム。
  2. 前記画像データは、第2のランドマーク画像を含み、
    前記案内情報生成部は、さらに、前記画像データにおける前記第2のランドマーク画像を検出し、前記全体画像データにおける前記第1のランドマーク画像および前記第2のランドマーク画像の間の第1の画像距離と、前記画像データにおける前記第1のランドマーク画像および前記第2のランドマーク画像の間の第2の画像距離との比率に基づいて前記画像比を算出する
    請求項1に記載の画像診断システム。
  3. 前記画像データにおいて、前記案内マークの大きさは、前記不良画像の大きさに対応している
    請求項1または請求項2に記載の画像診断システム。
  4. 前記表示部は、前記画像データおよび前記案内マークに加え、前記案内マークを配置すべき位置を示す基準マークを同時に表示し、
    前記所定の条件は、前記案内マークの位置および大きさが、前記基準マークの位置および大きさに応じた位置および大きさに調整されたことを含む
    請求項1から請求項3のいずれか一項に記載の画像診断システム。
  5. 前記所定の条件は、前記案内マークの大きさが、前記表示部における表示領域の大きさに応じた大きさに調整されたことを含む
    請求項1から請求項3のいずれか一項に記載の画像診断システム。
  6. 前記案内情報生成部は、前記画像データにおける前記案内マークの位置および大きさの一方または双方を調整する方法をユーザに通知すべき指示情報を生成する
    請求項1から請求項5のいずれか一項に記載の画像診断システム。
  7. 前記指示情報は、前記携帯端末と前記診断対象画像が形成された前記記録媒体との間の距離を調整すべき旨の指示を含む
    請求項6に記載の画像診断システム。
  8. 前記携帯端末は、前記案内マークの位置および大きさを調整する操作を受け付ける操作部を有し、
    前記撮像部は、前記操作部からの指示に基づいて、撮像範囲を設定する
    請求項1から請求項7のいずれか一項に記載の画像診断システム。
  9. 前記案内マークは、前記不良画像のうちの少なくとも一部を囲う枠形状を有する
    請求項1から請求項8のいずれか一項に記載の画像診断システム。
  10. 前記第1のランドマーク画像は、文字、数字、および記号のうちの1以上を含む
    請求項1から請求項9のいずれか一項に記載の画像診断システム。
  11. 前記診断対象画像は、画像形成装置により前記記録媒体に形成され、
    前記サーバは、前記拡大画像データに基づいて画像診断を行うことにより、前記画像形成装置における画像形成パラメータの設定値を生成する画像診断部を有する
    請求項1から請求項10のいずれか一項に記載の画像診断システム。
  12. 記録媒体に形成され、複数のランドマーク画像および不良画像を含む診断対象画像に基づいて得られた全体画像データにおける、前記不良画像の位置、前記不良画像の大きさ、および前記複数のランドマーク画像の位置を算出する位置算出部と、
    前記診断対象画像を撮像することにより、前記複数のランドマーク画像のうちの第1のランドマーク画像および前記不良画像を含む画像データを生成する撮像部と、
    前記画像データに基づいて前記第1のランドマーク画像を検出し、前記位置算出部により算出された前記複数のランドマーク画像の位置に基づいて、前記第1のランドマーク画像の位置を特定し、特定された前記第1のランドマーク画像の位置および前記位置算出部により算出された前記不良画像の位置に基づいて、前記第1のランドマーク画像と前記不良画像の間の画像距離を算出し、前記画像データにおける前記第1のランドマーク画像の大きさおよび前記全体画像データにおける前記第1のランドマーク画像の大きさの画像比を算出し、前記画像データにおける前記第1のランドマーク画像の向きを検出し、前記画像データにおける前記第1のランドマーク画像を基準に、前記第1のランドマーク画像の向き、前記画像距離、および前記画像比を用いて座標変換を行うことにより、前記画像データにおける前記不良画像に配置されるべき案内マークの位置を算出する案内情報生成部と、
    前記画像データおよび前記案内マークを同時に表示する表示部と
    を備え、
    前記撮像部は、前記表示部が前記案内マークを表示した後、所定の条件を満たした場合に、前記診断対象画像に関連する拡大画像データを生成する
    画像診断装置。
  13. 記録媒体に形成され、複数のランドマーク画像および不良画像を含む診断対象画像に基づいて得られた全体画像データにおける、前記不良画像の位置、前記不良画像の大きさ、および前記複数のランドマーク画像の位置を算出することと、
    前記診断対象画像を撮像することにより、前記複数のランドマーク画像のうちの第1のランドマーク画像および前記不良画像を含む画像データを生成することと、
    前記画像データに基づいて前記第1のランドマーク画像を検出することと、
    算出された前記複数のランドマーク画像の位置に基づいて、前記第1のランドマーク画像の位置を特定することと、
    特定された前記第1のランドマーク画像の位置および算出された前記不良画像の位置に基づいて、前記第1のランドマーク画像と前記不良画像の間の画像距離を算出することと、
    前記画像データにおける前記第1のランドマーク画像の大きさおよび前記全体画像データにおける前記第1のランドマーク画像の大きさの画像比を算出することと、
    前記画像データにおける前記第1のランドマーク画像の向きを検出することと、
    前記画像データにおける前記第1のランドマーク画像を基準に、前記第1のランドマーク画像の向き、前記画像距離、および前記画像比を用いて座標変換を行うことにより、前記画像データにおける前記不良画像に配置されるべき案内マークの位置を算出することと、
    前記画像データおよび前記案内マークを同時に表示することと、
    前記案内マークを表示した後、所定の条件を満たした場合に、前記診断対象画像の拡大画像データを生成することと
    を含む画像診断方法。
JP2019034556A 2019-02-27 2019-02-27 画像診断システム、画像診断装置、および画像診断方法 Active JP7218614B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019034556A JP7218614B2 (ja) 2019-02-27 2019-02-27 画像診断システム、画像診断装置、および画像診断方法
US16/744,672 US11244192B2 (en) 2019-02-27 2020-01-16 Image judging system, image judging apparatus, and image judging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019034556A JP7218614B2 (ja) 2019-02-27 2019-02-27 画像診断システム、画像診断装置、および画像診断方法

Publications (2)

Publication Number Publication Date
JP2020140366A JP2020140366A (ja) 2020-09-03
JP7218614B2 true JP7218614B2 (ja) 2023-02-07

Family

ID=72142457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019034556A Active JP7218614B2 (ja) 2019-02-27 2019-02-27 画像診断システム、画像診断装置、および画像診断方法

Country Status (2)

Country Link
US (1) US11244192B2 (ja)
JP (1) JP7218614B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7218614B2 (ja) * 2019-02-27 2023-02-07 沖電気工業株式会社 画像診断システム、画像診断装置、および画像診断方法
JP2022098171A (ja) * 2020-12-21 2022-07-01 キヤノン株式会社 検品装置とその制御方法及びプログラム、並びに検品装置を有する印刷システム
US11902475B2 (en) 2021-09-01 2024-02-13 Canon Kabushiki Kaisha Diagnostic system for diagnosing image forming apparatus using image formed by image forming apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006314778A (ja) 2005-04-15 2006-11-24 Toshiba Corp 医用画像処理装置及び医用画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002015215A (ja) * 2000-06-30 2002-01-18 Hitachi Ltd マルチメデア情報配信システムおよび携帯情報端末装置
JP4670657B2 (ja) * 2006-01-24 2011-04-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及びプログラム
JP5056469B2 (ja) * 2008-02-22 2012-10-24 富士通株式会社 画像管理装置
JP5386946B2 (ja) * 2008-11-26 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US20150029214A1 (en) * 2012-01-19 2015-01-29 Pioneer Corporation Display device, control method, program and storage medium
US10973412B1 (en) * 2013-03-15 2021-04-13 True-See Systems, Llc System for producing consistent medical image data that is verifiably correct
JP6373265B2 (ja) * 2013-07-22 2018-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置および情報処理装置の制御方法
JP2017132126A (ja) 2016-01-28 2017-08-03 株式会社沖データ 画像形成装置および画像形成システム
US10008045B1 (en) * 2017-12-21 2018-06-26 Capital One Services, Llc Placement of augmented reality objects using a bounding shape
JP7218614B2 (ja) * 2019-02-27 2023-02-07 沖電気工業株式会社 画像診断システム、画像診断装置、および画像診断方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006314778A (ja) 2005-04-15 2006-11-24 Toshiba Corp 医用画像処理装置及び医用画像処理方法

Also Published As

Publication number Publication date
US20200272844A1 (en) 2020-08-27
US11244192B2 (en) 2022-02-08
JP2020140366A (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
JP7218614B2 (ja) 画像診断システム、画像診断装置、および画像診断方法
US9723177B2 (en) Image processing system, image processing apparatus, and image forming apparatus
JP6584076B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
JP5644461B2 (ja) 画像処理装置及びプログラム
JP2010021730A (ja) 画像処理装置及び画像処理方法ならびにプログラム
JP2007074578A (ja) 画像処理装置、撮影装置、及びプログラム
EP3093822B1 (en) Displaying a target object imaged in a moving picture
JP6426815B2 (ja) 画像処理装置および画像処理方法
US20060075362A1 (en) Image processing apparatus, method, and recording medium on which program is recorded for displaying thumbnail/preview image
US10481363B2 (en) Projector and focus adjustment method
KR102038741B1 (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
CN109151244A (zh) 信息处理装置、其控制方法和存储介质
US8493629B2 (en) Image processing apparatus, method, and computer program
JP2004288148A (ja) 画像処理方法、画像処理システム、画像処理装置、及びコンピュータプログラム
JP6413450B2 (ja) 画像処理装置、画像形成装置およびプログラム
JP7205292B2 (ja) 情報処理装置及び画像形成装置
JP2017143464A (ja) 画像処理システム、画像処理装置、画像処理方法、及びプログラム
JP2007148612A (ja) 撮影装置、画像処理方法および画像処理プログラム
JP2021019325A (ja) 情報処理装置及びプログラム
JP2017011399A (ja) 画像処理装置、画像形成装置、記録媒体およびプログラム
JP2017011627A (ja) 画像処理装置およびプログラム
JP2016015639A (ja) 情報処理装置、画像投影システム及び情報処理方法
JP2007274269A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2022042408A (ja) 情報処理装置
JP4853571B2 (ja) 境界設定方法、境界設定装置、プログラム及びプリントシステム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230109

R150 Certificate of patent or registration of utility model

Ref document number: 7218614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150