JP6731073B2 - 画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム - Google Patents
画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP6731073B2 JP6731073B2 JP2018558864A JP2018558864A JP6731073B2 JP 6731073 B2 JP6731073 B2 JP 6731073B2 JP 2018558864 A JP2018558864 A JP 2018558864A JP 2018558864 A JP2018558864 A JP 2018558864A JP 6731073 B2 JP6731073 B2 JP 6731073B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnification
- area
- region
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 108
- 238000003384 imaging method Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 title description 43
- 238000003702 image correction Methods 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 description 188
- 230000009467 reduction Effects 0.000 description 95
- 238000010586 diagram Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 26
- 238000007796 conventional method Methods 0.000 description 13
- 230000006866 deterioration Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00167—Processing or editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00185—Image output
- H04N1/00188—Printing, e.g. prints or reprints
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
- H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
- H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
以下の開示は、画像に対する所定の補正処理を行う画像処理装置に関する。
従来から、画像処理により、画像中の一部を拡大および/または縮小することで、画像に含まれる被写体の印象を変化させる技術がある。当該技術により、例えば、画像中に含まれる人物(被写体)の顔を小さくするように当該画像を補正することで、鑑賞者(当該人物を含む)に小顔の印象を与えることができる。また例えば、画像中に含まれる人物の全身が細くなるように当該画像を補正することで、鑑賞者に痩せた(スリムな)印象を与えることができる。また例えば、画像中に含まれる人物の脚が長くなるように当該画像を補正することで、鑑賞者にスタイルが良いという印象を与えることができる。
上述のような画像中に含まれる人物の顔を小さく補正する技術として、例えば特許文献1に記載の技術がある。特許文献1に記載の画像処理装置は、画像に含まれる人物の顔領域を抽出し、顔領域を含む領域を縮小領域に特定するとともに、縮小領域以外の領域を拡大領域に特定する。上記画像処理装置は、定められた縮小率を用いて縮小領域を縮小し、拡大領域と縮小領域との比に応じて拡大率を算出し、当該拡大率を用いて拡大領域を拡大する。これにより、補正前後の画像のアスペクト比を一定に保つように画像を補正することができる。
しかしながら、特許文献1に記載の画像処理装置(以下、従来の画像処理装置と称する)は、以下の課題を有している。この課題について、図14を用いて説明する。図14は、従来の画像処理装置における画像の補正処理に伴う課題について説明するための図であり、(a)は補正前の画像の一例を示す図であり、(b)は補正後の画像の一例を示す図である。
図14の(a)に示すように、補正前の画像Ib101には、被写体としての人物の顔Subの像が含まれている。従来の画像処理装置は、顔Subを含み、かつ幅W101を有する領域を縮小領域Ar101として設定し、縮小領域Ar101の外側に、幅W102を有する斜線部分の領域を拡大領域Ar102として設定する。画像Ib101における縮小領域Ar101と拡大領域Ar102との比(すなわち、幅W101:2×幅W102)は0.8:0.2であるとする。また、縮小領域Ar101を縮小するための第1倍率は予め定められており、0.9であるとする。
この場合、従来の画像処理装置に適用される方法で、拡大領域Ar102を拡大するための第2倍率を算出すると、第2倍率は、(1.0−0.9×0.8)/0.2=1.4となる。なお、1.0は、画像Ib101における縮小領域Ar101および拡大領域Ar102の全幅(幅W101+2×幅W102)を正規化した値である。
上記第1倍率及び第2倍率で画像Ib101を補正した結果、図14の(b)に示すような画像Ia101が生成される。縮小領域Ar101は上記第1倍率で縮小され、幅W101a(<幅W101)となる。その結果、補正前の画像Ib101と補正後の画像Ia101とを比較すると、画像Ia101における顔Subは、画像Ib101における顔Subに比べ細く縮小される。一方で、拡大領域Ar102は上記第2倍率で拡大され、幅W102a(>幅W102)となり、横方向(±x軸方向)に大きく拡大される。
従来の画像処理装置における上記方法では、図14の(a)に示す画像Ib101のように、縮小領域Ar101に比べて拡大領域Ar102が小さい場合、第2倍率は大きい値となる。換言すれば、上記方法では、縮小領域Ar101に比べて拡大領域Ar102が小さくなればなるほど、第2倍率はより大きい値に算出される。そのため、縮小領域Ar101に比べて拡大領域Ar102が小さくなればなるほど、補正後の画像Ia101において拡大領域Ar102がより大きく拡大されることになる。したがって、上記方法においては、補正後の画像Ia101として不自然な画像が生成される可能性がある。換言すれば、補正後の画像Ia101の画質が劣化してしまう可能性がある。
本開示の一態様は、処理後の画像における画質の劣化を抑制することが可能な画像処理装置を実現することを目的とする。
上記の課題を解決するために、本開示の一態様に係る画像処理装置は、画像に含まれる対象領域を検出する対象領域検出部と、前記画像における前記対象領域を含む第1領域を縮小するための第1倍率と、前記第1領域の外側の第2領域を拡大するための第2倍率を決定する倍率決定部と、前記第1領域を前記第1倍率を用いて縮小し、かつ前記第2領域を前記第2倍率を用いて拡大することにより、前記画像を補正する画像補正部と、を備え、前記倍率決定部は、前記第2倍率と、前記画像における前記第1領域および前記第2領域の幅とに基づいて、前記第1倍率を決定する構成である。
また、上記の課題を解決するために、本開示の一態様に係る画像処理装置は、画像に含まれる対象領域を検出する対象領域検出部と、前記画像における前記対象領域を含む第1領域を縮小するための第1倍率を決定する倍率決定部と、前記第1領域を前記第1倍率を用いて縮小し、かつ前記第1領域の外側の第2領域を、当該第2領域を拡大するための予め定められた第2倍率を用いて拡大することにより、前記画像を補正する画像補正部と、を備え、前記倍率決定部は、前記画像における前記第1領域および前記第2領域の幅に基づいて、前記第1倍率を決定する構成である。
また、上記の課題を解決するために、本開示の一態様に係る画像処理装置の制御方法は、画像に含まれる対象領域を検出する対象領域検出工程と、前記画像における前記対象領域を含む第1領域を縮小するための第1倍率と、前記第1領域の外側の第2領域を拡大するための第2倍率を決定する倍率決定工程と、前記第1領域を前記第1倍率を用いて縮小し、かつ前記第2領域を前記第2倍率を用いて拡大することにより、前記画像を補正する画像補正工程と、を含み、前記倍率決定工程では、前記第2倍率と、前記画像における前記第1領域および前記第2領域の幅とに基づいて、前記第1倍率を決定する方法である。
本開示の一態様に係る画像処理装置およびその制御方法によれば、処理後の画像における画質の劣化を抑制することができるという効果を奏する。
〔実施形態1〕
以下、本開示の実施形態1について、図1〜図7に基づいて詳細に説明する。
以下、本開示の実施形態1について、図1〜図7に基づいて詳細に説明する。
≪画像印刷装置の構成≫
まず、図1に基づいて、画像印刷装置1(撮像装置)の構成の一例について説明する。図1は、本実施形態の画像印刷装置1の構成を示す機能ブロック図である。図1に示すように、画像印刷装置1は、撮像部10、操作部20、表示部30、制御部40(画像処理装置)、印刷部50および記憶部60を備えている。なお、撮像部10および制御部40は撮像装置として機能する。
まず、図1に基づいて、画像印刷装置1(撮像装置)の構成の一例について説明する。図1は、本実施形態の画像印刷装置1の構成を示す機能ブロック図である。図1に示すように、画像印刷装置1は、撮像部10、操作部20、表示部30、制御部40(画像処理装置)、印刷部50および記憶部60を備えている。なお、撮像部10および制御部40は撮像装置として機能する。
撮像部10は、被写体を撮像するものであり、撮像した画像(被写体を含む対象領域を含む画像)を入力画像として制御部40に送信する。対象領域とは、制御部40が縮小および拡大処理を行う対象となる領域である。
操作部20は、ユーザの入力を受け付けるものであり、例えばタッチパネル、マウスによって実現される。例えば、操作部20がタッチパネルの場合、当該タッチパネルを備えた表示部30に入力画像が表示される。
表示部30は、各種画像を表示するものである。表示部30は、例えば、撮像部10が撮像した画像、または後述の画像補正部44が生成する出力画像を表示する。
制御部40は、画像印刷装置1を統括的に制御するものである。制御部40は、撮像部10が撮像した画像(入力画像)に対して画像処理を行い、処理後(補正後)の出力画像を生成する画像処理装置として機能する。制御部40の具体的な構成については後述する。
印刷部50は、制御部40の処理によって生成された出力画像(画像)を印刷する。印刷部50は、当該出力画像に対してさらに、操作部20を介してユーザによって描画された画像を印刷してもよい。
記憶部60は、例えば、制御部40が実行する各種の制御プログラム等を記憶するものであり、例えばハードディスク、フラッシュメモリ等の不揮発性の記憶装置によって構成される。記憶部60には、例えば、入力画像および出力画像が記憶される。また、記憶部60には、画像処理(補正処理)、被写体の検出処理等、制御部40の処理に必要なパラメータ等が記憶されていてもよい。
なお、画像印刷装置1が、画像処理装置として機能する制御部40を備えている必要は必ずしもない。例えば、画像印刷装置1と通信可能に接続できる外部装置が、制御部40の画像処理機能を有していてもよい。
また、画像印刷装置1は、撮像部10、および画像処理装置として機能する制御部40を備える撮像装置を備えていなくてもよい。この場合、撮像装置は、画像印刷装置1と通信可能に接続できる外部装置として機能してもよいし、当該機能を有していなくてもよい。さらに、画像印刷装置1は撮像部10を備えていなくてもよく、この場合、例えば、撮像部10が画像印刷装置1と通信可能に接続できる外部装置として機能する。
≪制御部の構成≫
次に、図1に基づいて、制御部40の具体的な構成について説明する。制御部40は、上記画像処理装置の機能を実行するために、被写体検出部(対象領域検出部)41、補正領域設定部42と、補正強度決定部43(倍率決定部)と、画像補正部44とを備えている。
次に、図1に基づいて、制御部40の具体的な構成について説明する。制御部40は、上記画像処理装置の機能を実行するために、被写体検出部(対象領域検出部)41、補正領域設定部42と、補正強度決定部43(倍率決定部)と、画像補正部44とを備えている。
被写体検出部41は、制御部40に入力された入力画像中から、補正対象となる被写体(対象領域)を検出する。被写体検出部41が検出する被写体としては、(1)人物、(2)人物の顔、(3)目、口もしくは鼻等の顔の各器官、または(4)顔の輪郭等が挙げられる。被写体検出部41は、例えば顔の検出であれば、入力画像から検出した肌色領域の情報を利用する等、既存の技術を用いて被写体を検出することができる。
なお、被写体検出部41による被写体の検出は手動であってもよい。換言すれば、ユーザが入力画像から被写体を検出してもよい。この場合、例えば、被写体検出部41(被写体選択部)は、表示部30に入力画像を表示させ、操作部20を介したユーザの入力によって指定された、補正対象とする被写体を検出(選択)する。被写体検出部41は、入力画像に複数の被写体が存在する場合には、ユーザの入力に基づいて、補正対象とする被写体を選択する。
例えば、操作部20がタッチパネルの場合にはタッチパネルに触れることで、表示部30が表示する入力画像内の被写体が選択される。また、操作部20がマウスの場合には、マウス操作に基づいて被写体が選択される。
また、本明細書では、撮像部10にて撮像された画像(すなわち、被写体を含む画像)に対して補正処理を行うものとして説明する。具体的には、画像に含まれる被写体に対して縮小および拡大処理を行うものとして説明する。しかしこれに限られず、補正対象とする画像は、撮像部10が撮像した画像でなくてもよい。この場合、被写体検出部41は、画像に含まれる、補正対象となる対象物(換言すれば、当該対象物を含む対象領域)を検出する。つまり、被写体検出部41は、画像に含まれる被写体、または被写体以外の対象物を含む対象領域(換言すれば、画像に含まれる対象領域)を検出する対象領域検出部として機能する。
補正領域設定部42は、被写体検出部41が検出した被写体を示す情報(例:被写体の位置および大きさを示す情報)に基づいて、補正対象とする補正領域を入力画像に設定する。補正領域設定部42は、入力画像に含まれる被写体を含む領域を縮小領域(第1領域)として、当該入力画像に設定する。また、補正領域設定部42は、設定した縮小領域の外側の領域、具体的には縮小領域に隣接する領域を拡大領域(第2領域)として、入力画像に設定する。換言すれば、補正領域設定部42は、補正領域として、縮小領域および拡大領域を設定する。
例えば、被写体としての人物の顔を小さくする補正を行う場合、補正領域設定部42は、検出した顔を含む領域を縮小領域として設定し、その外側の領域を拡大領域として設定する。なお、設定される縮小領域および拡大領域の詳細については後述する。
補正強度決定部43は、補正領域設定部42によって、入力画像において設定された縮小領域を縮小するための第1倍率(<1)と、入力画像において設定された拡大領域を拡大するための第2倍率(>1)を決定する。換言すれば、補正強度決定部43は、補正領域を補正する度合いを示す補正強度として、第1倍率および第2倍率を決定する。
また、補正強度決定部43は、第2倍率と、入力画像における縮小領域および拡大領域の幅とに基づいて、第1倍率を決定する。具体的には、補正強度決定部43は、{1−(第2倍率)×(縮小領域の所定の位置から拡大領域の端部までの基準幅に対する、当該所定の位置から所定の方向における第2領域の幅の割合)}/(当該基準幅に対する、当該所定の位置から所定の方向における第1領域の幅の割合)によって第1倍率を求める。
本実施形態では、予め設定されている第2倍率の値をそのまま用いる。また、上記のように求められる第1倍率は、例えば入力画像における被写体の位置および大きさに基づいて、予め設定されている第2倍率と上記幅とに基づいて算出されることにより決定されてよい。
また、上記式中の「1」は、基準幅を正規化した値である。所定の位置は、基準幅を規定するものであり、出力画像において適切な補正(不自然さの無い補正)が実現されるように第1倍率が求まるように設定されていればよい。例えば、本実施形態では、所定の位置は、図2および図3に示す縮小領域Ar1の中心線(補正中心線)CLであり、基準幅Wbは、中心線CLの左側の縮小領域Ar1の幅W1および拡大領域Ar2の幅W2の合計(Wb=W1+W2)である。
具体的には、例えば被写体の位置が入力画像の端部(画像端)付近である場合、補正領域設定部42が設定する拡大領域の幅が、拡大領域内の位置によって異なったり、比較的狭くなったりする。そのような場合に予め設定されている第1倍率および第2倍率を用いて、縮小領域を縮小し、拡大領域を拡大すると、不自然な画像が生成される可能性がある。上記のように第2倍率と縮小領域および拡大領域の幅とに基づいて算出された第1倍率に、予め設定されている第1倍率を代える(すなわち第1倍率を修正する)ことにより、入力画像における被写体の位置等によらず、画質の劣化を抑制した好適な補正を入力画像に対して行うことが可能となる。なお、第1倍率の決定の詳細については後述する。
なお、補正強度決定部43は、入力画像における被写体の位置および大きさに基づき設定された縮小領域の幅と拡大領域の幅との比が予め設定されている比と一致し、入力画像内の位置によって変わらない場合には、予め設定されている値(設定値)をそのまま第1倍率および第2倍率として決定してよい。また、補正強度決定部43は、ユーザの入力に基づき第2倍率を決定してもよい。
換言すれば、補正強度決定部43は、所定の方向における第1領域の幅と第2領域の幅との比が予め設定されている比と一致する場合、予め設定されている第1倍率および第2倍率を、所定の位置から所定の方向に延伸した直線上の縮小領域を縮小するための第1倍率、および当該直線上の拡大領域を拡大するための第2倍率として決定してもよい。この場合、例えば、補正強度決定部43は、縮小領域の幅と拡大領域の幅との比が各領域の全体に亘り一致するか否かを判定し、一致する場合に予め設定されている値を第1倍率および第2倍率として決定してもよい。
但し、補正強度決定部43は、被写体の位置および大きさによらず一律に、上述した第2倍率と縮小領域および拡大領域の幅とに基づいて第1倍率を決定してよい。この場合も、第1倍率は予め設定されている値と同一となる。
画像補正部44は、補正強度決定部43が決定した第1倍率を用いて縮小領域を縮小し、かつ補正強度決定部43が決定した第2倍率を用いて拡大領域を拡大することにより、入力画像を補正する。画像補正部44は、補正後の画像を出力画像として、印刷部50および/または表示部30に出力する。
≪縮小領域および拡大領域の設定、並びに第1倍率の決定の詳細≫
次に、縮小領域および拡大領域の設定、並びに第1倍率の決定の詳細について、図2〜図5に基づいて説明する。なお、本詳細の説明においては、入力画像について、補正対象の被写体である人物の顔を横方向(x軸方向)に縮小することで、顔を細くする補正を行う例を挙げて説明する。
次に、縮小領域および拡大領域の設定、並びに第1倍率の決定の詳細について、図2〜図5に基づいて説明する。なお、本詳細の説明においては、入力画像について、補正対象の被写体である人物の顔を横方向(x軸方向)に縮小することで、顔を細くする補正を行う例を挙げて説明する。
本実施形態では、入力画像に予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2とが同じ長さである場合(換言すれば、予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が、幅W1:幅W2=0.5:0.5)である場合を例に挙げて説明する。
<拡大領域の各幅が同じ場合>
まず、補正対象の人物の顔Subが画像端から離れた位置に存在し、かつ当該顔Subの大きさが入力画像に対してそれほど大きくない場合の画像補正例を通して、上記詳細について説明する。
まず、補正対象の人物の顔Subが画像端から離れた位置に存在し、かつ当該顔Subの大きさが入力画像に対してそれほど大きくない場合の画像補正例を通して、上記詳細について説明する。
図2は、縮小領域Ar1および拡大領域Ar2の設定、並びに第1倍率の決定の詳細について説明するための図である。図2の(a)は、入力画像Ib1の一例を示す図であり、(b)は縮小領域Ar1および拡大領域Ar2の設定例を示す図であり、(c)は入力画像Ib1におけるx座標と出力画像におけるx座標との対応関係を説明する図である。
図2の(c)においては、横軸を入力画像Ib1におけるx座標とし、縦軸を出力画像におけるx座標とする。また、図2の(b)に示すように、入力画像Ib1において、縮小領域Ar1の中心線CLを0としたx軸を規定する。出力画像についても同じであり、また、図3および図10における対応関係についても同じである。
図2の(a)は、補正対象の被写体として顔Subを含む入力画像Ib1を示している。また、顔Subは、入力画像Ib1のほぼ中央に位置している。
補正領域設定部42は、顔Subの位置および大きさに基づいて、図2の(b)に示すように、入力画像Ib1において、顔Subを含むように縮小領域Ar1(斜線領域)を設定する。また、補正領域設定部42は、縮小領域Ar1の外側に拡大領域Ar2(格子模様の領域)を設定する。
上記の例では、縮小領域Ar1および拡大領域Ar2は、入力画像Ib1において所定の幅を有する矩形領域として設定されている。
縮小領域Ar1は、顔Subの横幅と同じ幅(2×W1)に設定されており、拡大領域Ar2は、縮小領域Ar1の両側に2つ設けられ、左側および右側の拡大領域Ar2の幅W2は縮小領域Ar1の半分の幅W1と同じ幅に設定されている。換言すれば、中心線CLから拡大領域Ar2の端部P1までの基準幅Wbに対する、中心線CLから+x軸方向(所定の方向)における縮小領域Ar1の幅W1および拡大領域Ar2の幅W2は同一であり、幅W1:幅W2=0.5:0.5である。さらに換言すれば、図2の(b)においては、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比は、入力画像Ib1において予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比と同じである。なお、本実施形態においては以降、縮小領域Ar1の半分の幅W1を、単に縮小領域Ar1の幅W1と称する。
画像補正部44は、このように設定された縮小領域Ar1および拡大領域Ar2を、補正強度決定部43が決定した第1倍率および第2倍率を用いて、それぞれ縮小および拡大することにより、補正後の画像である出力画像を生成する。
なお、図2の(b)に示すように、拡大領域Ar2は矩形領域であり、その幅W2は、拡大領域Ar2の全体を通して縮小領域Ar1の幅W1と同一である。換言すれば、その幅W2は、拡大領域Ar2の全体を通して、入力画像Ib1において予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比を維持するように設定されている。そのため、補正強度決定部43は、予め設定されている値をそのまま第1倍率および第2倍率として決定してよいし、上記のように、第2倍率と縮小領域Ar1の幅W1および拡大領域Ar2の幅W2とに基づいて第1倍率を決定してもよい。後者の場合、補正強度決定部43は、{1−(第2倍率)×(基準幅Wbに対する拡大領域Ar2の幅W2の割合)}/(基準幅Wbに対する縮小領域Ar1の幅W1の割合)によって第1倍率を求める。
入力画像Ib1におけるx座標と出力画像におけるx座標との対応関係は、図2の(c)に示すようになる。第1倍率は1未満に設定されるので、入力画像Ib1のx座標に対する出力画像のx座標の傾きも1未満となる。そのため、図2の(c)に示すように、入力画像Ib1のx座標に対して出力画像のx座標は小さくなる。また、拡大領域Ar2に近づくにつれて、入力画像Ib1のx座標に対して出力画像のx座標はより小さくなる。これは、縮小領域Ar1においては縮小領域Ar1の中心線CLに向かって縮小し、かつ中心線CLから離れるほど縮小の度合い(画素の移動量)が大きくなることを意味する。
一方、第2倍率は1より大きく設定されるので、入力画像Ib1のx座標に対する出力画像のx座標の傾きも1より大きくなる。これは、拡大領域Ar2においては縮小領域Ar1の中心線CLに向かって拡大し、かつ中心線CLから離れるほど拡大の度合い(画素の移動量)が小さくなることを意味する。
そして、拡大領域Ar2の端部P1において、入力画像のx座標と出力画像のx座標とが一致する。そのため、画像補正部44が、画質の劣化が生じないように出力画像を生成することができているといえる。
<拡大領域の各幅が異なる場合>
次に、補正対象の顔Subが画像端付近に位置するか、または当該顔Subの大きさが入力画像Ib2に対して大きい場合の画像補正例を通して、上記詳細について説明する。以下では、顔Subが画像端付近に位置する場合を例に挙げて説明する。
次に、補正対象の顔Subが画像端付近に位置するか、または当該顔Subの大きさが入力画像Ib2に対して大きい場合の画像補正例を通して、上記詳細について説明する。以下では、顔Subが画像端付近に位置する場合を例に挙げて説明する。
図3は、縮小領域Ar1および拡大領域Ar2の設定、並びに第1倍率の決定の詳細について説明するための図である。図3の(a)は、入力画像Ib2の一例を示す図であり、(b)は縮小領域Ar1および拡大領域Ar2の設定例を示す図であり、(c)および(d)は入力画像Ib2におけるx座標と出力画像におけるx座標との対応関係を説明する図である。
図3の(a)は、補正対象の被写体として顔Subを含む入力画像Ib2を示している。また、図2の(a)の場合とは異なり、顔Subは、入力画像Ib2の端部付近(本例では右寄り)に位置している。
補正領域設定部42は、顔Subの位置および大きさに基づいて、図3の(b)に示すように、入力画像Ib2において、顔Subを含むように縮小領域Ar1(斜線領域)を設定する。また、補正領域設定部42は、縮小領域Ar1の外側に拡大領域Ar2(格子模様の領域)を設定する。
上記の例では、縮小領域Ar1および拡大領域Ar2は、入力画像Ib2において所定の幅を有する矩形領域として設定されている。
縮小領域Ar1は、顔Subの横幅と同じ幅(2×W1)に設定されている。拡大領域Ar2は、縮小領域Ar1の両側に2つ設けられており、左側の拡大領域Ar2の幅W2は、図2の(b)と同様に、縮小領域Ar1の幅W1と同じ幅に設定されている。換言すれば、左側の縮小領域Ar1および拡大領域Ar2においては、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比は、入力画像Ib2において予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比と同じである。
一方、図2の(b)と異なり顔Subが画像端に近いため、補正領域設定部42は、右側の拡大領域Ar2の幅W2を縮小領域Ar1の幅W1と同じ幅に設定することができない。そのため、右側の拡大領域Ar2の幅W2は、図2の(b)に示す右側の拡大領域Ar2の幅W2、および図3の(b)に示す縮小領域Ar1の幅W1よりも小さく設定されている。換言すれば、右側の縮小領域Ar1および拡大領域Ar2においては、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比は、入力画像Ib2において予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比と異なっている。
つまり、入力画像Ib1内に設定される右側の拡大領域Ar2は、図2の(b)に示す右側の拡大領域Ar2、および図3の(b)に示す縮小領域Ar1の幅W1に比べ、点線で囲まれた領域Arn分だけ小さくなる。換言すれば、図3の(b)において、予め設定されている比で右側の縮小領域Ar1の幅W1および拡大領域Ar2の幅W2を設定した場合(本例では、右側の拡大領域Ar2の幅W2を縮小領域Ar1の幅W1と同じ長さに設定した場合)、点線で囲まれた領域Arnは、右側の拡大領域Ar2における画角外の領域を指すといえる。
(問題点)
図3の(b)に示すように縮小領域Ar1および拡大領域Ar2が設定された場合に、予め設定されている第1倍率および第2倍率を用いて入力画像Ib2に対する補正処理が行われたとする。この場合、入力画像Ib2のx座標と出力画像のx座標との対応関係は、図3の(c)のようになる。この場合、図2の(c)の場合と異なり、拡大領域Ar2の端部P1(本例では、端部P1=画像端)で、入力画像Ib2のx座標と出力画像のx座標が一致しない。出力画像の画像端の画素値を決定するためには入力画像Ib2の画角外の領域Arnを参照することになるが、当該画角外(参照先)の画素値が不定であるため、出力画像の画像端の画素値を決定することができない。そのため、出力画像の端部P1において画質の劣化が生じてしまう。
図3の(b)に示すように縮小領域Ar1および拡大領域Ar2が設定された場合に、予め設定されている第1倍率および第2倍率を用いて入力画像Ib2に対する補正処理が行われたとする。この場合、入力画像Ib2のx座標と出力画像のx座標との対応関係は、図3の(c)のようになる。この場合、図2の(c)の場合と異なり、拡大領域Ar2の端部P1(本例では、端部P1=画像端)で、入力画像Ib2のx座標と出力画像のx座標が一致しない。出力画像の画像端の画素値を決定するためには入力画像Ib2の画角外の領域Arnを参照することになるが、当該画角外(参照先)の画素値が不定であるため、出力画像の画像端の画素値を決定することができない。そのため、出力画像の端部P1において画質の劣化が生じてしまう。
また、上述した従来の方法で拡大領域Ar2に適用する第2倍率を決定した場合、上記対応関係は、図3の(d)のようになる。この場合、図3の(c)の場合とは異なり、参照先の画素値が不定となることはないため、出力画像の端部P1の画素値を入力画像Ib2の端部P1の画素値と合わせることができる。しかしながら、図3の(d)に示すように、図2の(c)に比べ、拡大領域Ar2を示す部分の傾き(すなわち第2倍率)が大きくなる。そのため、出力画像において拡大領域Ar2が不自然に大きく拡大されてしまい、画質の劣化が生じてしまう。
(本実施形態に係る処理)
そこで、本実施形態に係る画像印刷装置1の制御部40では、補正強度決定部43は、上述したように、第2倍率と、入力画像Ib2における縮小領域Ar1の幅W1および拡大領域Ar2の幅W2とに基づいて、第1倍率を決定する。具体的には、補正強度決定部43は、上述した式を用いて第1倍率を決定する。
そこで、本実施形態に係る画像印刷装置1の制御部40では、補正強度決定部43は、上述したように、第2倍率と、入力画像Ib2における縮小領域Ar1の幅W1および拡大領域Ar2の幅W2とに基づいて、第1倍率を決定する。具体的には、補正強度決定部43は、上述した式を用いて第1倍率を決定する。
本実施形態では、補正強度決定部43は、x軸方向においては以下の処理を行う。具体的には、補正強度決定部43は、予め設定された値(固定値)をそのまま、拡大領域Ar2に適用する第2倍率として決定する。そして、補正強度決定部43は、当該第2倍率と、矩形領域として設定された縮小領域Ar1の幅W1および拡大領域Ar2の幅W2とを用いて第1倍率を決定する。また、補正強度決定部43は、−x軸方向については、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が予め設定されている比と一致しており、かつ縮小領域Ar1および拡大領域Ar2が所定の範囲に設定されている(すなわち、入力画像Ib1内に設定されている)ため、予め設定された値をそのまま、第1倍率および第2倍率として決定する。
図4の(a)および(b)は、入力画像におけるx座標と出力画像におけるx座標との対応関係を説明するための図である。
図4の(a)は、図2の(a)および(b)に示す入力画像Ib1のx座標と出力画像のx座標との対応関係を示しており、図2の(c)と同一である。図4の(a)の例では、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が予め設定されている比と一致しており(図2の例では幅W1と幅W2とが同じ長さ、すなわち幅W1:幅W2=0.5:0.5)、当該縮小領域Ar1および拡大領域Ar2の全てが入力画像Ib1内(画角内)に存在する。この場合、補正強度決定部43は、予め設定されている値をそのまま当該縮小領域Ar1および拡大領域Ar2に適用する第1倍率および第2倍率として決定する。従って、この場合には、第1倍率および第2倍率を修正しなくても、不自然さの無い出力画像を生成することができる。
一方、図4の(b)は、図3の(a)および(b)に示す入力画像Ib2のx座標と出力画像のx座標との対応関係を示している。当該対応関係は、補正強度決定部43が上記式を用いて第1倍率および第2倍率を決定した結果得られるものである。図4の(b)の場合、図4の(a)の場合と比較すると、縮小領域Ar1と拡大領域Ar2との境界から画像端Iendまでの距離が短いため、拡大領域Ar2の幅W2が小さく設定されている。換言すれば、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比を予め設定されている比と一致させた場合に、拡大領域Ar2の一部の領域Arnは画角外に設定される。さらに換言すれば、基準幅Wbに対する+x軸方向における縮小領域Ar1の幅W1の割合、および、基準幅Wbに対する+x軸方向における拡大領域Ar2の幅W2の割合が、入力画像Ib2に予め設定されている割合とは異なっており、かつ領域Arnが画角外に設定されている。
この場合、補正強度決定部43は、例えば以下のように第1倍率を求める。予め設定されている第1倍率を0.9、予め設定されている第2倍率を1.1とする。本実施形態では、第2倍率を設定値として固定するため、補正強度決定部43は、拡大領域Ar2の第2倍率を1.1と決定する。
また、図3の(b)において、+x軸方向における、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が0.75:0.25であるとする。換言すれば、基準幅Wbに対する+x軸方向における縮小領域Ar1の幅W1の割合は0.75であり、基準幅Wbに対する+x軸方向における拡大領域Ar2の幅W2の割合は0.25である。さらに換言すれば、x軸方向における縮小領域Ar1と拡大領域Ar2との比が0.75:0.25である。この場合、補正強度決定部43は、上記式を用いて、第1倍率を、(1.0−1.1×0.25)/0.75≒0.967(1/10000の位を四捨五入)と求める。
これにより、図4の(b)に示す対応関係が得られる。なお、本実施形態では、縮小領域Ar1および拡大領域Ar2の全体を、それぞれ一定の第1倍率および第2倍率で縮小または拡大する。換言すれば、縮小領域Ar1および拡大領域Ar2のそれぞれにおいて適用される倍率は一定である。
このように、特に図3の(b)および図4の(b)に示すように、縮小領域Ar1と拡大領域Ar2との境界から画像端Iendまでの距離が短い場合、補正強度決定部43は、第2倍率を予め設定された値に固定し、上記式を用いて第1倍率を決定する。これにより、補正強度決定部43は、入力画像Ib2および出力画像の間においてアスペクト比が一定に保たれるように第1倍率を修正することができる。
そして、画像補正部44は、修正された第1倍率を用いて縮小領域Ar1を縮小し、予め設定された第2倍率を用いて拡大領域Ar2を拡大する。そのため、図3の(b)および図4の(b)に示すような場合であっても、拡大領域Ar2の過度の拡大を抑制しつつ、入力画像Ib2に対してアスペクト比が一定に保たれた出力画像を生成することができる。換言すれば、画像補正部44は、処理後(補正後)においても、不自然さの無い出力画像を生成することができ、上記のような問題点(出力画像における画質の劣化)を解消することができる。
なお、図3の(a)および(b)に示す入力画像Ib2の、中心線CLより右側の縮小領域Ar1の幅W1および拡大領域Ar2の幅W2との比は、入力画像Ib2において予め設定されている比と一致している。そのため、画像補正部44は、右側の縮小領域Ar1および拡大領域Ar2については、予め設定されている第1倍率および第2倍率を用いて入力画像Ib2を補正する。
≪出力画像例≫
図5の(a)は入力画像Ib3の一例を示す図であり、(b)は従来の方法によって入力画像Ib3を補正した出力画像Ia3の一例を示す図であり、(c)は制御部40の処理によって入力画像Ib3を補正した出力画像Ia3’の一例を示す図である。
図5の(a)は入力画像Ib3の一例を示す図であり、(b)は従来の方法によって入力画像Ib3を補正した出力画像Ia3の一例を示す図であり、(c)は制御部40の処理によって入力画像Ib3を補正した出力画像Ia3’の一例を示す図である。
図5の(a)では、入力画像Ib3のほぼ中央に、かつ横方向の全体に亘り、顔Subが存在する。顔Subを補正対象とし、顔Subを細くする補正を行った場合、従来の方法では図5の(b)に示す出力画像Ia3が生成され、制御部40の処理方法では図5の(c)に示す出力画像Ia3’が生成される。
図5の(b)に示すように、従来の方法により生成された出力画像Ia3は、拡大領域Ar2に位置する人物の耳の部分が過度に拡大され、不自然な画像となっている。一方、図5の(c)に示すように、制御部40の処理方法により生成された出力画像Ia3’では、顔Subが細くなるように補正されているとともに、拡大領域Ar2に位置する人物の耳の過度な拡大が抑制されている。このように、出力画像Ia3’は、不自然さの無い画像となっている。
≪制御部による処理の流れ≫
次に、図6を用いて、本実施形態の画像印刷装置1の制御部40における処理の流れを説明する。図6は、制御部40における処理の流れを示すフローチャートである。
次に、図6を用いて、本実施形態の画像印刷装置1の制御部40における処理の流れを説明する。図6は、制御部40における処理の流れを示すフローチャートである。
被写体検出部41は、撮像部10によって撮像された画像を入力画像として取得すると(S1)、当該入力画像から、補正対象となる被写体を検出する(S2:対象領域検出工程)。補正領域設定部42は、被写体検出部41が検出した被写体が示す情報に基づいて、縮小領域Ar1および拡大領域Ar2を設定する(S3)。補正強度決定部43は、縮小領域Ar1を縮小するための第1倍率、および拡大領域Ar2を拡大するための第2倍率を決定する(S4:倍率決定工程)。画像補正部44は、補正強度決定部43によって決定された第1倍率および第2倍率を用いて、縮小領域Ar1および拡大領域Ar2を縮小および拡大することにより、入力画像を補正する(S5:画像補正工程)。これにより、入力画像中の被写体が補正される。そして、画像補正部44は、補正後の画像を出力画像として、印刷部50または表示部30に出力する(S6)。
なお、補正強度決定部43が予め設定されている値をそのまま第1倍率および第2倍率として決定する場合、S4の処理は、S2およびS3の処理の前に実行されてもよい。但し、上述のように、予め設定されている値を用いる場合には、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が予め設定されている比と一致しているか否かの判定を行ってもよく、その場合にはS3の処理後にS4の処理が行われる。
≪変形例≫
上記では、第1倍率および第2倍率がそれぞれ、縮小領域Ar1および拡大領域Ar2の全体において一定である場合について説明した。具体的には、入力画像のx座標と出力画像のx座標との対応関係が図4の(a)および(b)に示されるように直線で表わされる場合について説明した。しかしながら、予め設定されている第1倍率および第2倍率は、必ずしも縮小領域Ar1および拡大領域Ar2において一定でなくてもよい。
上記では、第1倍率および第2倍率がそれぞれ、縮小領域Ar1および拡大領域Ar2の全体において一定である場合について説明した。具体的には、入力画像のx座標と出力画像のx座標との対応関係が図4の(a)および(b)に示されるように直線で表わされる場合について説明した。しかしながら、予め設定されている第1倍率および第2倍率は、必ずしも縮小領域Ar1および拡大領域Ar2において一定でなくてもよい。
図7(a)および(b)は、本実施形態の変形例における、入力画像におけるx座標と出力画像におけるx座標との対応関係を説明するための図である。予め設定されている第1倍率および第2倍率が縮小領域Ar1および拡大領域Ar2において一定でない場合、図7の(a)に示すような曲線に基づいて入力画像のx座標が変更される。この場合であっても、補正強度決定部43は、予め設定されている値をそのまま第1倍率および第2倍率として決定することができる。
また、図3の(b)のような領域設定の場合、補正強度決定部43は、拡大領域Ar2の傾きが、図7の(a)における同一領域の傾きと同一となるように第2倍率を決定する。この場合、第2倍率は、拡大領域Ar2の各位置において互いに異なる値となり得る。補正強度決定部43は、決定された第2倍率のうちの1つの値(例えば平均値)を、上記式に適用することにより第1倍率を求めてもよい。その結果、画像補正部44は、図7の(b)に示すように、入力画像を補正することができる。つまり、画像補正部44は、図3の(b)のような領域設定で、かつ予め設定されている値が縮小領域Ar1および拡大領域Ar2で一定でない場合であっても、不自然さの無い出力画像を生成することができる。
≪主たる効果≫
上述のように、補正強度決定部43は、少なくとも縮小領域Ar1の幅W1および拡大領域Ar2の幅W2が異なる位置において、第2倍率と、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2とに基づいて、第1倍率を決定する。具体的には、予め設定されている第2倍率と、基準幅Wbに対する幅W1および幅W2の割合とを上記式に代入することにより、第1倍率を決定する。
上述のように、補正強度決定部43は、少なくとも縮小領域Ar1の幅W1および拡大領域Ar2の幅W2が異なる位置において、第2倍率と、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2とに基づいて、第1倍率を決定する。具体的には、予め設定されている第2倍率と、基準幅Wbに対する幅W1および幅W2の割合とを上記式に代入することにより、第1倍率を決定する。
これにより、従来の方法により生じる可能性があった出力画像の劣化(例:出力画像の一部における過度の変形)を抑制することができる。そのため、画像補正部44は、補正対象の被写体が所望にかつ好適に変形された出力画像を生成することができる。
また、補正強度決定部43は、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2の比が予め設定されている比に一致する位置においては、予め設定されている値を第1倍率および第2倍率をとして決定してよい。当該位置においては、上記式を用いなくても、予め設定されている第1倍率および第2倍率をそのまま用いることにより、補正対象の被写体が所望にかつ好適に変形された出力画像を得ることができる。
このように、補正強度決定部43が、所定の方向における縮小領域Ar1の幅W1および拡大領域Ar2の幅W2に応じて第1倍率および第2倍率を決定することにより、画像補正部44は、入力画像の全体を好適に変形した出力画像を生成することができる。
なお、上述したように、補正強度決定部43が、入力画像に設定される縮小領域Ar1の幅W1および拡大領域Ar2の幅W2に依らず、上記式を用いて第1倍率を決定した場合には、好適に変形した出力画像を得ることができる。
≪補足≫
上記では、補正強度決定部43は、予め設定された値をそのまま、拡大領域Ar2に適用する第2倍率として決定するが、これに限られない。具体的には、予め設定された第2倍率をそのまま拡大領域Ar2に適用できればよく、補正強度決定部43にて、拡大領域Ar2に適用する第2倍率として決定しなくてもよい。この場合、制御部40は、以下のような変形処理を行う。
上記では、補正強度決定部43は、予め設定された値をそのまま、拡大領域Ar2に適用する第2倍率として決定するが、これに限られない。具体的には、予め設定された第2倍率をそのまま拡大領域Ar2に適用できればよく、補正強度決定部43にて、拡大領域Ar2に適用する第2倍率として決定しなくてもよい。この場合、制御部40は、以下のような変形処理を行う。
具体的には、補正強度決定部43は、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2に基づいて第1倍率を決定する。第1倍率の決定手法の一例は上述したとおりである。画像補正部44は、補正強度決定部43が決定した第1倍率を用いて縮小領域Ar1を縮小し、かつ、予め定められた第2倍率を用いて拡大領域Ar2を拡大する。
上記変形処理を行った場合であっても、当該処理により得られる出力画像は、本実施形態で説明したように処理した場合に得られる出力画像と同じとなる。そのため、従来の方法により生じる可能性があった出力画像の劣化を抑制することができる。
なお、上記変形処理は、実施形態2および3においても、予め定められた第2倍率を用いる場合に適用可能である。
〔実施形態2〕
本開示の他の実施形態について、図8〜図10に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本開示の他の実施形態について、図8〜図10に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
実施形態1では、補正する方向(拡大または縮小する方向:補正方向)はx軸方向であったが、本実施形態では、当該補正方向が入力画像内の位置によって異なる場合について説明する。図8は、制御部40による処理を説明するための図であり、(a)は入力画像Ib4の一例を示す図であり、(b)は縮小領域Ar1および拡大領域Ar2の設定例を示す図であり、(c)は出力画像Ia4の一例を示す図である。
図8の(a)は、補正対象の被写体として顔Subを含む入力画像Ib4を示している。また、顔Subは、入力画像Ib1のほぼ中央に位置している。
本実施形態では、補正領域設定部42は、図8の(b)に示すように、顔Subの中心Ct(補正中心、所定の位置)に向かって縮小する縮小領域Ar1を、当該中心Ctからの距離によって設定する。換言すれば、縮小領域Ar1は、顔Subの中心Ctと略一致するように設定される自身の中心に向かって縮小する領域である。本実施形態では、中心Ctからの距離(ここでは半径)が縮小領域Ar1の幅W1となる。換言すれば、縮小領域Ar1は、中心Ctから複数の方向(所定の方向)に広がる幅W1を有するように設定される。
また、補正領域設定部42は、拡大領域Ar2を、中心Ctから複数の方向に広がる幅W2を有するように、縮小領域Ar1の外側に設定する。換言すれば、拡大領域Ar2の幅W2は、縮小領域Ar1と拡大領域Ar2との境界から拡大領域Ar2の端部P1までの距離となる。このように拡大領域Ar2が設定されるため、拡大領域Ar2の幅W2は、各方向における中心Ctから画像端までの距離に依ることになる。
このように、補正領域設定部42は、入力画像Ib4において顔Subの中心Ctを中心として広がるように、縮小領域Ar1および拡大領域Ar2を設定する。なお、中心Ctは、縮小領域Ar1の中心ともいえる。
そして、図8の(c)に示すように、画像補正部44は、補正強度決定部43によって決定された第1倍率および第2倍率を用いて縮小領域Ar1および拡大領域Ar2を縮小および拡大した結果、出力画像Ia4を生成する。入力画像Ib4と出力画像Ia4とを比較すると、顔Subは、出力画像Ia4において、縦方向(y軸方向)にも横方向(x軸方向)にも小さくなるように補正されている。より具体的には、縮小領域Ar1および拡大領域Ar2において、中心Ctよりも左側にある画素は補正により右側に移動し、中心Ctよりも右側にある画素は補正により左側に移動する。また、中心Ctよりも下側にある画素は補正により上側に移動し、中心Ctよりも上側にある画素は補正により下側に移動する。
このように、本実施形態では、補正方向は、中心Ctから複数の方向に延伸した直線のそれぞれにおいて、中心Ctに向かう方向を示しており、顔Subは、中心Ct(すなわち補正対象の中心)に向かって縮小するように補正が行われている。換言すれば、実施形態1とは異なり、入力画像Ib4における画素の位置によっては補正方向が異なる。
なお、中心Ctは、例えば、被写体検出部41が求める、被写体に含まれる複数の器官(例:顔Subに含まれる2つの目および口)の重心位置であってよい。
≪補正処理の具体例≫
次に、図8および図9を用いて、本実施形態における補正処理の具体例について説明する。なお、本具体例においても、入力画像において予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が、幅W1:幅W2=0.5:0.5である場合を例に挙げて説明する。
次に、図8および図9を用いて、本実施形態における補正処理の具体例について説明する。なお、本具体例においても、入力画像において予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が、幅W1:幅W2=0.5:0.5である場合を例に挙げて説明する。
<拡大領域の各幅が同じ場合>
図8の(a)に示すように顔Subが入力画像Ib4のほぼ中央にある場合、図8の(b)に示すように、補正領域設定部42が設定した縮小領域Ar1の幅W1および拡大領域Ar2の幅W2は全体に亘り同一である。換言すれば、基準幅Wb(本実施形態では、中心Ctから拡大領域Ar2の端部P1までの距離)に対する縮小領域Ar1の幅W1の割合、および基準幅Wbに対する拡大領域Ar2の幅W2の割合は、ともに0.5である。本例においてはこれは、図8の(b)に示す縮小領域Ar1の幅W1および拡大領域Ar2の幅W2の比が、入力画像Ib4において予め設定されている比と一致することを意味する。
図8の(a)に示すように顔Subが入力画像Ib4のほぼ中央にある場合、図8の(b)に示すように、補正領域設定部42が設定した縮小領域Ar1の幅W1および拡大領域Ar2の幅W2は全体に亘り同一である。換言すれば、基準幅Wb(本実施形態では、中心Ctから拡大領域Ar2の端部P1までの距離)に対する縮小領域Ar1の幅W1の割合、および基準幅Wbに対する拡大領域Ar2の幅W2の割合は、ともに0.5である。本例においてはこれは、図8の(b)に示す縮小領域Ar1の幅W1および拡大領域Ar2の幅W2の比が、入力画像Ib4において予め設定されている比と一致することを意味する。
そのため、実施形態1と同様、補正強度決定部43は、予め設定されている値を第1倍率および第2倍率として決定する。または、補正強度決定部43は、予め設定されている値を第2倍率としてそのまま用いるとともに、上記式を用いて第1倍率を決定する。
なお、後者の場合、補正強度決定部43は、上記直線のそれぞれにおいて、以下の式を用いて第1倍率を求める;第1倍率={1−(第2倍率)×(基準幅Wbに対する、中心Ctから所定の方向における拡大領域Ar2の幅W2の割合)}/(基準幅Wbに対する、中心Ctから所定の方向における縮小領域Ar1の幅W1の割合)。この場合、全方向について、決定される第1倍率は予め設定されている値と同じになる。
その結果、画像補正部44は、図8の(c)に示すように、入力画像Ib4に対してアスペクト比が一定に保たれた出力画像Ia4を生成することができる。
<拡大領域の各幅が異なる場合>
次に、補正対象の顔Subが画像端付近に位置するか、または顔Subの大きさが入力画像Ib5に対して大きい場合の画像補正例について説明する。以下では、顔Subが画像端付近に位置する場合を例に挙げて説明する。
次に、補正対象の顔Subが画像端付近に位置するか、または顔Subの大きさが入力画像Ib5に対して大きい場合の画像補正例について説明する。以下では、顔Subが画像端付近に位置する場合を例に挙げて説明する。
図9は、補正処理の具体例を示す図であり、図9の(a)は、入力画像Ib5の一例を示す図であり、(b)は縮小領域Ar1および拡大領域Ar2の設定例を示す図であり、(c)は出力画像Ia5の一例を示す図である。
図9の(a)は、補正対象の被写体として顔Subを含む入力画像Ib5を示している。また、図8の(a)の場合とは異なり、顔Subは、入力画像Ib5の端部付近(本例では左寄り)に位置している。
補正領域設定部42は、図9の(b)に示すように、図8の場合と同様、顔Subの位置および大きさに基づいて、入力画像Ib5において、顔Subを含むように縮小領域Ar1を設定する。また、補正領域設定部42は、縮小領域Ar1の外側に拡大領域Ar2を設定する。具体的には、顔Subの中心Ctを中心として広がる縮小領域Ar1および拡大領域Ar2が入力画像Ib5に設定される。
縮小領域Ar1は、顔Subの大きさにあわせて幅W1(=半径、直径=2×W1)に設定されている。また、右側の拡大領域Ar2の幅W2は、拡大領域Ar2の全体を通して、入力画像Ib5に対して予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比を維持するように幅W1と同じ幅に設定される。
一方、図8の(b)と異なり顔Subが画像端に近いため、補正領域設定部42は、入力画像Ib5において、左側の拡大領域Ar2の幅W2aを縮小領域Ar1の幅W1と同じ幅に設定することができない。そのため、入力画像Ib5に設定される左側の拡大領域Ar2の幅W2aは、図8の(b)に示す左側の拡大領域Ar2の幅W2、および図9の(b)に示す縮小領域Ar1の幅W1よりも小さく設定される。換言すれば、左側の縮小領域Ar1および拡大領域Ar2においては、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比は、入力画像Ib5において予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比と異なっている。なお、説明容易化のために、縮小領域Ar1の幅W1よりも小さい拡大領域Ar2の幅W2を、便宜上幅W2aと表している。
つまり、入力画像Ib5に設定される左側の拡大領域Ar2は、図8の(b)に示す左側の拡大領域Ar2に比べ、点線で囲まれた領域Arn分だけ小さくなる。換言すれば、図9の(b)において、予め設定されている比で左側の縮小領域Ar1の幅W1および拡大領域Ar2の幅W2を設定した場合(本例では、左側の拡大領域Ar2の幅W2aを縮小領域Ar1の幅W1と同じ長さに設定した場合)、点線で囲まれた領域Arnは、左側の拡大領域Ar2における画角外の領域を指すといえる。
そして、図9の(b)に示す拡大領域Ar2のうち、予め設定されている比が維持されている領域(本例では、拡大領域Ar2の幅W2が縮小領域Ar1の幅W1と同一である領域)については、補正強度決定部43は、図8の場合と同様の処理を行う。具体的には、補正強度決定部43は、予め設定されている値をそのまま第1倍率および第2倍率として決定する。または、補正強度決定部43は、予め設定されている値をそのまま第2倍率として決定するとともに、上記直線のそれぞれにおいて、上記式を用いて第1倍率を決定する。
一方、拡大領域Ar2のうち、入力画像Ib5において画角外を示す領域Arnと隣接する領域については、補正強度決定部43は、予め設定されている値をそのまま第2倍率として決定する。また、補正強度決定部43は、上記直線のそれぞれにおいて、上記式を用いて第1倍率を決定する。
領域Arnと隣接する領域においては、幅W2aの長さが、上記直線のそれぞれにおいて異なっている。図9の(b)の例では、領域Arnと隣接する領域において、中心Ctから−x軸方向に延伸する直線上の幅W2aが最も小さく、当該直線から±y軸方向に向かうに従って幅W2aは大きくなる。そのため、補正強度決定部43が当該領域において上記式を用いることにより、中心Ctから−x軸方向に延伸する直線上において適用される第1倍率が最も大きくなり、当該直線から±y軸方向に向かうに従って第1倍率は小さくなる。
換言すれば、図9の(c)に示すように、出力画像Ia5において、中心Ctから−x軸方向に延伸する直線上において最も縮小幅W11が小さくなる。一方、中心Ctから+x軸方向に延伸する直線上を含む、幅W1=幅W2となる直線上において最も縮小幅W12が大きくなる。つまり、出力画像Ia5において、補正後の顔Subは、領域Arn側の方がそれ以外の領域よりも縮小幅が小さくなっている。
ここで、図9の(c)では、縮小の効果が明確になるように、顔Subの縮小幅が出力画像Ia5内の位置において大きく異なる場合、具体的には拡大領域Ar2の右側領域よりも左側領域の方が縮小幅が小さい場合を例に挙げている。実際には、補正強度決定部43は、補正前後においてアスペクト比が一定に保たれるように、第1倍率および第2倍率を決定する。そのため、画像補正部44は、入力画像Ib5に対するアスペクト比を一定に保ちつつ、顔Subを中心Ctに向かう方向に縮小した出力画像Ia5を生成することができる。
つまり、中心Ctに向かって補正を行う場合であっても、実施形態1と同様、入力画像Ib5において少なくとも拡大領域Ar2の幅W2が縮小領域Ar1の幅W1よりも小さい領域(換言すれば、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が予め設定されている比と異なる領域)において、補正強度決定部43が上記式を用いて第1倍率を決定する。そのため、中心Ctから各方向の画像端までの距離が、中心Ctから、領域Arnを含む拡大領域Ar2の端部P1までの距離より小さい場合であっても、入力画像Ib5に対してアスペクト比が一定に保たれた出力画像Ia5を生成することができる。
なお、補正強度決定部43は、中心Ctからの各方向における縮小幅の差が小さくなるように、第1倍率および第2倍率を決定してもよい。
≪変形例≫
次に、図10を用いて、本実施形態の変形例について説明する。図10は、本実施形態の変形例を説明するための図であり、縮小領域Ar1および拡大領域Ar2の設定例を示す図である。
次に、図10を用いて、本実施形態の変形例について説明する。図10は、本実施形態の変形例を説明するための図であり、縮小領域Ar1および拡大領域Ar2の設定例を示す図である。
図9では、顔Subがその中心Ctに向かって縮小する場合に、各補正方向において、中心Ctから画像端までの距離が異なる場合の処理について説明した。しかしながら、本実施形態の制御部40の処理は、中心Ctに向かって補正する場合に限らず、顔Subの中心線CL(所定の位置)に向かって補正する場合についても適用することができる。
図10は、補正対象の被写体として顔Subを含む入力画像Ib6を示している。また、顔Subは、入力画像Ib6の端部付近(本例では上側寄り)に位置している。また、図10では、顔Sub(中心線CL)は、入力画像Ib6に対して傾いている。
顔Subを、中心線CLに対して垂直な方向に縮小させて細く補正する場合を考える。この場合、補正領域設定部42は、図10に示すように、入力画像Ib6において、幅W1を有する縮小領域Ar1を、顔Subを含むように設定する。縮小領域Ar1は、その端部が中心線CLに対して平行となるように設定される。また、補正領域設定部42は、縮小領域Ar1の外側に、幅W2を有する拡大領域Ar2を設定する。換言すれば、縮小領域Ar1および拡大領域Ar2は、中心線CLを中心として広がる領域である。
図10に示すように、中心線CLが入力画像Ib6に対して斜めに傾いている場合には、入力画像Ib6内の位置によって中心線CLから画像端までの距離が異なる。具体的には、拡大領域Ar2の幅W2は、境界B1およびB2の間においては幅W1と同じであるが、それ以外の領域においては幅W1とは異なる。図10の例では、拡大領域Ar2の幅W2a’は、境界B1から方向D1に向かう領域においては幅W1よりも小さくなる。換言すれば、境界B1およびB2の間においては縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比は入力画像Ib6において予め設定されている比と一致しているが、それ以外の領域においては予め設定されている比と異なる。なお、説明容易化のため、当該領域における拡大領域Ar2の幅W2を幅W2a’と表している。
そして上記傾きがある場合、境界B1およびB2の間の領域以外の領域においては、予め設定されている第1倍率および第2倍率が適用されると、図9の場合と同様、図3の(c)および(d)において説明したような画質の劣化が生じるという課題が生じ得る。
しかしながら本変形例においても、中心線CLに向かって補正を行う場合に、補正強度決定部43は、少なくとも上記領域において、予め設定されている値を第2倍率としてそのまま適用する。また、補正強度決定部43は、中心線CLから複数の方向に延伸した直線のそれぞれにおいて、当該第2倍率と、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2(幅W2a’)とに基づいて、第1倍率を決定する。具体的には、補正強度決定部43は、上記直線のそれぞれにおいて、以下の式を用いて第1倍率を求める;第1倍率={1−(第2倍率)×(基準幅Wbに対する、中心線CLから所定の方向における拡大領域Ar2の幅W2の割合)}/(基準幅Wbに対する、中心線CLから所定の方向における縮小領域Ar1の幅W1の割合)。そのため、中心線CLから各方向の画像端までの距離が、中心線CLから、画角外の領域を含む拡大領域Ar2の端部P1までの距離より小さい場合であっても、入力画像Ib6に対してアスペクト比が一定に保たれた出力画像を生成することができる。
なお、中心線CLは、例えば、被写体検出部41が求める、被写体の中心付近に存在する器官に基づき設定されてよい。被写体が顔Subであれば、2つの目の中心または鼻を通る線を中心線CLとしてよい。また、被写体が体であれば、臍を通る線を中心線としてよい。
〔実施形態3〕
本開示の他の実施形態について、図11〜図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本開示の他の実施形態について、図11〜図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態においても、実施形態2と同様、補正方向が入力画像内の位置によって異なる場合について説明する。また、実施形態2と同様、入力画像に予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2とが同じ長さである場合(換言すれば、予め設定されている縮小領域Ar1の幅W1と拡大領域Ar2の幅W2との比が、幅W1:幅W2=0.5:0.5)である場合を例に挙げて説明する。一方、本実施形態では、画角内に縮小領域Ar1および拡大領域Ar2が設定される場合であっても、補正方向において第1倍率を変更する例について説明する(後述の具体例1)。また、第2倍率として予め設定されている値を適用せずに、修正後の第2倍率(修正第2倍率)を用いて第1倍率を決定する例について説明する(後述の具体例2)。これらの点において、本実施形態の処理は、実施形態2とは異なる。
≪補正処理の具体例1≫
まず、補正対象の顔Subが入力画像Ib7のほぼ中央にある場合の補正処理の具体例について説明する。図11は、補正処理の具体例を示す図であり、図11の(a)は、入力画像Ib7の一例を示す図であり、(b)は縮小領域Ar1および拡大領域Ar2の設定例を示す図であり、(c)は出力画像Ia7の一例を示す図である。
まず、補正対象の顔Subが入力画像Ib7のほぼ中央にある場合の補正処理の具体例について説明する。図11は、補正処理の具体例を示す図であり、図11の(a)は、入力画像Ib7の一例を示す図であり、(b)は縮小領域Ar1および拡大領域Ar2の設定例を示す図であり、(c)は出力画像Ia7の一例を示す図である。
図11の(a)は、補正対象の被写体として顔Subを含む入力画像Ib7を示している。また、顔Subは、入力画像Ib7のほぼ中央に位置している。
補正領域設定部42は、実施形態2で図8の(b)を用いて説明した場合と同様に、図11の(b)に示すように縮小領域Ar1および拡大領域Ar2を設定する。換言すれば、補正領域設定部42は、入力画像Ib7において顔Subの中心Ctを中心として広がるように、縮小領域Ar1および拡大領域Ar2を設定する。
ここで、図11の(b)では、拡大領域Ar2の幅W2は縮小領域Ar1の幅W1と同じである。しかしながら、本実施形態では、中心Ctから延伸する複数の方向(直線)のうちの少なくとも1つの方向に適用される第1倍率および第2倍率が、他の方向に適用される第1倍率および第2倍率とは異なる値に予め設定されている。
例えば、被写体が顔Subである場合、顔Subの斜め下側の補正強度が最も強くなり、顔Subの上側(+y軸方向)の補正強度が最も弱くなるように、第1倍率および第2倍率が設定されている。換言すれば、顔Subの斜め下側においては、第1倍率と第2倍率との差が大きくなるように、第1倍率が比較的小さく、第2倍率が比較的大きく設定されている。また、顔Subの上側においては、第1倍率と第2倍率との差が小さくなるように、第1倍率が比較的大きく、第2倍率が比較的小さく設定されている。このように、顔Sub内の位置に応じて補正強度が変更されて設定されている。
被写体検出部41が被写体として顔Subを検出した場合、補正強度決定部43は、各方向について予め設定されている値をそのまま第1倍率および第2倍率として決定する。換言すれば、補正強度決定部43は、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2の比が予め設定されている比と一致する場合(本例では、縮小領域Ar1の幅W1と拡大領域Ar2の幅W2とが同じ長さである場合)、少なくとも一方向において他の方向とは異なるように予め設定されている値をそのまま第1倍率および第2倍率として決定する。
これにより、画像補正部44は、図11の(c)に示すように、顔Subの全体が小さくなるとともに、顎のラインが細い印象を与えるように、顔Subを縮小した出力画像Ia7を生成することができる。そのため、画像補正部44は、より好適な印象を与えるような出力画像Ia7を生成することができる。
なお、中心線CLからの距離が、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2として規定されている場合についても、上記のように設定されている第1倍率および第2倍率を適用することができる。また、各方向における第1倍率および第2倍率は、被写体の種別に応じて設定されていることにより、当該種別ごとに好適な補正結果を得ることができる。
≪補正処理の具体例2≫
次に、補正対象の顔Subが画像端付近に位置するか、または顔Subの大きさが入力画像Ib8に対して大きい場合の画像補正例について説明する。以下では、顔Subが画像端付近に位置する場合を例に挙げて説明する。図12は、制御部40による処理を説明するための図であり、(a)は入力画像Ib8の一例を示す図であり、(b)は縮小領域Ar1および拡大領域Ar2の設定例を示す図であり、(c)は実施形態2に係る制御部40の処理によって補正された出力画像Ia8の一例を示す図であり、(d)は本実施形態に係る制御部40の処理によって補正された出力画像Ia8’の一例を示す図である。
次に、補正対象の顔Subが画像端付近に位置するか、または顔Subの大きさが入力画像Ib8に対して大きい場合の画像補正例について説明する。以下では、顔Subが画像端付近に位置する場合を例に挙げて説明する。図12は、制御部40による処理を説明するための図であり、(a)は入力画像Ib8の一例を示す図であり、(b)は縮小領域Ar1および拡大領域Ar2の設定例を示す図であり、(c)は実施形態2に係る制御部40の処理によって補正された出力画像Ia8の一例を示す図であり、(d)は本実施形態に係る制御部40の処理によって補正された出力画像Ia8’の一例を示す図である。
図12の(a)は、補正対象の被写体として顔Subを含む入力画像Ib8を示している。また、顔Subは、入力画像Ib8の端部(本例では左下寄り)に位置している。
補正領域設定部42は、実施形態2で図9の(b)を用いて説明した場合と同様に、図12の(b)に示すように縮小領域Ar1および拡大領域Ar2を設定する。換言すれば、補正領域設定部42は、入力画像Ib8において顔Subの中心Ctを中心として広がるように、縮小領域Ar1および拡大領域Ar2を設定する。
図12の(b)に示すように、中心Ctから見て、左上から左、左下、下、右下までの方向を含む領域(幅狭領域)において、入力画像Ib7に設定される拡大領域Ar2は、画角外を示す領域Arnと隣接している。そのため、中心Ctから見て、右下から右、右上、上、左上までの方向を含む領域(幅広領域)における幅W2に比べ、幅狭領域の幅W2b、幅W2cは小さく設定される。なお、説明容易化のため、幅狭領域における拡大領域Ar2の幅W2を幅W2b、W2cと表している。
ここで、補正強度決定部43が、実施形態2と同様に、第1倍率および第2倍率を決定したとする。この場合、幅広領域においては、予め設定されている値をそのまま第1倍率および第2倍率として用いることができる。一方、幅狭領域においては、予め設定されている値が第2倍率として決定されるとともに、上記式に基づいて各方向において第1倍率が決定される。その結果、画像補正部44は、図12の(c)に示すような出力画像Ia8を生成する。
この場合、図12の(c)に示すように、出力画像Ia8では、入力画像Ib8に比べて、顔Subが中心Ctに向かって縮小している。しかしながら、顔Subの下側(−y軸方向)および左側(−x軸方向)においては、中心Ctから画像端までの距離(幅W2b)が最も短いため、補正強度が最も弱くなるように決定される。一方、顔Subの右下側および左下側においては、顔Subの左側および下側に比べると、中心Ctから画像端までの距離が長い(幅W2c>幅W2b)。そのため、顔Subの左側および下側に比べると、補正強度が強くなるように決定される。その結果、画像補正部44は、図12の(c)に示すように、顔Subの右下側および左下側の輪郭が窪んだ(凹んだ)出力画像Ia8を生成する。
このように、中心Ctから画像端までの距離に応じて補正強度を修正した場合、中心Ctからの方向によって当該距離が異なるため、当該方向に応じて(入力画像Ib8に含まれる画素の位置に応じて)補正強度が大きく異なる可能性がある。そのため、出力画像Ia8においては、補正後の顔Subの形状に違和感を与える可能性がある。
そこで、本実施形態では、補正強度決定部43は、中心Ctから画像端までの距離が比較的短い方向がある場合に、補正強度が低下するように予め設定されている第1倍率および第2倍率を変更する。具体的には、補正強度決定部43は、第1倍率が、予め設定されている第2倍率を上記式に代入して求めた第1倍率よりも1に近づくように、修正第2倍率を決定する。換言すれば、補正強度決定部43は、第2倍率を所定値だけ小さくした修正第2倍率に、予め設定されている第2倍率を代えて、第1倍率を決定するときの第2倍率として用いる。そして、補正強度決定部43は、修正第2倍率と、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2に基づいて、第1倍率を決定する。また、予め設定されている第1倍率についても、所定値だけ大きくした修正第1倍率に変更する。
なお、修正第2倍率は予め設定されている第2倍率よりも小さくなる。換言すれば、予め設定されている第2倍率は、拡大領域Ar2に適用される第2倍率の最大値である。
補正強度決定部43は、中心Ctからの複数の方向において、中心Ctから画像端までの距離が異なる方向があるか否かを判定することにより、画角外を示す領域Arnが存在するか否かを判定する。換言すれば、補正強度決定部43は、補正領域設定部42が入力画像Ib8内に設定した縮小領域Ar1および拡大領域Ar2の全体において、拡大領域Ar2の幅W2および縮小領域Ar1の幅W1の比が予め設定されている比と一致するか否かを判定する。当該判定のために、補正強度決定部43は、例えば、中心Ctと4つの画像端(入力画像Ib7の右側、左側、上側、下側)との距離を求める。
図12の(b)の場合、求められる4つの距離のうち、右側および上側方向(+x軸方向および+y軸方向)への距離は幅W1+幅W2より大きく、左側および下側方向(−x軸方向および−y軸方向)への距離は幅W1+幅W2より小さい。そのため、補正強度決定部43は、領域Arnが存在すると判定する。また、補正強度決定部43は、中心Ctから左側および下側の画像端までの距離の小さい方を最短距離と判定する。補正強度決定部43は、この画像端までの距離が最短である方向の当該距離(最短距離)と、縮小領域Ar1および領域Arnを含む拡大領域Ar2の大きさ(幅W1および幅W2)を比較し、その比較結果に基づいて、予め設定されている第1倍率および第2倍率を修正する。
例えば、予め設定されている第1倍率が0.9、第2倍率が1.1とする。また、これらの値は、中心Ctからの方向には依らず一定であるとする。また、設定された縮小領域Ar1の幅W1および拡大領域Ar2の幅W2(拡大領域Ar2が領域Arnに隣接しない部分の幅W2)はそれぞれ8画素であるとする。また、中心Ctから左側および下側の画像端までの距離が10画素とする。換言すれば、中心Ctから−x軸方向および−y軸方向においては、縮小領域Ar1の幅W1は8画素、入力画像Ib8に設定された拡大領域Ar2の幅W2bは2画素となる。
上記条件において、補正強度決定部43は、左側および下側方向において、まず予め設定されている第2倍率(固定値、1.1)に決定し、第1倍率を、上記式を用いて(1.0−1.1×0.20)/0.80≒0.975と求める。一方、右側および上側方向(幅W1=幅W2=8画素)については、中心Ctから画像端までの距離が十分に大きい。そのため、補正強度決定部43は、当該方向については、予め設定されている値(0.9および1.1)をそのまま第1倍率および第2倍率として決定する。
この場合、上記距離が最短である左側および下側方向における第1倍率(0.975)と、上記距離が最長である右側および上側方向における第1倍率(0.9)との差として、0.075の違いが生じる。0.075の違いは、図12の(c)に示すように、違和感を与える出力画像Ia8を生成する可能性を生じる。
補正強度決定部43は、求めた第1倍率と予め設定されている第1倍率(基準倍率、上記例では0.9)との差が閾値以上である場合に、修正第2倍率を決定する。なお、閾値は、出力画像Ia8のような違和感を与える出力画像を生成しない値が経験上設定されてよく、例えば0.05に設定される。
図12の場合、補正強度決定部43は、上記差が閾値以上であると判定し、予め設定されていた第2倍率を所定値だけ小さくする。例えば、第2倍率を1.1から1.05と、補正する割合(拡大する割合)を半分にする。これに伴い、補正強度決定部43は、例えば、第1倍率を0.9から0.95と、所定値だけ大きくする。この所定値についても、図12の(d)に示すような違和感のない出力画像Ia8’が生成される値が経験上設定されてよい。
補正強度決定部43は、第2倍率(修正第2倍率)を1.05、第1倍率(修正後の基準倍率(修正第1倍率))を0.95として、左側および下側方向の第1倍率を求めると、当該第1倍率は、(1.0−1.05×0.20)/0.80≒0.9875となる。一方、補正強度決定部43は、右側および上側方向については、修正第1倍率および修正第2倍率(0.95および1.05)をそのまま第1倍率および第2倍率として決定する。
この場合、上記距離が最短である左側および下側方向における第1倍率(0.9875)と、上記距離が最長である右側および上側方向における第1倍率(0.95)(基準倍率)との差が0.0375となり、閾値未満となる。そのため、補正強度決定部43は、幅狭領域において、左側および下側方向以外の方向についても、第2倍率を1.05とし、上記式を用いて第1倍率を求める。また、補正強度決定部43は、幅広領域については、修正第1倍率(0.95)および修正第2倍率(1.05)をそれぞれ、第1倍率および第2倍率として決定する。
画像補正部44は、補正強度決定部43が決定した第1倍率および第2倍率を用いて、図12の(a)に示す入力画像Ib8を縮小および拡大する。これにより、画像補正部44は、図12の(d)に示すように、補正方向ごとの第1倍率および第2倍率の差が低減され、違和感の少ない出力画像Ia8’を生成することができる。
具体的には、図12の(d)に示す出力画像Ia8’と図12の(c)に示す出力画像Ia8とを比較すると、出力画像Ia8’では、出力画像Ia8において生じていた顔Subの左下および右下の輪郭の凹みが低減されており、補正後においてもより自然な顔Subとなっている。
このように修正第2倍率を用いることで、比較的縮小幅が大きな部分(図12の(a)及び(b)における顔Subの左下側および右下側)の縮小幅を、予め設定されている第2倍率を用いて第1倍率を決定した場合よりも小さくすることができる。これにより、入力画像Ib8内の位置に応じた第1倍率および第2倍率の違いによる、各位置の縮小幅の違いを低減することができる。そのため、画像補正部44は、違和感を抑制した、より自然な出力画像Ia8’を生成することができる。
なお、縮小領域Ar1の中心線CLからの距離が、縮小領域Ar1の幅W1および拡大領域Ar2の幅W2として規定されている場合についても、上記のように求められた第1倍率および第2倍率を適用することができる。
≪制御部による処理の流れ≫
次に、本実施形態に係る制御部40における処理の流れについて説明する。図13は、制御部40における処理の流れを示すフローチャートである。S1〜S6の処理については、図6で説明した処理と同じであるため、ここでの説明は省略する。
次に、本実施形態に係る制御部40における処理の流れについて説明する。図13は、制御部40における処理の流れを示すフローチャートである。S1〜S6の処理については、図6で説明した処理と同じであるため、ここでの説明は省略する。
補正強度決定部43は、S4において第1倍率および第2倍率を決定すると、求められた第1倍率のうち最も小さい第1倍率と、予め設定されている第1倍率(基準倍率)との差を求め、当該差が閾値以上であるか否かを判定する(S11)。上述した図12の例では、上記最も小さい第1倍率は、左側および下側の方向における第1倍率であり、基準倍率は、右側および上側の方向における第1倍率である。
S11でYESの場合、補正強度決定部43は、予め設定されている第2倍率を所定値だけ小さくした修正第2倍率を求め(S12)、修正第2倍率を用いて第1倍率を決定する(S13)。図12の例では、補正強度決定部43は、幅狭領域については、修正第2倍率を上記式に代入することにより、第1倍率を求める。
また、S12において、補正強度決定部43は、予め設定されている第1倍率を所定値だけ大きくした修正第1倍率を求める。幅広領域については、この修正第1倍率が用いられる。なお、この修正第1倍率は、求められるごとにS11で用いられる基準倍率として設定される。
そして、S11の処理に戻り、S13で求めた第1倍率と修正第1倍率(基準倍率)との差が閾値以上であるか否かが判定され、閾値未満となった場合には、S5の処理に移行する。一方、閾値以上となった場合には、再度S12およびS13の処理が行われる。
なお、S11の判定処理が所定の回数以上行われた場合には、S5の処理に移行してもよい。
また、以下のように処理が行われてもよい。S4において、補正強度決定部43は、中心Ctから所定の方向(例:上下左右)における画素端までの距離のうち、最長の距離となる方向の第1倍率と最短の距離となる方向の第1倍率とを求める。S11では、これらの第1倍率の差が閾値以上であるか否かを判定する。S11でYESの場合、S13において、上記2つの方向の第1倍率を再度求める。そして、S11でNOとなった場合に、全ての方向において第1倍率を求めて、S5において画像補正部44が入力画像Ib8に対して補正を行う。
≪その他≫
上記の例では、予め設定されている第2倍率を小さく(または予め設定されている第1倍率を大きく)する所定値を、補正する割合が半分となるように設定した。これに限らず、所定値は、予め設定されている第1倍率および第2倍率の大きさ、または入力画像内の縮小領域Ar1および拡大領域Ar2の位置等に応じて、適宜変更されてよい。これにより、画像補正部44は、入力画像Ib8が示すシーン、または入力画像Ib8における条件(例:補正対象である顔Subの位置)等に依らず、違和感のない出力画像Ia8’を生成することができる。
上記の例では、予め設定されている第2倍率を小さく(または予め設定されている第1倍率を大きく)する所定値を、補正する割合が半分となるように設定した。これに限らず、所定値は、予め設定されている第1倍率および第2倍率の大きさ、または入力画像内の縮小領域Ar1および拡大領域Ar2の位置等に応じて、適宜変更されてよい。これにより、画像補正部44は、入力画像Ib8が示すシーン、または入力画像Ib8における条件(例:補正対象である顔Subの位置)等に依らず、違和感のない出力画像Ia8’を生成することができる。
また、予め設定されている補正強度が強くなればなるほど(第1倍率が小さくなり、かつ第2倍率が大きくなればなるほど)、補正方向による補正強度の差が顕著になる可能性がある。例えば、図12の(c)に示す出力画像Ia8のように、所定の方向における凹みが顕著に現れる可能性がある。また、中心Ctから画像端までの距離が最も小さい方向において画角外にはみ出た領域Arnが大きい場合に、上記差が顕著になり得る。
このような場合には、補正強度の変化が大きくなるように所定値(補正係数)をより大きな値に設定することで、上記差を小さくすることができる。そのため、画像補正部44は、輪郭の凹み(歪み)等に起因する違和感を低減した出力画像Ia8’を生成することができる。
一方、予め設定されている補正強度が弱くなればなるほど(第1倍率および第2倍率が1に近づくほど)、上記差は小さくなる。また、中心Ctから画像端までの距離が最も小さい方向において画角外にはみ出た領域Arnが小さい場合に、上記差は小さくなり得る。
このような場合には、補正強度の変化が小さくなるように所定値(補正係数)をより小さな値に設定することで、上記差をより小さくすることができる。そのため、予め設定されている第1倍率および第2倍率に近い値で縮小領域Ar1および拡大領域Ar2を縮小および拡大することができる。換言すれば、出力画像Ia8’において、予め設定されている第1倍率および第2倍率を用いた場合の補正の効果と同様の効果を得ることができる。
〔ソフトウェアによる実現例〕
画像印刷装置1の制御ブロック(特に、制御部40の被写体検出部41、補正領域設定部42、補正強度決定部43および画像補正部44)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
画像印刷装置1の制御ブロック(特に、制御部40の被写体検出部41、補正領域設定部42、補正強度決定部43および画像補正部44)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、画像印刷装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本開示の態様1に係る画像処理装置(制御部40)は、画像(入力画像Ib1〜Ib8)に含まれる対象領域(被写体としての顔Sub)を検出する対象領域検出部(被写体検出部41)と、前記画像における前記対象領域を含む第1領域(縮小領域Ar1)を縮小するための第1倍率と、前記第1領域の外側の第2領域(拡大領域Ar2)を拡大するための第2倍率を決定する倍率決定部(補正強度決定部43)と、前記第1領域を前記第1倍率を用いて縮小し、かつ前記第2領域を前記第2倍率を用いて拡大することにより、前記画像を補正する画像補正部(44)と、を備え、前記倍率決定部は、前記第2倍率と、前記画像における前記第1領域および前記第2領域の幅(W1、W2、W2a、W2a’、W2b、W2c)とに基づいて、前記第1倍率を決定する。
本開示の態様1に係る画像処理装置(制御部40)は、画像(入力画像Ib1〜Ib8)に含まれる対象領域(被写体としての顔Sub)を検出する対象領域検出部(被写体検出部41)と、前記画像における前記対象領域を含む第1領域(縮小領域Ar1)を縮小するための第1倍率と、前記第1領域の外側の第2領域(拡大領域Ar2)を拡大するための第2倍率を決定する倍率決定部(補正強度決定部43)と、前記第1領域を前記第1倍率を用いて縮小し、かつ前記第2領域を前記第2倍率を用いて拡大することにより、前記画像を補正する画像補正部(44)と、を備え、前記倍率決定部は、前記第2倍率と、前記画像における前記第1領域および前記第2領域の幅(W1、W2、W2a、W2a’、W2b、W2c)とに基づいて、前記第1倍率を決定する。
例えば、予め設定されている第1倍率を基準として第2倍率を決定する方法(従来の方法)を用いて画像を補正した場合、画像において第1領域に比べて第2領域が小さくなればなるほど、第2倍率が大きく算出されることになる。そのため、従来の方法では、例えば画像端寄りに対象領域が存在する場合には、その一部が不自然に拡大された画像が処理後の画像(出力画像)として生成される可能性がある。したがって、従来の方法では、処理後の画像における画質が劣化してしまう可能性がある。
一方、上記態様1の構成によれば、第2領域を拡大するための第2倍率と、第1領域および第2領域の幅とに基づいて、対象領域を含む第1領域を縮小するための第1倍率を決定する。換言すれば、第2倍率を基準として第1倍率を決定するという、上記従来の方法とは基準とする倍率が逆になっている。そのため、上記のような画質が劣化してしまう可能性を低減することができる。換言すれば、上記態様1の構成によれば、処理後の画像における画質の劣化を抑制することができる。
さらに、本開示の態様2に係る画像処理装置では、態様1において、前記倍率決定部は、{1−(前記第2倍率)×(前記第1領域の所定の位置(中心線CL、中心Ct)から前記第2領域の端部(P1)までの基準幅(Wb)に対する、前記所定の位置から所定の方向における前記第2領域の幅の割合)}/(前記基準幅に対する、前記所定の位置から所定の方向における前記第1領域の幅の割合)によって前記第1倍率を求めてもよい。
上記構成によれば、第1倍率は上記式に基づいて算出される。そのため、例えば画像端寄りに対象領域が存在する場合であっても、処理前後の画像においてアスペクト比を略一定に保つことができるので、処理後の画像における画質の劣化を確実に抑制することができる。
さらに、本開示の態様3に係る画像処理装置では、態様1または2において、前記第1領域および前記第2領域は、前記画像において所定の幅を有する矩形領域であり、前記倍率決定部は、前記所定の幅を前記画像における前記第1領域および前記第2領域の幅として用いることにより、前記第1倍率を決定してもよい。
上記構成によれば、画像が、所定の幅を有する矩形領域として第1領域および第2領域を有する場合であっても、第2倍率と、第1領域および第2領域における所定の幅とに基づいて、第1倍率を決定することができる。
さらに、本開示の態様4に係る画像処理装置では、態様1または2において、前記第1領域および前記第2領域は、前記画像において前記対象領域の中心(Ct)または中心線(CL)を中心として広がる領域であり、前記倍率決定部は、前記第1領域の中心または中心線から複数の方向に延伸した直線のそれぞれにおいて、前記直線上の第1領域を縮小するための前記第1倍率を決定してもよい。
上記の構成によれば、画像が、対象領域の中心または中心線を中心として広がる領域として第1領域および第2領域を有する場合であっても、第2倍率と、第1領域および第2領域の幅とに基づいて、第1倍率を決定することができる。
さらに、本開示の態様5に係る画像処理装置では、態様4において、前記倍率決定部は、前記第2倍率を所定値だけ小さくした修正第2倍率を、前記第1倍率を決定するときの前記第2倍率として用いてもよい。
上記の構成によれば、第2倍率を所定値だけ小さくした修正第2倍率を用いて第1倍率を再度決定することができる。
例えば、中心または中心線からの複数の方向の少なくとも一部において互いに異なる第1倍率が決定される場合、ある一方向における第1倍率と他の一方向における第1倍率との差がある程度大きくなると(例:閾値以上になると)、不自然な画像が生成される可能性がある。
上記のように態様5に係る画像処理装置は、修正第2倍率を用いて第1倍率を決定するため、上記差を小さくすることができる。そのため、当該画像処理装置においては、不自然な画像が生成される可能性を抑制することができる。
さらに、本開示の態様6に係る画像処理装置では、態様1から5のいずれかにおいて、前記第1領域の所定の位置から所定の方向における前記第1領域の幅と前記第2領域の幅との比が予め設定されている前記第1領域の幅と前記第2領域の幅との比と一致する場合、予め設定されている第1倍率および第2倍率を、前記所定の位置から前記所定の方向に延伸した直線上の第1領域を縮小するための第1倍率、および前記直線上の第2領域を拡大するための第2倍率として決定してもよい。
上記の構成によれば、上記の場合には、第2倍率と、第1領域および第2領域の幅とに基づいて(例:上記式を用いて)、第1倍率を決定する必要が必ずしもない。そのため、簡易な処理にて適切に画像を補正することができる。
さらに、本開示の態様7に係る画像処理装置(制御部40)は、画像(入力画像Ib1〜Ib8)に含まれる対象領域(被写体としての顔Sub)を検出する対象領域検出部(被写体検出部41)と、前記画像における前記対象領域を含む第1領域(縮小領域Ar1)を縮小するための第1倍率を決定する倍率決定部(補正強度決定部43)と、前記第1領域を前記第1倍率を用いて縮小し、かつ前記第1領域の外側の第2領域(拡大領域Ar2)を、当該第2領域を拡大するための予め定められた第2倍率を用いて拡大することにより、前記画像を補正する画像補正部(44)と、を備え、前記倍率決定部は、前記画像における前記第1領域および前記第2領域の幅(W1、W2、W2a、W2a’、W2b、W2c)に基づいて、前記第1倍率を決定する。
上記の構成によれば、第1領域および第2領域の幅に基づいて第1倍率を決定する。そして、決定された第1倍率を用いて第1領域を縮小し、予め定められた第2倍率を用いて第2領域を拡大する。この態様7に係る処理は、第1倍率として予め定められた値を用い、第2倍率を第1倍率に基づいて決定するという従来の方法とは異なる。そのため、従来の方法では生じ得た処理後の画像における画質の劣化を、上記態様7の構成によれば抑制することができる。
さらに、本開示の態様8に係る撮像装置(画像印刷装置1)は、撮像部(10)と、前記撮像部が撮像した前記対象領域を含む前記画像に対して画像処理を行う、態様1から7のいずれかに記載の画像処理装置と、を備える。
上記の構成によれば、撮像部が撮像した画像に対して画像処理を行った処理後の画像において画質の劣化を抑制することができる。
さらに、本開示の態様9に係る画像印刷装置(1)は、態様1から7のいずれかに記載の画像処理装置と、前記画像処理装置が画像処理した画像(出力画像Ia3’、Ia4、Ia5、Ia7、Ia8、Ia8’)を印刷する印刷部(50)と、を備える。
上記の構成によれば、印刷された画像において画質の劣化を抑制することができる。
さらに、本開示の態様10に係る画像印刷装置(1)は、撮像部(10)と、前記撮像部が撮像した前記対象領域を含む前記画像に対して画像処理を行う、態様1から7のいずれかに記載の画像処理装置と、前記画像処理装置が画像処理した画像(出力画像Ia3’、Ia4、Ia5、Ia7、Ia8、Ia8’)を印刷する印刷部(50)と、を備える。
上記の構成によれば、印刷された画像において画質の劣化を抑制することができる。
さらに、本開示の態様11に係る画像処理装置の制御方法は、画像に含まれる対象領域を検出する対象領域検出工程(S2)と、前記画像における前記対象領域を含む第1領域を縮小するための第1倍率と、前記第1領域の外側の第2領域を拡大するための第2倍率を決定する倍率決定工程(S4)と、前記第1領域を前記第1倍率を用いて縮小し、かつ前記第2領域を前記第2倍率を用いて拡大することにより、前記画像を補正する画像補正工程(S5)と、を含み、前記倍率決定工程では、前記第2倍率と、前記画像における前記第1領域および前記第2領域の幅とに基づいて、前記第1倍率を決定する。
上記の方法によれば、態様1に係る画像処理装置と同様の効果を奏する。
さらに、本開示の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部(ソフトウェア要素)として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
〔付記事項〕
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
〔関連出願の相互参照〕
本出願は、2016年12月27日に出願された日本国特許出願:特願2016-253887に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
本出願は、2016年12月27日に出願された日本国特許出願:特願2016-253887に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
1 画像印刷装置(撮像装置)
10 撮像部
40 制御部(画像処理装置)
41 被写体検出部(対象領域検出部)
43 補正強度決定部(倍率決定部)
44 画像補正部
50 印刷部
Ar1 縮小領域(第1領域)
Ar2 拡大領域(第2領域)
CL 中心線(所定の位置)
Ct 中心(所定の位置)
Ia3’、Ia4、Ia5、Ia7、Ia8、Ia8’ 出力画像(画像)
Ib1〜Ib8 入力画像(画像)
P1 端部
Sub 顔(対象領域)
W1、W2、W2a、W2a’、W2b、W2c 幅
Wb 基準幅
10 撮像部
40 制御部(画像処理装置)
41 被写体検出部(対象領域検出部)
43 補正強度決定部(倍率決定部)
44 画像補正部
50 印刷部
Ar1 縮小領域(第1領域)
Ar2 拡大領域(第2領域)
CL 中心線(所定の位置)
Ct 中心(所定の位置)
Ia3’、Ia4、Ia5、Ia7、Ia8、Ia8’ 出力画像(画像)
Ib1〜Ib8 入力画像(画像)
P1 端部
Sub 顔(対象領域)
W1、W2、W2a、W2a’、W2b、W2c 幅
Wb 基準幅
Claims (12)
- 画像に含まれる対象領域を検出する対象領域検出部と、
前記画像における前記対象領域を含む第1領域を縮小するための第1倍率と、前記第1領域の外側の第2領域を拡大するための第2倍率を決定する倍率決定部と、
前記第1領域を前記第1倍率を用いて縮小し、かつ前記第2領域を前記第2倍率を用いて拡大することにより、前記画像を補正する画像補正部と、を備え、
前記倍率決定部は、前記第2倍率と、前記画像における前記第1領域および前記第2領域の幅とに基づいて、前記第1倍率を決定することを特徴とする画像処理装置。 - 前記倍率決定部は、
{1−(前記第2倍率)×(前記第1領域の所定の位置から前記第2領域の端部までの基準幅に対する、前記所定の位置から所定の方向における前記第2領域の幅の割合)}/(前記基準幅に対する、前記所定の位置から所定の方向における前記第1領域の幅の割合)によって前記第1倍率を求めることを特徴とする請求項1に記載の画像処理装置。 - 前記第1領域および前記第2領域は、前記画像において所定の幅を有する矩形領域であり、
前記倍率決定部は、前記所定の幅を前記画像における前記第1領域および前記第2領域の幅として用いることにより、前記第1倍率を決定することを特徴とする請求項1または2に記載の画像処理装置。 - 前記第1領域および前記第2領域は、前記画像において前記対象領域の中心または中心線を中心として広がる領域であり、
前記倍率決定部は、前記第1領域の中心または中心線から複数の方向に延伸した直線のそれぞれにおいて、前記直線上の第1領域を縮小するための前記第1倍率を決定することを特徴とする請求項1または2に記載の画像処理装置。 - 前記倍率決定部は、前記第2倍率を所定値だけ小さくした修正第2倍率を、前記第1倍率を決定するときの前記第2倍率として用いることを特徴とする請求項4に記載の画像処理装置。
- 前記倍率決定部は、前記第1領域の所定の位置から所定の方向における前記第1領域の幅と前記第2領域の幅との比が予め設定されている前記第1領域の幅と前記第2領域の幅との比と一致する場合、予め設定されている第1倍率および第2倍率を、前記所定の位置から前記所定の方向に延伸した直線上の第1領域を縮小するための第1倍率、および前記直線上の第2領域を拡大するための第2倍率として決定することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 画像に含まれる対象領域を検出する対象領域検出部と、
前記画像における前記対象領域を含む第1領域を縮小するための第1倍率を決定する倍率決定部と、
前記第1領域を前記第1倍率を用いて縮小し、かつ前記第1領域の外側の第2領域を、当該第2領域を拡大するための予め定められた第2倍率を用いて拡大することにより、前記画像を補正する画像補正部と、を備え、
前記倍率決定部は、前記画像における前記第1領域および前記第2領域の幅に基づいて、前記第1倍率を決定することを特徴とする画像処理装置。 - 撮像部と、
前記撮像部が撮像した前記対象領域を含む前記画像に対して画像処理を行う、請求項1から7のいずれか1項に記載の画像処理装置と、を備えることを特徴とする撮像装置。 - 請求項1から7のいずれか1項に記載の画像処理装置と、
前記画像処理装置が画像処理した画像を印刷する印刷部と、を備えることを特徴とする画像印刷装置。 - 撮像部と、
前記撮像部が撮像した前記対象領域を含む前記画像に対して画像処理を行う、請求項1から7のいずれか1項に記載の画像処理装置と、
前記画像処理装置が画像処理した画像を印刷する印刷部と、を備えることを特徴とする画像印刷装置。 - 画像に含まれる対象領域を検出する対象領域検出工程と、
前記画像における前記対象領域を含む第1領域を縮小するための第1倍率と、前記第1領域の外側の第2領域を拡大するための第2倍率を決定する倍率決定工程と、
前記第1領域を前記第1倍率を用いて縮小し、かつ前記第2領域を前記第2倍率を用いて拡大することにより、前記画像を補正する画像補正工程と、を含み、
前記倍率決定工程では、前記第2倍率と、前記画像における前記第1領域および前記第2領域の幅とに基づいて、前記第1倍率を決定することを特徴とする画像処理装置の制御方法。 - 請求項1または7に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記対象領域検出部、上記倍率決定部および上記画像補正部としてコンピュータを機能させるための画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016253887 | 2016-12-27 | ||
JP2016253887 | 2016-12-27 | ||
PCT/JP2017/039776 WO2018123265A1 (ja) | 2016-12-27 | 2017-11-02 | 画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018123265A1 JPWO2018123265A1 (ja) | 2019-10-31 |
JP6731073B2 true JP6731073B2 (ja) | 2020-07-29 |
Family
ID=62707277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018558864A Active JP6731073B2 (ja) | 2016-12-27 | 2017-11-02 | 画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10812678B2 (ja) |
JP (1) | JP6731073B2 (ja) |
CN (1) | CN110114796A (ja) |
WO (1) | WO2018123265A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11042724B2 (en) * | 2016-12-27 | 2021-06-22 | Sharp Kabushiki Kaisha | Image processing device, image printing device, imaging device, and non-transitory medium |
US11069039B2 (en) * | 2017-04-21 | 2021-07-20 | Sharp Kabushiki Kaisha | Image processing apparatus, imaging apparatus, image printing apparatus, method for controlling image processing apparatus, and image processing program |
JP6996200B2 (ja) * | 2017-09-29 | 2022-01-17 | 富士通株式会社 | 画像処理方法、画像処理装置、および画像処理プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USH997H (en) * | 1990-03-26 | 1991-11-05 | Video display enhancement | |
US20030006995A1 (en) * | 2001-06-15 | 2003-01-09 | Smith Randall B. | Orthogonal magnifier within a computer system display |
US20050157344A1 (en) * | 2004-01-16 | 2005-07-21 | Hiroyuki Nagashima | Printing data creation apparatus, printing data creation method and printing data creation program |
JP2007074664A (ja) * | 2005-09-09 | 2007-03-22 | Noritsu Koki Co Ltd | 画像処理方法と画像処理プログラムと画像処理装置 |
US8218895B1 (en) * | 2006-09-27 | 2012-07-10 | Wisconsin Alumni Research Foundation | Systems and methods for generating and displaying a warped image using fish eye warping |
US20080165390A1 (en) * | 2007-01-08 | 2008-07-10 | Samsung Electronics Co., Ltd. | Image forming device and method to adjust images in document to be printed |
JP5354924B2 (ja) * | 2007-02-16 | 2013-11-27 | 国立大学法人 名古屋工業大学 | デジタルマップ作成システム |
JP2009232246A (ja) | 2008-03-24 | 2009-10-08 | Seiko Epson Corp | 画像処理装置および画像処理方法 |
JP4930433B2 (ja) | 2008-04-01 | 2012-05-16 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2009253323A (ja) * | 2008-04-01 | 2009-10-29 | Seiko Epson Corp | 画像処理装置及び画像処理方法、並びにプログラム |
JP5239625B2 (ja) * | 2008-08-22 | 2013-07-17 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5115398B2 (ja) * | 2008-08-27 | 2013-01-09 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2011254414A (ja) * | 2010-06-04 | 2011-12-15 | Sony Corp | 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム |
JP2012003576A (ja) * | 2010-06-18 | 2012-01-05 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
-
2017
- 2017-11-02 WO PCT/JP2017/039776 patent/WO2018123265A1/ja active Application Filing
- 2017-11-02 JP JP2018558864A patent/JP6731073B2/ja active Active
- 2017-11-02 CN CN201780080676.8A patent/CN110114796A/zh not_active Withdrawn
- 2017-11-02 US US16/473,483 patent/US10812678B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10812678B2 (en) | 2020-10-20 |
US20200007710A1 (en) | 2020-01-02 |
CN110114796A (zh) | 2019-08-09 |
WO2018123265A1 (ja) | 2018-07-05 |
JPWO2018123265A1 (ja) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5115398B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6731073B2 (ja) | 画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム | |
US8355602B2 (en) | Image processing apparatus, image processing method and image processing program | |
JP4727720B2 (ja) | 画像処理方法および画像処理装置 | |
KR101335755B1 (ko) | 화상 변형 장치, 전자 기기, 화상 변형 방법, 화상 변형 프로그램, 및 그 프로그램을 기록한 기록 매체 | |
JP5071162B2 (ja) | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム | |
JP2010182150A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
WO2006075394A1 (ja) | 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置 | |
JP2011053942A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5927541B2 (ja) | 画像処理装置および画像処理方法 | |
JP6846440B2 (ja) | 画像処理装置、画像印刷装置、撮像装置、および画像処理プログラム | |
JP2010170219A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置 | |
JP6905588B2 (ja) | 画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム | |
JP2013125422A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置 | |
JP6889774B2 (ja) | 画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム | |
US10497094B2 (en) | Method and apparatus for multi-band blending of a seam in an image derived from multiple cameras | |
CN110852934A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
JP6212878B2 (ja) | 画像処理装置、画像処理システム及びプログラム | |
JP2024007899A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2011048748A (ja) | 画像処理装置 | |
JP4946729B2 (ja) | 画像処理装置 | |
JP2023097997A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2011048747A (ja) | 画像処理装置 | |
JP2009123101A (ja) | 顔の画像の向きの推定 | |
JP2013172254A (ja) | 画像表示装置及び画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6731073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |