JP6038359B2 - 情報処理装置、情報処理方法 - Google Patents

情報処理装置、情報処理方法 Download PDF

Info

Publication number
JP6038359B2
JP6038359B2 JP2015560477A JP2015560477A JP6038359B2 JP 6038359 B2 JP6038359 B2 JP 6038359B2 JP 2015560477 A JP2015560477 A JP 2015560477A JP 2015560477 A JP2015560477 A JP 2015560477A JP 6038359 B2 JP6038359 B2 JP 6038359B2
Authority
JP
Japan
Prior art keywords
image
layout
unit
document
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015560477A
Other languages
English (en)
Other versions
JPWO2016017320A1 (ja
Inventor
紀枝 藤本
紀枝 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Application granted granted Critical
Publication of JP6038359B2 publication Critical patent/JP6038359B2/ja
Publication of JPWO2016017320A1 publication Critical patent/JPWO2016017320A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00798Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00801Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00798Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00801Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
    • H04N1/00809Orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/442Restricting access, e.g. according to user identity using a biometric data reading device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0065Converting image data to a format usable by the connected apparatus or vice versa
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0098User intervention not otherwise provided for, e.g. placing documents, responding to an alarm

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、所望の画像を任意にレイアウトした合成画像を印刷可能な情報処理装置及び情報処理方法に関する。
ユーザーが所望の画像を任意にレイアウトして合成した画像の印刷物を得る画像合成機能を備えた画像形成装置が知られている(例えば下記特許文献1)。この画像形成装置は、ユーザーによって作成された特定のシートを画像読取部で読み取る。その特定のシートには、所望の画像を嵌め込むための閉領域を構成する枠線が手書きされている。その閉領域内には画像の画像番号が記入されている。そして、画像形成装置は、前記閉領域内に記載されている画像番号の画像を所定の記憶部から読み出して前記閉領域に対応する位置に嵌め込んだ合成画像を生成する。そして、画像形成装置は、前記合成画像を印刷する。
一方、画像形成装置の使用に際し、ユーザーが入力するユーザー識別情報に基づいて、印刷ジョブの入力を受け付けてもよいユーザーであるか否かの認証処理を行うユーザー認証機能が画像形成装置に搭載される場合がある。
特開2008−92317号公報
前記認証機能と前記画像合成機能とを搭載した画像形成装置においては、前記ユーザー認証を受けたのち直ぐに前記画像合成機能を利用するというようなシチュエーションが生じ得る。この場合、ユーザーは、認証のために自らの識別情報を入力する作業を行った後、更に、前記画像合成機能を利用するために前記シートを前記画像形成装置に読み取らせて前記シートの画像を画像形成装置に取り込ませるための入力作業が必要となり、面倒である。
本発明の目的は、ユーザー認証機能及び画像合成機能の利用時の利便性を向上することのできる情報処理装置及び情報処理方法を提供することである。
本発明の一の局面に係る情報処理装置は、撮影部と、認証処理部と、レイアウト処理部と、を有する。前記認証処理部は、前記撮影部から得られる撮影画像に基づいて前記撮影画像に人物の顔の画像が含まれているか否かを判定し、前記撮影画像に人物の顔の画像が含まれていると判定した場合に、前記人物の顔の画像に基づいて前記人物の認証処理を行う。前記レイアウト処理部は、前記認証処理部により認証されると、前記撮影画像に基づいて前記撮影画像にページレイアウトを特定するためのレイアウト特定画像が含まれているか否かを判定し、前記撮影画像に前記レイアウト特定画像が含まれていると判定した場合に、前記レイアウト特定画像により特定されるページレイアウトに従って素材画像をレイアウトした合成画像を生成する。
本発明の一の局面に係る情報処理方法は、第1ステップと、第2ステップと、を有する。前記第1ステップは、撮影部から得られる撮影画像に基づいて前記撮影画像に人物の顔の画像が含まれているか否かを判定し、前記撮影画像に人物の顔の画像が含まれていると判定した場合に、前記人物の顔の画像に基づいて前記人物の認証処理を行う。前記第2ステップは、前記第1ステップにより認証されると、前記撮影画像に基づいて前記撮影画像にページレイアウトを特定するためのレイアウト特定画像が含まれているか否かを判定し、前記撮影画像に前記レイアウト特定画像が含まれていると判定した場合に、前記レイアウト特定画像により特定されるページレイアウトに従って素材画像をレイアウトした合成画像を生成する。
本発明によれば、ユーザー認証機能及び画像合成機能の利用時の利便性を向上することのできる情報処理装置及び情報処理方法が実現される。
図1は、本発明の実施形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。 図2は、レイアウト原稿の外観図である。 図3は、レイアウト原稿を撮影部で撮影した撮影画像の図である。 図4は、画像識別情報とユーザー識別情報との対応関係を示す図である。 図5は、制御部の認証処理及び画像合成処理を含む一連の処理の流れを示すフローチャートである。 図6は、制御部の認証処理及び画像合成処理を含む一連の処理の流れを示すフローチャートである。 図7Aは、撮影画像の一例を示す図である。 図7Bは、認証処理の処理方法の説明図である。 図7Cは、認証処理の処理方法の説明図である。 図8Aは、素材画像を仮想的な台紙にレイアウトする状態を示す図である。 図8Bは、合成画像の一例である。 図9は、本発明の変形形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。 図10Aは、レイアウトパターンの例を示す図である。 図10Bは、レイアウトパターンの例を示す図である。 図10Cは、レイアウトパターンの例を示す図である。 図11は、照合用画像の画像識別情報とジェスチャー識別情報とレイアウトパターン識別情報との対応関係を示すテーブルである。 図12Aは、ジェスチャーのバリエーションを示す図である。 図12Bは、ジェスチャーをするユーザーを撮影した撮影画像の一例を示す図である。 図13Aは、閉領域内に記載されている一部の数字が反時計周りに90°回転しているレイアウト原稿の画像を含む撮影画像の一例を示す図である。 図13Bは、図13Aに示す撮影画像に基づいて生成される合成画像の一例である。
以下、図面を参照しながら、本発明の実施形態に係る情報処理装置について説明する。なお、以下に説明される実施形態は本発明を具体化した一例にすぎず、本発明の技術的範囲を限定するものではない。
図1を参照して本発明の情報処理装置の一実施形態である画像形成装置1の概略構成について説明する。画像形成装置1は、画像読取機能、ファクシミリー機能、及び画像形成機能などを備える複合機である。図1に示されるように、画像形成装置1は、画像読取部2、自動原稿送り装置(ADF)3、画像形成部4、操作表示部5、通信インターフェイス(I/F)部6、記憶部7、撮影部8及びこれらを制御する制御部9を備えている。なお、本発明に係る画像形成装置の一例として複合機である画像形成装置1を例示して説明するが、本発明はこれに限られず、例えばスマートフォン、プリンター、ファクシミリー装置あるいは複写機も本発明に係る情報処理装置に該当する。
画像読取部2は、コンタクトガラス、LED光源、複数のミラー、光学レンズ及びCCDなどを備えている。ADF3は、原稿セット部、複数の搬送ローラー対、及び排紙部などを備える。ADF3は、前記搬送ローラー対各々を駆動させることにより、前記原稿セット部にセットされた原稿を前記コンタクトガラス上の読取位置を通過させて前記排紙部まで搬送させる。画像形成部4は、感光体ドラム、帯電部、現像部、トナーコンテナ、転写ローラー、除電部、定着ローラー、加圧ローラーなどを備えている。
操作表示部5は、表示部10と操作部11とを有する。表示部10は、例えばカラー液晶ディスプレイなどを有し、操作表示部5を操作するユーザーに対して各種の情報を表示する。記憶部7は、EEPROM等の不揮発性メモリーを有する。操作部11は、表示部10に隣接配置された各種の押しボタンキー及び表示部10の表示画面上に配置されるタッチパネルセンサーなどを有し、画像形成装置1のユーザーにより各種の指示が入力される。操作部11は、撮影部8に撮影動作を行わせる指示を入力するための撮影操作部111を有する。ユーザーにより操作表示部5に対する操作が行われると、その操作信号が操作表示部5から制御部9に出力される。
撮影部8は、CCDと撮影光学系とを有する。前記撮影光学系は、被写体からの光を前記CCDに導くレンズなどの光学素子を含む。前記CCDは、前記撮影光学系により導かれた光を受光し、光電変換動作によってその光量に応じた画素信号を生成する。前記CCDによって生成された画素信号は不図示の画像処理回路による画像処理が施される。この画像処理回路は、前記画素信号に対し、γ補正処理、RGBカラーバランスの調整である色補正処理、RGBデータからCMYKデータへの色変換処理等を行う。前記画像処理後の前記画素信号により構成される撮影画像は、後述する撮影画像記憶部73に格納される。
制御部9は、CPUと、ROMと、RAMとを備える。制御部9は、前記CPUが前記ROMに記憶されているプログラムを実行することにより、画像形成装置1の動作を制御する。制御部9のROMには、制御部9の前記CPUに後述の処理(図4、図5のフローチャート参照)を実行させる為の処理プログラムが予め記憶されている。なお、前記処理プログラムは、CD、DVD、フラッシュメモリなどのコンピューター読み取り可能な記録媒体に記録されており、前記記録媒体から制御部9の前記EEPROM又は不図示のハードディスク等の記憶部にインストールされてもよい。
ところで、本実施形態に係る画像形成装置1は、画像読取部2で読み取られた読取画像をユーザーが任意にレイアウトして1つの画像に合成した合成画像を生成する画像合成機能を有する。また、本実施形態に係る画像形成装置1は、前記画像合成機能の他に、画像形成装置1の使用に際し、ユーザーが入力するユーザー識別情報に基づいて、印刷ジョブの入力を受け付けてもよいユーザーであるか否かの認証処理を行うユーザー認証機能を有する。このように、前記認証機能と前記画像合成機能とが搭載されている画像形成装置1においては、前記ユーザー認証を受けたのち直ぐに前記画像合成機能を利用するというようなシチュエーションが生じ得る。この場合、ユーザーは、認証のために自らの識別情報を入力する作業を行った後、更に、前記画像合成機能を利用するために前記シートを前記画像形成装置に読み取らせて前記シートの画像を画像形成装置に取り込ませるための入力作業が必要となり、面倒である。これに対し、本実施形態に係る画像形成装置1では、ユーザー認証機能及び画像合成機能の利用時の利便性の向上が図られている。
具体的に、図1に示されるように、記憶部7は、登録情報記憶部71と、照合用画像記憶部72と、撮影画像記憶部73とを有する。登録情報記憶部71は、ユーザー識別情報を記憶する。本実施形態では、登録情報記憶部71にユーザー識別情報が記憶されたユーザーのみが画像形成装置1を利用可能、すなわち印刷ジョブを含む各種のジョブの入力が可能である。照合用画像記憶部72は、登録情報記憶部71により前記ユーザー識別情報が記憶されたユーザーの顔の画像をユーザー認証時に用いる照合用画像として予め記憶する。登録情報記憶部71には、図4に示されるように、この照合用画像の識別情報(画像識別情報)が前記ユーザー識別情報に対応付けて記憶されている。撮影画像記憶部73は、前記ユーザー認証時に撮影部8で撮影される撮影画像を記憶する。
また、制御部9は、CPUを用いて前記処理プログラムに従って各種の処理を実行することにより、認証処理部91と、レイアウト処理部92と、印刷制御部93として機能する。なお、制御部9が有する機能の一部又は複数が電子回路として設けられる構成も他の実施形態として考えられる。
認証処理部91は、撮影部8から得られる撮影画像(図3の画像G1参照)に基づいて前記撮影画像に人物の顔の画像が含まれているか否かを判定する。そして、認証処理部91は、前記撮影画像に人物の顔の画像が含まれていると判定した場合に、前記人物の顔の画像と前記照合用画像とに基づいて前記人物の認証処理を行う。
レイアウト処理部92は、認証処理部91により前記人物が認証された場合に、前記撮影画像に基づいて前記撮影画像にレイアウト原稿L1(図2参照)の画像(図3の画像G2参照)が含まれているか否かを判定する。レイアウト処理部92は、前記撮影画像にレイアウト原稿L1の画像が含まれていると判定した場合に、その画像により特定されるページレイアウトに従って前記読取画像をレイアウトした合成画像を生成する。レイアウト原稿L1の画像は、本発明におけるレイアウト特定画像の一例である。前記読取画像は、本発明における素材画像の一例である。前記素材画像としては、パーソナルコンピューター(PC)等で作成された画像や、カメラ等で撮影した画像、或いはインターネットから取得した画像がある。
印刷制御部93は、レイアウト処理部92により前記合成画像が生成されると、前記合成画像を画像形成部4に印刷出力させる。
次に、図5、図6を用いて、具体的な制御部9によって実行される処理の手順の一例について説明する。なお、図5、図6のフローチャートにおいてステップS501、S502、・・・は処理手順(ステップ)番号を表している。
<ステップS501>
ステップS501において、制御部9は、操作部11の撮影操作部111に対するユーザー操作によって撮影指示が入力された否かを判定する。制御部9は、前記撮影指示が入力されていないと判定すると(ステップS501でNO)、所定時間経過後に再度この判定を行う。一方、制御部9は、前記撮影指示が入力されたと判定すると(ステップS501でYES)、処理をステップS502に進める。
<ステップS502>
ステップS502において、制御部9は、撮影部8に撮影動作を行わせる。この撮影動作により生成される撮影画像は、前記画像処理回路による前記画像処理が施された後、撮影画像記憶部73に格納される。ここでは、撮影画像が図3に示される撮影画像G1であるものとする。
<ステップS503>
ステップS503において、認証処理部91は、認証済みであるか否かを判定する。認証処理部91は、認証済みであると判定した場合(ステップS503でYES)、ステップS504〜S507の処理をスキップして処理をステップS508の処理に進める。一方、認証処理部91は、認証済みではないと判定した場合(ステップS503でNO)、処理をステップS504の処理に進める。
<ステップS504>
ステップS504において、認証処理部91は、撮影画像記憶部73から撮影画像G1を読み出して、撮影画像G1に人物の顔の画像が含まれているか否かを判定する。具体的に、認証処理部91は、撮影画像G1の画像領域のうち目、口、あご、眉毛、顔の輪郭を表す領域W1(図7A参照)が存在するか否かを判定する。認証処理部91は、領域W1が存在すると判定した場合(ステップS504でYES)、撮影画像G1に人物の顔の画像が含まれていると判定し、処理をステップS505に進める。一方、認証処理部91は、領域W1が存在しないと判定した場合(ステップS504でNO)、撮影画像G1に人物の顔の画像が含まれていないと判定し、処理をステップS507に進める。
<ステップS505>
ステップS505において、認証処理部91は、撮影画像G1に含まれている人物が画像形成装置1の登録ユーザーであるか否かの認証処理を行う。認証処理部91は、領域W1の画像を人物の顔の画像として判定し、その領域W1を囲む矩形領域(図7A参照)の画像R1を抽出する。以下、この画像R1を抽出画像R1という。そして、認証処理部91は、その抽出画像R1と、照合用画像記憶部72に記憶されている前記照合用画像との照合を行う。
具体的に、認証処理部91は、抽出画像R1に基づいて、その抽出画像R1に含まれる人物の顔のうち、例えば目、眉の端部、口の端部、鼻先などの特徴点T1を検出する(図7B参照)。そして、認証処理部91は、例えばこれらの特徴点T1同士の位置関係と、前記照合用画像B1における特徴点Tx同士の位置関係との関係などに基づいて、両画像の一致度を所定の演算式に基づいて数値化する。
<ステップS506>
ステップS506において、認証処理部91は、前記一致度を示す前記数値が所定値以下であると判定した場合(ステップS506でNO)、認証できないと判定して、制御部9はジョブの入力を受け付けないようにし、処理をステップS507に進める。一方、認証処理部91は、前記一致度を示す前記数値が所定値より大きい場合(ステップS506でYES)、認証できたと判定して、制御部9は、それ以降のジョブの入力を受け付けるようにし、処理をステップS508に進める。このように、登録ユーザーが画像形成装置1の利用を開始する際、そのユーザーは、自身の顔を撮影部8で撮影する必要がある。
<ステップS507>
ステップS507において、制御部9は、認証できない旨のエラー報知を行う。このエラー報知は、表示部10による表示や不図示の音声出力部による音声出力により行われる。制御部9は、ステップS507の処理後、ステップS501の処理に戻る。
<ステップS508>
ステップS508において、レイアウト処理部92は、例えば図3に示されるような撮影画像G1にレイアウト原稿L1の画像G2が含まれているか否かを判定する。レイアウト原稿L1は、ユーザーにより撮影前に作成される。レイアウト原稿L1には、閉領域を形成するレイアウト枠K1〜K5がユーザーによって記載されている。なお、図2には、5つのレイアウト枠K1〜K5が記載されたレイアウト原稿L1が示されているが、レイアウト原稿に記載されるレイアウト枠の数は5つに限定されるものではない。レイアウト原稿L1におけるレイアウト枠K1〜K5の位置によって、前記合成画像における前記読取画像のレイアウト位置、すなわちページレイアウトが指定される。このようなレイアウト原稿L1の画像G2の検出は、例えば周知のエッジ検出処理により行うことができる。レイアウト処理部92は、撮影画像G1の中にレイアウト原稿L1の画像G2が存在すると判定した場合(ステップS508でYES)、処理をステップS509に進める。一方、レイアウト処理部92は、撮影画像G1の中にレイアウト原稿L1の画像G2が存在しないと判定した場合(ステップS508でNO)、一連の処理を終了する。
<ステップS509>
ステップS509において、レイアウト処理部92は、ステップS508で検出されたレイアウト原稿L1の画像に基づいて、各読取画像のページレイアウトを決定するページレイアウト決定処理を行う。このように、前記認証を受けたのち直ぐに前記画像合成機能を利用するという前述のシチュエーションでは、ユーザーは、自身の顔と一緒にレイアウト原稿L1を撮影部8で撮影する必要がある。図5は、前記ページレイアウト決定処理のサブルーチンを示すフローチャートであり、前記ページレイアウト決定処理において、ステップS601〜S607の処理が実行される。
<ステップS601>
ステップS601において、レイアウト処理部92は、撮影画像G1及びレイアウト原稿L1の画像G2の大きさと、撮影部8からレイアウト原稿L1までの距離とに基づいて、レイアウト原稿L1の実際のサイズを求める。なお、撮影部8からレイアウト原稿L1までの距離については、撮影部8に不図示の測距センサが搭載されている場合は、その測距センサを用いて検出することができる。前記測距センサが撮影部8に搭載されていない場合は、例えば、撮影画像G1に含まれているユーザーの顔の画像の大きさと撮影部8の焦点距離とに基づく周知の検出処理によって検出することができる。
<ステップS602>
ステップS602において、レイアウト処理部92は、レイアウト原稿L1の実際のサイズに一致又は近似するサイズのシートを、合成画像を印刷すべき印刷シートとして決定する。
<ステップS603>
ステップS603において、レイアウト処理部92は、ステップS602で決定した印刷シートに対し、予め定められた解像度で印刷を行うのに必要な画像データ分の記憶容量を有する記憶領域をRAM上に確保し、この記憶領域を仮想的な台紙F1(図8A及び図8B参照)とする。
<ステップS604>
ステップS604において、レイアウト処理部92は、レイアウト原稿L1の画像G2に基づき、そのレイアウト原稿L1に含まれる各レイアウト枠K1〜K5の画像GK1〜GK5、及び、レイアウト原稿L1におけるレイアウト枠K1〜K5の相対位置を検出する(図3参照)。そして、レイアウト処理部92は、この求めた相対位置に対応する台紙F1上の位置をレイアウト位置として設定する。
<ステップS605>
ステップS605において、レイアウト処理部92は、レイアウト原稿L1の画像に基づき、レイアウト原稿L1の前記各閉領域内に数字(画像指定情報の一例)が記載されているか否かを判定する。この数字の認識方法は、周知の文字認識方法を利用することができるため、詳細な説明は省略する。レイアウト処理部92は、前記各閉領域内に数字が記載されていると判定した場合は(ステップS605でYES)、処理をステップS606に進める。一方、レイアウト処理部92は、前記各閉領域内に数字が記載されていないと判定した場合は(ステップS605でNO)、処理をステップS607に進める。
<ステップS606>
ステップS606において、レイアウト処理部92は、その認識した数字に基づき、ステップS604で台紙F1に設定した前記レイアウト位置と、前記レイアウト位置にレイアウトすべき読取画像との関係を設定する。本実施形態では、前述したように、前記レイアウト位置にレイアウトされる画像は、後に画像読取部2で読み取られる読取画像である。よって、この時点ではレイアウトすべき前記読取画像は存在せず、前記レイアウト位置に前記読取画像の識別情報を対応させることはできない。そのため、本実施形態では、レイアウト処理部92は、前記レイアウト位置にレイアウトすべき前記読取画像を特定する情報として、前記閉領域内に記載される前記読取画像の読取順を示す数字を検出する。レイアウト処理部92は、この情報に基づき、前記レイアウト位置各々にレイアウトすべき前記読取画像として画像読取部2により何番目に読み取られる読取画像とするかを設定する。これにより、ページレイアウトが決定される。
<ステップS607>
ステップS607において、レイアウト処理部92は、予め定められたルール、本実施形態では、前記各閉領域の面積の大小順に基づいて、ステップS604で台紙F1に設定した前記レイアウト位置と、前記レイアウト位置にレイアウトすべき読取画像との関係を設定する。すなわち、レイアウト処理部92は、前記各閉領域の面積を算出し、その面積順を示す数字を、前記レイアウト位置各々にレイアウトすべき前記読取画像を特定する情報として設定する。レイアウト処理部92は、この情報に基づき、前記レイアウト位置各々にレイアウトすべき前記読取画像として画像読取部2により何番目に読み取られる読取画像とするかを設定する。これにより、ページレイアウトが決定される。
<ステップS510、S511>
ステップS510において、制御部9は、操作部11に対するユーザー操作によって読取指示が入力された否かを判定する。制御部9は、前記読取指示が入力されていないと判定すると(ステップS510でNO)、所定時間経過後に再度この判定を行う。一方、制御部9は、前記読取指示が入力されたと判定すると(ステップS510でYES)、画像読取部2に原稿の読取動作を行わせる。
<ステップS512>
ステップS512において、レイアウト処理部92は、ステップS606又はS607で決定したページレイアウトに従って前記読取画像をレイアウトする。レイアウト処理部92は、前記各閉領域内の数字に基づいてページレイアウトを設定した場合、図8A及び図8Bに示されるように、例えば2番目に読み取られる読取画像をレイアウトすべきであるとして設定されたレイアウト位置に、その読取画像をレイアウトする。このようにして、レイアウト処理部92は、画像読取部2で読み取られた前記読取画像を台紙F1の各レイアウト位置にレイアウトし、合成画像を生成する。図8Bは、図8Aの上段に示す各読取画像を、図8Aの下段に示す台紙F1の各レイアウト位置にレイアウトされたことにより生成された合成画像を示す。
なお、前記閉領域の形状が前記読取画像の形状と一致しない場合、レイアウト処理部92は、前記閉領域の形状に基づいて前記読取画像を拡大又は縮小してレイアウトするようにしてもよい。或いは、レイアウト処理部92は、前記読取画像又は拡大又は縮小後の読取画像に対し、前記閉領域の形状に基づいてトリミング範囲を決定し、そのトリミング範囲の画像をトリミングしてレイアウト位置にレイアウトするようにしてもよい。
<ステップS513>
ステップS513において、印刷制御部93は、ステップS511で生成された合成画像を画像形成部4に出力し、画像形成部4に前記合成画像に基づく印刷動作を行わせて一連の処理を終了する。
以上のように、本実施形態では、ユーザーの顔とレイアウト原稿L1とが一緒に撮影部8で撮影された場合、その撮影画像に含まれる前記顔の画像に基づいて前記ユーザー認証処理が行われ、認証されると、レイアウト原稿L1の画像に基づいてページレイアウト処理が行われる。これにより、前記ユーザー認証を受けたのち直ぐに前記画像合成機能を利用するというようなシチュエーションにおける利便性を向上することができる。すなわち、前記シチュエーションにおいて、ユーザーがユーザー認証のために自らの識別情報を入力する作業を行った後、前記画像合成機能を利用するためにレイアウト原稿L1の画像を画像形成装置1に読み取らせる作業を行うというように両作業を別々に必要がなくなり、これらの作業を一度に行うことができる。よって、ユーザー認証機能及び画像合成機能の利用時の利便性を向上することができる。
以上、本発明の好ましい実施形態について説明したが、本発明は前述した内容のものに限られず、種々の変形例が適用可能である。
(1)前記実施形態では、ページレイアウトを特定するためのレイアウト特定画像としてレイアウト原稿L1の画像が利用され、このレイアウト原稿L1の撮影によって合成画像を生成する際のレイアウトパターンが画像形成装置1に入力される。しかし、合成画像を生成する際に採用するレイアウトパターンを画像形成装置1に指定する方法は、前記のものに限られない。
本実施形態に係る画像形成装置1においては、1又は複数のレイアウトパターンが、合成画像の生成する際に採用され得るレイアウトパターンとして記憶部7に予め記憶されている。そして、合成画像の生成する際に採用するレイアウトパターンが、撮影時にユーザーがとったジェスチャーによって、記憶部7に記憶されているレイアウトパターンの中から指定され画像形成装置1に指示される。以下、具体的に説明する。なお、本実施形態は、図5に示すフローチャートのステップS508、S509の処理が異なる以外は同様であるため、前記実施形態との相違点についてのみ説明する。
本実施形態に係る画像形成装置1の記憶部7は、図9に示されるように、前記各部71〜73に加えて、レイアウトパターン記憶部74及びテーブル記憶部75を有する。
レイアウトパターン記憶部74には、例えば図10A〜図10Cに示されるようなページレイアウトのレイアウトパターンを示す情報(レイアウトパターン情報)が複数種類予め記憶されている。このレイアウトパターン情報は、前記実施形態のようにレイアウト原稿L1の画像そのものでもよいし、その画像から求められる前記レイアウト枠の台紙F1における相対位置を示す情報でもよい。また、このようなレイアウトパターン情報は、メーカーによって作成されたものでもよいし、ユーザーによって作成されたレイアウト原稿が撮影部8で撮影されることによって作成されたものでもよいし、或いはパーソナルコンピューターで作成されてもよい。レイアウトパターン情報がメーカーで作成される場合、画像形成装置1の出荷までに前記レイアウトパターン情報がレイアウトパターン記憶部74にプリインストールされてもよいし、出荷後にユーザーによってメーカーのホームページ等からインターネットでダウンロードされてもよい。図10A〜図10Cの各レイアウト位置に示される数字は、読取順を示す数字である。
テーブル記憶部75には、例えば図12A及び図12Bに示されるように、前記照合用画像の画像識別情報と、ジェスチャーを識別するためのジェスチャー識別情報と、レイアウトパターンを識別するためのレイアウトパターン識別情報との対応関係がテーブル形式で記憶されている。すなわち、登録ユーザーとその登録ユーザーがするジェスチャーとの組み合わせに応じてレイアウトパターンが予め設定されている。
レイアウト処理部92は、撮影画像G1に基づき、その撮影画像G1にジェスチャーをする人物の存在の有無を判定する。本実施形態では、人物のジェスチャーとは、図12Aに示されるように人物の手によるジェスチャーであって、突き出す指の数に応じたバリエーションP1〜P6を有する。図12Bに、このような手によるジェスチャーをする人物の画像を含んだ撮影画像G1の一例を示す。レイアウト処理部92は、例えば図12Bに示されるような撮影画像G1から、色や形等、手の特徴点に基づいて、手の画像(図12Bの矢印300参照)及びその手によるジェスチャーの種類を検出する。
レイアウト処理部92は、テーブル記憶部75に格納されているテーブルに基づき、検出したジェスチャーの識別情報と、先に行われた認証時においてユーザーの顔の画像と一致した照合用画像の画像識別情報とに基づいて、レイアウトパターン情報の識別情報を検出する。そして、この検出した識別情報のレイアウトパターン情報をレイアウトパターン記憶部74から読み出す。これ以降、図5のステップS510の処理が行われる。
このように、ユーザーの顔とジェスチャーをする手とが一緒に撮影部8で撮影された場合、その撮影画像に含まれる前記顔の画像に基づいて前記ユーザー認証処理が行われ、認証されると、ジェスチャーをする手の画像に基づいてページレイアウトが決定される。よって、前記実施形態と同様、ユーザー認証機能及び画像合成機能の利用時の利便性を向上することができる。
(2)前記各実施形態では、画像読取部2により読み取られる読取画像をレイアウト対象の素材画像とされている。しかし、前記素材画像は、前記読取画像に限定されるものではなく、例えば画像形成装置1の記憶部7に予め格納された画像でもよい。この場合、その画像には予め付された画像番号などの識別情報が対応付けられている。そして、レイアウト処理部92は、前記レイアウト枠に記載されている前記識別情報に対応する前記素材画像を記憶部7に記憶されている前記素材画像と前記識別情報との対応関係に基づいて検出する。レイアウト処理部92は、そのレイアウト枠の前記レイアウト原稿に対する相対位置に基づいて、検出した前記素材画像をレイアウトする。
(3)レイアウト処理部902は、前記閉領域内に記載されている数字の向き(傾き)を検出し、その向きに応じて前記素材画像をレイアウトしてもよい。例えば、図13A及び図13Bに示されるように、前記閉領域内に記載されている数字「3」が反時計回りに90°回転された状態で記載されている場合、レイアウト処理部902は、前記閉領域に対応するレイアウト位置にレイアウトする素材画像を反時計周りに90°回転させてレイアウトする。
(4)シートに描かれる手書き線が途中で欠落していることによりレイアウト原稿に記載されているレイアウト枠によって閉領域が形成されていない場合には、前記制御部9が、その欠落部分を補完する処理を行うようにしてもよい。また、手書き線が曲がっている場合に、前記制御部9が、その手書き線を直線化してレイアウト位置を設定する処理を行うようにしてもよい。なお、手書き線が円又は楕円である場合には、前記制御部9が、その手書き線のブレを修正して滑らかな円又は楕円にレイアウト枠の形状を設定する処理を実行することも考えられる。
(5)画像形成装置1において、前記制御部9が、ユーザーによる操作入力に応じて、ユーザーがレイアウト原稿を作成するために必要な印刷シートを図略の給紙部から排紙部に排出させることにより、その印刷シートがユーザーに提供されてもよい。
(6)前記実施形態では、レイアウト処理部92は、撮影画像G1及びレイアウト原稿L1の画像G2の大きさと、撮影部8からレイアウト原稿L1までの距離とに基づいて、レイアウト原稿L1の実際のサイズが求められる。ただし、レイアウト原稿L1の実際のサイズの算出方法は、これに限られない。例えば、撮影画像G1に含まれる人物の大きさとレイアウト原稿L1の大きさとの比率と、撮影部8からレイアウト原稿L1までの距離とに基づいて、レイアウト原稿L1の実際のサイズが算出される形態も採用可能である。また、撮影画像G1に含まれるレイアウト原稿L1の画像の大きさと、撮影画像G1に含まれる人物の大きさとレイアウト原稿L1の大きさとの比率と、撮影部8からレイアウト原稿L1までの距離とに基づいて、レイアウト原稿L1の実際のサイズが算出される形態も採用可能である。

Claims (7)

  1. 撮影部と、
    前記撮影部から得られる撮影画像に基づいて前記撮影画像に人物の顔の画像が含まれているか否かを判定し、前記撮影画像に人物の顔の画像が含まれていると判定した場合に、前記人物の顔の画像に基づいて前記人物の認証処理を行う認証処理部と、
    前記認証処理部により認証されると、前記撮影画像に基づいて前記撮影画像にページレイアウトを特定するためのレイアウト特定画像が含まれているか否かを判定し、前記撮影画像に前記レイアウト特定画像が含まれていると判定した場合に、前記レイアウト特定画像により特定されるページレイアウトに従って素材画像をレイアウトした合成画像を生成するレイアウト処理部と、
    を備える情報処理装置。
  2. 前記レイアウト特定画像は、前記ページレイアウトを構成するレイアウト枠と、前記レイアウト枠に合わせてレイアウトすべき前記素材画像を指定するための画像指定情報とが示されたレイアウト原稿の画像である請求項1に記載の情報処理装置。
  3. 原稿の画像を読み取る画像読取部を有し、
    前記素材画像は、前記画像読取部により読み取られる読取画像であり、
    前記画像指定情報は、前記読取画像の前記画像読取部による読取順を示す数字であり、
    前記レイアウト処理部は、前記読取画像をその読取順に対応する数字が記載された前記レイアウト枠の前記レイアウト原稿に対する相対位置に基づいてレイアウトする請求項2に記載の情報処理装置。
  4. 前記レイアウト処理部は、前記レイアウト枠に記載されている前記数字の向きを検出し、その向きに応じて前記素材画像をレイアウトする請求項3に記載の情報処理装置。
  5. 前記素材画像をその識別情報とともに記憶する画像記憶部を有し、
    前記画像指定情報は、前記画像記憶部に記憶されている前記素材画像の識別情報であり、
    前記レイアウト処理部は、前記レイアウト枠に記載されている識別情報に対応する前記素材画像を前記画像記憶部に記憶されている前記素材画像と前記識別情報との対応関係に基づいて検出し、そのレイアウト枠の前記レイアウト原稿に対する相対位置に基づいて、検出した前記素材画像をレイアウトする請求項2に記載の情報処理装置。
  6. 前記レイアウト処理部は、前記撮影画像に含まれる前記レイアウト原稿の画像の大きさ、及び、前記撮影画像に含まれる人物の大きさと前記レイアウト原稿の大きさとの比率の少なくとも一方と、前記撮像部から前記レイアウト原稿までの距離とに基づいて、前記レイアウト原稿の実際のサイズを検出し、この検出した前記レイアウト原稿の実際のサイズに一致又は近似するサイズを前記合成画像が印刷される印刷シートのサイズとして決定する請求項2乃至5の何れか一項に記載の情報処理装置。
  7. 前記レイアウト特定画像は、予め定められたジェスチャーをする人物の画像であり、
    前記ジェスチャーの種類と前記ページレイアウトの種類との対応関係を記憶するレイアウト記憶部を備え、
    前記レイアウト処理部は、前記撮影画像に含まれている前記人物の画像が示すジェスチャーに対応するページレイアウトを前記レイアウト記憶部に記憶されている前記ジェスチャーと前記ページレイアウトとの対応関係に基づいて検出し、そのページレイアウトに従って前記素材画像をレイアウトする請求項1に記載の情報処理装置。
JP2015560477A 2014-07-28 2015-06-19 情報処理装置、情報処理方法 Expired - Fee Related JP6038359B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014153192 2014-07-28
JP2014153192 2014-07-28
PCT/JP2015/067775 WO2016017320A1 (ja) 2014-07-28 2015-06-19 情報処理装置、情報処理方法

Publications (2)

Publication Number Publication Date
JP6038359B2 true JP6038359B2 (ja) 2016-12-07
JPWO2016017320A1 JPWO2016017320A1 (ja) 2017-04-27

Family

ID=55217225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015560477A Expired - Fee Related JP6038359B2 (ja) 2014-07-28 2015-06-19 情報処理装置、情報処理方法

Country Status (3)

Country Link
US (1) US9438766B2 (ja)
JP (1) JP6038359B2 (ja)
WO (1) WO2016017320A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7315430B2 (ja) * 2019-10-15 2023-07-26 シャープ株式会社 画像形成装置、制御プログラムおよび制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234500A (ja) * 2003-01-31 2004-08-19 Seiko Epson Corp 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム、及び画像編集装置
JP2007082085A (ja) * 2005-09-16 2007-03-29 Fujifilm Corp 画像レイアウト装置および方法並びにプログラム
JP2013083689A (ja) * 2011-10-06 2013-05-09 Kddi Corp 閲覧者と被写体人物との関係に応じて表示サイズを決定する画面出力装置、プログラム及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162506A (ja) * 2001-11-22 2003-06-06 Sony Corp ネットワーク情報処理システム、情報提供管理装置、情報処理装置及び情報処理方法
JP2008092317A (ja) 2006-10-03 2008-04-17 Canon Inc 画像読取記録装置および画像読取記録装置の制御方法
JP2013131878A (ja) * 2011-12-21 2013-07-04 Sony Corp 画像処理装置、画像処理方法、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234500A (ja) * 2003-01-31 2004-08-19 Seiko Epson Corp 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム、及び画像編集装置
JP2007082085A (ja) * 2005-09-16 2007-03-29 Fujifilm Corp 画像レイアウト装置および方法並びにプログラム
JP2013083689A (ja) * 2011-10-06 2013-05-09 Kddi Corp 閲覧者と被写体人物との関係に応じて表示サイズを決定する画面出力装置、プログラム及び方法

Also Published As

Publication number Publication date
US9438766B2 (en) 2016-09-06
WO2016017320A1 (ja) 2016-02-04
US20160205284A1 (en) 2016-07-14
JPWO2016017320A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US9380179B2 (en) AR display device in which an image is overlapped with a reality space, AR display control device, print condition setting system, print system, print setting display method, and non-transitory computer-readable recording medium
JP2015102909A (ja) Ar表示装置、処理内容設定装置、処理内容設定方法およびプログラム
US10757284B2 (en) Image forming apparatus, storage medium, and control method that switches from sleep mode to standby mode upon detecting a job data of a registered user
JP2016212624A (ja) 認証装置および画像形成装置
US10313536B2 (en) Information processing system, electronic apparatus, information processing apparatus, information processing method, electronic apparatus processing method and non-transitory computer readable medium to confirm difference in meeting contents using sound information
JP6974032B2 (ja) 画像表示装置、画像形成装置、制御プログラムおよび制御方法
US10063733B2 (en) Alignment sheet, image forming apparatus and method for aligning image forming position
JP2006344100A (ja) 認証装置、画像出力装置
JP6038359B2 (ja) 情報処理装置、情報処理方法
JP6454991B2 (ja) 印刷条件設定装置、印刷条件設定システム、印刷条件設定方法
JP2009135578A (ja) 画像処理方法、画像処理装置、画像形成装置及び画像処理プログラム
JP6245690B2 (ja) 画像形成装置
US20150054905A1 (en) Image forming apparatus and image processing method
JP6569386B2 (ja) 画像処理装置
JP6881373B2 (ja) 画像形成装置
JP6158735B2 (ja) 画像形成装置、描画処理方法及びプログラム
JP5801332B2 (ja) 画像形成装置及び画像形成方法
JP6988679B2 (ja) 画像形成システム
JP6500842B2 (ja) 印刷システム
JP2016175263A (ja) 装置、プログラム及び方法
JP2019129357A (ja) 画像処理装置
JP7388428B2 (ja) 画像処理装置、画像処理装置の制御方法
JP6141237B2 (ja) 画像処理装置、画像処理方法
JP2017011627A (ja) 画像処理装置およびプログラム
US20090232402A1 (en) Image Processing Apparatus, Image Processing Method, and Computer Program for Image Processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161101

R150 Certificate of patent or registration of utility model

Ref document number: 6038359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees