JPWO2016031254A1 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2016031254A1
JPWO2016031254A1 JP2016544968A JP2016544968A JPWO2016031254A1 JP WO2016031254 A1 JPWO2016031254 A1 JP WO2016031254A1 JP 2016544968 A JP2016544968 A JP 2016544968A JP 2016544968 A JP2016544968 A JP 2016544968A JP WO2016031254 A1 JPWO2016031254 A1 JP WO2016031254A1
Authority
JP
Japan
Prior art keywords
image data
information
information processing
processing apparatus
geometric feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016544968A
Other languages
English (en)
Other versions
JP6677160B2 (ja
Inventor
嘉人 大木
嘉人 大木
松一郎 守屋
松一郎 守屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016031254A1 publication Critical patent/JPWO2016031254A1/ja
Application granted granted Critical
Publication of JP6677160B2 publication Critical patent/JP6677160B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】元の画像データの幾何学的特徴が反映された、元の画像データを含む画像データを生成することができる技術を提供すること。【解決手段】本技術に係る情報処理装置は、取得部と、生成部とを具備する。前記取得部は、第1の画像データを解析して抽出された幾何学的特徴情報を取得する。前記生成部は、前記幾何学的特徴情報に基づいて第2の画像データを生成し、前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する。【選択図】図3

Description

本技術は、元の画像データから得られる幾何学的特徴情報に基づいて画像データを生成する情報処理装置などの技術に関する。
従来から、元の画像データを取り込んで、この元の画像データを含む画像データを生成して出力する技術が知られている。例えば、下記特許文献1には、デジタルスチルカメラによって撮像された画像データを、予め用意された装飾画像データ(アルバムページのイメージデータ等)の所定の領域に配置することによって、出力用の画像データを生成する技術が開示されている。
特開2009−268131号公報
このような分野において、元の画像データの幾何学的特徴が反映された、元の画像データを含む画像データを生成することができる技術が求められている。
以上のような事情に鑑み、本技術の目的は、元の画像データの幾何学的特徴が反映された、元の画像データを含む画像データを生成することができる技術を提供することにある。
本技術に係る情報処理装置は、取得部と、生成部とを具備する。
前記取得部は、第1の画像データを解析して抽出された幾何学的特徴情報を取得する。
前記生成部は、前記幾何学的特徴情報に基づいて第2の画像データを生成し、前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する。
「対応画像データ」は、第1の画像データそれ自体の画像データであってもよいし、第1の画像データとは解像度が異なる画像データ等、第1の画像データに多少の変更が加えられた画像データであってもよい。
この情報処理装置では、第1の画像データの幾何学的特徴が反映された第2画像データが生成され、第1の画像データに対応する対応画像データと、第2の画像データとを含む第3の画像データが生成される。これにより、元の画像データ(第1の画像データ)の幾何学的特徴が反映された、元の画像データ(対応画像データ)を含む第3の画像データを生成することができる。また、この第3の画像データは、第2の領域における第2の画像データにおいて、第1の画像データの幾何学的特徴が反映されているので、全体として統一感のあるデザイン性の高い画像となる。
上記情報処理装置において、前記取得部は、前記第1の画像データを解析して抽出された色情報を取得し、前記生成部は、前記色情報に基づいて第2の画像データを生成してもよい。
これにより、第3の画像データにおけるデザイン性をさらに向上させることができる。
上記情報処理装置において、前記取得部は、前記第1の画像データから得られる複数の幾何学的特徴情報を取得し、前記生成部は、前記複数の幾何学的特徴情報についてそれぞれ優先度を決定し、前記優先度に基づいて選択される幾何学的特徴情報に基づいて、前記第2の画像データを生成してもよい。
上記情報処理装置において、前記取得部は、前記第1の画像データに関連する関連情報を取得し、前記生成部は、前記関連情報をテキストデータとして前記第2の画像データに反映させてもよい。
これにより、第3の画像データにおけるデザイン性をさらに向上させることができ、また、有用な情報をユーザに提供することができる。
上記情報処理装置において、前記第2の領域は、前記第1の領域の周囲の領域であってもよい。
これにより、第3の画像データにおけるデザイン性をさらに向上させることができる。
上記情報処理装置において、前記生成部は、前記第2の画像データ内における幾何学的特徴の位置に基づいて、前記第2の画像データ内における前記テキストデータの位置を決定してもよい。
これにより、第3の画像データにおけるデザイン性をさらに向上させることができる。
上記情報処理装置において、前記取得部は、前記第1の画像データを解析して得られる前記第1の画像データの重心位置の情報を取得し、前記生成部は、前記重心位置に基づいて、前記第1の領域及び前記第2の領域の位置を決定してもよい。
これにより、第3の画像データにおけるデザイン性をさらに向上させることができる。
上記情報処理装置において、前記取得部は、前記第1の画像データを解析して得られる前記第1の画像データの重心位置の情報を取得し、前記生成部は、前記重心位置に基づいて、前記第1の領域及び前記第2の領域の位置、並びに、前記第2の領域内における前記テキストデータの位置を決定してもよい。
これにより、第3の画像データにおけるデザイン性をさらに向上させることができる。
上記情報処理装置において、前記取得部は、前記第1の画像データを解析して抽出された、前記幾何学的特徴情報とは異なる特徴情報を取得し、前記生成部は、前記特徴情報に基づいて、前記第2の画像データに反映させるべき幾何学的特徴情報の数を決定してもよい。
これにより、適切な数の幾何学的特徴を第2の画像データに反映させることができる。
上記情報処理装置において、前記取得部は、前記第1の画像データに関連する関連情報を取得し、前記生成部は、前記関連情報に基づいて、前記第2の画像データに反映させるべき幾何学的特徴情報の数を決定してもよい。
これにより、適切な数の幾何学的特徴を第2の画像データに反映させることができる。
上記情報処理装置は、前記第1の画像データを解析して幾何学的特徴情報を抽出する抽出部をさらに具備してもよい。
上記情報処理装置において、前記抽出部は、前記第1の画像データを解析して前記幾何学的特徴情報とは異なる特徴情報を抽出し、前記特徴情報に基づいて、抽出すべき前記幾何学的特徴情報の数又は数の範囲を決定してもよい。
これにより、第1の画像データから適切な数の幾何学的特徴を抽出することができる。
上記情報処理装置において、前記取得部は、前記第1の画像データに関連する関連情報を取得し、前記関連情報に基づいて、取得すべき前記幾何学的特徴情報の数又は数の範囲を決定しもよい。
これにより、第1の画像データから適切な数の幾何学的特徴を抽出することができる。
上記情報処理装置において、前記生成部は、前記幾何学的特徴情報を、前記対応画像データに反映させてもよい。
これにより、第3の画像データにおけるデザイン性をさらに向上させることができる。
上記情報処理装置において、前記取得部は、前記第1の画像データに関連する関連情報として加工禁止/許可情報を取得し、前記生成部は、前記加工禁止/許可情報に基づいて、前記幾何学的特徴情報を前記対応画像データに反映させるかどうかを判断してもよい。
これにより、第1の画像データに幾何学的特徴を反映させるかどうかを適切に判断することができる。
上記情報処理装置において、前記生成部は、前記第1の画像データを解析して前記第1の画像データ内に、前記第2の画像に反映させるべき前記テキストデータが含まれているかどうかを判断し、前記第1の画像データ内に、前記テキストデータが含まれているかどうかに応じて、前記第2の画像データにおける前記テキストデータの大きさを変更してもよい。
これにより、テキストデータの大きさを適切に変更することができる。
本技術に係る情報処理システムは、解析装置と、生成装置とを具備する。
前記解析装置は、第1の画像データを解析して前記第1の画像データから幾何学的特徴情報を抽出する。
前記生成装置は、前記幾何学的特徴情報を取得し、前記幾何学的特徴情報に基づいて第2の画像データを生成し、前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する。
本技術に係る情報処理方法は、第1の画像データを解析して抽出された幾何学的特徴情報を取得するステップと、
前記幾何学的特徴情報に基づいて第2の画像データを生成するステップと、
前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成するステップとを含む。
本技術に係るプログラムは、コンピュータに、
第1の画像データを解析して抽出された幾何学的特徴情報を取得するステップと、
前記幾何学的特徴情報に基づいて第2の画像データを生成するステップと、
前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成するステップとを実行させる。
以上のように、本技術によれば、元の画像データの幾何学的特徴が反映された、元の画像データを含む画像データを生成することができる技術を提供することができる。
本技術に係る情報処理装置の電気的な構成を示すブロック図である。 元の画像データからデザイン画像データが生成されるときの処理を示すフローチャートである。 元の画像データからデザイン画像データが生成されるときの様子を示す図である。 幾何学的特徴を抽出するときの処理を示すフローチャートである。 元の画像データが所定の枠内に配置されるときの様子を示す図である。 元の画像データから幾何学的特徴として、円、円弧、円と直線の組み合わせが抽出され、その幾何学的特徴が背景画像データに反映される場合について説明するための図である。 背景画像データ内における幾何学的特徴の位置に基づいて、背景画像データ内におけるテキストデータの位置が決定される様子を示す図である。 幾何学的特徴が元の画像データにも反映された場合の一例を示す図である。 背景画像データにおけるテキストデータのサイズが小さくされた場合及び大きくされた場合の一例を示す図である。 本技術の他の実施形態に係る情報処理システムの構成を示した図である。 本技術の他の実施形態に係る情報処理システムの機能構成例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムによるデザイン画像データの投影処理の流れを示したフローチャートである。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[情報処理装置の全体構成及び各部の構成]
図1は、本技術に係る情報処理装置10の電気的な構成を示すブロック図である。
図1に示すように、情報処理装置10は、制御部(抽出部、取得部、生成部)1と、記憶部2と、表示部3と、入力部4と、通信部5とを含む。この情報処理装置10としては、例えば、PC(Personal Computer)、ゲーム機、テレビジョン装置、携帯電話機(スマートフォンを含む)、携帯ゲーム機、携帯音楽プレイヤー等が挙げられるが、これらに限られない。
記憶部2は、制御部1の処理に必要な各種のプログラムが記憶される不揮発性のメモリ(例えば、ROM(Read Only memory))と、制御部1の作業領域として用いられる揮発性のメモリ(例えば、RAM(Random Access Memory))とを含む。上記各種のプログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよい。
表示部3は、例えば、液晶ディスプレイ、あるいは、ELディスプレイ(EL:Electro Luminescence)等により構成され、制御部1の制御に基づき、各種の画像を画面上に表示させる。表示部3は、情報処理装置10と一体的に形成されていてもよいし、情報処理装置10とは別体で形成されていてもよい(特に、情報処理装置10がPC、ゲーム機である場合)。
入力部4は、ユーザからの指示を入力して、ユーザの指示に応じた信号を制御部1へ出力する。入力部4は、例えば、キーボード、マウスなどを含み、また、表示部3上に設けられたタッチセンサなどを含む。なお、情報処理装置10がゲーム機や携帯ゲーム機である場合、入力部4は、ゲーム用コントローラであってもよい。また、情報処理装置10がテレビジョン装置である場合、入力部4は、テレビ用リモートコントローラであってもよい。
制御部1は、CPU(Central Processing Unit)等により構成される。制御部1は、記憶部2に記憶された各種のプログラムに基づき種々の演算を実行し、情報処理装置10の各部を統括的に制御する。
具体的には、制御部1は、元の画像データ11(第1の画像データ、図3参照)を解析して、元の画像データ11から幾何学的特徴を抽出する処理を実行する。また、制御部1は、抽出された幾何学的特徴を取得し、幾何学的特徴が反映された背景画像データ12(第2の画像データ、図3参照)を生成する。そして、制御部1は、元の画像データ11(対応画像データ:元の画像データそれ自体か、あるいは、解像度、サイズの変更、トリミング処理、色調整処理などの多少の変更が加えられた画像データ)と、背景画像データ12とを含むデザイン画像データ13(第3の画像データ、図3参照)を生成する処理を実行する。
元の画像データ11としては、例えば、楽曲のジャケットの画像データや、テレビ番組の一場面の画像データ、デジタルスチルカメラ(図示せず)によって撮像された画像データなどが挙げられる。なお、本実施形態においては、主に、元の画像データ11が楽曲のジャケットの画像データである場合について説明する。
通信部5は、ネットワーク上のサーバ装置、デジタルスチルカメラなどの他の装置と通信可能に構成されている。例えば、通信部5は、制御部1の指示に応じて、ネットワーク上のサーバ装置と通信を行い、サーバ装置から楽曲のジャケットの画像データや、テレビ番組の一場面の画像データを取得したり、これらの画像データと関連付けられた関連情報(メタデータ)を取得したりする。なお、元の画像データ11がテレビ番組の一場面である場合、テレビ番組を記録するレコーダに記憶された画像データ及び関連情報が用いられてもよい。
また、通信部5は、制御部1の指示に応じて、デジタルスチルカメラと通信を行い、デジタルスチルカメラによって撮像された画像データを取得したり、この画像データと関連付けられた関連情報(メタデータ)を取得したりする。なお、デジタルスチルカメラによって撮像された画像データがネットワーク上のサーバ装置に記憶されている場合には、通信部5は、ネットワーク上のサーバ装置から画像データ及び関連情報を取得してもよい。
ここで、関連情報とは、元の画像データ11が楽曲のジャケットの画像データである場合、楽曲名、アーティスト情報(アーティスト名、国籍等)、ジャンル情報(JAZZ、クラシック、ロック、メタル等)、テンポ情報(早い、遅い)、再生時間などである。
また、元の画像データ11がテレビ番組の一場面の画像データである場合、関連情報は、テレビ番組名、出演者名、放送日時などである。また、元の画像データ11がデジタルスチルカメラによって撮像された画像データである場合、関連情報は、撮影日時、撮影地、シャッタスピードなどである。
[動作説明]
次に、情報処理装置10の処理について説明する。図2は、元の画像データ11からデザイン画像データ13が生成されるときの処理を示すフローチャートである。図3は、元の画像データ11からデザイン画像データ13が生成されるときの様子を示す図である。図3では、楽曲のジャケットの画像データからデザイン画像データ13が生成されるときの様子が示されている。
なお、図2の説明においては、情報処理装置10は、サーバ装置、デジタルスチルカメラなどから通信部5を介して元の画像データ11及び関連情報を既に取得しており、この元の画像データ11及び関連情報が既に記憶部2に記憶されているものとして説明する。
まず、制御部1は、所定のタイミングで図2に示す処理を開始する。処理の開始タイミングとしては、各種のタイミングを採用することができるが、例えば、通信部5を介して元の画像データ11が取得されたタイミング、入力部4によってユーザからの指示が入力されたタイミングなどが挙げられる。
図2に示すように、処理が開始されると、まず、制御部1は、元の画像データ11を解析して、元の画像データ11から幾何学的特徴、色情報、顔情報、及びテキスト情報を抽出する(ステップ101)。ここで、幾何学的特徴とは、直線、円、円弧、多角形(直線の組み合わせ)などを意味する。なお、幾何学的特徴を抽出する手法として、例えば、ハフ変換が用いられる。
図3の左側の図には、元の画像データ11の一例が示されている。この図には、女性が楽器(クラリネット)を弾いている画像及び楽曲名を含むジャケットの画像データが一例として示されている。
図4は、幾何学的特徴を抽出するときの処理を示すフローチャートである。なお、図4では、幾何学的特徴として直線を抽出する場合の処理が示されている。
図4に示すように、まず、制御部1は、直線の抽出に用いられる閾値(t)を初期値(T_START)に設定する(ステップ201)。閾値(t)がこの値に設定されている状態で、制御部1は、ハフ変換を使用して元の画像データ11から直線を抽出する(ステップ202)。ハフ変換においては、前処理として元の画像データ11から特徴点が検出され、この特徴点に基づいて直線が抽出される。なお、上記前処理として、特徴点検出の代わりに、輪郭検出によるエッジの先鋭化の処理が実行されてもよい。
図3を参照して、図3の中央における左側の図には、検出された特徴点が黒丸で示されている。この図では、楽器(クラリネット)に対応する部分と、楽器を弾く手に対応する部分において、特徴点が検出された場合の一例が示されている。なお、この図では、説明の便宜のため、検出された特徴点のうち、一部の特徴点のみを表示している。
また、図3の中央における右側の図には、ハフ変換において抽出された直線が示されている。この図では、楽器(クラリネット)の位置に応じた位置に、楽器(クラリネット)の傾斜に対応する角度で2本の直線が抽出された場合の一例が示されている。
再び図4を参照して、直線を抽出すると、次に、制御部1は、直線の抽出における現在の試行回数(k)が、試行回数の最大値(K_MAX)に達したかどうかを判定する(ステップ203)。現在の試行回数(k)が試行回数の最大値(K_MAX)に達している場合(ステップ203のYES)、制御部1は、ステップ210へ進む。
一方、現在の試行回数(k)が試行回数の最大値(K_MAX)に達してない場合(ステップ203のNO)、制御部1は、ステップ204へ進む。ステップ204では、制御部1は、抽出された直線の数(n)が、抽出すべき直線の数の最小値(N_MIN:例えば、2本)よりも大きく、かつ、抽出すべき直線の数の最大値(N_MAX:例えば、10本)よりも小さいかを判定する。すなわち、制御部1は、抽出された直線の数(n)が、予め設定されている数の範囲内であるかどうかを判定する。
なお、抽出すべき直線の数の範囲(つまり、N_MIN及びN_MAXの値)は、入力部4を介してユーザにより入力された値に基づいて決定されてもよいし、元の画像データ11から抽出された、幾何学的特徴とは異なる特徴に基づいて決定されてもよい。ここで、幾何学的特徴とは異なる特徴とは、元の画像データ11における空間周波数、色分布などを意味する。
抽出すべき直線の数の範囲(つまり、N_MIN及びN_MAXの値)が、空間周波数、色分布などにより決定される場合、制御部1は、ステップ204が実行される前の時点において、元の画像データ11を解析して、元の画像データ11から空間周波数、色分布を検出しておく。
そして、制御部1は、空間周波数が高くなるほど、N_MIN及びN_MAXの値が高くなるように、N_MIN及びN_MAXの値を設定する。また、制御部1は、色分布が複雑になるほど、N_MIN及びN_MAXの値が高くなるように、N_MIN及びN_MAXの値を設定する。なお、空間周波数及び色分布は、両方用いられてもよいし、いずれか一方が用いられてもよい。
あるいは、抽出すべき直線の数の範囲(つまり、N_MIN及びN_MAXの値)は、元の画像データ11に関連する関連情報(メタデータ)のうち、所定の関連情報に基づいて決定されてもよい。この場合、例えば、制御部1は、ジャンル情報(JAZZ、クラシック、ロック、メタル等)、テンポ情報(早い、遅い)に基づいて、抽出すべき直線の数の範囲を決定する。
ここで、楽曲のジャケットの画像データは、ジャンルがJAZZやクラシックである場合に比べて、ジャンルがロックやメタルである場合の方が、そのデザインが複雑であるといった傾向がある。同様に、楽曲のジャケットの画像データは、テンポが遅い場合に比べて、テンポが速い方が、そのデザインが複雑であるといった傾向がある。従って、この関係が利用されて、抽出すべき直線の数の範囲が決定される。
この場合、制御部1は、ジャンルがロックやメタルである場合、ジャンルがJAZZやクラシックである場合よりも、N_MIN及びN_MAXの値が高くなるように、N_MIN及びN_MAXの値を設定する。また、制御部1は、テンポが速くなるほど、N_MIN及びN_MAXの値が高くなるように、N_MIN及びN_MAXの値を設定する。なお、ジャンル情報とテンポ情報は、両方用いられてもよいし、いずれか一方が用いられてもよい。
なお、抽出すべき直線の数の範囲は、幾何学的特徴とは異なる特徴(空間周波数、色分布)及び所定の関連情報(ジャンル情報、テンポ情報)の両方を用いて決定されてもよい。
このような処理により、元の画像データ11から適切な数の幾何学的特徴を抽出することができる。
また、ここでの説明では、抽出すべき直線の数の範囲が、幾何学的特徴とは異なる特徴(空間周波数、色分布)及び所定の関連情報(ジャンル情報、テンポ情報)のうち少なくとも一方に基づいて決定される場合について説明した。一方、抽出すべき直線の数の範囲ではなく、抽出すべき直線の数が、幾何学的特徴とは異なる特徴(空間周波数、色分布)及び所定の関連情報(ジャンル情報、テンポ情報)のうち少なくとも一方に基づいて決定されてもよい。
ステップ204において、抽出された直線の数(n)が予め設定されている数の範囲内である場合(ステップ204のYES)、制御部1は、次のステップ210へ進む。一方、抽出された直線の数(n)が予め設定されている数の範囲内ではない場合(ステップ204のNO)、制御部1は、抽出された直線の数(n)が、抽出すべき直線の数の最小値(N_MIN)よりも小さいかどうかを判定する(ステップ205)。
抽出された直線の数(n)が、抽出すべき直線の数の最小値(N_MIN)よりも小さい場合(ステップ205のYES)、制御部1は、現在の閾値(t)を所定量(Δt)下降させる(ステップ206)。一方、ステップ205における判定が否定的である場合(ステップ205のNO)、つまり、抽出された直線の数(n)が、抽出すべき直線の数の最大値(N_MAX)よりも大きい場合、制御部1は、現在の閾値(t)を所定量(Δt)上昇させる(ステップ207)。
閾値(t)が所定量(Δt)下降又は上昇されると、次に、制御部1は、閾値(t)が、閾値の最小値(T_MIN)よりも大きく、かつ、閾値の最大値(T_MAX)よりも小さいかを判定する(ステップ208)。すなわち、制御部1は、閾値(t)が、予め設定されている閾値の範囲内であるかどうかを判定する。
閾値(t)が、予め設定されている閾値の範囲内ではない場合(ステップ208のNO)、制御部1は、ステップ210へ進む。一方、閾値(t)が、予め設定されている閾値の範囲内である場合(ステップ208のYES)、制御部1は、閾値の変化量(Δt)を設定する(ステップ209)。
なお、閾値の変化量(Δt)は、以下のようして設定される。まず、制御部1は、前回の試行において、直線の数(n)がN_MINよりも小さく、かつ、今回の試行において、直線の数(n)がN_MINよりも小さかった場合、今回の閾値の変化量(Δt)を前回の閾値の変化量と同じ値(あるいは、前回よりも大きな値)に設定する。
同様に、制御部1は、前回の試行において、直線の数(n)がN_MAXよりも大きく、かつ、今回の試行において、直線の数(n)がN_MAXよりも大きかった場合、今回の閾値の変化量(Δt)を前回の閾値の変化量と同じ値(あるいは、前回よりも大きな値)に設定する。
なお、最初の閾値の変化量(Δt)は、ある程度大きな値に設定されている。
また、制御部1は、前回の試行において、直線の数(n)がN_MINよりも小さく、かつ、今回の試行において、直線の数(n)がN_MAXよりも大きかった場合、今回の閾値の変化量(Δt)を前回の閾値の変化量よりも小さな値に設定する。
同様に、制御部1は、前回の試行において、直線の数(n)がN_MAXよりも大きく、かつ、今回の試行において、直線の数(n)がN_MINよりも小さかった場合、今回の閾値の変化量(Δt)を前回の閾値の変化量よりも小さな値に設定する。
このような処理により、直線の数(n)を、抽出すべき直線の数の範囲内に素早く収束させることができる。
上述のように、現在の試行回数(k)が試行回数の最大値(K_MAX)に達している場合(ステップ203のYES)、抽出された直線の数(n)が予め設定されている数の範囲内である場合(ステップ204のYES)、閾値(t)が、予め設定されている閾値の範囲内ではない場合(ステップ208のNO)、制御部1は、ステップ210へ進む。
ステップ210では、制御部1は、抽出された直線を取得し、この直線に対して優先度を決定する処理を実行する。この優先度を決定するとき、以下の指標が用いられる。
(1)画像の中心からその直線までの距離
画像の中心からの距離が近くなるほど優先度が高くなる。
(2)直線の傾き
垂直及び水平な直線よりも、傾いている直線の方が優先度が高くなる。
(3)他の直線との類似度
類似度は、直線の傾きなどによって判断される。類似する複数の直線が存在する場合(例えば、複数の垂直線が存在する場合)には、1つの直線の優先度を高くし、それ以外の直線は優先度を低くする。
(4)顔や、文字などの特徴的な領域との交差
顔や、文字などの特徴的な領域と交差する直線は優先度を低くする。
優先度を決定する処理においては、制御部1は、(1)〜(4)のすべてを用いて優先度を決定してもよいし、(1)〜(4)のうち、一部を用いて優先度を決定してもよい。
図4では、元の画像データ11から直線を抽出する場合について説明したが、円、円弧、多角形(直線の組み合わせ)においても同様の処理によってこれらを抽出することが可能である。
再び図2を参照して、ステップ101では、元の画像データ11を解析することによって、幾何学的特徴だけでなく、色情報も抽出する。色情報は、元の画像データ11において使用されているすべての色が抽出されてもよいし、一部の色が抽出されてもよい。一部の色が抽出される場合、色の面積が大きいほどその色の優先度が高くなるようにその優先度が設定される。また、黒、白、グレーなどの無彩色については、有彩色と比べて優先度が低くなるように優先度が設定される。
図3の中央の図では、元の画像データ11における背景の色(例えば、青)と、女性が着ている洋服の色(例えば、赤)と、クラリネットの色(例えば、茶色)との3つの色が抽出された場合の一例が示されている。
再び図2を参照して、ステップ101では、制御部1は、元の画像データ11から、幾何学的特徴、色情報の他に、顔情報や、テキスト情報なども抽出する。なお、顔情報とは、顔の領域情報や、顔の中心位置の情報などであり、テキスト情報とは、テキストの文字情報(図3に示す例では"楽曲名")や、テキストの領域情報、テキストの中心位置の情報などである。
元の画像データ11の解析が終了すると、次に、制御部1は、所定の枠内において、元の画像データ(対応画像データ)11を配置すべき位置を判定する(ステップ102)。図5は、元の画像データ11が所定の枠内に配置されるときの様子を示す図である。図5の上側には、枠内において、元の画像データ11の他に、テキストデータが配置されるときの様子が示されている。一方、図5の下側の図には、枠内において、元の画像データ11のみが配置されるときの様子が示されている。
図5に示す例では、枠が矩形である場合が示されているが、枠の形状(第2の領域の形状)は矩形に限られない。例えば、枠の形状は、円形、楕円形、三角形、5角形以上の多角形などであってもよい。
なお、本実施形態の説明では、枠内において、元の画像データ11が配置される領域を第1の領域A1と呼び、それ以外の領域である、背景画像データ12が配置される領域を第2の領域A2と呼ぶ。
ステップ102では、まず、制御部1は、元の画像データ11における重心位置を判断する。重心位置の判断においては、顔の領域情報、顔の中心位置の情報、テキストの領域情報、テキストの中心位置の情報、及び特徴点の位置情報(図3、中央の左側の図における黒丸参照)のうち少なくとも1つ以上が用いられる。
図5に示す例では、元の画像データ11における重心位置が白丸で示されている。重心位置を判断すると、制御部1は、重心位置の情報を取得してその情報に基づいて、枠内において元の画像データ11を配置すべき位置を判定する(すなわち、第1の領域A1及び第2の領域A2の位置を決定する)。
図5の上側に示すように、枠内において、元の画像データ11と、テキストデータとを配置する場合、制御部1は、元の画像データ11内において重心位置が偏っている側(枠内の左側)に元の画像データ11を配置する。そして、制御部1は、枠内において元の画像データ11が配置された側とは反対側にテキストデータを配置する(つまり、第2の領域A2内における所定の領域にテキストデータを配置する)。
また、図5の下側に示すように、枠内において、元の画像データ11のみを配置する場合、制御部1は、元の画像データ11内において重心位置が偏っている側とは反対側(枠内の右側)に元の画像データ11を配置する。
これにより、視覚的なバランスがとれ、最終的に生成されるデザイン画像データ13のデザイン性が向上する。
なお、テキストデータとして枠内に配置されるデータは、元の画像データ11に関連する関連情報(メタデータ)のうち、所定の関連情報である。例えば、枠内に配置されるテキストデータは、元の画像データ11が楽曲のジャケットの画像データである場合、楽曲名、アーティスト名、ジャンル名などである。
また、画像データがテレビ番組の一場面の画像データである場合、枠内に配置されるテキストデータは、番組名、出演者名、放送日時などである。また、画像データがデジタルスチルカメラによって撮像された画像データである場合、枠内に配置されるテキストデータは、撮影日時、撮影地などである。
なお、図3に示す例では、テキストデータとして、楽曲名が用いられる場合が示されている。
再び図2を参照して、元の画像データ11(及びテキストデータ)を配置すべき位置を決定すると、次に、制御部1は、元の画像データ11における幾何学的特徴が反映された背景画像データ12を生成して、元の画像データ(対応画像データ)11と、背景画像データ12とを含むデザイン画像データ13を生成する(ステップ103)。
ステップ103では、まず、制御部1は、元の画像データ11から抽出された複数の直線から、背景画像データ12に反映させるべき所定数の直線を選び出す。このとき、制御部1は、優先度の高い直線を優先的に選び出す処理を実行する。
背景画像データ12に反映させるべき直線の数(選び出される直線の数)は、入力部4を介してユーザにより入力された値に基づいて決定されてもよいし、元の画像データ11から抽出された、幾何学的特徴とは異なる特徴(空間周波数、色分布)に基づいて決定されてもよい。
背景画像データ12に反映させるべき直線の数が、空間周波数、色分布などにより決定される場合、制御部1は、空間周波数が高くなるほど、背景画像データ12に反映させるべき直線の数が多くなるように、直線の数を設定する。また、制御部1は、色分布が複雑になるほど、背景画像データ12に反映させるべき直線の数が多くなるように、直線の数を設定する。なお、空間周波数及び色分布は、両方用いられてもよいし、いずれか一方が用いられてもよい。
あるいは、背景画像データ12に反映させるべき直線の数は、元画像データに関連する関連情報(メタデータ)のうち、所定の関連情報に基づいて決定されてもよい。この場合、例えば、制御部1は、ジャンル情報(JAZZ、クラシック、ロック、メタル等)、テンポ情報(早い、遅い)に基づいて、背景画像データ12に反映させるべき直線の数を決定する。
この場合、制御部1は、ジャンルがロックやメタルである場合、ジャンルがJAZZやクラシックである場合よりも、反映させるべき直線の数が多くなるように、直線の数を設定する。また、制御部1は、テンポが速くなるほど、反映させるべき直線の数が多くなるように、直線の数を設定する。なお、ジャンル情報とテンポ情報は、両方用いられてもよいし、いずれか一方が用いられてもよい。
なお、背景画像データ12に反映させるべき直線の数は、幾何学的特徴とは異なる特徴(空間周波数、色分布)及び所定の関連情報(ジャンル情報、テンポ情報)の両方を用いて決定されてもよい。
このような処理により、適切な数の幾何学的特徴を背景画像データ12に反映させることができる。
直線を選び出すと、次に、制御部1は、その直線を第2の領域A2の全体に延長させる処理を実行する。図3の右側の図では、2本の直線が第2の領域A2に延長された場合の一例が示されている。このようにして、元の画像データ11の幾何学的特徴が反映された背景画像データ12が生成される。
直線を背景画像データ12に反映させると、次に、制御部1は、元の画像データ11から抽出された色情報を取得し、この情報に基づいて、直線によって区分された領域を塗りつぶす処理を実行する。すなわち、制御部1は、元の画像データ11の色を背景画像データ12に反映させる処理を実行する。
図3の右側の図に示す例では、2本の直線によって挟まれた2つの狭い領域が、クラリネットの色(茶色)で塗りつぶされた場合の一例が示されている。また、この例では、残った2つの領域のうち、一方の領域が、女性が着ている服の色(赤)で塗りつぶされ、他方の領域が元の画像データ11の背景の色(青)で塗りつぶされた場合の一例が示されている。
なお、どの領域に対してどの色を用いるかについては、ランダムに決定されてもよいし、元の画像データ11における色を考慮して決定されてもよい。例えば、元の画像データ11で最も多くの領域で使用されている色を第2の領域A2におけるもっとも広い領域に使用してもよい。なお、直線に挟まれた領域だけでなく、直線の輪郭に対して、元の画像データ11から抽出された色を使用してもよい(円、円弧においても同様)。
以上のような処理によって、元の画像データ11及び背景画像データ12を含むデザイン画像データ13が生成される。なお、図3の右側の図に示すデザイン画像データ13は、例えば、音楽の再生時において表示部3の画面上に表示される再生画像として用いられる。
ここで、元の画像データ11から幾何学的特徴として、円、円弧、円と直線の組み合わせが抽出され、その幾何学的特徴が背景画像データ12に反映される場合について説明する。図6は、これを説明するための図である。
図6の上側を参照して、元の画像データ11から幾何学的特徴として、円が抽出された場合、第2の領域A2において、制御部1は、円の大きさを維持したまま、円を所定の間隔で配置する。
図6の中央を参照して、元の画像データ11から幾何学的特徴として円弧が抽出された場合、第2の領域A2において円弧を延長させて円弧の残りの部分を補い、全体として円となるようにする。
図6の下側を参照して、元の画像データ11から幾何学的特徴として円と直線が抽出された場合、まず、制御部1は、第2の領域A2において直線を延長させる。そして、制御部1は、第2の領域A2において、直線の傾きに応じた角度で所定の間隔毎に円を配置する。
[作用等]
以上説明したように、本実施形態に係る情報処理装置10では、元の画像データ11の幾何学的特徴が反映された背景画像データ12を生成して、元の画像データ(対応画像データ)11及び背景画像データ12を含むデザイン画像データ13を生成することができる。デザイン画像データ13は、第2の領域A2における背景画像データ12において、元の画像データ11の幾何学的特徴が反映されているので、全体として統一感のあるデザイン性の高い画像となる。
また、本実施形態に係る情報処理装置10では、元の画像データ11の幾何学的特徴だけでなく、元の画像データ11における色も背景画像データ12に反映されるため、デザイン画像データ13のデザイン性をさらに向上させることができる。
また、本実施形態に係る情報処理装置10では、背景画像データ12の領域(第2の領域A2)において、テキストデータが配置される。これにより、デザイン性を向上させることができるだけでなく、有用な情報をユーザに提供することもできる。
[各種変形例]
ここで、テキストデータが背景画像データ12の領域内に配置される場合、制御部1は、背景画像データ12内における幾何学的特徴の位置に基づいて、背景画像データ12内におけるテキストデータの位置を決定してもよい。図7は、これを説明するための図である。
図7に示す例では、2本の直線が第2の領域A2に延長された場合の一例が示されている。そして、この例では、2本の直線のうち、一方の直線の上方においてこの直線に沿って(直線の傾きに合わせて)テキストデータが配置される場合の一例が示されている。この例では、直線の位置に合わせてテキストデータの位置が決定される場合が示されているが、円や、円弧の位置に合わせてテキストデータの位置が決定されてもよい。
上述の例では、元の画像データ11から抽出された幾何学的特徴は、背景画像データ12にのみ反映され、この幾何学的特徴は元の画像データ(対応画像データ)11には反映されない場合について説明した。一方、幾何学的特徴が元の画像データ(対応画像データ)11においても反映されてもよい。これにより、デザイン画像データ13のデザイン性をさらに向上させることができる。
図8は、幾何学的特徴が元の画像データ11にも反映された場合の一例を示す図である。図8に示す例では、元の画像データ11から2本の直線が抽出され、この2本の直線が元の画像データ11に上書きされた場合の一例が示されている。なお、図8に示す例では、上書きされる2本の直線について、元の画像データ11から検出された色が使用された場合の一例が示されている。
ここで、例えば、楽曲のジャケットの画像データや、テレビ番組の一場面の画像データに対して上述のような上書き(加工)を行ってしまうと、著作権における同一性保持権などの観点から問題となる場合も想定される。
この問題を解消するため、制御部1は、元の画像データ11に関連する関連情報(メタデータ)として加工禁止/許可情報を取得し、加工禁止/許可情報に基づいて、幾何学的特徴を元の第1の画像データに反映させるかどうかを判断してもよい。この場合、制御部1は、加工が許可されている場合に限り、上述のような上書き(加工)を行う。
また、制御部1は、元の画像データ11内に、背景画像データ12において反映させるべきテキストデータが含まれているかどうかを判断し、元の画像データ11内にテキストデータが含まれているかどうかに応じて、背景画像データ12におけるテキストデータの大きさを変更してもよい。
例えば、制御部1は、元の画像データ11を解析したときにテキスト情報(テキストの文字情報)が取得された場合、このテキスト情報と、背景画像データ12に反映させるべきテキストデータ(関連情報から取得される)とを比較する。これらが一致する場合、制御部1は、背景画像データ12に反映させるべきテキストデータのサイズを相対的に小さくする。あるいは、この場合、制御部1は、テキストデータを背景画像データ12に配置しない。
図9の上側の図においては、背景画像データ12におけるテキストデータのサイズが小さくされた場合の一例が示されている。
また、元の画像データ11から取得されたテキスト情報と、背景画像データ12に反映させるべきテキストデータ(関連情報から取得される)とが一致しない場合、あるいは、元の画像データ11がテキスト情報を含まず、テキスト情報を取得することができなかった場合、制御部1は、背景画像データ12に反映させるべきテキストデータのサイズを相対的に大きくする。
図9の下側の図においては、背景画像データ12におけるテキストデータのサイズが大きくされた場合の一例が示されている。
以上の説明では、背景画像データ12に反映させるべきテキストデータが関連情報から取得される場合について説明したが、このテキストデータは、元の画像データ11から抽出されてもよい。
以上の説明では、背景画像データ12の領域(第2の領域A2)が、元の画像データ11が配置される領域(第1の領域A1)の周囲の領域である場合について説明した。一方、第2の領域A2は、第1の領域A1の周囲の領域に限られない。例えば、第1の領域A1及び第2の領域A2は、縦方向や横方向に隣接する領域であっても構わない。
以上の説明では、元の画像データ11を解析して元の画像データ11から幾何学的特徴を抽出する処理と、背景画像データ12を生成して、元の画像データ(対応画像データ)11及び背景画像データ12を含むデザイン画像データ13を生成する処理とが同じ装置によって実行される場合について説明した。一方、これらの処理が別々の装置によって実行されてもよい。すなわち、元の画像データ11を解析して幾何学的特徴を抽出(あるいは、色、重心位置の情報などを抽出)する解析装置と、この情報を取得してデザイン画像データ13を生成する生成装置とを含む情報処理システムによって本技術が実現されてもよい。
[他の実施形態]
次に、本技術に係る他の実施形態について説明する。
上述の実施形態では、生成されたデザイン画像データ13が情報処理装置10の表示部3(液晶ディスプレイやELディスプレイ)に表示される例が示されたが、デザイン画像データ13は、プロジェクタによってテーブル、床、壁、天井等の実在の面に投影されてもよい。この場合、幾何学的特徴の抽出対象となる元の画像データ11としては、予め記憶部2に記憶された画像データの代わりに、実在する(例えばテーブル上に載置された)オブジェクトを撮像するカメラからの入力画像が用いられてもよい。また投影面は平面でなくてもよく、例えば曲面等であっても構わない。
すなわち、本実施形態では、画像解析に基づき色成分、図形成分を抽出することで一貫性のある周辺画像を自動生成する技術を、カメラからの入力画像およびプロジェクタからの出力画像を用いて実世界に展開する。以下、本実施形態に係る情報処理システムの構成及び動作について説明する。
(情報処理システムのハードウェア構成)
図10は、本実施形態に係る情報処理装置システムの構成を示した図である。ここでシステムとは、所定の処理を実行するための構成のことを意味していてよく、システム全体として1つの装置とみなすこともできるし、複数の装置によってシステムが構成されているとみなすこともできる。図10に示す本実施形態に係る情報処理システムも、情報処理システム全体として所定の処理(例えば図11に示す機能構成によって実現される処理)を実行可能に構成されていればよく、情報処理システム内のどの構成を1つの装置とみなすかは任意であってよい。
同図に示すように、本実施形態の情報処理装置システム100は、入力部110と、出力部130とを含む。当該情報処理システム100は、テーブル140の天面に情報を投影し、テーブル140に投影された情報に対して情報処理システム100を使用するユーザに操作をさせるシステムである。
入力部110は、情報処理システム100を使用するユーザの操作内容や、テーブル140に置かれているオブジェクトの形状や模様などを入力する装置である。同図の例では、図10に示した例では、入力部110は、テーブル140の上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部110は、情報が表示される対象となるテーブル140とは隔離して設けられる。入力部110としては、例えばレンズでテーブル140を撮像するカメラはや、2つのレンズでテーブル140を撮像して奥行き方向の情報を記録することが可能なステレオカメラ、情報処理システム100を使用するユーザが発する音声や情報処理システム100が置かれている環境の環境音を収音するためのマイク等が用いられ得る。
入力部110として、1つのレンズでテーブル140を撮像するカメラが用いられる場合、情報処理システム100は、そのカメラが撮像した画像を解析することで、テーブル140に置かれた物体を検出することができる。また入力部110としてステレオカメラが用いられる場合、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が用いられ得る。入力部110としてステレオカメラが用いられることで、入力部110は、深度情報を取得することが可能となる。入力部110が深度情報を取得することで、情報処理システム100は、例えばテーブル140の上に置かれたオブジェクトOの三次元形状を検出することが可能となる。すなわち、この場合入力部110は深度センサとしても機能する。
ここでオブジェクトOとは、様々なものが想定されるが、例えば、携帯電話、CD(ジャケットケース入りの)、本、プリント写真等である。
また入力部110としてマイクが用いられる場合、そのマイクとしては特定の方向の音声を収音するためのマイクアレイが用いられ得る。入力部110としてマイクアレイが用いられる場合、情報処理システム110は、マイクアレイの収音方向を任意の方向に調整してもよい。
出力部130は、入力部110によって入力された、情報処理システム100を使用するユーザの操作内容や、出力部130が出力している情報の内容、テーブル140に置かれている物体の形状や模様等の情報に応じて、テーブル140に情報を表示したり、音声を出力したりする装置である。出力部130としては、例えばプロジェクタやスピーカ等が用いられる。図10に示した例では、出力部130は、テーブル140の上方に、例えば天井から吊り下げられた状態で設けられる。出力部130がプロジェクタで構成される場合、出力部130は、テーブル140の天面に情報を投影する。出力部130がスピーカで構成される場合、出力部130は、音声信号に基づいて音声を出力する。出力部130がスピーカで構成される場合、スピーカの数は1つであってもよく、複数であってもよい。出力部130がスピーカで構成される場合、情報処理システム100は、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしてもよい。
また出力部130には、照明機器が含まれていてもよい。出力部130に照明機器が含まれる場合、情報処理システム100は、入力部110によって入力された情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御してもよい。
情報処理システム100を使用するユーザは、出力部130がテーブル140に表示する情報に対して、指などをテーブル140に置いて操作することができる。またユーザは、テーブル140にオブジェクトを置いて入力部110に認識させることで、その認識させた物体に関する種々の操作を実行することができる。
図10には図示しないが、情報処理システム100には他の装置が接続されていてもよい。例えば、情報処理システム100には、テーブル140を照らすための照明機器が接続されていてもよい。情報処理システム100は、表示画面の状態に応じて当該照明機器の点灯状態を制御してもよい。
(情報処理システムの機能構成)
図11は、本実施形態に係る情報処理システムの機能構成例を示した図である。
同図に示すように、情報処理システム100は、入力部110と、制御部120と、出力部130を含む。
入力部110は、情報処理システム100を使用するユーザの情報処理システム100に対する操作内容や、出力部130が情報を出力する面(例えば図10のテーブル140)に置かれているオブジェクトの形状や模様などを入力する。情報処理システム100を使用するユーザの情報処理システム100に対する操作内容には、情報処理システム100が情報の表示面に出力するGUI(Graphical User Interface)に対する操作内容を含む。入力部110が入力した、情報処理システム100に対する操作内容、物体の形状、模様等の情報は、制御部120に送られる。
入力部110は、例えば1つのレンズで構成されるカメラ、2つのレンズで構成されるステレオカメラ、マイク等で構成され得る。
制御部120は、情報処理システム100の各部を制御する。例えば制御部120は、入力部110が入力した情報を用いて、出力部130から出力する情報を生成する。同図に示すように、制御部120は、検出部121と、出力制御部122を含む。検出部121は、情報処理システム100のユーザの、情報処理システム100に対する操作内容や、出力部130が出力している情報の内容、及び出力部130が情報を出力する面(例えばテーブル140)に置かれているオブジェクトOの形状や模様等を検出する。検出部121が検出した内容は出力制御部122に送られる。出力制御部122は、検出部121が検出した内容に基づいて、出力部130から出力する情報を生成する。出力制御部122が生成した情報は出力部130に送られる。
例えば、情報の表示面における第1の領域A1の座標と、当該表示面上で検出されたオブジェクトOの座標とが一致するように予め校正されることで、出力制御部122は、オブジェクトOがデザイン画像データ13において第1の領域A1に位置し、その周囲に背景画像データ12が投影されるように、デザイン画像データ13を生成することができる。
制御部120は、例えばCPU等で構成されてもよい。制御部120がCPU等の装置で構成される場合、かかる装置は電子回路として構成され得る。
また図示しないが、制御部120は、他の装置との間で無線通信を行うための通信機能や、情報処理システム100に接続される他の装置、例えば照明機器の動作を制御する機能を有していてもよい。
出力部130は、入力部110によって入力された、情報処理システム100のユーザの操作内容や、出力部130が出力している情報の内容、また出力部130が情報を出力する面(例えばテーブル140)に置かれているオブジェクトOの形状や模様等の情報に応じて情報を出力する。出力部130は、出力制御部122が生成する情報に基づいて情報を出力する。出力部130が出力する情報には、情報の表示面に表示される情報や、スピーカ等から出力される音声等が含まれる。
図11に示した情報処理システム100は、単独の装置として構成されてもよく、一部または全部が別々の装置で構成されてもよい。例えば、図11に示した情報処理システム100のうち、制御部120が、入力部110及び出力部130とネットワーク等で接続されたサーバ等の装置に備えられていてもよい。制御部120がサーバ等の装置に備えられる場合は、入力部110からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部120が入力部110からの情報を処理し、当該サーバ等の装置から、出力部130が出力するための情報がネットワーク等を通じて出力部130に送られる。
(デザイン画像データの投影例)
図12及び図13は、本実施形態において情報処理システム100によってテーブル140等に投影されるデザイン画像データ13の例を示した図である。
本実施形態では、投影されるデザイン画像データ13のうち第1の領域A1は、上記オブジェクトOの面積に合致するように生成され、当該第1の領域A1には、元の画像データ11は投影されずにブランク領域とされてもよい。換言すると、本実施形態では、元の画像データ11から背景画像データ12が生成され、デザイン画像データ13として背景画像データ12のみが投影されてもよい。
図12に示すように、オブジェクトOが例えばCDのジャケット付ケースである場合、上述の実施形態と同様に、当該ケースのCDジャケットの画像から幾何学的特徴等が抽出され、それを反映した背景画像データ12が生成され、テーブル140上の当該オブジェクトOの周囲に投影される。同図の例では、ジャケット画像から横方向及び斜め方向の線が抽出され、それらの特徴を基に、当該各線を延長したような線を有する背景画像データ12がオブジェクトOの周囲に投影されている。
図13に示すように、オブジェクトOが例えばプリント写真である場合も、当該プリント写真から抽出された幾何学的特徴を反映した背景画像データ12が生成され、当該オブジェクトOの周囲に投影される。同図の例では、プリント写真から円が抽出され、その特徴を基に当該プリント写真上の円の両隣に並ぶような2つの円を有する背景画像データ12がテーブル140上のオブジェクトOの周囲に投影されている。
図12及び図13では、デザイン画像データ13がテーブル140に投影される例が示されたが、デザイン画像データ13が投影される面は、床、壁(床に垂直な面)、天井等であっても構わない。
(情報処理システムの動作概要)
次に、本実施形態の情報処理システムの動作について説明する。
図14は、当該情報処理システムの動作の流れを示したフローチャートである。
同図に示すように、情報処理システム100の制御部120はまず、カメラの入力画像からオブジェクトOを検出する(ステップ141)。具体的には、制御部120は、予め撮影して記憶しておいたテーブル140等の背景画像と、入力部110(カメラ)の入力画像とを比較して背景差分処理を実行し、オブジェクトOの領域を輪郭として検出する。
続いて制御部120は、上記オブジェクトOを検出した入力画像から、オブジェクトOの画像を取得する(ステップ142)。
続いて制御部120は、上記取得したオブジェクトOの画像を解析して、幾何学的特徴及び色情報を抽出する(ステップ143)。この抽出処理は上述の実施形態における処理と同様である。
続いて制御部120は、上記抽出した幾何学的特徴及び色情報を基に、デザイン画像データ13を生成する(ステップ144)。このデザイン画像データ13は、例えば上記検出されたオブジェクトOの領域(第1の領域A1)をブランク(黒色)としてその周囲に背景画像データ12を配置したものである。背景画像データ12が、例えばオブジェクトOの画像上の幾何学的特徴から延長されたような図形や直線等である場合、オブジェクトO上の模様等と背景画像データ12との連続性が担保されるように、上記第1の領域A1は、オブジェクトOが存在する領域の形状及び面積に合致するように生成され、背景画像データ12は、当該第1の領域A1の縁部(第2の領域A2との境界)からその周囲に生成される。
そして制御部120は、出力部130により、上記生成したデザイン画像データ13を、テーブル140等に存在するオブジェクトOの領域が上記ブランク領域と重なるように位置合わせした上で、オブジェクトOの周囲に投影する(ステップ145)。
(投影制御の具体例1:オブジェクト上での強調表示)
上述の例では、デザイン画像データ13として、検出されたオブジェクトOに対応する領域(第1の領域A1)がブランク(黒色)とされたデータが出力される例が説明された。しかし、デザイン画像データ13のうちオブジェクトOに対応する領域にも何らかの画像データが投影されてもよい。
例えば、オブジェクトOから検出され背景画像データ12の生成に用いられた幾何学的特徴(図形や線)が、オブジェクトO上で強調表示されるように、デザイン画像データ13のうちオブジェクトOに対応する領域に画像が生成され、オブジェクトO上の幾何学的特徴に重なるように投影されてもよい。
図15は、そのような強調表示の例を示した図である。
同図左側の図は、オブジェクトOに対応する領域がブランクとされ、その周囲の背景画像データ12のみを有するデザイン画像データ13の例を示している。この図の例では、オブジェクトOは本であり、その表紙には、アルファベットが2段で斜め方向に印刷されている。制御部120は、当該アルファベットの斜め方向を検出して、それに対応する斜め方向の直線を含む背景画像データ12と、オブジェクトOの領域に対応するブランク領域とを含むデザイン画像データ13を生成して、オブジェクトOから上記直線が連続的に表示されるようにデザイン画像データ13を投影する。
一方、同図右側の図は、オブジェクトOに対応する領域においても画像を有するデザイン画像データ13の例を示している。同図に示すように、オブジェクトOに対応する領域においては、上記背景画像データ12が有する斜め方向の直線と重なる直線を有する画像データが生成され、当該画像データと背景画像データ12とが合成されたデザイン画像データ13が投影される。
ここで、オブジェクトOの領域に投影される画像データ中の直線は、オブジェクトOの色に応じて適宜変更されてもよい。例えば机140の色が白色系である場合、背景画像データ12における斜めの直線は黒色系とされる一方で、オブジェクトO(本の表紙)の色が黒色系である場合、オブジェクトOに対応する領域の画像における斜めの直線は白色系とされてもよい。
このように、オブジェクトOに対応する領域においても、当該オブジェクトOから検出された幾何学的特徴を強調するような画像が生成されオブジェクトOに重畳投影されることで、オブジェクトOからどのような幾何学的特徴が認識されているのかがユーザにとって明確となる。
また、検出されたオブジェクトOの画像が、例えばCDジャケット画像のようなコピー可能な画像である場合、制御部120は、入力部110から取得したオブジェクトOの画像と同一であって高画質の画像を、情報処理システム100内または外部ネットワーク上のデータベースから検索して、当該画像をオブジェクトOの領域に配置した上で背景画像データ12と合成してデザイン画像データ13を生成してオブジェクトO上に重畳投影してもよい。
(投影制御の具体例2:オブジェクトの高さ/厚さに応じた表現)
上述の例において、オブジェクトOがある程度の高さ/厚みを有する場合には、制御部120は、デザイン画像データ13において、オブジェクトOから抽出された幾何学的特徴を反映した図形や線と併せて、その影(のように見える図形や線)を投影することで、ユーザにとって当該図形がオブジェクトOと同じ高さにあるかのように見える表現を提供することも可能である。
この場合制御部120は、オブジェクトOの検出時に、入力部110としての上記ステレオカメラ(深度センサ)等によってオブジェクトOの高さ/厚みも検出し、当該高さ/厚みに応じて、影のオフセット量を調整する。
図16は、そのような影図形を含むデザイン画像データ13の例を示した図である。
同図Aは、比較的厚み(高さ)が小さいオブジェクトO上に投影される、影を含むデザイン画像データ13の例を示し、同図Bは、比較的厚み(高さ)が大きいオブジェクトO上に投影される、影を含むデザイン画像データ13の例を示す。
これらの図に示すように、両図においてオブジェクトOの表面が有する幾何学的特徴(名斜めに記載されたアルファベット)を反映した斜めの直線を有するデザイン画像データ13が投影される点は共通する。しかし、同図Aのデザイン画像データ13に比べて、同図Bのデザイン画像データにおいては、直線と、その下方に投影される影線Sとの距離が大きくなっていることが分かる。この両図におけるデザイン画像データ13中の直線と影線Sとの距離が、オブジェクトOの高さ/厚みを反映しているため、この距離によってユーザはオブジェクトOの高さ/厚みを把握することができる。
(投影制御の具体例3:複雑な立体物への投影例)
上述の例において、検出されたオブジェクトOが比較的複雑な形状の立体物である場合、制御部120は、投影面に対して垂直方向から撮影した画像を利用して検出処理を行ってもよい。この場合制御部120は、テーブル140や床等の水平面ではなく壁等の垂直面を投影面としてもよい。
またこの場合制御部120は、必要に応じて、前処理として深度センサ等を用いて投影面の背景除去等を行ってもよい。すなわち、壁面等の投影面に、デザイン画像データ13の視認を阻害するような色や模様が存在することが検出された場合には、制御部120は、当該色や模様をキャンセルするような画像を、デザイン画像データ13の投影に先立って投影してもよい。
また逆に制御部120は、オブジェクトOが検出された面のテクスチャの情報を積極的に利用してデザイン画像データ13の投影処理を実行してもよい。すなわち、例えば投影面としての床や壁の撮像画像から、上記テクスチャとして、板材やタイルの継ぎ目が検出された場合には、制御部120は、当該継ぎ目の幾何学的特徴(例えば直線や格子)がデザイン画像データ13と共に統一感を持ったデザインとして視認されるようにデザイン画像データ13を生成して投影してもよい。
また制御部120は、上記入力部110とは別のカメラ等によってユーザの視点位置を取得し、オブジェクトOと、投影されたデザイン画像データ13中の線や図形とが、当該ユーザの視点位置からシームレスに見えるように投影時に補正を行ってもよい。
図17は、オブジェクトOが複雑な立体物である場合のデザイン画像データ13の投影例を示した図である。
同図に示すように、オブジェクトOが、例えば天井から吊り下げられた飛行機の模型である場合、制御部120は、投影面を壁150とし、入力部110によりオブジェクトOを当該壁150の垂直方向から撮影してオブジェクトOの検出処理を行う。
そして制御部120は、例えばオブジェクトOとしての当該飛行機模型の表面から、幾何学的特徴として横方向の線を検出すると、その線に基づいて、当該線が当該飛行機模型の外側に延長されたような直線を有するデザイン画像データ13を生成して投影する。
この場合制御部120は、壁150に上記横方向の線の視認を阻害するような模様等が検出された場合には、前処理としてそのキャンセル処理を実行する。また制御部120は、別途ユーザの視点位置を検出して、当該ユーザの視点位置から、上記デザイン画像データ13上の線が、飛行機模型上の線とシームレスに見えるように、投影するデザイン画像データ13上の線の位置を補正してもよい。
(投影制御の具体例4:オブジェクトが複数ある場合の投影例)
上述の例では、検出されるオブジェクトOが1つである場合の投影例が示された。しかし、検出されるオブジェクトOは複数であってもよく、当該複数のオブジェクトOに応じたデザイン画像データ13が生成され投影されてもよい。
例えば制御部120は、複数のオブジェクトOから検出された線同士の交点によって形成される領域をデザイン画像データ13の生成に新たに使用してもよい。
図18は、オブジェクトOが複数検出された場合のデザイン画像データ13の投影例を示した図である。
同図に示すように、例えばオブジェクトOとして3つのCDジャケットケースが検出された場合、制御部120は、各CDジャケットケースの撮像画像から抽出された複数の直線を交わらせて、それら直線で囲まれる複数の領域を異なる色で表現してデザイン画像データ13を生成して投影してもよい。すなわち、この場合には、各オブジェクトO1、O2、O3に対応する領域(第1の領域A1)は例えばブランク(黒色)領域として生成され、その周囲の領域(第2の領域A2)が、上記複数の直線及びそれらで囲まれる複数の領域から構成される背景画像データ12として生成される。またそれら複数の直線で囲まれた領域のうち、各オブジェクトO1、O2、O3に近い領域の色は、当該各オブジェクトから検出された色に類似する色にそれぞれ設定されてもよい。
またこの場合制御部120は、検出された複数のオブジェクトOについて優先度を付与し、優先度に応じてデザイン画像データ13を生成してもよい。例えば制御部120は、複数のオブジェクトOに、その面積や、入力部110の撮像範囲の中心からの距離に応じて優先度を付与し、それらの優先度に応じて、例えば面積の大きい、またはより中心に位置するオブジェクトOから抽出された幾何学的特徴を優先的にデザイン画像データ13の生成に利用してもよい。
(その他の投影制御例)
上述の例において、典型的には、デザイン画像データ13の色はオブジェクトOから検出された色に類似する色に設定される。しかし、制御部120は、オブジェクトOが検出された面(テーブル140、壁150、床、天井等)の色に応じて、デザイン画像データ13の色を変更してもよい。例えば、オブジェクトOから白色が検出され、当該オブジェクトOが置かれた面の色も白色であった場合には、白色のデザイン画像データ13は視認が困難となることから、デザイン画像データ13が白色以外の色に設定されてもよい。また、オブジェクトOから検出された色が黒色または暗い色であった場合には、プロジェクタによって黒色を投影することはできないため、オブジェクトOが検出された面の色に関わらず、デザイン画像データ13は明るい色に設定されてもよい。また同様の趣旨から、オブジェクトOから暗い(黒色系の)色と明るい色の両方が検出された場合には、明るい色が優先的にデザイン画像データ13に用いられてもよい。
上述の例において、デザイン画像データ13には、オブジェクトOから検出された色を基準としたグラデーション色が用いられてもよい。特にプロジェクタによる投影画像においては、投影領域の端部ほどフェードアウトするようなグラデーション効果を用いたデザイン画像データ13がユーザにとってより自然な画像となる。例えば上記情報処理システム100において、テーブル140等の投影面が複数のユーザによってGUIとして用いられる場合には、投影面が当該複数のユーザ毎の操作領域(ウィンドウ)として区切られてもよく、当該各ウィンドウに投影されるデザイン画像データ13は、境界付近に近づくにしたがってフェードアウトしてもよい。
上述の例では、デザイン画像データ13がオブジェクトOの領域に近接してその端部からシームレスに投影される例が示されたが、デザイン画像データ13は当該オブジェクトOに近接して投影されなくてもよく、例えばオブジェクトOから所定距離を置いた位置に投影されてもよい。
上述の例において、入力部110の撮像画像から、オブジェクトOの移動が検出された場合には、制御部120は、デザイン画像データ13の投影処理を当該オブジェクトOの移動に追従させてもよい。この場合制御部120は、リアルタイムで追従処理を実行してもよいし、所定のフレームレートで定期的に追従処理を実行してもよい。また制御部120は、オブジェクトOの移動が検出された場合には、当該移動中はデザイン画像データ13を投影せず、オブジェクトOが移動して再度静止したことが検出された場合に、移動後の位置に改めてデザイン画像データ13を投影してもよい。
上述の例において、制御部120は、デザイン画像データ13の生成にあたって、検出したオブジェクトOの幾何学的特徴のみならず、周囲のユーザに関する情報を用いてもよい。例えば制御部120は、オブジェクトOから複数の線分が検出された場合に、テーブル140等の投影面の周囲に存在するユーザの位置を別のカメラ等のセンサで検出し、当該ユーザが存在する方向に向いている線分を用いてデザイン画像データ13を生成してもよい。また、上述の実施形態の図7や図9に示したようにデザイン画像データ13内にテキストデータ(例えば楽曲タイトル)が配置される場合、当該テキストデータを、デザイン画像データ13中の上記ユーザの位置に近い位置に配置してもよい。当該楽曲タイトルのテキストデータが楽曲再生のためのGUIとして機能する場合、ユーザが自身の近くに投影された楽曲タイトルに対して操作(指によるタップ等)を入力することで、それを制御部120が検出して楽曲を再生することが可能となる。
ここで、デザイン画像データ13がGUIとして機能してユーザとのインタラクションに用いられ得るのは、本実施形態に限られず上述の実施形態においても同様である。すなわち、上述の実施形態における情報処理装置10の表示部3に表示されるデザイン画像データ13がGUIとして機能してもよい。
上述の例において、制御部120は、所定の条件が満たされた場合には、デザイン画像データ13の生成処理及び投影処理の実行を規制してもよい。例えば、上述の通り、プロジェクタでは黒色系の投影が困難であることから、制御部120は、オブジェクトOから検出された色の色成分(ヒストグラム)を分析して、それが黒色系の色成分(明度または彩度が所定値未満)の場合(例えばモノクロ文書等)には上記生成処理及び投影処理を実行せず、明度または彩度が所定値以上の場合に上記生成処理及び投影処理を実行してもよい。また、制御部120は、検出されたオブジェクトOの深度(立体形状)を分析して、複雑な立体形状である場合(例えば深度値の分散が所定値以上の場合)にも、同様に上記生成処理及び投影処理を実行しなくてもよい。
上述の例では、オブジェクトOがCDケース、本、写真等である場合のデザイン画像データ13の投影例が示されたが、その他のあらゆるオブジェクトOについても同様にデザイン画像データ13が生成され得る。例えば飲食店において客に提供される(皿に盛られてテーブルに置かれる)料理がオブジェクトOとして検出され、その料理が有する幾何学的特徴に基づいて、テーブル上の当該料理の周囲にデザイン画像データ13が演出として投影されてもよい。
本技術は以下の構成をとることもできる。
(1)第1の画像データを解析して抽出された幾何学的特徴情報を取得する取得部と、
前記幾何学的特徴情報に基づいて第2の画像データを生成し、前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する生成部と
を具備する情報処理装置。
(2) 上記(1)に記載の情報処理装置であって、
前記取得部は、前記第1の画像データを解析して抽出された色情報を取得し、
前記生成部は、前記色情報に基づいて第2の画像データを生成する
情報処理装置。
(3) 上記(1)又は(2)に記載の情報処理装置であって、
前記取得部は、前記第1の画像データから得られる複数の幾何学的特徴情報を取得し、
前記生成部は、前記複数の幾何学的特徴情報についてそれぞれ優先度を決定し、前記先度に基づいて選択される幾何学的特徴情報に基づいて、前記第2の画像データを生成する
情報処理装置。
(4) 上記(1)〜(3)のうちいずれか1つに記載の情報処理装置であって、
前記取得部は、前記第1の画像データに関連する関連情報を取得し、
前記生成部は、前記関連情報をテキストデータとして前記第2の画像データに反映させる
情報処理装置。
(5) 上記(1)〜(4)のうちいずれか1つに記載の情報処理装置であって、
前記第2の領域は、前記第1の領域の周囲の領域である
情報処理装置。
(6) 上記(4)に記載の情報処理装置であって、
前記生成部は、前記第2の画像データ内における幾何学的特徴の位置に基づいて、前記第2の画像データ内における前記テキストデータの位置を決定する
情報処理装置。
(7) 請求項(1)〜(6)のうちいずれか1つに記載の情報処理装置であって、
前記取得部は、前記第1の画像データを解析して得られる前記第1の画像データの重心位置の情報を取得し、
前記生成部は、前記重心位置に基づいて、前記第1の領域及び前記第2の領域の位置を決定する
情報処理装置。
(8) 上記(4)に記載の情報処理装置であって、
前記取得部は、前記第1の画像データを解析して得られる前記第1の画像データの重心位置の情報を取得し、
前記生成部は、前記重心位置に基づいて、前記第1の領域及び前記第2の領域の位置、並びに、前記第2の領域内における前記テキストデータの位置を決定する
情報処理装置。
(9) 上記(1)〜(8)のうちいずれか1つに記載の情報処理装置であって、
前記取得部は、前記第1の画像データを解析して抽出された、前記幾何学的特徴情報とは異なる特徴情報を取得し、
前記生成部は、前記特徴情報に基づいて、前記第2の画像データに反映させるべき幾何学的特徴情報の数を決定する
情報処理装置。
(10) 上記(1)〜(9)のうちいずれか1つに記載の情報処理装置であって、
前記取得部は、前記第1の画像データに関連する関連情報を取得し、
前記生成部は、前記関連情報に基づいて、前記第2の画像データに反映させるべき幾何学的特徴情報の数を決定する
情報処理装置。
(11) 上記(1)〜(10)のうちいずれか1つに記載の情報処理装置であって、
前記第1の画像データを解析して幾何学的特徴情報を抽出する抽出部をさらに具備する
情報処理装置。
(12) 上記(11)に記載の情報処理装置であって、
前記抽出部は、前記第1の画像データを解析して前記幾何学的特徴情報とは異なる特徴情報を抽出し、前記特徴情報に基づいて、抽出すべき前記幾何学的特徴情報の数又は数の範囲を決定する
情報処理装置。
(13) 上記(11)又は(12)に記載の情報処理装置であって、
前記取得部は、前記第1の画像データに関連する関連情報を取得し、前記関連情報に基づいて、取得すべき前記幾何学的特徴情報の数又は数の範囲を決定する
情報処理装置。
(14) 上記(1)〜(13)のうちいずれか1つに記載の情報処理装置であって、
前記生成部は、前記幾何学的特徴情報を、前記対応画像データに反映させる
情報処理装置。
(15) 上記(14)に記載の情報処理装置であって、
前記取得部は、前記第1の画像データに関連する関連情報として加工禁止/許可情報を取得し、
前記生成部は、前記加工禁止/許可情報に基づいて、前記幾何学的特徴情報を前記対応画像データに反映させるかどうかを判断する
情報処理装置。
(16) 上記(4)に記載の情報処理装置であって、
前記生成部は、前記第1の画像データを解析して前記第1の画像データ内に、前記第2の画像に反映させるべき前記テキストデータが含まれているかどうかを判断し、前記第1の画像データ内に、前記テキストデータが含まれているかどうかに応じて、前記第2の画像データにおける前記テキストデータの大きさを変更する
情報処理装置。
(17)第1の画像データを解析して前記第1の画像データから幾何学的特徴情報を抽出する解析装置と、
前記幾何学的特徴情報を取得し、前記幾何学的特徴情報に基づいて第2の画像データを生成し、前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する生成装置と
を具備する情報処理システム。
(18)第1の画像データを解析して抽出された幾何学的特徴情報を取得し、
前記幾何学的特徴情報に基づいて第2の画像データを生成し、
前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する
情報処理方法。
(19)コンピュータに、
第1の画像データを解析して抽出された幾何学的特徴情報を取得し、
前記幾何学的特徴情報に基づいて第2の画像データを生成し、
前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する
を実行させるプログラム。
1,120…制御部
10…情報処理装置
11…元の画像データ
12…背景画像データ
13…デザイン画像データ
110…入力部
130…出力部

Claims (19)

  1. 第1の画像データを解析して抽出された幾何学的特徴情報を取得する取得部と、
    前記幾何学的特徴情報に基づいて第2の画像データを生成し、前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する生成部と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データを解析して抽出された色情報を取得し、
    前記生成部は、前記色情報に基づいて第2の画像データを生成する
    情報処理装置。
  3. 請求項1に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データから得られる複数の幾何学的特徴情報を取得し、
    前記生成部は、前記複数の幾何学的特徴情報についてそれぞれ優先度を決定し、前記優先度に基づいて選択される幾何学的特徴情報に基づいて、前記第2の画像データを生成する
    情報処理装置。
  4. 請求項1に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データに関連する関連情報を取得し、
    前記生成部は、前記関連情報をテキストデータとして前記第2の画像データに反映させる
    情報処理装置。
  5. 請求項1に記載の情報処理装置であって、
    前記第2の領域は、前記第1の領域の周囲の領域である
    情報処理装置。
  6. 請求項4に記載の情報処理装置であって、
    前記生成部は、前記第2の画像データ内における幾何学的特徴の位置に基づいて、前記第2の画像データ内における前記テキストデータの位置を決定する
    情報処理装置。
  7. 請求項1に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データを解析して得られる前記第1の画像データの重心位置の情報を取得し、
    前記生成部は、前記重心位置に基づいて、前記第1の領域及び前記第2の領域の位置を決定する
    情報処理装置。
  8. 請求項4に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データを解析して得られる前記第1の画像データの重心位置の情報を取得し、
    前記生成部は、前記重心位置に基づいて、前記第1の領域及び前記第2の領域の位置、並びに、前記第2の領域内における前記テキストデータの位置を決定する
    情報処理装置。
  9. 請求項1に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データを解析して抽出された、前記幾何学的特徴情報とは異なる特徴情報を取得し、
    前記生成部は、前記特徴情報に基づいて、前記第2の画像データに反映させるべき幾何学的特徴情報の数を決定する
    情報処理装置。
  10. 請求項1に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データに関連する関連情報を取得し、
    前記生成部は、前記関連情報に基づいて、前記第2の画像データに反映させるべき幾何学的特徴情報の数を決定する
    情報処理装置。
  11. 請求項1に記載の情報処理装置であって、
    前記第1の画像データを解析して幾何学的特徴情報を抽出する抽出部をさらに具備する
    情報処理装置。
  12. 請求項11に記載の情報処理装置であって、
    前記抽出部は、前記第1の画像データを解析して前記幾何学的特徴情報とは異なる特徴情報を抽出し、前記特徴情報に基づいて、抽出すべき前記幾何学的特徴情報の数又は数の範囲を決定する
    情報処理装置。
  13. 請求項11に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データに関連する関連情報を取得し、前記関連情報に基づいて、取得すべき前記幾何学的特徴情報の数又は数の範囲を決定する
    情報処理装置。
  14. 請求項1に記載の情報処理装置であって、
    前記生成部は、前記幾何学的特徴情報を、前記対応画像データに反映させる
    情報処理装置。
  15. 請求項14に記載の情報処理装置であって、
    前記取得部は、前記第1の画像データに関連する関連情報として加工禁止/許可情報を取得し、
    前記生成部は、前記加工禁止/許可情報に基づいて、前記幾何学的特徴情報を前記対応画像データに反映させるかどうかを判断する
    情報処理装置。
  16. 請求項4に記載の情報処理装置であって、
    前記生成部は、前記第1の画像データを解析して前記第1の画像データ内に、前記第2の画像に反映させるべき前記テキストデータが含まれているかどうかを判断し、前記第1の画像データ内に、前記テキストデータが含まれているかどうかに応じて、前記第2の画像データにおける前記テキストデータの大きさを変更する
    情報処理装置。
  17. 第1の画像データを解析して前記第1の画像データから幾何学的特徴情報を抽出する解析装置と、
    前記幾何学的特徴情報を取得し、前記幾何学的特徴情報に基づいて第2の画像データを生成し、前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する生成装置と
    を具備する情報処理システム。
  18. 第1の画像データを解析して抽出された幾何学的特徴情報を取得し、
    前記幾何学的特徴情報に基づいて第2の画像データを生成し、
    前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成する
    情報処理方法。
  19. コンピュータに、
    第1の画像データを解析して抽出された幾何学的特徴情報を取得するステップと、
    前記幾何学的特徴情報に基づいて第2の画像データを生成するステップと、
    前記第1の画像データに対応する対応画像データが配置される第1の領域と、前記第2の画像データが配置される第2の領域と含む第3の画像データを生成するステップと
    を実行させるプログラム。
JP2016544968A 2014-08-28 2015-08-28 情報処理装置、情報処理システム、情報処理方法及びプログラム Expired - Fee Related JP6677160B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014174456 2014-08-28
JP2014174456 2014-08-28
PCT/JP2015/004356 WO2016031254A1 (ja) 2014-08-28 2015-08-28 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016031254A1 true JPWO2016031254A1 (ja) 2017-06-15
JP6677160B2 JP6677160B2 (ja) 2020-04-08

Family

ID=55399166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016544968A Expired - Fee Related JP6677160B2 (ja) 2014-08-28 2015-08-28 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US10134164B2 (ja)
EP (1) EP3188130A4 (ja)
JP (1) JP6677160B2 (ja)
WO (1) WO2016031254A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2022051981A (ja) * 2019-02-15 2022-04-04 ソニーグループ株式会社 データ処理装置、表示制御方法
JP7366563B2 (ja) * 2019-03-26 2023-10-23 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
CN110136193B (zh) * 2019-05-08 2021-06-11 广东嘉腾机器人自动化有限公司 基于深度图像的矩体箱体三维尺寸测量方法及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318449A (ja) * 2005-04-13 2006-11-24 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
WO2014097706A1 (ja) * 2012-12-21 2014-06-26 ソニー株式会社 表示制御装置および記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396638B2 (ja) 2003-09-10 2010-01-13 セイコーエプソン株式会社 出力画像データ生成装置および出力画像データ生成方法
AU2008202672B2 (en) * 2008-06-17 2011-04-28 Canon Kabushiki Kaisha Automatic layout based on visual context
JP5253069B2 (ja) * 2008-09-29 2013-07-31 キヤノン株式会社 画像処理方法及び画像処理装置
KR101539043B1 (ko) * 2008-10-31 2015-07-24 삼성전자주식회사 인물 구도 제안 영상 촬영 장치 및 방법
US9378407B2 (en) * 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318449A (ja) * 2005-04-13 2006-11-24 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
WO2014097706A1 (ja) * 2012-12-21 2014-06-26 ソニー株式会社 表示制御装置および記録媒体

Also Published As

Publication number Publication date
US20170256081A1 (en) 2017-09-07
US10134164B2 (en) 2018-11-20
EP3188130A1 (en) 2017-07-05
WO2016031254A1 (ja) 2016-03-03
JP6677160B2 (ja) 2020-04-08
EP3188130A4 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
US11361542B2 (en) Augmented reality apparatus and method
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
US20190139312A1 (en) An apparatus and associated methods
US20130182012A1 (en) Method of providing augmented reality and terminal supporting the same
CN106341522A (zh) 移动终端及其控制方法
JP6677160B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20190289419A1 (en) An apparatus for spatial audio and associated method
KR20110091126A (ko) 도서형 증강현실에서 페이지 전환에 따른 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치
US11758217B2 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
US20220351425A1 (en) Integrating overlaid digital content into data via processing circuitry using an audio buffer
US11922904B2 (en) Information processing apparatus and information processing method to control display of a content image
US11836847B2 (en) Systems and methods for creating and displaying interactive 3D representations of real objects
KR101773891B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
US20230043683A1 (en) Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
WO2022022260A1 (zh) 图像风格迁移方法及其装置
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
JP2015211338A (ja) 画像処理装置、それを備える撮像装置、画像処理方法及び画像処理プログラム
US20230377299A1 (en) Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
US20230377300A1 (en) Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
US20230377363A1 (en) Machine learning based multipage scanning
US20230326095A1 (en) Overlaying displayed digital content with regional transparency and regional lossless compression transmitted over a communication network via processing circuitry
KR20180095755A (ko) 종이 도안을 활용한 게임 제작 시스템
CN115244494A (zh) 用于处理扫描对象的系统和方法
CN117931356A (zh) 显示方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R151 Written notification of patent or utility model registration

Ref document number: 6677160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees