JPWO2016157996A1 - 情報処理装置、情報処理方法、プログラム及び画像表示システム - Google Patents
情報処理装置、情報処理方法、プログラム及び画像表示システム Download PDFInfo
- Publication number
- JPWO2016157996A1 JPWO2016157996A1 JP2017509337A JP2017509337A JPWO2016157996A1 JP WO2016157996 A1 JPWO2016157996 A1 JP WO2016157996A1 JP 2017509337 A JP2017509337 A JP 2017509337A JP 2017509337 A JP2017509337 A JP 2017509337A JP WO2016157996 A1 JPWO2016157996 A1 JP WO2016157996A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- unit
- information processing
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/147—Optical correction of image distortions, e.g. keystone
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/142—Adjusting of projection optics
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2356/00—Detection of the display position w.r.t. other display screens
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Abstract
Description
1.第1の実施の形態(投影装置)
1.1.空間構成
1.2.情報処理装置の機能構成
1.3.画像表示処理
2.第2の実施形態(投影装置+主表示装置)
2.1.空間構成
2.2.情報処理装置の機能構成
2.3.画像表示処理
3.第3の実施形態(投影装置、ユーザ位置検出)
3.1.空間構成
3.2.情報処理装置の機能構成
3.3.画像表示処理
4.第4の実施形態(投影装置+主表示装置、ユーザ位置検出)
5.情動映像生成
5.1.機能構成
5.2.情動映像生成処理
6.まとめ
7.ハードウェア構成
まず、図1〜図7に基づいて、本開示の第1の実施形態に係る画像表示システムの概略構成について説明する。本実施形態に係る画像表示システムは、プロジェクタ等の投影装置により空間に投影される画像の内容を解析し、画像の内容に応じて、投影空間における画像の投影領域を決定する。このような画像表示システムにつき、本実施形態では、投影装置によって空間内に画像を投影し表示させる場合の構成とその機能を説明する。
まず、図1〜図3に基づいて、本実施形態に係る画像表示システムが適用される空間構成について説明する。なお、図1は、本実施形態における画像表示システムにより画像が投影される投影空間Vの構造及び投影装置10の配置を示す説明図である。図2は、図1の投影空間Vを投影装置10側から見た図を示す説明図である。図3は、投影空間Vに投影される画像の投影パターンを示す説明図である。
まず、図4に基づいて、本実施形態に係る情報処理装置100の機能構成を説明する。なお、図4は、本実施形態に係る情報処理装置100の機能構成を示す機能ブロック図である。
解析処理部110は、投影装置10により投影する画像の内容の解析と、画像を投影する投影空間の構造の解析を行う。解析処理部110は、放送信号受信部111と、撮像部112と、記憶部113と、画像入力部114と、画像解析部115と、投影位置決定部116と、空間構造解析部117と、空間構造保持部118とからなる。
次に、位置制御部120は、投影装置10の位置や設定を制御する。位置制御部120は、投影位置制御部121と、ユーザ設定部122と、設定情報保持部123と、制御量決定部124と、設定変更部125とからなる。
画像生成部130は、主画像信号から投影装置10により実際に投影される投影画像を生成する。画像生成部130は、対応関係処理部131と、非正面画像生成部132と、出力画像生成部133とからなる。
次に、図5〜図7に基づいて、本実施形態に係る情報処理装置100による画像表示処理を説明する。なお、図5は、本実施形態に係る情報処理装置100による解析処理を示すフローチャートである。図6は、本実施形態に係る情報処理装置100による投影装置10の位置制御処理を示すフローチャートである。図7は、本実施形態に係る情報処理装置100による画像生成処理を示すフローチャートである。
本実施形態に係る画像表示処理では、まず、図5に示すような画像及び空間の解析処理が、解析処理部110により行われる。解析処理では、まず、図5に示すように、空間構造解析部117により、投影装置10により画像が投影される投影空間の構造が解析される(S110)。空間構造解析部117は、投影空間を構成するS面、F面、C面、L面、R面の各面の位置と、投影空間における投影装置10の位置を取得し、これらの面と投影装置10との位置関係を解析する。各面及び投影装置10の位置は、例えば、投影空間に設置された奥行きセンサ(depthセンサ)や測距計等の検出結果に基づいて自動的に行ってもよく、ユーザが手動で指定することで行ってもよい。ステップS110により解析された投影空間の空間構造は、空間構造保持部118に記録される(S111)。
次に、図6に基づいて、投影装置10の位置制御処理について説明する。投影装置10の位置制御処理では、図6に示すように、まず、入力画像の投影領域に対応して、投影装置10による画像の投影位置の制御の要否が判定される(S120)。投影位置制御部121は、図5のステップS114にて決定された投影領域に、入力画像が投影されるようにするため、現在の投影装置10の設定状態からの変更の要否を判定する。
次に図7に基づいて、投影装置10により投影される出力画像の生成処理について説明する。画像生成処理は、図7に示すように、対応関係処理部131が解析処理部110から入力画像の入力を受けて開始する(S130)。入力画像の入力があるまでは、繰り返しステップS130の処理が行われる。
次に、図8〜図11に基づいて、本開示の第2の実施形態に係る画像表示システムの概略構成について説明する。本実施形態に係る画像表示システムは、第1の実施形態と同様、プロジェクタ等の投影装置により空間に投影される画像の内容を解析し、画像の内容に応じて、投影空間における画像の投影領域を決定する。ただし、投影空間に主表示装置が配置されている点で相違する。
図8は、本実施形態に係る画像表示システムにより画像が投影される投影空間Vの構造と、投影装置10及び主表示装置20の配置とを示す説明図である。図9は、図8の主表示装置20が配置された投影空間Vを投影装置10側から見た図を示す説明図である。
まず、図10に基づいて、本実施形態に係る情報処理装置200の機能構成を説明する。なお、図10は、本実施形態に係る情報処理装置200の機能構成を示す機能ブロック図である。本実施形態に係る情報処理装置200は、第1の実施形態と同様、解析処理部110と、位置制御部120と、画像生成部130とからなる。本実施形態に係る情報処理装置200の、第1の実施形の情報処理装置100との違いは、画像生成部130に、正面周囲画像生成部134が設けられている点のみである。
次に、本実施形態に係る情報処理装置200による画像表示処理を説明する。本実施形態に係る画像表示処理は、第1の実施形態と同様、解析処理、投影装置10の位置制御処理、及び画像生成処理とからなる。本実施形態に係る画像表示処理は、投影空間V内に主表示装置20が配置されたことにより、第1の実施形態と比較して、解析処理における空間構造解析と、画像生成処理における正面周囲画像生成とが新たに追加される。なお、投影装置10の位置制御処理は、図6に示した処理と同様であるため、以下では、図11に基づいて、本実施形態に係る解析処理と画像生成処理について説明する。なお、図11は、本実施形態に係る情報処理装置200による画像生成処理を示すフローチャートである。
本実施形態に係る解析処理は、図5に示した第1の実施形態に係る解析処理と流れは同じであるが、ステップS100の処理内容が相違する。すなわち、空間構造解析部117により、投影装置10により画像が投影される投影空間の構造と、投影空間及び主表示装置20との位置関係とが解析される(S110)。まず、空間構造解析部117は、投影空間を構成するS面、F面、C面、L面、R面の各面の位置と、投影空間における投影装置10の位置を取得し、これらの面と投影装置10との位置関係を解析する。各面及び投影装置10の位置は、例えば、投影空間に設置された奥行きセンサ(depthセンサ)や測距計等の検出結果に基づいて自動的に行ってもよく、ユーザが手動で指定することで行ってもよい。
次に、図11に基づいて、投影装置10により投影される出力画像の生成処理について説明する。本実施形態に係る画像生成処理も、図7に示した第1の実施形態の画像生成処理とほぼ同一であるが、正面周囲画像を生成し、正面周囲画像と非正面画像とを結合して出力画像とする点が相違する。また、画像生成部130により処理される画像は、投影装置10により投影される画像であるが、本実施形態では、主表示装置20に画像入力部14から入力された入力画像が表示され、それ以外の面には入力画像とは異なる画像(例えば、後述する入力画像から生成された情動映像)が表示されるものとする。この入力画像は異なる画像を、本実施形態では投影画像と称する。
次に、図12〜図14に基づいて、本開示の第3の実施形態に係る画像表示システムの概略構成について説明する。本実施形態に係る画像表示システムは、第1の実施形態と同様、プロジェクタ等の投影装置により空間に投影される画像の内容を解析し、画像の内容に応じて、投影空間における画像の投影領域を決定する。さらに、本実施形態では、投影空間におけるユーザの位置を検出し、投影領域を制御する。
図12は、本実施形態に係る画像表示システムにより画像が投影される投影空間Vの構造と、投影装置10の配置とを示す説明図である。図12に示すように、投影空間Vの構成は、図1及び図2と同一であるが、投影装置10よりも投影面側にユーザが存在する点で相違する。本実施形態では、ユーザが投影空間V内に存在するとき、投影装置10から画像が投影される投影領域がユーザ位置に応じて制約される。
まず、図13に基づいて、本実施形態に係る情報処理装置300の機能構成を説明する。なお、図13は、本実施形態に係る情報処理装置300の機能構成を示す機能ブロック図である。本実施形態に係る情報処理装置300は、第1の実施形態と同様、解析処理部110と、位置制御部120と、画像生成部130とからなる。本実施形態に係る情報処理装置300の、第1の実施形の情報処理装置100との違いは、解析処理部110に、ユーザ位置検出部119が設けられている点のみである。
次に、本実施形態に係る情報処理装置300による画像表示処理を説明する。本実施形態に係る画像表示処理は、第1の実施形態と同様、解析処理、投影装置10の位置制御処理、及び画像生成処理とからなる。本実施形態に係る画像表示処理は、解析処理において、投影空間V内におけるユーザの位置に応じて画像の投影領域が変更される点で第1の実施形態と相違する。なお、投影装置10の位置制御処理及び画像生成処理は、図6及び図7に示した処理と同様であるため、以下では図14に基づいて、本実施形態に係る解析処理について説明する。なお、図14は、本実施形態に係る情報処理装置300による解析処理を示すフローチャートである。
本実施形態に係る画像及び空間の解析処理では、まず、図14に示すように、空間構造解析部117により、投影装置10により画像が投影される投影空間の構造が解析される(S310)。ステップS310により解析された投影空間の空間構造は、空間構造保持部118に記録される(S311)。ステップS310及びS311の処理は、図5のステップS110及びS111と同様に行われる。
次に、図15及び図16に基づいて、本開示の第4の実施形態に係る画像表示システムの概略構成について説明する。本実施形態に係る画像表示システムは、第1の実施形態と同様、プロジェクタ等の投影装置により空間に投影される画像の内容を解析し、画像の内容に応じて、投影空間における画像の投影領域を決定する。ただし、本実施形態では、第2の実施形態と同様、投影空間に主表示装置20が配置されている。さらに、本実施形態では、第3の実施形態と同様、投影空間におけるユーザの位置を検出し、投影領域を制御する。すなわち、本実施形態の投影空間Vには、図15に示すように、正面(S面)の前に主表示装置20が配置されており、また、ユーザPが存在する。
上記実施形態に係る画像表示システムにおいて、投影空間に表示される画像は、画像入力部114に入力された入力画像であってもよく、入力画像とは異なる画像であってもよい。ここで、ユーザの臨場感や没入感を高めるために、従来、入力画像に合わせた情動映像を作成し、入力画像とともに表示させることが行われている。しかし、従来作成される情動映像には、クリエータの感性が大きく影響しており、作成された情動映像も入力画像に対して後付けで表示されるものであった。
まず、図17に基づいて、情動映像処理部140の機能構成を説明する。なお、図17は、情動映像処理部140の機能構成を示す機能ブロック図である。本実施形態に係る情動映像処理部140は、図17に示すように、主表示画像入力部141と、コンテンツ解析部143と、情動マッチング処理部145と、近似画像記憶部147と、情動映像生成部149とからなる。
次に、図18〜図28に基づいて、情動映像処理部140による情動映像生成処理について説明する。なお、図18は、情動映像の元画像の選択処理を示すフローチャートである。図19は、入力画像から局所特徴点が抽出された状態の一例を示す説明図である。図20は、特徴点の動きベクトルが一致した状態の一例を示す説明図である。図21は、入力画像の近似画像を近似画像記憶部147から選択する処理を示す説明図である。図22は、情動映像処理部140による情動映像生成処理を示すフローチャートである。図23は、コンテンツの同期情報に基づき情動映像の動き方向が決定された例を示す説明図である。図24は、コンテンツの同期情報に基づき情動映像の動き方向が決定された他の例を示す説明図である。図25は、コンテンツの色相に基づき情動映像の色が決定された例を示す説明図である。図26は、夕日のシーンにおける輝度のヒストグラムの一例を示す説明図である。図27は、日中のシーンにおける輝度のヒストグラムの一例を示す説明図である。図28は、RGB毎の輝度のヒストグラムの一例を示す説明図である。
以上、本開示の実施形態に係る画像表示システムについて説明した。かかる画像表示システムによれば、画像の内容に応じて投影装置の投影位置が変更されるので、ユーザに高い臨場感や没入感を提供することができる。また、主表示装置と投影装置が同一の投影空間内に配置されている場合、主表示装置に表示される画像の内容に応じて適切に生成された周辺画像が投影装置により重畳投影される。この場合にも、主表示装置に表示される画像の内容に応じて投影装置の投影位置が変更されるので、ユーザに高い臨場感や没入感を提供することができる。さらに、ユーザの位置に応じて投影位置が変更されるので、ユーザ自身の影の映り込みを防ぎながら、ユーザに高い臨場感や没入感を与えることができる。投影装置による投影位置も、ユーザ自身の嗜好に合わせて設定することが可能であり、よりユーザが好む映像環境を生成することができる。
最後に、上記実施形態に係る情報処理装置100のハードウェア構成例について説明する。図29は、上記実施形態に係る情報処理装置100のハードウェア構成を示すハードウェア構成図である。なお、第2〜第4の実施形態に係る情報処理装置200〜400も、図29に示す情報処理装置100のハードウェア構成と同様に構成することができる。
(1)
投影装置により投影される入力画像の内容を解析する画像解析部と、
前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、情報処理装置。
(2)
前記入力画像が投影される空間の空間構造を解析する空間構造解析部と、
解析された前記空間構造と前記投影領域とに基づいて、前記空間の投影面に対して投影させる前記入力画像の画像領域をそれぞれ決定する対応関係処理部と、
を備える、前記(1)に記載の情報処理装置。
(3)
前記空間の投影面に応じて、前記入力画像から、当該投影面に投影される前記画像領域の画像に対して画像処理を行い、出力画像を生成する画像生成部を備える、前記(2)に記載の情報処理装置。
(4)
前記対応関係処理部は、前記入力画像について、前記投影装置による投影方向に対して垂直となる第1の投影面に投影される正面画像領域と、前記第1の投影面以外に投影される非正面画像領域とを決定し、
前記画像生成部は、前記非正面画像領域に対して前記投影面の傾斜に応じた画像処理を行う、前記(3)に記載の情報処理装置。
(5)
前記空間内に前記入力画像の少なくとも一部が表示される主表示装置が設けられているとき、
前記空間構造解析部は、前記空間構造の解析とともに、解析された前記空間構造と前記主表示装置との位置関係を解析し、
前記画像生成部は、前記正面画像領域及び前記非正面画像領域のうち、前記主表示装置の表示面が含まれている領域に対応する前記入力画像の画像部分を除去する、前記(4)に記載の情報処理装置。
(6)
前記画像解析部は、前記入力画像の画像内容に関するカテゴリを解析する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記画像解析部は、前記入力画像のメタデータに基づいて、当該入力画像の内容を解析する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(8)
前記投影位置決定部は、前記投影空間内に存在するユーザ位置に基づいて、決定した前記入力画像の投影領域を変更する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記入力画像が投影される空間の空間構造を解析する空間構造解析部と、
解析された前記空間構造及び前記入力画像の投影領域に基づいて、前記投影装置の設定を制御する制御部を備える、前記(1)〜(8)のいずれか1項に記載の情報処理装置。(10)
前記制御部は、ユーザの嗜好に応じて前記投影装置の設定を変更する、前記(9)に記載の情報処理装置。
(11)
前記入力画像として表示されるコンテンツの特徴量に基づいて、前記入力画像の周囲に表示される情動映像を生成する情動映像処理部を備える、前記(3)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記情動映像処理部は、
前記コンテンツの特徴量に基づいて当該コンテンツに含まれる動き情報を抽出し、当該動き情報に基づいて前記情動映像を生成するための元画像を取得する元画像取得部と、
前記コンテンツの画像全体の色相に基づいて、前記情動映像の色を決定する色決定部と、
取得された前記元画像、前記情動映像の色に基づいて、前記情動映像を生成する情動映像生成部と、
を備える、前記(11)に記載の情報処理装置。
(13)
前記元画像取得部は、前記コンテンツの画像の動き情報に基づいて、選択対象となる複数の元画像からなる元画像群から、前記コンテンツの画像と特徴点の類似度の高い元画像を取得する、前記(12)に記載の情報処理装置。
(14)
前記コンテンツのシーンチェンジを解析し、前記情動映像の切り替えを判定する情動映像切替判定部を備える、前記(11)〜(13)のいずれか1項に記載の情報処理装置。(15)
前記画像生成部は、前記入力画像及び前記情動映像に基づいて、出力画像を生成する、前記(11)〜(14)のいずれか1項に記載の情報処理装置。
(16)
投影装置により投影される入力画像の内容を解析すること、
前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定すること、
とを含む、情報処理方法。
(17)
コンピュータを、
投影装置により投影される入力画像の内容を解析する画像解析部と、
前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、情報処理装置として機能させるプログラム。
(18)
画像を投影する投影装置と、
前記投影装置により投影される入力画像の内容を解析する画像解析部と、
前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、画像表示システム。
110 解析処理部
111 放送信号受信部
112 撮像部
113 記憶部
114 画像入力部
115 画像解析部
116 投影位置決定部
117 空間構造解析部
118 空間構造保持部
119 ユーザ位置検出部
120 位置制御部
121 投影位置制御部
122 ユーザ設定部
123 設定情報保持部
124 制御量決定部
125 設定変更部
130 画像生成部
131 対応関係処理部
132 非正面画像生成部
133 出力画像生成部
134 正面周囲画像生成部
140 情動映像処理部
141 主表示画像入力部
143 コンテンツ解析部
143a 顔表情解析部
143b 視線解析部
143c 搖動解析部
143d シーン解析部
143e 検出部
145 情動マッチング処理部
147 近似画像記憶部
149 情動映像生成部
Claims (18)
- 投影装置により投影される入力画像の内容を解析する画像解析部と、
前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、情報処理装置。 - 前記入力画像が投影される空間の空間構造を解析する空間構造解析部と、
解析された前記空間構造と前記投影領域とに基づいて、前記空間の投影面に対して投影させる前記入力画像の画像領域をそれぞれ決定する対応関係処理部と、
を備える、請求項1に記載の情報処理装置。 - 前記空間の投影面に応じて、前記入力画像から、当該投影面に投影される前記画像領域の画像に対して画像処理を行い、出力画像を生成する画像生成部を備える、請求項2に記載の情報処理装置。
- 前記対応関係処理部は、前記入力画像について、前記投影装置による投影方向に対して垂直となる第1の投影面に投影される正面画像領域と、前記第1の投影面以外に投影される非正面画像領域とを決定し、
前記画像生成部は、前記非正面画像領域に対して前記投影面の傾斜に応じた画像処理を行う、請求項3に記載の情報処理装置。 - 前記空間内に前記入力画像の少なくとも一部が表示される主表示装置が設けられているとき、
前記空間構造解析部は、前記空間構造の解析とともに、解析された前記空間構造と前記主表示装置との位置関係を解析し、
前記画像生成部は、前記正面画像領域及び前記非正面画像領域のうち、前記主表示装置の表示面が含まれている領域に対応する前記入力画像の画像部分を除去する、請求項4に記載の情報処理装置。 - 前記画像解析部は、前記入力画像の画像内容に関するカテゴリを解析する、請求項1に記載の情報処理装置。
- 前記画像解析部は、前記入力画像のメタデータに基づいて、当該入力画像の内容を解析する、請求項1に記載の情報処理装置。
- 前記投影位置決定部は、前記投影空間内に存在するユーザ位置に基づいて、決定した前記入力画像の投影領域を変更する、請求項1に記載の情報処理装置。
- 前記入力画像が投影される空間の空間構造を解析する空間構造解析部と、
解析された前記空間構造及び前記入力画像の投影領域に基づいて、前記投影装置の設定を制御する制御部を備える、請求項1に記載の情報処理装置。 - 前記制御部は、ユーザの嗜好に応じて前記投影装置の設定を変更する、請求項9に記載の情報処理装置。
- 前記入力画像として表示されるコンテンツの特徴量に基づいて、前記入力画像の周囲に表示される情動映像を生成する情動映像処理部を備える、請求項3に記載の情報処理装置。
- 前記情動映像処理部は、
前記コンテンツの特徴量に基づいて当該コンテンツに含まれる動き情報を抽出し、当該動き情報に基づいて前記情動映像を生成するための元画像を取得する元画像取得部と、
前記コンテンツの画像全体の色相に基づいて、前記情動映像の色を決定する色決定部と、
取得された前記元画像、前記情動映像の色に基づいて、前記情動映像を生成する情動映像生成部と、
を備える、請求項11に記載の情報処理装置。 - 前記元画像取得部は、前記コンテンツの画像の動き情報に基づいて、選択対象となる複数の元画像からなる元画像群から、前記コンテンツの画像と特徴点の類似度の高い元画像を取得する、請求項12に記載の情報処理装置。
- 前記コンテンツのシーンチェンジを解析し、前記情動映像の切り替えを判定する情動映像切替判定部を備える、請求項11に記載の情報処理装置。
- 前記画像生成部は、前記入力画像及び前記情動映像に基づいて、出力画像を生成する、請求項11に記載の情報処理装置。
- 投影装置により投影される入力画像の内容を解析すること、
前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定すること、
とを含む、情報処理方法。 - コンピュータを、
投影装置により投影される入力画像の内容を解析する画像解析部と、
前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、情報処理装置として機能させるプログラム。 - 画像を投影する投影装置と、
前記投影装置により投影される入力画像の内容を解析する画像解析部と、
前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、画像表示システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072542 | 2015-03-31 | ||
JP2015072542 | 2015-03-31 | ||
PCT/JP2016/053087 WO2016157996A1 (ja) | 2015-03-31 | 2016-02-02 | 情報処理装置、情報処理方法、プログラム及び画像表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016157996A1 true JPWO2016157996A1 (ja) | 2018-01-25 |
JP6680294B2 JP6680294B2 (ja) | 2020-04-15 |
Family
ID=57005554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017509337A Active JP6680294B2 (ja) | 2015-03-31 | 2016-02-02 | 情報処理装置、情報処理方法、プログラム及び画像表示システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11003062B2 (ja) |
JP (1) | JP6680294B2 (ja) |
CN (1) | CN107430841B (ja) |
WO (1) | WO2016157996A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10957068B2 (en) * | 2017-01-06 | 2021-03-23 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling the same |
JP6894707B2 (ja) * | 2017-01-06 | 2021-06-30 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
JP2021122078A (ja) * | 2018-05-01 | 2021-08-26 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3011227U (ja) * | 1994-11-16 | 1995-05-23 | 有限会社ユーテック | 画面映像投影装置 |
JP2003323170A (ja) * | 2002-05-02 | 2003-11-14 | Sony Corp | 画像表示システムと画像処理装置及び画像表示方法 |
JP2011118253A (ja) * | 2009-12-07 | 2011-06-16 | Sharp Corp | 映像投映方法、映像投映装置、投映台及び映像投映システム |
JP2013509767A (ja) * | 2009-10-28 | 2013-03-14 | フラウンホファー‐ゲゼルシャフト・ツア・フェルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ | 校正済みの投写像を生成する方法および装置 |
JP2015041794A (ja) * | 2013-08-20 | 2015-03-02 | 三菱電機株式会社 | プロジェクションシステム |
WO2015030322A1 (en) * | 2013-08-26 | 2015-03-05 | Cj Cgv Co., Ltd. | Guide image generation device and method using parameters |
JP2015061241A (ja) * | 2013-09-19 | 2015-03-30 | カシオ計算機株式会社 | 投影システム、光路切換装置及び投影制御方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0311227U (ja) | 1989-06-15 | 1991-02-04 | ||
US8643788B2 (en) | 2002-04-25 | 2014-02-04 | Sony Corporation | Image processing apparatus, image processing method, and image processing program |
JP2005250235A (ja) * | 2004-03-05 | 2005-09-15 | Seiko Epson Corp | 光変調装置、光学表示装置、光変調制御プログラム及び光学表示装置制御プログラム、並びに光変調制御方法及び光学表示装置制御方法 |
US20070126864A1 (en) | 2005-12-05 | 2007-06-07 | Kiran Bhat | Synthesizing three-dimensional surround visual field |
US8130330B2 (en) * | 2005-12-05 | 2012-03-06 | Seiko Epson Corporation | Immersive surround visual fields |
MX2008012473A (es) | 2006-03-31 | 2008-10-10 | Koninkl Philips Electronics Nv | Reproduccion adaptada de contenido de video basada en cuadros adicionales de contenido. |
JP5010202B2 (ja) * | 2006-07-31 | 2012-08-29 | Necディスプレイソリューションズ株式会社 | プロジェクタおよび投射画像調整方法 |
JP2009180967A (ja) | 2008-01-31 | 2009-08-13 | Seiko Epson Corp | 画像形成装置 |
JP2012048066A (ja) * | 2010-08-27 | 2012-03-08 | Toshiba Corp | 映像表示装置 |
US20120223885A1 (en) | 2011-03-02 | 2012-09-06 | Microsoft Corporation | Immersive display experience |
US9268520B1 (en) * | 2011-06-21 | 2016-02-23 | Amazon Technologies, Inc. | Altering content projection |
US8840250B1 (en) * | 2012-01-11 | 2014-09-23 | Rawles Llc | Projection screen qualification and selection |
US20130181901A1 (en) * | 2012-01-12 | 2013-07-18 | Kanye Omari West | Multiple Screens for Immersive Audio/Video Experience |
JP6186599B1 (ja) * | 2014-12-25 | 2017-08-30 | パナソニックIpマネジメント株式会社 | 投影装置 |
-
2016
- 2016-02-02 CN CN201680017803.5A patent/CN107430841B/zh not_active Expired - Fee Related
- 2016-02-02 JP JP2017509337A patent/JP6680294B2/ja active Active
- 2016-02-02 US US15/560,193 patent/US11003062B2/en active Active
- 2016-02-02 WO PCT/JP2016/053087 patent/WO2016157996A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3011227U (ja) * | 1994-11-16 | 1995-05-23 | 有限会社ユーテック | 画面映像投影装置 |
JP2003323170A (ja) * | 2002-05-02 | 2003-11-14 | Sony Corp | 画像表示システムと画像処理装置及び画像表示方法 |
JP2013509767A (ja) * | 2009-10-28 | 2013-03-14 | フラウンホファー‐ゲゼルシャフト・ツア・フェルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ | 校正済みの投写像を生成する方法および装置 |
JP2011118253A (ja) * | 2009-12-07 | 2011-06-16 | Sharp Corp | 映像投映方法、映像投映装置、投映台及び映像投映システム |
JP2015041794A (ja) * | 2013-08-20 | 2015-03-02 | 三菱電機株式会社 | プロジェクションシステム |
WO2015030322A1 (en) * | 2013-08-26 | 2015-03-05 | Cj Cgv Co., Ltd. | Guide image generation device and method using parameters |
JP2015061241A (ja) * | 2013-09-19 | 2015-03-30 | カシオ計算機株式会社 | 投影システム、光路切換装置及び投影制御方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107430841A (zh) | 2017-12-01 |
US20180095347A1 (en) | 2018-04-05 |
JP6680294B2 (ja) | 2020-04-15 |
WO2016157996A1 (ja) | 2016-10-06 |
CN107430841B (zh) | 2021-03-09 |
US11003062B2 (en) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10277813B1 (en) | Remote immersive user experience from panoramic video | |
JP6492332B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4548413B2 (ja) | 表示システム、動画化方法およびコントローラ | |
US9787943B2 (en) | Natural user interface having video conference controls | |
US20150138188A1 (en) | Method, apparatus and system for image processing | |
US9747714B2 (en) | Method, device and computer software | |
JP2008015915A (ja) | 画像処理方法、入力インタフェース装置 | |
US9305400B2 (en) | Method and system for augmented reality | |
US10171785B2 (en) | Color balancing based on reference points | |
CN114049459A (zh) | 移动装置、信息处理方法以及非暂态计算机可读介质 | |
KR20180051202A (ko) | 디스플레이장치 및 그 제어방법 | |
CN111406406A (zh) | 虚拟现实场景中的动态范围扩展的设备和方法 | |
CN114327700A (zh) | 一种虚拟现实设备及截屏图片播放方法 | |
JP6680294B2 (ja) | 情報処理装置、情報処理方法、プログラム及び画像表示システム | |
JP2024029047A (ja) | ディスプレイ検出装置、そのための方法、およびコンピュータ読み取り可能媒体 | |
US20140225917A1 (en) | Dynamic Augmented Reality Vision Systems | |
Akiyama et al. | Robust reflectance estimation for projection-based appearance control in a dynamic light environment | |
CN113066189B (zh) | 一种增强现实设备及虚实物体遮挡显示方法 | |
KR101843024B1 (ko) | 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 | |
KR20130067649A (ko) | 실감 효과 검출 장치 및 방법 | |
WO2020084778A1 (ja) | コンテンツ再生装置、画像データ出力装置、コンテンツ作成装置、コンテンツ再生方法、画像データ出力方法、およびコンテンツ作成方法 | |
Yonemoto et al. | Projection Mapping of Animation by Object Recognition | |
CN114845148A (zh) | 虚拟演播室中主持人对虚拟物体的交互控制方法及装置 | |
WO2023049870A1 (en) | Selfie volumetric video | |
JP2023000949A (ja) | 表示制御装置、表示制御方法および表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190116 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200302 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6680294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |