JP6996493B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP6996493B2
JP6996493B2 JP2018508962A JP2018508962A JP6996493B2 JP 6996493 B2 JP6996493 B2 JP 6996493B2 JP 2018508962 A JP2018508962 A JP 2018508962A JP 2018508962 A JP2018508962 A JP 2018508962A JP 6996493 B2 JP6996493 B2 JP 6996493B2
Authority
JP
Japan
Prior art keywords
presentation position
projector
disturbance
image
scene change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018508962A
Other languages
English (en)
Other versions
JPWO2017169726A1 (ja
Inventor
清登 染谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017169726A1 publication Critical patent/JPWO2017169726A1/ja
Application granted granted Critical
Publication of JP6996493B2 publication Critical patent/JP6996493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本開示は、画像処理装置および方法に関し、特に、快適な視聴体験を提供することができるようにした画像処理装置および方法に関する。
映像コンテンツを、プロジェクタを使って投影している際に外乱が発生すると、スクリーン面に映像コンテンツを呈示する位置を更新する必要がある。ここでいう外乱とは、ユーザがプロジェクタの配置を変更したり、使用するプロジェクタを増やしたり減らしたりする事や、プロジェクタへの意図しない物理的接触による姿勢ずれ、および温度特性や経時変化による微妙な姿勢ずれなどを意味する。外乱によってプロジェクタの姿勢が変化するため、投影された映像コンテンツに歪(台形歪やブレンディングのずれなど)が生じる。ゆえにプロジェクタの姿勢を再推定して、投影された映像コンテンツに歪が出ないように、映像コンテンツの呈示位置を更新する必要がある。
プロジェクタ（およびカメラ）の姿勢を推定するためには、プロジェクタ（投影画像）とカメラ（撮像画像）との間で対応点を求める必要があった。
例えば、コンテンツ等の画像を投影しながらその対応点を求める技術であるオンラインセンシングは、入力映像を投影している最中に対応点検出ができるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像呈示位置に更新することができる（特許文献１参照）。
特開２００９－１３５９２１号公報
しかしながら、映像を呈示したまま、プロジェクタの姿勢を推定し、映像の呈示位置を更新するので、センシング前後で映像呈示位置が大きく変わる場合など、快適な視聴体験とは言い難く、広視野映像を大画面スクリーンに投影しているときは、映像酔いを引き起こしてしまう恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、快適な視聴体験を提供することができるものである。
本技術の一側面の画像処理装置は、プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、前記投影画像に歪が出ない位置に呈示位置の更新を行う呈示位置更新部と、入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部とを備え、前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、シーンチェンジ周辺で、前記呈示位置の更新を行い、前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、ユーザに事前に通知を行ってから、前記呈示位置の更新を行う。
本技術の一側面においては、プロジェクタから投影される投影画像が撮像されて撮像して生成された撮像画像を用いて、前記プロジェクタの外乱が検知される。そして、前記外乱が検知された場合、外乱検知前後の姿勢情報が比較され、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、前記投影画像に歪が出ない位置に呈示位置の更新が行われる。また、入力映像にシーンチェンジがあるか否かが判定され、シーンチェンジがあると判定された場合、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、シーンチェンジ周辺で、前記呈示位置の更新が行われ、シーンチェンジがないと判定された場合、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、ユーザに事前に通知を行ってから、前記呈示位置の更新が行われる。
本技術によれば、快適な視聴体験を提供することができる。
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
対応点検出の様子の例を示す図である。 ISLの例を説明する図である。 動画像の中での特徴点同士の対応付けを行う方法を説明する図である。 本技術を適用した投影撮像装置の構成例を示すブロック図である。 外乱検知の様子の例を示す図である。 外乱検知の様子の例を示す図である。 外乱検知の様子の例を示す図である。 投影撮像装置の投影撮像処理について説明するフローチャートである。 図８のステップＳ１０７の外乱発生後の呈示位置更新処理について説明するフローチャートである。 本技術を適用したコンピュータのハードウエア構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
＜背景＞
映像コンテンツを、プロジェクタを使って投影している際に外乱が発生すると、スクリーン面に映像コンテンツを呈示する位置を更新する必要がある。ここでいう外乱とは、ユーザがプロジェクタの配置を変更したり、使用するプロジェクタを増やしたり減らしたりする事や、プロジェクタへの意図しない物理的接触による姿勢ずれ、および温度特性や経時変化による微妙な姿勢ずれなどを意味する。外乱によってプロジェクタの姿勢が変化するため、投影された映像コンテンツに歪(台形歪やブレンディングのずれなど)が生じる。ゆえにプロジェクタの姿勢を再推定して、投影された映像コンテンツに歪が出ないように、映像コンテンツの呈示位置を更新する必要がある。
例えば、図１の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいて幾何補正を行う方法がある。
このようにカメラを利用して幾何補正を行う場合、投影画像（投影される画像でもよい）と撮像画像との間で対応点（投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素）を求める必要がある。つまり、カメラ１４（撮像画像１５）の画素とプロジェクタ１１（標準化光パタン１２）の画素との対応関係を求める必要がある。この対応点検出処理は、一般的にStructured Light（構造化光）と呼ばれる。
GrayCodeやDotおよびCheckerなどのパタン画像をプロジェクタで投影し、それをカメラで撮像して対応点検出する方法をオフラインセンシングと呼ぶことにする。外乱を検知後にオフラインセンシングによってプロジェクタの姿勢を推定する場合は、いったん映像コンテンツの投影をやめてパタン画像を投影する事になるため、映像視聴の中断が必須となり、快適な視聴体験を提供するのは困難である。
一方で動画投影中に対応点を検出して、プロジェクタとカメラの姿勢を推定する方法をオンラインセンシングと呼ぶことにする。オンラインセンシングでの対応点検出には、動画像内に人間の目では知覚されないパタンを重畳して対応点検出を行うImperceptible Structured Light(図２)や動画像内の特徴点を検出して特徴点同士の対応付けを行う方法(図３)などが挙げられる。
ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。
図２に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。
これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮像画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。
このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
図３に示されるように、動画像の中の特徴点を検出し、特徴点同士の対応付けを行う方法もある。時刻t1において、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３は、姿勢RT_t1である。このとき、プロジェクタ２２は、スクリーン２４に投影画像２５_t1を投影し、カメラ２３は、投影画像２５_t1を撮像し、撮像画像２６_t1を生成する。
その後、時刻t2において、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３の姿勢変化があり、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３は、姿勢RT_t2である。このとき、プロジェクタ２２は、スクリーン２４に投影画像２５_t2を投影し、カメラ２３は、投影画像２５_t2を撮像し、撮像画像２６_t2を生成する。
このように、入力映像を投影している最中に、生成された時刻t1での撮像画像２６_t1と、時刻t2での撮像画像２６_t2において対応点が検出されるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像呈示位置に更新できる利点がある。(前述のパタン画像を投影する必要はない)。
しかしながら、映像を呈示したまま、プロジェクタの姿勢を推定し、映像の呈示位置を更新するので、プロジェクタの姿勢およびスクリーンの形状の推定（以下、センシングとも称する）前後で映像呈示位置が大きく変わる場合など、快適な視聴体験とは言い難く、広視野映像を大画面スクリーンに投影しているときは、映像酔いを引き起こしてしまう恐れがあった。
そこで、本技術においては、センシング前後の映像呈示位置の急激な変化を抑えたり、映像呈示のタイミングを制御したりする。これにより、快適な視聴体験を提供することができる。
＜投影撮像装置の構成例＞
図４は、本技術を適用した投影撮像装置の構成例を示すブロック図である。
図４の例において、投影撮像装置１０１は、姿勢推定部１１１、呈示位置更新部１１２、遅延部１１３、幾何補正部１１４、プロジェクタ１１５、カメラ１１６、および外乱検知部１１７を含むように構成されている。入力映像は、呈示位置更新部１１２、幾何補正部１１４、および外乱検知部１１７に入力される。
姿勢推定部１１１は、プロジェクタ１１５の初期姿勢とスクリーンの形状を推定する。なお、推定方法は、オフラインセンシング（パターン投影）であってもよいし、オンラインセンシングであってもよい。姿勢推定部１１１は、推定したプロジェクタ１１５の姿勢情報とスクリーンの形状情報を、呈示位置更新部１１２、遅延部１１３、外乱検知部１１７に供給する。
呈示位置更新部１１２には、入力映像、プロジェクタ１１５の姿勢情報とスクリーンの形状情報、および遅延部１１３からの過去姿勢情報が入力される。呈示位置更新部１１２は、例えば、プロジェクタ１１５の姿勢情報とスクリーンの形状情報から初期映像呈示位置を求め、その情報である呈示位置情報を、幾何補正部１１４に供給する。
幾何補正部１１４は、入力映像が初期映像呈示位置に投影されるように、入力映像を補正し、補正画像を生成して、プロジェクタ１１５に出力する。プロジェクタ１１５は、補正画像を、スクリーンに投影する。
カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、外乱検知部１１７および姿勢推定部１１１に供給する。
なお、プロジェクタ１１５も、カメラ１１６も複数台であってもよい。また、プロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のプロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のカメラ１１６に対して、プロジェクタ１１５が１台であってもよい。
外乱検知部１１７は、カメラ１１６からの撮像画像を用いて、外乱を検知する。外乱検知部１１７は、姿勢情報と呈示位置情報から、入力映像が投影される領域（マスク画像）を計算する。
例えば、プロジェクタ１１５－０とプロジェクタ１１５－１で投影しており、それぞれに対応して、カメラ１１６－０とカメラ１１６－１が投影画像を撮像している場合を考える。この場合、図５に示されるように、呈示位置情報のうち、プロジェクタ画隅呈示位置情報から、プロジェクタ１１５－０の投影領域（pro0投影領域）とプロジェクタ１１５－１の投影領域（pro1投影領域）が求められ、プロジェクタ１１５－０および１１５－１それぞれの姿勢情報から、mask領域（投影領域）が示されるカメラ１１６－０のマスク画像１２１－０とカメラ１１６－１のマスク画像１２１－１が求められる。
次に、外乱検知部１１７は、図６に示されるように、マスク画像１２１－０と撮像画像１３１－０をマスク処理して、マスク処理画像１３２－０を生成し、マスク処理画像１３２－０の背景領域（mask領域外）に変化があるかどうかを調べる。同様に、外乱検知部１１７は、マスク画像１２１－１と撮像画像１３１－１をマスク処理して、マスク処理画像１３２－１を生成し、マスク処理画像１３２－１の背景領域（mask領域外）に変化があるかどうかを調べる。
図６の例の場合、マスク処理画像１３２－０の背景領域の右下部分に変化があるので、外乱があると判定され、マスク処理画像１３２－１の背景領域の左上部分に変化があるので、外乱があると判定される。
また、外乱がなければ、スクリーンの投影画像の背景領域にプロジェクタの光（入力映像）は当たらないので、変化がない。これに対して、外乱が発生すると、スクリーンの投影画像の背景領域にプロジェクタの光が当たるので、外乱検知部１１７はそれを検知する。
すなわち、図７の例においては、外乱発生前のスクリーン１５１の投影画像の背景領域にプロジェクタ１１５－０および１１５－１の光（入力映像）は当たっていないが、外乱発生後のスクリーン１５１の投影画像の背景領域にプロジェクタ１１５－１の光が当たっている。外乱検知部１１７はこの外乱を検知し、センシングすることで、外乱復帰後のスクリーン１５１に、外乱が起こっていない投影画像を投影することができる。
以降、外乱検知後の呈示位置更新部１１２の動作について説明する。
外乱検知部１１７は、外乱の検知を姿勢推定部１１１に通知する。姿勢推定部１１１は、外乱が検知されたら、プロジェクタの姿勢およびスクリーンの形状を推定し、姿勢情報とスクリーン形状情報を、呈示位置更新部１１２に供給する。
呈示位置更新部１１２は、外乱発生前の姿勢情報（過去姿勢情報）と外乱発生後の姿勢情報とを比較して、幾何補正部１１４へ渡す呈示位置情報を決定する。例えば、呈示位置更新部１１２は、複数のプロジェクタを用いて入力映像をスクリーンに呈示している場合は、外乱が発生したプロジェクタ（すなわち、姿勢が変化したプロジェクタ）だけ映像呈示位置を更新する。つまり、外乱が発生していないプロジェクタは、映像呈示位置が維持される。
また、呈示位置更新部１１２は、多数のプロジェクタに外乱があり、映像呈示位置を維持するのが困難な場合、入力映像のシーンチェンジのタイミングで呈示位置を更新する。他にも、呈示位置の更新前後にエフェクト（フェードアウト＝＞フェードインなど）をかけることで、呈示位置の急激な変化を抑えることができる。その際、変化の度合いを判定し、変化の度合いに応じたエフェクトをかけるようにしてもよい。さらに、ユーザに呈示位置の更新タイミングを事前に通知するようにしてもよい。
次に、図８のフローチャートを参照して、投影撮像装置１０１の投影撮像処理について説明する。
ステップＳ１０１において、姿勢推定部１１１は、プロジェクタ１１５の初期姿勢とスクリーンの形状を推定する。姿勢推定部１１１は、推定したプロジェクタ１１５の姿勢情報とスクリーンの形状情報を、呈示位置更新部１１２、遅延部１１３、外乱検知部１１７に供給する。
呈示位置更新部１１２には、入力映像、プロジェクタ１１５の姿勢情報とスクリーンの形状情報、および遅延部１１３からの過去姿勢情報が入力される。ステップＳ１０２において、呈示位置更新部１１２は、プロジェクタ１１５の姿勢情報とスクリーンの形状情報から初期映像呈示位置を求め、その情報である呈示位置情報を、幾何補正部１１４に供給する。
ステップＳ１０３において、幾何補正部１１４は、入力映像が初期映像呈示位置に投影されるように、入力映像を補正し、補正画像を生成して、プロジェクタ１１５に出力する。プロジェクタ１１５は、ステップＳ１０４において、補正画像を、スクリーンに投影する。
ステップＳ１０５において、カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、外乱検知部１１７および姿勢推定部１１１に供給する。
ステップＳ１０６において、外乱検知部１１７は、図５乃至図７を参照して上述したように外乱の発生を検知することで、プロジェクタの姿勢が変化したか否かを判定する。
ステップＳ１０６において、プロジェクタ１１５の姿勢が変化していないと判定された場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。ステップＳ１０６において、プロジェクタ１１５の姿勢が変化したと判定された場合、処理は、ステップＳ１０７に進む。
ステップＳ１０７において、投影撮像装置１０１は、外乱発生後処理を行う。この外乱発生処理の詳細は、図９を参照して後述される。ステップＳ１０７における外乱発生後処理の後、処理は、ステップＳ１０３に戻り、それ以降の処理が繰り返される。
次に、図９のフローチャートを参照して、図８のステップＳ１０７の外乱発生後の呈示位置更新処理について説明する。
外乱検知部１１７は、外乱の検知を姿勢推定部１１１に通知する。姿勢推定部１１１は、外乱が検知されたら、ステップＳ１１１において、プロジェクタの姿勢およびスクリーンの形状を推定し、姿勢情報とスクリーン形状情報を、呈示位置更新部１１２に供給する。
ステップＳ１１２において、呈示位置更新部１１２は、外乱発生前の姿勢情報（過去姿勢情報）と外乱発生後の姿勢情報とを比較する。
ステップＳ１１３において、呈示位置更新部１１２は、多数のプロジェクタの姿勢が変化したか否かを判定する。ステップＳ１１３において、多数のプロジェクタの姿勢が変化していないと判定された場合、処理は、ステップＳ１１４に進む。なお、ステップＳ１１３においては、多数のプロジェクタを判定するようにした。その際、閾値を設けて、閾値以上を多数として判定してもよいし、単数かまたは複数かを判定するようにしてもよい。
ステップＳ１１４において、呈示位置更新部１１２は、外乱前後の呈示位置の変化を比較し、処理は、ステップＳ１１５に進む。ステップＳ１１５において、呈示位置更新部１１２は、外乱前後の呈示位置の変化が大きいか否かを判定する。ステップＳ１１５において、変化が大きいと判定された場合、処理は、ステップＳ１１６に進む。
一方、ステップＳ１１３において、多数のプロジェクタの姿勢が変化したと判定された場合も、処理は、ステップＳ１１６に進む。ステップＳ１１６において、呈示位置更新部１１２は、入力映像にシーンチェンジが存在するか否かを判定する。ステップＳ１１６において、入力映像にシーンチェンジが存在すると判定された場合、処理は、ステップＳ１１７に進む。
ステップＳ１１７において、呈示位置更新部１１２は、呈示位置変化が大きいか否かを判定する。ステップＳ１１７において、呈示位置変化が大きいと判定された場合、処理は、ステップＳ１１８に進む。ステップＳ１１８において、呈示位置更新部１１２は、シーンチェンジ前後にエフェクトをかけながら呈示位置更新を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
ステップＳ１１７において、呈示位置変化が小さいと判定された場合、処理は、ステップＳ１１９に進む。ステップＳ１１９において、呈示位置更新部１１２は、シーンチェンジで呈示位置更新を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
ステップＳ１１６において、入力映像にシーンチェンジが存在しないと判定された場合、処理は、ステップＳ１２０に進む。ステップＳ１２０において、呈示位置更新部１１２は、プロジェクタ１１５やユーザに事前に更新を通知する。通知後は、図示されていないが、例えば、ユーザによる了解を得られた後に、必要に応じて、呈示位置更新処理を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
また、ステップＳ１１５において、変化が小さいと判定された場合、処理は、ステップＳ１２１に進む。ステップＳ１２１において、呈示位置更新部１１２は、姿勢変化があるプロジェクタ１１５のみの呈示位置更新処理を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
以上のように、本技術によれば、映像コンテンツをスクリーンに投影している最中に外乱によってプロジェクタの姿勢がずれて映像に歪みが生じても、（パタン投影を必要とすることなく）自動的に歪みのない映像をスクリーン面に投影でき、かつ、快適な視聴体験を提供することができる。
特に大画面スクリーンや広視野スクリーンなどを使った映像視聴では、映像呈示位置の急激な変化が映像酔いを引き起こす恐れがあるが、それに対しての本技術の効果は大きいと予測される。
なお、上記説明においては、カメラを利用した外乱検知を行う例を説明したが、カメラ以外のセンサ（例えば、加速度センサや温度センサ）を利用したり、センサフュージョンによる外乱検知を用いる場合にも、本技術は適用することができる。
＜パーソナルコンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
図１０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部と
を備える画像処理装置。
（２） 前記プロジェクタから投影される前記投影画像を撮像し、前記撮像画像を生成する撮像部を
さらに備える前記（１）に記載の画像処理装置。
（３） 前記呈示位置更新部は、複数のプロジェクタの姿勢情報に変化がなく、外乱検知前後の呈示位置の変化が小さい場合に、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
前記（１）に記載の画像処理装置。
（４） 入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部
をさらに備え、
前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記シーンチェンジ周辺で、呈示位置の更新を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記シーンチェンジ判定部は、複数のプロジェクタの姿勢情報に変化がある場合、または、複数のプロジェクタの姿勢情報に変化がないが、外乱検知前後の呈示位置の変化が大きい場合に、入力映像にシーンチェンジがあるか否かを判定する
前記（４）に記載の画像処理装置。
（６） 前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、外乱検知前後の呈示位置変化が大きいか否かを判定する呈示位置変化判定部を
さらに備え、
前記呈示位置変化判定部により外乱検知前後の呈示位置変化が大きいと判定された場合、前記呈示位置更新部は、前記シーンチェンジ前後にエフェクトをかけながら呈示位置の更新を行う
前記（４）に記載の画像処理装置。
（７） 前記呈示位置変化判定部により外乱検知前後の呈示位置変化が小さいと判定された場合、前記呈示位置更新部は、前記シーンチェンジで呈示位置の更新を行う
前記（６）に記載の画像処理装置。
（８） 前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、ユーザに事前に通知を行ってから、呈示位置の更新を行う
前記（３）に記載の画像処理装置。
（９） 前記呈示位置更新部は、エフェクトをかけながら、呈示位置の更新を行う
前記（１）に記載の画像処理装置。
（１０） 外乱検知後の呈示位置変化の度合いを判定する呈示位置変化判定部を
さらに備え、
前記呈示位置更新部は、呈示位置変化の度合いに応じて、エフェクトをかけながら、呈示位置の更新を行う
前記（９）に記載の画像処理装置。
（１１） 前記プロジェクタの外乱は、プロジェクタの配置変更、プロジェクタの数の増減、プロジェクタへの物理的接触による姿勢ずれ、または、温度特性や経時変化による姿勢ずれである
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 画像処理装置が、
プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知し、
前記外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
画像処理方法。
（１３） プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部と
して、コンピュータを機能させるプログラム。
１０１ 投影撮像装置， １１１ 姿勢推定部， １１２ 呈示位置更新部， １１３ 遅延部， １１４ 幾何補正部， １１５，１１５－０，１１５－１ プロジェクタ， １１６，１１６－０，１１６－１ カメラ， １１７ 外乱検知部， １５１ スクリーン

Claims (7)

  1. プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
    前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、前記投影画像に歪が出ない位置に呈示位置の更新を行う呈示位置更新部と、
    入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部と
    を備え、
    前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、シーンチェンジ周辺で、前記呈示位置の更新を行い、
    前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、ユーザに事前に通知を行ってから、前記呈示位置の更新を行う
    画像処理装置。
  2. 前記プロジェクタから投影される前記投影画像を撮像し、前記撮像画像を生成する撮像部を
    さらに備える請求項１に記載の画像処理装置。
  3. 前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、シーンチェンジ前後にエフェクトをかけながら、前記呈示位置の更新を行う
    請求項１に記載の画像処理装置。
  4. 前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、エフェクトをかけながら、前記呈示位置の更新を行う
    請求項１に記載の画像処理装置。
  5. 外乱検知後の呈示位置変化の度合いを判定する呈示位置変化判定部を
    さらに備え、
    前記呈示位置更新部は、呈示位置変化の度合いに応じて、エフェクトをかけながら、または、エフェクトをかけないで、前記呈示位置の更新を行う
    請求項１に記載の画像処理装置。
  6. 前記プロジェクタの外乱は、プロジェクタの配置変更、プロジェクタの数の増減、プロジェクタへの物理的接触による姿勢ずれ、または、温度特性や経時変化による姿勢ずれである
    請求項１に記載の画像処理装置。
  7. 画像処理装置が、
    プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知し、
    前記外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、前記投影画像に歪が出ない位置に呈示位置の更新を行い、
    入力映像にシーンチェンジがあるか否かを判定し、
    シーンチェンジがあると判定された場合、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、シーンチェンジ周辺で、前記呈示位置の更新を行い、
    シーンチェンジがないと判定された場合、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、ユーザに事前に通知を行ってから、前記呈示位置の更新を行う
    画像処理方法。
JP2018508962A 2016-03-28 2017-03-14 画像処理装置および方法 Active JP6996493B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016064244 2016-03-28
JP2016064244 2016-03-28
PCT/JP2017/010110 WO2017169726A1 (ja) 2016-03-28 2017-03-14 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2017169726A1 JPWO2017169726A1 (ja) 2019-02-07
JP6996493B2 true JP6996493B2 (ja) 2022-01-17

Family

ID=59964344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508962A Active JP6996493B2 (ja) 2016-03-28 2017-03-14 画像処理装置および方法

Country Status (3)

Country Link
US (1) US10839553B2 (ja)
JP (1) JP6996493B2 (ja)
WO (1) WO2017169726A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629190A (zh) * 2019-02-28 2020-09-04 中强光电股份有限公司 投影系统以及投影方法
JP2022185342A (ja) * 2021-06-02 2022-12-14 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259252A (ja) 2002-03-05 2003-09-12 Sony Corp 画像処理装置と画像処理方法および画像処理プログラム
JP2006197443A (ja) 2005-01-17 2006-07-27 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008249906A (ja) 2007-03-29 2008-10-16 Brother Ind Ltd プロジェクタ及び表示システム
JP2009224929A (ja) 2008-03-14 2009-10-01 Seiko Epson Corp プロジェクションシステム
JP2012114863A (ja) 2010-11-26 2012-06-14 Kyocera Corp 携帯電子機器
JP2013195498A (ja) 2012-03-16 2013-09-30 Nikon Corp マルチプロジェクタシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5121673B2 (ja) 2007-11-06 2013-01-16 パナソニック株式会社 画像投影装置及び画像投影方法
WO2012070503A1 (ja) 2010-11-26 2012-05-31 京セラ株式会社 携帯電子機器
EP2797053B1 (en) * 2013-04-24 2017-03-22 Morpho, Inc. Image compositing device and image compositing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259252A (ja) 2002-03-05 2003-09-12 Sony Corp 画像処理装置と画像処理方法および画像処理プログラム
JP2006197443A (ja) 2005-01-17 2006-07-27 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008249906A (ja) 2007-03-29 2008-10-16 Brother Ind Ltd プロジェクタ及び表示システム
JP2009224929A (ja) 2008-03-14 2009-10-01 Seiko Epson Corp プロジェクションシステム
JP2012114863A (ja) 2010-11-26 2012-06-14 Kyocera Corp 携帯電子機器
JP2013195498A (ja) 2012-03-16 2013-09-30 Nikon Corp マルチプロジェクタシステム

Also Published As

Publication number Publication date
US10839553B2 (en) 2020-11-17
WO2017169726A1 (ja) 2017-10-05
JPWO2017169726A1 (ja) 2019-02-07
US20190102907A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
US8274570B2 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
JP5680524B2 (ja) 画像処理装置
US20150029306A1 (en) Method and apparatus for stabilizing panorama video captured based on multi-camera platform
US20140176730A1 (en) Projection-type image display device, image projection method, and computer program
JP2013257686A5 (ja)
JP6996493B2 (ja) 画像処理装置および方法
JP7001966B2 (ja) 画像処理装置および方法
JP2016063248A (ja) 画像処理装置および画像処理方法
US20150102998A1 (en) Projection-type projector, anti-glare method, and program for anti-glare
JP2015037204A5 (ja)
JP2014127773A5 (ja)
JP2010197541A (ja) プロジェクター、画像補正方法、画像補正装置及びプロジェクションシステム
JP2016167681A (ja) 画像生成装置および画像生成方法
WO2018173797A1 (ja) プロジェクタ、投影方法、画像処理システム、および方法
JP2011155477A (ja) 映像処理装置、映像処理方法及びプログラム
WO2018155269A1 (ja) 画像処理装置および方法、並びにプログラム
JP2019168862A5 (ja)
US10068339B2 (en) Image processing device, image processing system, image processing method and image processing program
JP2012257080A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2015207090A (ja) 画像処理装置、及びその制御方法
WO2013088657A1 (ja) 投射型投影装置、光防眩方法、および光防眩用プログラム
KR101219126B1 (ko) 영상 특성을 반영하여 산출한 영상 움직임 정보에 기반한 제어 방법 및 시스템
JP2012068842A (ja) 動きベクトル検出装置、動きベクトル検出方法、および、動きベクトル検出プログラム
JP2016042639A (ja) カメラ姿勢の制御装置、方法及びプログラム
JP2021158393A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R151 Written notification of patent or utility model registration

Ref document number: 6996493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151