JP6740900B2 - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP6740900B2 JP6740900B2 JP2016531163A JP2016531163A JP6740900B2 JP 6740900 B2 JP6740900 B2 JP 6740900B2 JP 2016531163 A JP2016531163 A JP 2016531163A JP 2016531163 A JP2016531163 A JP 2016531163A JP 6740900 B2 JP6740900 B2 JP 6740900B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- effect
- shake
- degree
- environment information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 171
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000000694 effects Effects 0.000 claims description 75
- 230000006641 stabilisation Effects 0.000 claims description 46
- 238000011105 stabilization Methods 0.000 claims description 46
- 230000001687 destabilization Effects 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000007654 immersion Methods 0.000 description 94
- 238000004458 analytical method Methods 0.000 description 62
- 238000004364 calculation method Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 19
- 230000000368 destabilizing effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000010191 image analysis Methods 0.000 description 12
- 230000000087 stabilizing effect Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 201000003152 motion sickness Diseases 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Description
本開示は、画像処理装置、画像処理方法およびプログラムに関する。 The present disclosure relates to an image processing device, an image processing method, and a program.
デジタルカメラなどにおける手ぶれ(camera shaking)補正技術は、例えば特許文献1にも記載されているように既に一般的である。手ぶれ補正技術では、例えば、撮像装置に搭載されたジャイロセンサを用いて手ぶれを検出し、補正用のレンズを駆動して手ぶれを打ち消す方向に光軸を移動させる光学式の手法が知られている。また、撮像された画像における手ぶれを検出し、被写体領域が一定になるように領域を切り出す電子式の手ぶれ補正手法も知られている。
A camera shaking correction technique in a digital camera or the like is already general as described in
上記のような手ぶれ補正の技術によって、撮像装置に揺れが発生しているような環境下で撮像が実行された場合にも、安定した画像を記録することができる。その一方で、手ぶれ補正を施された画像では、撮像時の臨場感が十分に再現されない可能性もある。上記のような技術では、撮像時に手ぶれ補正をするか否かは選択可能でありうるものの、一旦画像を撮像して記録した後には手ぶれ補正の有無を変更することは困難であり、画像の再生時にユーザの所望に応じて安定感または臨場感を表現することが十分にできているとはいえなかった。 With the image stabilization technique as described above, it is possible to record a stable image even when imaging is performed in an environment where the imaging device is shaken. On the other hand, in an image that has been subjected to image stabilization, there is a possibility that the realistic sensation at the time of imaging may not be sufficiently reproduced. With the above-described technology, it may be possible to select whether or not to perform image stabilization during image capture, but it is difficult to change the presence or absence of image stabilization after an image has been captured and recorded. At times, it has not been possible to sufficiently express a sense of stability or a sense of presence according to the user's desire.
そこで、本開示では、ユーザの所望に応じた効果が付加された画像を再生することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。 Therefore, the present disclosure proposes a new and improved image processing apparatus, image processing method, and program capable of reproducing an image to which an effect added according to a user's desire is reproduced.
本開示によれば、画像の揺れに関する揺れ情報に基づいて、上記画像に揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置が提供される。 According to the present disclosure, there is provided an image processing apparatus including an image destabilization processing unit that adds an effect of expressing shaking to the image based on shaking information regarding shaking of the image.
また、本開示によれば、画像に付加される揺れを表現する効果の程度を、上記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部を備える画像処理装置が提供される。 Further, according to the present disclosure, there is provided an image processing device including an image destabilization processing unit that determines the degree of an effect of expressing a shake added to an image based on an expected value of the immersive feeling of an observer with respect to the image. Provided.
また、本開示によれば、プロセッサが、画像の揺れに関する揺れ情報に基づいて、上記画像に揺れを表現する効果を付加することを含む画像処理方法が提供される。 Also, according to the present disclosure, there is provided an image processing method including a processor adding an effect of expressing a shake to the image based on shake information regarding shake of the image.
本開示によれば、プロセッサが、画像に付加される揺れを表現する効果の程度を、上記画像に対する観察者の没入感の期待値に基づいて決定することを含む画像処理方法が提供される。 According to the present disclosure, there is provided an image processing method including a processor determining the degree of an effect of expressing a shake added to an image based on an expected value of an immersive feeling of an observer with respect to the image.
また、本開示によれば、画像の揺れに関する揺れ情報に基づいて、上記画像に揺れを表現する効果を付加する機能をコンピュータに実現させるためのプログラムが提供される。 Further, according to the present disclosure, there is provided a program for causing a computer to realize a function of adding the effect of expressing a shake to the image based on the shake information regarding the shake of the image.
また、本開示によれば、画像に付加される揺れを表現する効果の程度を、上記画像に対する観察者の没入感の期待値に基づいて決定する機能をコンピュータに実現させるためのプログラムが提供される。 Further, according to the present disclosure, there is provided a program for causing a computer to realize a function of determining the degree of the effect of expressing a shake added to an image based on an expected value of the viewer's immersive feeling with respect to the image. It
以上説明したように本開示によれば、ユーザの所望に応じた効果が付加された画像を再生することができる。 As described above, according to the present disclosure, it is possible to reproduce an image to which an effect added according to a user's request is added.
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。 Note that the above effects are not necessarily limited, and in addition to or in place of the above effects, any of the effects shown in this specification, or other effects that can be grasped from this specification. May be played.
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In this specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.機能構成
1−2.処理フロー
1−3.各部の詳細な機能構成
1−4.没入度算出の処理
1−5.表示例
2.第2の実施形態
3.第3の実施形態
4.ハードウェア構成
5.補足The description will be given in the following order.
1. 1. First embodiment 1-1. Functional configuration 1-2. Processing flow 1-3. Detailed functional configuration of each part 1-4. Immersion Degree Calculation Processing 1-5. Display example 2. Second embodiment 3. Third embodiment 4. Hardware configuration 5. Supplement
(1.第1の実施形態)
(1−1.機能構成)
図1は、本開示の第1の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図1を参照すると、画像処理システム100は、画像信号取得・処理モジュール110と、エンコード・マルチプレクサモジュール120と、メモリモジュール130と、デマルチプレクサ・デコードモジュール140と、没入度算出モジュール150と、画像逆安定化モジュール160と、ディスプレイモジュール190とを含む。没入度算出モジュール150には、モード設定170と、視聴環境設定180が入力される。なお、それぞれの構成要素の詳細については後述する。(1. First embodiment)
(1-1. Functional configuration)
FIG. 1 is a schematic block diagram showing a functional configuration example of an image processing system according to the first embodiment of the present disclosure. Referring to FIG. 1, the
上記の画像処理システム100の機能構成は、例えば、単一の画像処理装置によって実現されもよいし、複数の画像処理装置に分散して実現されてもよい。例えば、デジタルカメラや、カメラを搭載したスマートフォンまたはタブレットなどの端末装置において、上記の画像処理システム100の機能構成の全体が実現されてもよい。この場合、端末装置によって撮像された画像に、逆安定化の処理を施したうえで、端末装置自身で閲覧することができる。メモリモジュール130は、端末装置に内蔵されていてもよいし、リムーバブル記録媒体であってもよい。
The functional configuration of the
また、例えば、画像処理システム100の機能構成は、端末装置とサーバ装置とに分散して実現されてもよい。この場合、例えば、画像信号取得・処理モジュール110およびディスプレイモジュール190が端末装置で実現され、その間の機能構成、つまりエンコード・マルチプレクサモジュール120、メモリモジュール130、デマルチプレクサ・デコードモジュール140、没入度算出モジュール150、および画像逆安定化モジュール160が1または複数のサーバ装置によって実現されてもよい。端末装置とサーバ装置との間の通信、およびサーバ装置間の通信は、インターネット、Wi−Fi、Bluetooth(登録商標)などを含む有線または無線の各種ネットワークを介して実行される。
Further, for example, the functional configuration of the
なお、エンコード・マルチプレクサモジュール120、メモリモジュール130、デマルチプレクサ・デコードモジュール140、没入度算出モジュール150、および画像逆安定化モジュール160の一部は、端末装置において実現されてもよい。また、この場合、画像信号取得・処理モジュール110が実現される端末装置と、ディスプレイモジュール190が実現される端末装置とは、別であってもよい。例えば、デジタルカメラにおいて画像信号取得・処理モジュール110が実現され、それとは別のパーソナルコンピュータにおいてディスプレイモジュール190が実現されてもよい。
Note that part of the encode/
(1−2.処理フロー)
図2は、本開示の第1の実施形態における録画処理の例を示すフローチャートである。図2を参照すると、まず、画像信号取得・処理モジュール110が、撮像装置のモーションをキャプチャする(S101)とともに、音声および画像をキャプチャする(S102
)。さらに、画像信号取得・処理モジュール110は、S101で取得されたモーションに応じて画像の安定化を実施し(S103)、エンコード・マルチプレクサモジュール120が音声および画像をエンコードするとともに多重化する(S104)。そして、メモリアクセス(S105)によって、音声および画像のデータがメモリモジュール130に格納される。(1-2. Processing flow)
FIG. 2 is a flowchart showing an example of recording processing according to the first embodiment of the present disclosure. Referring to FIG. 2, first, the image signal acquisition/
). Furthermore, the image signal acquisition/
ここで、本実施形態では、S103の画像の安定化におけるフレーム画像の移動量を示すベクトルが、安定化された画像のデータとともにエンコードおよび多重化され(S104)、メモリモジュール130に格納される(S105)。ベクトルは、後述する再生時の処理において利用される。 Here, in the present embodiment, the vector indicating the movement amount of the frame image in the stabilization of the image in S103 is encoded and multiplexed together with the data of the stabilized image (S104) and stored in the memory module 130 ( S105). The vector is used in the processing at the time of reproduction described later.
図3は、本開示の第1の実施形態における再生処理の例を示すフローチャートである。図3を参照すると、まず、メモリモジュール130から読み出された画像および音声のデータについて、デマルチプレクサ・デコードモジュール140が、逆多重化およびデコードを実施する(S121)。このとき、画像および音声のデータとともにメモリモジュール130に格納された安定化ベクトルのデータも読み出され、デコードおよび逆多重化される。
FIG. 3 is a flowchart showing an example of a reproduction process according to the first embodiment of the present disclosure. Referring to FIG. 3, first, the demultiplexer/
次に、逆安定化に先立ち、再生する画像の表示に適した没入度が決定される。なお、没入度の定義については後述する。没入度算出モジュール150は、モード設定170に基づいて、モードを判定する(S122)。モードが「マニュアル」の場合、没入度算出モジュール150は、没入度をマニュアルで設定する(S123)。ここで設定される没入度の値は、例えばユーザ操作によって入力された値でありうる。一方、S122の判定において、モードが「オート」の場合、没入度算出モジュール150は、画像の解析を実施し(S124)、没入度を自動的に算出する(S125)。
Next, prior to the destabilization, the degree of immersion suitable for displaying the image to be reproduced is determined. The definition of the degree of immersion will be described later. The immersion
没入度算出モジュール150がS125において自動的に算出した没入度、またはS123においてマニュアルで設定した没入度に基づいて、画像逆安定化モジュール160が画像の逆安定化を実施する(S126)。さらに、ディスプレイモジュール190が、逆安定化された画像を表示する(S127)。
The image
(1−3.各部の詳細な機能構成)
図4は、本開示の第1の実施形態に係る画像処理システムにおいて録画処理を実行するための機能構成をより詳細に示すブロック図である。以下、図4を参照して、主に画像信号取得・処理モジュール110およびエンコード・マルチプレクサモジュール120の構成について、さらに説明する。(1-3. Detailed functional configuration of each part)
FIG. 4 is a block diagram showing in more detail the functional configuration for executing the recording process in the image processing system according to the first embodiment of the present disclosure. Hereinafter, the configurations of the image signal acquisition/
画像信号取得・処理モジュール110は、レンズ111と、ジャイロセンサ112と、イメージセンサ113と、マイクロフォン114と、画像安定化処理部115とを含む。イメージセンサ113は、レンズ111から入射する光を受講し、画像データを生成する。ジャイロセンサ112は、レンズ111を含む筺体の振動を検出する。ジャイロセンサ112が検出する振動に応じて、レンズ111に含まれる補正用のレンズをシフトさせることによって、ぶれを打ち消す方向に光軸を移動させる光学式の手ぶれ補正(画像の安定化)が実現される。図示していないが、イメージセンサ113をシフトさせることによって光学式の手ぶれ補正が実現されてもよい。
The image signal acquisition/
また、ジャイロセンサ112が検出する振動に応じて、画像安定化処理部115が、イメージセンサ113から出力される画像について電子式の手ぶれ補正(画像の安定化)を実施する。より具体的には、画像安定化処理部115は、イメージセンサ113から提供される入力画像の領域よりも小さい領域を出力画像の領域とし、出力画像に含まれる被写体領域
が一定になるように、入力画像から出力画像の領域を切り出す処理を実施する。ここで、画像安定化処理部115は、ジャイロセンサ112による振動の検出結果に応じて切り出しの領域を決定してもよいし、画像の解析によって切り出しの領域を決定してもよい。In addition, the image
画像安定化処理部115によって安定化された画像は、エンコード・マルチプレクサモジュール120の画像エンコード部122に入力される。また、本実施形態では、ジャイロセンサ112から画像安定化処理部115に提供された筺体の振動を示すベクトル、または、画像安定化処理部115よる画像の安定化処理に対応するベクトル(例えば、入力画像から切り出される出力画像の位置の、中心からのずれを示すベクトル)が、エンコード・マルチプレクサモジュール120の安定化ベクトルエンコード部121に入力される。上記のベクトルを、以下では安定化ベクトルともいう。さらに、マイクロフォン114によって取得された、画像に対応する音声データが、エンコード・マルチプレクサモジュール120の音声エンコード部123に入力される。
The image stabilized by the image
ここで、上記の手ぶれ補正(画像の安定化)の処理は、撮像時における撮像装置の揺れの影響の少なくとも一部を除去する処理でありうる。このような処理によって、画像安定化処理部115は安定化された画像を出力する。この場合において、画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像である。また、後述するように、画像逆安定化モジュール160は、画像に揺れを表現する効果を付加することによって、画像に撮像装置の揺れを再現する。安定化ベクトルは、撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報の一例である。
Here, the above-described camera shake correction (image stabilization) processing may be processing for removing at least a part of the influence of the shake of the image pickup apparatus during image pickup. By such processing, the image
エンコード・マルチプレクサモジュール120は、安定化ベクトルエンコード部121と、画像エンコード部122と、音声エンコード部123と、マルチプレクサ124とを含む。各エンコード部は、上記のように、画像信号取得・処理モジュール110から提供される画像データ、音声データ、および安定化ベクトルをエンコードする。マルチプレクサ124は、各エンコード部によってエンコードされたデータを多重化する。多重化されたデータは、メモリモジュール130を構成するデータストレージ131に格納される。
The encoding/
図5は、本開示の第1の実施形態に係る画像処理システムに含まれるデマルチプレクサ・デコードモジュールの機能構成をより詳細に示すブロック図である。図5を参照すると、デマルチプレクサ・デコードモジュール140は、デマルチプレクサ141と、安定化ベクトルデコード部142と、画像デコード部143と、音声デコード部144とを含む。
FIG. 5 is a block diagram showing in more detail the functional configuration of the demultiplexer/decode module included in the image processing system according to the first embodiment of the present disclosure. Referring to FIG. 5, the demultiplexer/
デマルチプレクサ141は、上記のエンコード・マルチプレクサモジュール120によってメモリモジュール130のデータストレージ131に格納されたデータを逆多重化し、安定化ベクトルのデータと、画像データと、音声データとを得る。各デコード部は、エンコード・マルチプレクサモジュール120においてエンコードされた画像データ、音声データ、および安定化ベクトルをデコードする。これによって、デコードされた安定化ベクトル145と、デコードされた画像(安定化されている)146と、デコードされた音声147とが得られる。
The
図6は、本開示の第1の実施形態に係る画像処理システムに含まれる没入度算出モジュールの機能構成をより詳細に示すブロック図である。図6を参照すると、没入度算出モジュール150は、モーション解析部151と、画像解析部152と、音声解析部153と、表示装置解析部154と、没入感解析部155とを含む。
FIG. 6 is a block diagram showing in more detail the functional configuration of the immersion degree calculation module included in the image processing system according to the first embodiment of the present disclosure. Referring to FIG. 6, the immersion
モーション解析部151は、デコードされた安定化ベクトル145に基づく解析を実行する。画像解析部152は、デコードされた画像(安定化されている)146に基づく解析を実行する。音声解析部153は、デコードされた音声147に基づく解析を実行する。また、表示装置解析部154は、別途取得した表示装置に関する情報に基づく解析を実行する。
The
没入感解析部155は、各解析部によって実行された解析の結果に基づいて、没入感についての解析を実行する。このとき、没入感解析部155は、モード設定(オート/マニュアル)170、および視聴環境設定180をさらに入力として用いる。没入感解析部155は、解析の結果に基づいて没入度157を出力する。なお、没入感解析部155における解析処理の具体的な例については後述する。
The immersive
図7は、本開示の第1の実施形態に係る画像処理システムに含まれる画像逆安定化モジュールの機能構成をより詳細に示すブロック図である。図7を参照すると、画像逆安定化モジュール160は、画像逆安定化部161を含む。画像逆安定化部161は、没入度157に基づいて、画像の逆安定化処理を実行する。画像逆安定化部161は、デコードされた安定化ベクトル145と、デコードされた画像(安定化されている)146とを入力として用いる。画像逆安定化部161は、逆安定化された画像162を出力する。
FIG. 7 is a block diagram showing in more detail the functional configuration of the image destabilizing module included in the image processing system according to the first embodiment of the present disclosure. Referring to FIG. 7, the
ここで、画像逆安定化モジュール160は、画像の揺れに関する揺れ情報に基づいて、画像に揺れを表現する効果を付加する画像逆安定化処理部の一例である。揺れ情報は、画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報、つまり安定化ベクトル145を含みうる。また、後述するように、画像逆安定化モジュール160は、前記効果の程度を、没入度算出モジュール150によって算出される没入度157に基づいて決定する。本実施形態において、没入度157は、画像の撮影環境に関する撮影環境情報、または画像の視聴環境に関する視聴環境情報を表現する。
Here, the
また、画像逆安定化モジュール160は、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部の一例であるともいえる。本実施形態では、没入度157が没入感の期待値を示す。後述するように、没入度算出モジュール150は、没入度157を、画像の撮影環境を示す撮影環境情報、または画像の視聴環境を示す視聴環境情報に基づいて決定する。
The
図8は、本開示の第1の実施形態に係る画像処理システムに含まれるディスプレイモジュールの機能構成をより詳細に示すブロック図である。図8を参照すると、ディスプレイモジュール190は、ディスプレイI/O191を含む。ディスプレイI/O191は、逆安定化された画像162と、デコードされた音声147とに基づいて、画像の表示および音声の出力を実行する。あるいは、ディスプレイI/O191は、画像信号および音声信号を、外部接続されるディスプレイ装置に送信する。
FIG. 8 is a block diagram showing in more detail the functional configuration of the display module included in the image processing system according to the first embodiment of the present disclosure. Referring to FIG. 8, the
(1−4.没入度算出の処理)
図9は、本開示の第1の実施形態に係る画像処理システムにおける没入度算出の処理について、さらに説明するための図である。以下では、没入度算出モジュール150に含まれるモーション解析部151、画像解析部152、音声解析部153、表示装置解析部154、没入感解析部155、および視聴環境設定180を用いた解析について説明する。(1-4. Immersion degree calculation process)
FIG. 9 is a diagram for further explaining the process of calculating the degree of immersion in the image processing system according to the first embodiment of the present disclosure. Hereinafter, an analysis using the
ここで、本明細書において、没入度は、表示された画像の観察者が感じる没入感の期待値である。没入感は、例えば、迫力や臨場感などと言い換えられてもよい。従って、表示に適した没入度は、観察者に没入感(迫力、または臨場感)を強く与えたいと想定される画像ほど高くなる。例えば、コンテンツの内容やシーン、画像の色合いなどから、画像の表示に適した没入度を算出することができる。 Here, in the present specification, the degree of immersion is an expected value of the feeling of immersion that an observer of the displayed image feels. Immersion may be paraphrased as, for example, force or presence. Therefore, the degree of immersiveness suitable for display is higher for an image in which it is assumed that the observer is required to have a stronger immersive feeling (power or realism). For example, the immersiveness suitable for displaying an image can be calculated from the content, the scene, the color tone of the image, and the like.
モーション解析部151は、安定化ベクトル(画像のフレームの移動ベクトル)の向き、大きさ、またはそれらの傾向に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度157によって表現される撮影環境情報は、画像のフレームの移動ベクトルに関する情報を含みうる。モーション解析部151による解析には、ベクトル変化量(VC)およびモーション種類ごとの重みが用いられる。ベクトル変化量(VC)は、例えばベクトルのノルムの変化や角度の変化のような元の安定化ベクトルから抽出される特徴を、出力値にマッピングする関数である。モーション種類ごとの重(MW)みは、予め生成されたテーブルで定義されている。定義されるモーション種類は、例えば、モーション解析の結果に基づいて決定される。図示された例では、「加速」のモーションに重みMW1が設定されている。このとき、モーション解析部151では、ベクトル変化量の出力VCと、モーション種類に対する重みMW1とに基づいて、VC*MW1の値が出力される。
The
より具体的には、モーション解析部151は、例えば、動きが大きい場合には出力される値(VC*MW)が大きくなるように設定されていてもよい。この場合、例えば動きが大きい場合の出力値が大きくなるようにベクトル変化量(VC)が設定されていてもよいし、動きが大きい場合について重み(MW)が大きく設定されていてもよい。
More specifically, for example, the
また、モーション解析部151は、縦横の運動や回転など、動きの種類に応じて出力される値(VC*MW)が変化するように設定されていてもよい。例えば、モーション解析部151は、縦横の運動に対しては出力される値(VC*MW)が大きくなり、逆安定化がされやすくなるように設定されている一方で、回転の動きに対しては出力される値(VC*MW)が小さくなり、逆安定化がされにくくなる(つまり、画像が安定する)ように設定されていてもよい。
Further, the
画像解析部152は、画像によって示される特徴に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度157によって表現される撮影環境情報は、画像によって示される画像特徴を含みうる。画像解析部152による解析には、画像変化量(IC)およびシーン種類ごとの重みが用いられる。画像変化量(IC)は、例えば輝度変化や色分布の変化のような元の入力画像から抽出される特徴を、出力値にマッピングする関数である。つまり、本実施形態において、画像特徴は、画像の輝度または色の特徴を含みうる。また、画像特徴は、シーンの種類を含んでもよい。シーン種類ごとの重み(SW)は、予め生成されたテーブルで定義されている。定義されるシーン種類は、例えば、シーン解析の結果に基づいて決定される。図示された例では、「スキー」のシーンに重みSW2が設定されている。このとき、画像解析部152では、画像変化量の出力ICと、シーン種類に対する重みSW2とに基づいて、IC*SW2の値が出力される。
The
より具体的には、画像解析部152は、例えば、スポーツやスキーなどのシーンでは出力される値(IC*SW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。この場合、例えば上記のようなシーンの輝度変化や色分布が大きく反映されるように画像変化量(IC)が設定されていてもよいし、上記のようなシーンの種類について重み(SW)が大きく設定されていてもよい。
More specifically, for example, the
また、画像解析部152は、色分布の変化が大きい場合には出力される値(IC*SW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。その一方で、画像解析部152は、色分布の変化が小さい場合には出力される値(IC*SW)が小さくなり、逆安定化がされにくくなるように設定されていてもよい。色分布の変化は、画面がどの程度激しく変わっているかを示していると考えられるためである。例えば、会議室のような画面の変化が小さい場所で撮像した画像では、色分布の変化が小さい。一方、ローラーコースターのような画面の変化が激しい場所で撮像した画像では、色分布の変化が大きい。
Further, the
音声解析部153は、画像に付随する音声によって示される特徴に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度157によって表現される撮影環境情報は、画像に付随する音声によって示される音声特徴を含みうる。音声解析部153による解析には、音声変化量(AC)および音声種類ごとの重みが用いられる。音声変化量(AC)は、例えば音声の高周波成分エネルギーの変化や音声の振幅のような元の入力音声から抽出される特徴を、出力値にマッピングする関数である。つまり、本実施形態において、音声特徴は、音声の周波数成分、音声の振幅、または音声によって示される音の種類を含みうる。音声種類ごとの重み(AW)は、予め生成されたテーブルで定義されている。定義される音声の種類は、例えば、音声解析の結果に基づいて決定される。図示された例では、「叫び声」のシーンに重みAW1が設定されている。このとき、音声解析部153では、音声変化量の出力ACと、音声種類に対する重みAW1とに基づいて、AC*AW1の値が出力される。
The
より具体的には、音声解析部153は、例えばモーターの音やドリフトの音などの騒がしい音声が取得されている場合には、出力される値(AC*AW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。この場合、例えば上記のような音声の周波数成分や振幅が大きく反映されるように音声変化量(AC)が設定されていてもよいし、上記のような音声の種類について重み(AW)が大きく設定されていてもよい。一方、音声解析部153は、静かな環境を示す音声が取得されている場合には、出力される値(AC*AW)が小さくなり、逆安定化がされにくくなる(つまり、画像が安定する)ように設定されていてもよい。
More specifically, the
表示装置解析部154による解析には、装置解析量(DA)および装置種類ごとの重みが用いられる。装置解析量(DA)は、例えば表示装置の画面サイズや解像度などを出力値にマッピングする関数である。つまり、本実施形態において、没入度157によって表現される視聴環境情報は、画像が表示される画面のサイズを含みうる。表示装置の画面サイズや解像度などは、例えば装置に内蔵されるモニタまたはプロジェクタの動作状態を示す情報や外部モニタインターフェースを介して取得される情報から取得することができる。装置種類ごとの重み(DW)は、予め生成されたテーブルで定義されている。図示された例では、「スマートフォン」に重みDW3が設定されている。このとき、表示装置解析部154では、装置解析量の出力値DAと、装置種類に対する重みDW3とに基づいて、DA*DW3の値が出力される。
The analysis by the display
より具体的には、表示装置解析部154は、画面サイズが大きい、および/または解像度が高いほど出力される値(DA*DW)が小さくなり、逆安定化がされにくくなるように設定されていてもよい。その一方で、表示装置解析部154は、画面サイズが小さい、および/または解像度が低いほど出力される値(DA*DW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。画面サイズが大きい場合や、解像度が高い場合には、画像の臨場感よりも、画像の安定化によって観察者への負荷(例えば映像酔い)を抑えることが有用である場合が多いためである。
More specifically, the display
視聴環境設定180を用いた解析では、視聴環境解析量(WA)および視聴環境設定ごとの重みが用いられる。視聴環境解析量(WA)は、例えば観察者から画面までの距離などを出力値にマッピングする関数である。つまり、本実施形態において、没入度157によって表現される視聴環境情報は、観察者から画像が表示される画面までの距離を含みうる。視聴環境設定ごとの重み(EW)は、予め生成されたテーブルで定義されている。テーブルは、例えばユーザによる設定操作に基づいて生成されうる。図示された例では、「Home」の視聴環境設定に重みEW2が設定されている。このとき、視聴環境設定180を用いた解析では、視聴環境解析量の出力値WAと、視聴環境設定ごとの重みEW2とに基づいて、WA*EW2の値が出力される。
In the analysis using the viewing environment setting 180, the viewing environment analysis amount (WA) and the weight for each viewing environment setting are used. The viewing environment analysis amount (WA) is a function that maps, for example, the distance from the observer to the screen to the output value. That is, in the present embodiment, the viewing environment information represented by the
より具体的には、視聴環境設定180を用いた解析では、観察者から画面までの距離が小さいほど出力される値(WA*EW)が小さくなり、逆安定化がされにくくなるように設定されていてもよい。その一方で、視聴環境設定180を用いた解析では、観察者から画面までの距離が大きいほど出力される値(WA*EW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。画面が観察者に近い場合には、画像の臨場感よりも、画像の安定化によって観察者への負荷(例えば映像酔い)を抑えることが有用である場合が多いためである。 More specifically, in the analysis using the viewing environment setting 180, the smaller the distance from the observer to the screen is, the smaller the output value (WA*EW) is, so that the destabilization is less likely to occur. May be. On the other hand, in the analysis using the viewing environment setting 180, the larger the distance from the observer to the screen is, the larger the output value (WA*EW) becomes, so that the inverse stabilization is easily performed. Good. This is because when the screen is close to the observer, it is often more useful to suppress the load on the observer (for example, motion sickness) by stabilizing the image, rather than the realism of the image.
没入感解析部155では、モーション解析部151、画像解析部152、音声解析部153、表示装置解析部154、および視聴環境設定180を用いた解析の結果が結合され
る。結合は、例えば図示された例のように、VC*MW1+IC*SW2+AC*AW1+DA*DW3+EA*EW2として重みづけられた出力値を足し合わせることによって実行されうる。さらに、没入度関数(ID)によって、結合された結果が没入度157の出力値にマッピングされる。没入度157は、画像逆安定化モジュール160において、画像の逆安定化の制御に用いられる。
ここで、図示されているように、没入度157は、連続的な値として出力されうる。画像逆安定化モジュール160は、例えば、没入度157の値に応じて、安定化ベクトルを用いた逆安定化によって、再生される画像において撮像時の撮像装置の揺れをどの程度再現するか(画像に揺れを表現する効果の程度)を決定してもよい。この場合、画像逆安定化モジュール160は、没入度157が所定の閾値を超えるか否かに基づいて、安定化ベクトルを用いた逆安定化によって、再生される画像において撮像時の撮像装置の揺れを再現するか否か(画像に揺れを表現する効果を付加するか否か)を決定してもよい。なお、上記の通り、本実施形態において、没入度157は、画像の撮影環境に関する撮影環境情報、または画像の視聴環境に関する視聴環境情報を表現する。従って、上記のような画像逆安定化モジュール160による決定は、撮影環境情報または視聴環境情報に基づく決定ともいえる。
Here, as illustrated, the
(1−5.表示例)
図10は、本開示の第1の実施形態における画像の表示の第1の例を示す図である。図10に示された例では、モード設定170をオート、マニュアル(OFF)、マニュアル(ON)にした場合の、単独の画面、およびサブ画面付きの画面での表示例が示されている。なお、図中において、「R」は逆安定化された画像を示し、「S」は安定化された(逆安定化されていない)画像を示す。(1-5. Display example)
FIG. 10 is a diagram showing a first example of displaying an image according to the first embodiment of the present disclosure. The example shown in FIG. 10 shows a display example on a single screen and a screen with a sub screen when the mode setting 170 is set to auto, manual (OFF), and manual (ON). In the figure, “R” indicates a destabilized image, and “S” indicates a stabilized (non-destabilized) image.
モード設定170がオートの場合、例えば上記のような没入度算出モジュール150の処理において算出された没入度157に基づいて、単独の画面の場合には逆安定化された画像または安定化された画像のうちのいずれかが表示される。一方、サブ画面付きの画面の場合、没入度157に応じて、メイン画面に逆安定化された画像を表示してサブ画面に安定化された画像を表示するか、逆にメイン画面に安定化された画像を表示してサブ画面に逆安定化された画像を表示するかが選択される。
When the mode setting 170 is auto, for example, based on the
ここで、モード設定170がオートの場合、没入度157が所定の閾値を超えていれば、単独の画面には逆安定化された画像が表示され、サブ画面付きの画面ではメイン画面に逆安定化された画像が表示されうる。一方、没入度157が所定の閾値を超えていなければ、単独の画面には安定化された画像が表示され、サブ画面付きの画面ではサブ画面に逆安定化された画像が表示されうる。
Here, when the mode setting 170 is auto, if the
一方、モード設定170がマニュアル(OFF)の場合、没入度157に関わらず、単独の画面に安定化された(逆安定化されていない)画像が表示される。この場合、没入度算出モジュール150は、没入度157を算出するための処理を実行しなくてもよい。
On the other hand, when the mode setting 170 is manual (OFF), a stabilized (non-destabilized) image is displayed on a single screen regardless of the
また、モード設定170がマニュアル(ON)の場合、没入度157に関わらず、単独の画面には逆安定化された画像が表示され、サブ画面付きの画面ではメイン画面に逆安定化された画像が表示される。この場合、没入度算出モジュール150は、没入度157を算出するための処理を実行しなくてもよい。なお、この例において、メイン画面に逆安定化された画像を表示してサブ画面に安定化された画像を表示するか、逆にメイン画面に安定化された画像を表示してサブ画面に逆安定化された画像を表示するかは、マニュアル操作によって入れ替え可能であってもよい。
Further, when the mode setting 170 is manual (ON), the destabilized image is displayed on a single screen regardless of the
図11は、本開示の第1の実施形態における画像の表示の第2の例を示す図である。図11に示された例では、サブ画面としてパノラマ画像が表示される画面において、メイン画面(Main)に逆安定化された画像が表示され、パノラマ画像が表示されるサブ画面(Panorama)に安定化された(逆安定化されていない)画像が表示される。ここで、パノラマ画像は、例えば広い範囲の俯瞰などに用いられることが多いため、図示され
た例のように、没入度157に関わらず安定化された画像が表示されるように設定されていてもよい。FIG. 11 is a diagram illustrating a second example of displaying an image according to the first embodiment of the present disclosure. In the example shown in FIG. 11, the destabilized image is displayed on the main screen (Main) and the panoramic image is displayed on the sub screen (Panorama). The rendered (not destabilized) image is displayed. Here, since a panoramic image is often used, for example, for a wide-range bird's-eye view, it is set so that a stabilized image is displayed regardless of the degree of
(2.第2の実施形態)
図12は、本開示の第2の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図12を参照すると、画像処理システム200は、画像信号取得・処理モジュール110と、エンコード・マルチプレクサモジュール120と、メモリモジュール130と、デマルチプレクサ・デコードモジュール140と、没入度算出モジュール150と、画像逆安定化モジュール160と、ディスプレイモジュール190とを含む。没入度算出モジュール150には、モード設定170と、視聴環境設定180が入力される。(2. Second embodiment)
FIG. 12 is a schematic block diagram showing a functional configuration example of an image processing system according to the second embodiment of the present disclosure. Referring to FIG. 12, the
なお、本実施形態に係る画像処理システム200は、構成要素については上記の第1の実施形態と同様であるが、その配置が異なる。本実施形態では、画像信号取得・処理モジュール110によって取得された画像、音声、および安定化ベクトルが、エンコード・マルチプレクサモジュール120に入力されるとともに、没入度算出モジュール150にも入力される。没入度算出モジュール150によって算出された没入度は、画像、音声、および安定化ベクトルとともにエンコード・マルチプレクサモジュール120においてエンコードおよび多重化され、メモリモジュール130に格納される。
The
メモリモジュール130からデータを読み出したデマルチプレクサ・デコードモジュール140は、データを逆多重化およびデコードすることによって、画像、音声、および安定化ベクトルとともに、没入度を得る。画像、音声、安定化ベクトル、および没入度は、画像逆安定化モジュール160に入力され、画像逆安定化モジュール160において、画像の没入度に応じた逆安定化が実施される。画像逆安定化モジュール160の処理を経た画像および音声は、ディスプレイモジュール190において出力される。
The demultiplexer/
本実施形態では、録画された画像がデータとしてメモリモジュール130に格納されるときに既に没入度が算出されているため、再生時に画像解析を実行しなくても画像の逆安定化を実施することができる。このような構成は、例えば、再生処理を実行する装置の処理能力が高くなく、かつ録画処理を実行する装置が十分な処理能力を有しているような場合に有効である。なお、例えばモード設定170や視聴環境設定180が、再生時において録画時と異なる設定になったような場合、再生時に没入度算出モジュール150の処理の一部が再実行され、没入度が更新されてもよい。
In the present embodiment, since the degree of immersion is already calculated when the recorded image is stored as data in the
図13は、本開示の第2の実施形態における録画処理の例を示すフローチャートである。図13を参照すると、まず、画像信号取得・処理モジュール110が、撮像装置のモーションをキャプチャする(S201)とともに、音声および画像をキャプチャする(S202)。さらに、画像信号取得・処理モジュール110は、S201で取得されたモーションに応じて画像の安定化を実施する(S203)。
FIG. 13 is a flowchart showing an example of recording processing according to the second embodiment of the present disclosure. Referring to FIG. 13, first, the image signal acquisition/
本実施形態では、ここで、画像の没入度が決定される。没入度算出モジュール150は、モード設定170に基づいて、モードを判定する(S204)。モードが「マニュアル」の場合、没入度算出モジュール150は、没入度をマニュアルで設定する(S205)。ここで設定される没入度の値は、例えばユーザ操作によって入力された値でありうる。一方、S204の判定において、モードが「オート」の場合、没入度算出モジュール150は、画像の解析を実施し(S206)、没入度を自動的に算出する(S207)。
In this embodiment, the degree of immersion of the image is determined here. The immersion
没入度算出モジュール150がS207において自動的に算出した没入度、またはS205においてマニュアルで設定した没入度に基づいて、エンコード・マルチプレクサモジュール120が画像、音声、安定化ベクトル、および没入度をエンコードするとともに多重化する(S208)。そして、メモリアクセス(S209)によって、多重化されたデータがメモリモジュール130に格納される。
The encoder/
図14は、本開示の第2の実施形態における再生処理の例を示すフローチャートである。図14を参照すると、まず、メモリモジュール130から読み出された画像および音声のデータについて、デマルチプレクサ・デコードモジュール140が、逆多重化およびデコードを実施する(S221)。このとき、画像および音声のデータとともにメモリモジュール130に格納された安定化ベクトルおよび没入度のデータも読み出され、デコードおよび逆多重化される。
FIG. 14 is a flowchart showing an example of the reproduction process according to the second embodiment of the present disclosure. Referring to FIG. 14, first, the demultiplexer/
次に、画像逆安定化モジュール160が、デコードされた安定化ベクトルおよびデコードされた没入度に基づいて、画像の逆安定化を実施する(S222)。さらに、ディスプレイモジュール190が、逆安定化された画像を表示させる(S223)。
Next, the
(3.第3の実施形態)
図15は、本開示の第3の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図15を参照すると、画像処理システム300は、画像信号取得・処理モジュール110と、エンコード・マルチプレクサモジュール120と、メモリモジュール130と、デマルチプレクサ・デコードモジュール140と、没入度算出モジュール150と、画像逆安定化モジュール160と、ディスプレイモジュール190とを含む。没入度算出モジュール150には、モード設定170と、視聴環境設定180が入力される。また、画像処理システム300は、さらに、第2のメモリモジュール310を含む。(3. Third embodiment)
FIG. 15 is a schematic block diagram showing a functional configuration example of an image processing system according to the third embodiment of the present disclosure. Referring to FIG. 15, the
本実施形態に係る画像処理システム300は、没入度算出モジュール150による没入度の算出が、メモリモジュール130から読み出されてデマルチプレクサ・デコードモジュール140によって逆多重化およびデコードされた画像、音声、および安定化ベクトルに基づいて実施される点では、上記の第1の実施形態と同様である。ただし、本実施形態では、没入度算出モジュール150によって算出された没入度が、第2のメモリモジュール310に格納される。画像逆安定化モジュール160は、デマルチプレクサ・デコードモジュール140によってデコードされた画像、音声、および安定化ベクトルと、第2のメモリモジュール310から読み出された没入度に基づいて、逆安定化の処理を実施する。
In the
本実施形態では、没入度算出モジュール150によって算出された没入度が一旦メモリモジュール310に格納されるため、画像の再生に先立って没入度の算出処理を実行することが可能である。従って、例えば、画像が録画されてから再生されるまでの間にバッチ処理などによって没入度を算出し、再生時には画像解析を実行しなくても画像の逆安定化を実施することができる。このような構成は、例えば、録画処理を実行する装置も、再生処理を実行する装置も、いずれも処理能力が高くない場合に、サーバに没入度の算出処理を依頼するような場合に有効である。
In the present embodiment, since the immersion degree calculated by the immersion
なお、録画処理を実行する装置や再生処理を実行する装置が十分な処理能力を有している場合であっても、サーバに没入度の算出処理を依頼することによって、例えばモバイルやウェアラブルの装置のバッテリーを節約することができる。そのような場合にも、本実施形態の構成は有効でありうる。 Even if the device that executes the recording process or the device that executes the reproduction process has sufficient processing capacity, by requesting the server to calculate the immersion degree, for example, a mobile or wearable device. Can save the battery. Even in such a case, the configuration of this embodiment can be effective.
(4.ハードウェア構成)
次に、図16を参照して、本開示の実施形態に係る画像処理装置のハードウェア構成に
ついて説明する。図16は、本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。図示された画像処理装置900は、例えば、上記の実施形態における端末装置および/またはサーバ装置を実現しうる。(4. Hardware configuration)
Next, with reference to FIG. 16, a hardware configuration of the image processing apparatus according to the embodiment of the present disclosure will be described. FIG. 16 is a block diagram showing a hardware configuration example of the image processing apparatus according to the embodiment of the present disclosure. The illustrated
画像処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、画像処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、画像処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。画像処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
The
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、画像処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
The
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、画像処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、画像処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
The
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、画像処理装置900の処理により得られた結果を、テキストまたは画像などの画像として出力したり、音声または音響などの音声として出力したりする。
The
ストレージ装置919は、画像処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
The
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、画像処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ9
21は、装着されているリムーバブル記録媒体927に記録を書き込む。The
The reference numeral 21 writes the record in the mounted
接続ポート923は、機器を画像処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、画像処理装置900と外部接続機器929との間で各種のデータが交換されうる。
The
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
The
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
The
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば画像処理装置900の筐体の姿勢など、画像処理装置900自体の状態に関する情報や、画像処理装置900の周辺の明るさや騒音など、画像処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
The
以上、画像処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
The example of the hardware configuration of the
(5.補足)
本開示の実施形態は、例えば、上記で説明したような画像処理装置(端末装置またはサーバ装置)、システム、画像処理装置またはシステムで実行される情報処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。(5. Supplement)
Embodiments of the present disclosure include, for example, an image processing device (terminal device or server device), a system, an image processing device or an information processing method executed by the system, and a program for causing the image processing device to function, as described above. , And a non-transitory tangible medium on which the program is recorded.
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 The preferred embodiments of the present disclosure have been described above in detail with reference to the accompanying drawings, but the technical scope of the present disclosure is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present disclosure can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that the invention also belongs to the technical scope of the present disclosure.
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 Further, the effects described in the present specification are merely illustrative or exemplary, and are not limiting. That is, the technique according to the present disclosure can exert other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.
なお、以下のような構成も本開示の技術的範囲に属する。
(1)画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。
(2)前記揺れ情報は、前記画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む、前記(1)に記載の画像処理装置。
(3)前記画像逆安定化処理部は、前記効果の程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する、前記(1)または(2)に記載の画像処理装置。
(4)前記画像逆安定化処理部は、前記効果を付加する程度を、前記撮影環境情報に基づいて決定する、前記(3)に記載の画像処理装置。
(5)前記画像逆安定化処理部は、前記効果を付加する程度として、前記効果を付加するか否かを決定する、前記(4)に記載の画像処理装置。
(6)前記撮影環境情報は、前記画像のフレームの移動ベクトルに関する情報を含む、前記(3)〜(5)のいずれか1項に記載の画像処理装置。
(7)前記撮影環境情報は、前記画像によって示される画像特徴を含む、前記(3)〜(6)のいずれか1項に記載の画像処理装置。
(8)前記画像特徴は、前記画像の輝度または色の特徴を含む、前記(7)に記載の画像処理装置。
(9)前記画像特徴は、シーンの種類を含む、前記(7)または(8)に記載の画像処理装置。
(10)前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、前記(3)〜(9)のいずれか1項に記載の画像処理装置。
(11)前記音声特徴は、前記音声の周波数成分、前記音声の振幅、または前記音声によって示される音の種類を含む、前記(10)に記載の画像処理装置。
(12)前記画像逆安定化処理部は、前記効果の程度を、前記画像の視聴環境に関する視聴環境情報に基づいて決定する、前記(1)〜(11)のいずれか1項に記載の画像処理装置。
(13)
前記視聴環境情報は、前記画像が表示される画面のサイズを含む、前記(12)に記載の画像処理装置。
(14)前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、前記(12)または(13)に記載の画像処理装置。
(15)前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現する前記(1)〜(14)のいずれか1項に記載の画像処理装置。
(16)画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部を備える画像処理装置。
(17)前記没入感の期待値は、前記画像の撮影環境を示す撮影環境情報に基づいて決定される、前記(16)に記載の画像処理装置。
(18)前記撮影環境情報は、前記画像によって示される画像特徴を含む、前記(17)に記載の画像処理装置。
(19)前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、前記(17)または(18)に記載の画像処理装置。
(20)前記没入感の期待値は、前記画像の視聴環境を示す視聴環境情報に基づいて決定される、前記(16)〜(19)のいずれか1項に記載の画像処理装置。
(21)前記視聴環境情報は、前記画像が表示される画面のサイズを含む、前記(20)に記載の画像処理装置。
(22)前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、前記(21)に記載の画像処理装置。
(23)前記画像逆安定化処理部は、前記効果を、前記画像の揺れに関する揺れ情報に基づいて付加する、前記(16)〜(22)のいずれか1項に記載の画像処理装置。
(24)プロセッサが、画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加することを含む画像処理方法。
(25)プロセッサが、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定することを含む画像処理方法。
(26)画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する機能をコンピュータに実現させるためのプログラム。
(27)画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する機能をコンピュータに実現させるためのプログラム。
(28)画像の撮影環境に関する撮影環境情報に基づいて、画像の揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。
(29)画像の視聴環境に関する視聴環境情報に基づいて、画像の揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。The following configurations also belong to the technical scope of the present disclosure.
(1) An image processing apparatus including an image destabilization processing unit that adds an effect of expressing a shake to the image based on shake information regarding shake of the image.
(2) The image processing device according to (1), wherein the shake information includes image pickup device shake information indicating a shake of the image pickup device that occurs when the image is picked up.
(3) The image processing apparatus according to (1) or (2), wherein the image destabilization processing unit determines the degree of the effect based on shooting environment information regarding a shooting environment of the image.
(4) The image processing device according to (3), wherein the image destabilization processing unit determines the degree to which the effect is added based on the shooting environment information.
(5) The image processing device according to (4), wherein the image destabilization processing unit determines whether or not to add the effect as a degree to which the effect is added.
(6) The image processing device according to any one of (3) to (5), wherein the shooting environment information includes information about a movement vector of a frame of the image.
(7) The image processing device according to any one of (3) to (6), wherein the shooting environment information includes an image feature indicated by the image.
(8) The image processing device according to (7), wherein the image feature includes a brightness or color feature of the image.
(9) The image processing device according to (7) or (8), wherein the image feature includes a type of scene.
(10) The image processing device according to any one of (3) to (9), wherein the shooting environment information includes a voice feature indicated by a voice accompanying the image.
(11) The image processing device according to (10), wherein the voice feature includes a frequency component of the voice, an amplitude of the voice, or a type of a sound indicated by the voice.
(12) The image according to any one of (1) to (11), wherein the image destabilization processing unit determines the degree of the effect based on viewing environment information regarding a viewing environment of the image. Processing equipment.
(13)
The image processing device according to (12), wherein the viewing environment information includes a size of a screen on which the image is displayed.
(14) The image processing device according to (12) or (13), wherein the viewing environment information includes a distance from an observer to a screen on which the image is displayed.
(15) The image is an image from which at least a part of the influence of the shake of the image pickup apparatus is removed, and the image destabilization processing unit adds the effect to the image, thereby performing the image pickup on the image. The image processing apparatus according to any one of (1) to (14), which reproduces shake of the apparatus.
(16) An image processing apparatus including an image destabilization processing unit that determines the degree of the effect of expressing a shake added to an image based on an expected value of the viewer's immersive feeling for the image.
(17) The image processing device according to (16), wherein the expected value of the immersive feeling is determined based on shooting environment information indicating a shooting environment of the image.
(18) The image processing device according to (17), wherein the shooting environment information includes an image feature indicated by the image.
(19) The image processing device according to (17) or (18), wherein the shooting environment information includes a voice feature indicated by a voice accompanying the image.
(20) The image processing device according to any one of (16) to (19), wherein the expected value of the immersive feeling is determined based on viewing environment information indicating a viewing environment of the image.
(21) The image processing device according to (20), wherein the viewing environment information includes a size of a screen on which the image is displayed.
(22) The image processing device according to (21), wherein the viewing environment information includes a distance from an observer to a screen on which the image is displayed.
(23) The image processing device according to any one of (16) to (22), wherein the image destabilization processing unit adds the effect based on shake information regarding shake of the image.
(24) An image processing method, comprising: a processor adding an effect of expressing a shake to the image based on shake information regarding shake of the image.
(25) An image processing method, wherein the processor determines the degree of the effect of expressing the shake added to the image based on the expected value of the immersive feeling of the observer with respect to the image.
(26) A program for causing a computer to realize a function of adding an effect of expressing a shake to the image based on the shake information regarding the shake of the image.
(27) A program for causing a computer to realize a function of determining the degree of the effect of expressing a shake added to an image based on an expected value of the viewer's immersive feeling for the image.
(28) An image processing apparatus including an image destabilization processing unit that adds an effect of expressing a shake of an image based on shooting environment information regarding a shooting environment of an image.
(29) An image processing apparatus including an image destabilization processing unit that adds an effect of expressing a shake of an image based on viewing environment information regarding an viewing environment of an image.
100,200,300 画像処理システム
110 画像信号取得・処理モジュール
120 エンコード・マルチプレクサモジュール
130 メモリモジュール
140 デマルチプレクサ・デコードモジュール
150 没入度算出モジュール
160 画像逆安定化モジュール
190 ディスプレイモジュール
310 第2のメモリモジュール100, 200, 300
Claims (20)
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、
前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記画像逆安定化処理部は、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、画像処理装置。 Image destabilization, which is shaking information including imaging device shaking information indicating shaking of the imaging device that occurred at the time of capturing an image, and adds an effect of expressing shaking to the image based on the shaking information related to the shaking of the image. Equipped with a processing unit,
The image is an image from which at least a part of the influence of shaking of the imaging device is removed,
The image destabilization processing unit reproduces the shake of the imaging device in the image by adding the effect to the image ,
The image inverse stabilization processing unit determines the degree of the effect and the degree to which the effect is added based on the shooting environment information regarding the shooting environment of the image, and adds the effect as the degree to which the effect is added. Decide whether to do it,
The image processing apparatus , wherein the shooting environment information includes image characteristics indicated by the image, and the image characteristics including a type of scene .
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記画像逆安定化処理部は、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、画像処理装置。 The shake information includes the shake information of the image pickup device indicating the shake of the image pickup device that occurs during image pickup, and is an effect added based on the shake information regarding the shake of the image. An image inverse stabilization processing unit that determines the degree of the effect to be expressed based on the expected value of the immersive feeling of the observer with respect to the image,
The image is an image in which at least a part of the influence of the shake of the image pickup apparatus is removed, and the image destabilization processing unit adds the effect to the image to add the effect of the image pickup apparatus to the image. to reproduce the shaking,
The image inverse stabilization processing unit determines the degree of the effect and the degree to which the effect is added based on the shooting environment information regarding the shooting environment of the image, and adds the effect as the degree to which the effect is added. Decide whether to do it,
The image processing apparatus , wherein the shooting environment information includes image characteristics indicated by the image, and the image characteristics including a type of scene .
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、
前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、画像処理方法。 The processor is shake information including shake information of the image pickup device indicating shake of the image pickup device generated at the time of picking up the image, and adds an effect of expressing the shake to the image based on the shake information regarding the shake of the image. Including,
The image is an image from which at least a part of the influence of shaking of the imaging device is removed,
By adding the effect to the image, the shake of the imaging device is reproduced in the image ,
The degree of the effect and the degree of adding the effect are determined based on the shooting environment information regarding the shooting environment of the image, and as the degree of adding the effect, it is determined whether or not the effect is added,
The image processing method , wherein the shooting environment information is an image feature indicated by the image and includes the image feature including a type of scene .
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、画像処理方法。 The processor is shake information including shake information of the image pickup device indicating shake of the image pickup device generated at the time of image pickup, and is an effect added based on the shake information regarding the shake of the image, which is added to the image. Including determining the degree of the effect of expressing the shaking that is based on the expected value of the immersive feeling of the observer for the image,
The image is an image in which at least a part of the influence of the shake of the image pickup apparatus is removed, and by adding the effect to the image, the shake of the image pickup apparatus is reproduced in the image ,
The degree of the effect and the degree of adding the effect are determined based on the shooting environment information regarding the shooting environment of the image, and as the degree of adding the effect, it is determined whether or not the effect is added,
The image processing method , wherein the shooting environment information is an image feature indicated by the image and includes the image feature including a type of scene .
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、
前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、プログラム。 The shake information including the shake information of the image pickup device indicating the shake of the image pickup device generated when the image is picked up is added to the computer based on the shake information regarding the shake of the image. Make it happen,
The image is an image from which at least a part of the influence of shaking of the imaging device is removed,
By adding the effect to the image, the shake of the imaging device is reproduced in the image ,
The degree of the effect and the degree of adding the effect are determined based on the shooting environment information regarding the shooting environment of the image, and as the degree of adding the effect, it is determined whether or not the effect is added,
The program , wherein the shooting environment information includes image features indicated by the image, the image features including a type of scene .
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、プログラム。 The shake information includes the shake information of the image pickup device indicating the shake of the image pickup device that occurs during image pickup, and is an effect added based on the shake information regarding the shake of the image. The computer is made to realize the function of determining the degree of the effect to be expressed based on the expected value of the immersive feeling of the observer for the image,
The image is an image in which at least a part of the influence of the shake of the image pickup apparatus is removed, and by adding the effect to the image, the shake of the image pickup apparatus is reproduced in the image ,
The degree of the effect and the degree of adding the effect are determined based on the shooting environment information regarding the shooting environment of the image, and as the degree of adding the effect, it is determined whether or not the effect is added,
The program , wherein the shooting environment information includes image features indicated by the image, the image features including a type of scene .
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014136698 | 2014-07-02 | ||
JP2014136698 | 2014-07-02 | ||
PCT/JP2015/062301 WO2016002322A1 (en) | 2014-07-02 | 2015-04-22 | Video-processing device, video processing method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020053358A Division JP7143359B2 (en) | 2014-07-02 | 2020-03-24 | Image processing device, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016002322A1 JPWO2016002322A1 (en) | 2017-04-27 |
JP6740900B2 true JP6740900B2 (en) | 2020-08-19 |
Family
ID=55018880
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016531163A Active JP6740900B2 (en) | 2014-07-02 | 2015-04-22 | Image processing apparatus, image processing method and program |
JP2020053358A Active JP7143359B2 (en) | 2014-07-02 | 2020-03-24 | Image processing device, image processing method, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020053358A Active JP7143359B2 (en) | 2014-07-02 | 2020-03-24 | Image processing device, image processing method, and program |
Country Status (5)
Country | Link |
---|---|
US (2) | US10148894B2 (en) |
EP (1) | EP3166306B1 (en) |
JP (2) | JP6740900B2 (en) |
CN (2) | CN110418045B (en) |
WO (1) | WO2016002322A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11716537B2 (en) | 2019-03-28 | 2023-08-01 | Sony Group Corporation | Image processing device, image processing method, and program |
CN114175616A (en) * | 2019-07-24 | 2022-03-11 | 索尼集团公司 | Image processing apparatus, image processing method, and program |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3867011A (en) * | 1973-02-05 | 1975-02-18 | Bausch & Lomb | Center attached optical mount |
JP3364945B2 (en) * | 1992-01-31 | 2003-01-08 | ソニー株式会社 | Camera shake correction device and camera shake correction method |
JPH063726A (en) | 1992-06-17 | 1994-01-14 | Canon Inc | Photographing device |
EP0831644A3 (en) * | 1996-09-20 | 2000-01-12 | Sony Corporation | Image shake discriminator and stabilizer |
US8113839B2 (en) * | 2000-07-21 | 2012-02-14 | Sony Corporation | Information processing apparatus, information processing method, information processing system, and storage medium |
JP4465830B2 (en) * | 2000-07-21 | 2010-05-26 | ソニー株式会社 | Information processing apparatus and method, information processing system, and recording medium |
JP3893983B2 (en) * | 2002-01-17 | 2007-03-14 | ソニー株式会社 | Information providing apparatus, information providing method, storage medium, and computer program |
US7791642B2 (en) * | 2004-12-13 | 2010-09-07 | Fujifilm Corporation | Image-taking apparatus |
US7653132B2 (en) * | 2004-12-21 | 2010-01-26 | Stmicroelectronics, Inc. | Method and system for fast implementation of subpixel interpolation |
US7489341B2 (en) * | 2005-01-18 | 2009-02-10 | Primax Electronics Ltd. | Method to stabilize digital video motion |
WO2006122009A2 (en) * | 2005-05-09 | 2006-11-16 | Lockheed Martin Corporation | Continuous extended range image processing |
JP4525459B2 (en) | 2005-05-11 | 2010-08-18 | カシオ計算機株式会社 | Movie processing apparatus, movie processing method and program |
JP4152398B2 (en) | 2005-05-26 | 2008-09-17 | 三洋電機株式会社 | Image stabilizer |
JP2009505477A (en) * | 2005-08-12 | 2009-02-05 | エヌエックスピー ビー ヴィ | Method and system for digital image stabilization |
US7755678B2 (en) * | 2005-10-28 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Programmable anti-aliasing systems and methods for cameras |
WO2007063819A1 (en) | 2005-11-29 | 2007-06-07 | Pioneer Corporation | Recording device, reproduction device, recording method, recording program, and computer-readable recording medium |
JP4695972B2 (en) * | 2005-12-14 | 2011-06-08 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and image processing method |
JP4976160B2 (en) * | 2007-02-22 | 2012-07-18 | パナソニック株式会社 | Imaging device |
US20090079842A1 (en) * | 2007-09-26 | 2009-03-26 | Honeywell International, Inc. | System and method for image processing |
JP4534172B2 (en) * | 2008-04-03 | 2010-09-01 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP2009272890A (en) | 2008-05-07 | 2009-11-19 | Sony Corp | Image processing apparatus and method, and imaging device |
JP5117280B2 (en) * | 2008-05-22 | 2013-01-16 | 富士フイルム株式会社 | IMAGING DEVICE, IMAGING METHOD, REPRODUCTION DEVICE, AND REPRODUCTION METHOD |
JP4661922B2 (en) * | 2008-09-03 | 2011-03-30 | ソニー株式会社 | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method, and program |
JP5328307B2 (en) * | 2008-11-14 | 2013-10-30 | キヤノン株式会社 | Image capturing apparatus having shake correction function and control method thereof |
US20120159996A1 (en) * | 2010-12-28 | 2012-06-28 | Gary Edwin Sutton | Curved sensor formed from silicon fibers |
US20150189140A1 (en) * | 2009-02-23 | 2015-07-02 | Gary Edwin Sutton | Curved sensor array camera |
US8957992B2 (en) * | 2010-01-06 | 2015-02-17 | Gary Edwin Sutton | Curved sensor camera with moving optical train |
CN101599253B (en) * | 2009-03-30 | 2012-08-22 | 南京中电熊猫液晶显示科技有限公司 | Driving method of liquid crystal display |
US20100253700A1 (en) * | 2009-04-02 | 2010-10-07 | Philippe Bergeron | Real-Time 3-D Interactions Between Real And Virtual Environments |
US20100254453A1 (en) * | 2009-04-02 | 2010-10-07 | Qualcomm Incorporated | Inverse telecine techniques |
JP2010278997A (en) | 2009-06-01 | 2010-12-09 | Sharp Corp | Image processing device, image processing method, and program |
JP5489572B2 (en) * | 2009-07-29 | 2014-05-14 | キヤノン株式会社 | Acceleration detection apparatus, control method therefor, and program |
US8823812B2 (en) * | 2009-10-07 | 2014-09-02 | Panasonic Intellectual Property Corporation America | Image capturing apparatus and method for displaying a subject of image capturing and indicating motion of the image capturing apparatus during the image capturing |
JP2011234238A (en) * | 2010-04-28 | 2011-11-17 | Sharp Corp | Video display device, video display control method, program for video display device, and computer-readable recording medium |
JP2011257503A (en) * | 2010-06-07 | 2011-12-22 | Sony Corp | Image stabilizer, image stabilization method, and program |
JP2011257502A (en) * | 2010-06-07 | 2011-12-22 | Sony Corp | Image stabilizer, image stabilization method, and program |
JP5146503B2 (en) * | 2010-09-06 | 2013-02-20 | カシオ計算機株式会社 | Video processing device, video playback device, video processing method, video playback method, and program |
JP5317023B2 (en) * | 2010-09-16 | 2013-10-16 | カシオ計算機株式会社 | Camera shake correction apparatus, camera shake correction method, and program |
KR20120117578A (en) * | 2011-04-15 | 2012-10-24 | 삼성전자주식회사 | Displaying method and display apparatus for applying the same |
US9824426B2 (en) * | 2011-08-01 | 2017-11-21 | Microsoft Technology Licensing, Llc | Reduced latency video stabilization |
JP2013042356A (en) * | 2011-08-16 | 2013-02-28 | Sony Corp | Image processor, image processing method and program |
US9001223B2 (en) * | 2011-09-28 | 2015-04-07 | Advanced Micro Devices, Inc. | Method and apparatus for applying camera shake compensation to video content |
US8605161B2 (en) * | 2012-03-12 | 2013-12-10 | Raytheon Company | Intra-frame optical-stabilization with intentional inter-frame scene motion |
US9170648B2 (en) * | 2012-04-03 | 2015-10-27 | The Boeing Company | System and method for virtual engineering |
KR101939628B1 (en) * | 2012-05-30 | 2019-01-17 | 삼성전자주식회사 | Method of detecting motion and motion detector |
KR101305249B1 (en) * | 2012-07-12 | 2013-09-06 | 씨제이씨지브이 주식회사 | Multi-projection system |
JP6087671B2 (en) * | 2013-03-12 | 2017-03-01 | キヤノン株式会社 | Imaging apparatus and control method thereof |
US9232138B1 (en) * | 2013-06-03 | 2016-01-05 | Amazon Technologies, Inc. | Image stabilization techniques |
JP6253280B2 (en) * | 2013-07-04 | 2017-12-27 | キヤノン株式会社 | Imaging apparatus and control method thereof |
US9635257B2 (en) * | 2014-05-12 | 2017-04-25 | Gopro, Inc. | Dual-microphone camera |
US9460493B2 (en) * | 2014-06-14 | 2016-10-04 | Microsoft Technology Licensing, Llc | Automatic video quality enhancement with temporal smoothing and user override |
-
2015
- 2015-04-22 EP EP15814923.7A patent/EP3166306B1/en active Active
- 2015-04-22 CN CN201910709893.XA patent/CN110418045B/en active Active
- 2015-04-22 CN CN201580034847.4A patent/CN106664362B/en active Active
- 2015-04-22 US US15/318,477 patent/US10148894B2/en active Active
- 2015-04-22 WO PCT/JP2015/062301 patent/WO2016002322A1/en active Application Filing
- 2015-04-22 JP JP2016531163A patent/JP6740900B2/en active Active
-
2018
- 2018-11-07 US US16/183,122 patent/US11044419B2/en active Active
-
2020
- 2020-03-24 JP JP2020053358A patent/JP7143359B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016002322A1 (en) | 2016-01-07 |
EP3166306A4 (en) | 2018-02-28 |
EP3166306A1 (en) | 2017-05-10 |
JP7143359B2 (en) | 2022-09-28 |
US20190075249A1 (en) | 2019-03-07 |
US11044419B2 (en) | 2021-06-22 |
JPWO2016002322A1 (en) | 2017-04-27 |
CN110418045A (en) | 2019-11-05 |
CN110418045B (en) | 2021-06-29 |
CN106664362B (en) | 2019-08-27 |
EP3166306B1 (en) | 2023-03-08 |
JP2020108175A (en) | 2020-07-09 |
CN106664362A (en) | 2017-05-10 |
US20170142347A1 (en) | 2017-05-18 |
US10148894B2 (en) | 2018-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6575652B2 (en) | Image processing apparatus, image processing method, and program | |
US11176747B2 (en) | Information processing apparatus and information processing method | |
WO2014185170A1 (en) | Image processing device, image processing method, and program | |
WO2018135343A1 (en) | Information processing apparatus, information processing method, and program | |
JP2014183379A (en) | Information processing device, data structure of moving image data, information processing system, moving image reproduction program, and moving image reproduction method | |
JP7143359B2 (en) | Image processing device, image processing method, and program | |
US11272224B2 (en) | Information processing device and method | |
WO2014034256A1 (en) | Display control apparatus, display control system, and display control method | |
US20130231065A1 (en) | Communication apparatus, communication method, and computer readable recording medium | |
JP2016105534A (en) | Imaging apparatus and imaging apparatus system | |
CN110996117B (en) | Video transcoding method and device, electronic equipment and storage medium | |
WO2018168222A1 (en) | Information processing device, image pickup device, and electronic apparatus | |
US10785415B2 (en) | Display control device and display control method | |
US20170171492A1 (en) | Display control apparatus, imaging apparatus, and display control method | |
JP2012165338A (en) | Image processing apparatus, image processing method, and program | |
CN114071224A (en) | Video data processing method and device, computer equipment and storage medium | |
US10142593B2 (en) | Information processing device, information processing method, client device, server device, and information processing system | |
US20230222754A1 (en) | Interactive video playback techniques to enable high fidelity magnification | |
JP2021022910A (en) | Communication terminal, communication program, communication method, and communication system | |
CN115202550A (en) | Cloud application picture display method and device, server, terminal and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180314 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180314 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200324 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200324 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200403 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200706 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6740900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |