KR20160112981A - Imaging apparatus, image playback method and program - Google Patents
Imaging apparatus, image playback method and program Download PDFInfo
- Publication number
- KR20160112981A KR20160112981A KR1020160030722A KR20160030722A KR20160112981A KR 20160112981 A KR20160112981 A KR 20160112981A KR 1020160030722 A KR1020160030722 A KR 1020160030722A KR 20160030722 A KR20160030722 A KR 20160030722A KR 20160112981 A KR20160112981 A KR 20160112981A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- storage
- section
- specific scene
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H04N5/23277—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H04N5/2257—
-
- H04N5/23222—
-
- H04N5/23229—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 촬상 수단에 의해서 연속적으로 촬영되는 화상의 표시를 제어하는 촬상 장치에 관한 것이다.The present invention relates to an image pickup apparatus for controlling display of an image continuously picked up by an image pickup means.
일반적으로, 디지털 스틸 카메라나 비디오 카메라 등의 촬상 장치에서 동화상을 촬상하는 경우, 유저는 원하는 씬이 오는 타이밍이 부정(不定)하면, 원하는 씬이 오기 전에 미리 동화상 기록의 개시를 지시하는 조작을 실행하고, 그 기록 동작을 개시시키고 나서 원하는 씬이 없어진 시점에서 동화상의 기록 동작의 정지를 지시하는 조작을 실행하도록 하고 있기 때문에, 그 기록 동화상의 재생시에는 원하는 씬 뿐만 아니라, 그 전후의 화상까지도 보게 되어 버린다.In general, when capturing a moving image in an image capturing apparatus such as a digital still camera or a video camera, the user performs an operation of instructing the start of moving image recording in advance before a desired scene comes, when the timing at which the desired scene comes is undefined The operation for instructing the stop of the recording operation of the moving image is performed at the point in time when the desired scene disappears after the recording operation is started. Therefore, at the time of reproducing the recording moving image, not only the desired scene but also the before and after images are seen Throw away.
그래서, 종래, 미리 원하는 씬이 임의로 유저 조작에 의해서 지정되어 있는 상태에 있어서, 그 지정 씬을 검출한 타이밍에서 자동적으로 동화상 기록을 개시하고, 그 지정 씬을 검출하지 않게 된 타이밍에서 자동적으로 동화상 기록을 정지하도록 한 기술이 알려져 있다. 또, 그것과 관련해서, 일본국 특허공개공보 평성5-15628에는 고 프레임 레이트에서의 촬영중에 지정 씬(골프 클럽의 최하점 통과 타이밍)을 검출하면, 그 지정 씬의 검출 타이밍의 전후를 포함하는 기록 화상을 슬로우로 재생하도록 한 기술이 알려져 있다.Conventionally, in a state in which a desired scene is designated in advance by a user operation, the moving image recording is automatically started at the timing at which the specified scene is detected, and at the timing when the designated scene is not detected, Is stopped. In this regard, Japanese Patent Application Laid-Open No. 5-15628 discloses a technique of detecting a designated scene (lowest pass timing of a golf club) during shooting at a high frame rate, A technique is known in which an image is reproduced in a slow manner.
그러나, 상술한 특허문헌의 기술에 있어서는 촬영을 정지한 후에 재생 스위치가 조작된 것을 조건으로 지정 씬을 포함하는 기록 화상을 슬로우 재생하는 것이기 때문에, 촬영이 정지해 있지 않으면 재생할 수 없어, 사용상 편리하지 않다고 하는 문제가 있었다. 특히, 원하는 지정 씬이 부정기적으로 반복해서 나타나는 바와 같은 경우에, 그 지정 씬의 전부가 기록되었다고 해도, 유저에게 있어서는 지금 일어난 지정 씬을 즉시 보는 것은 곤란하고, 또, 즉시 볼 필요가 없는 경우에도, 기록되어 있는 많은 지정 씬 중에서 임의의 지정 씬을 선택할 필요가 있기 때문에, 사용하기 편리한 재생이라고는 할 수 없었다.However, in the technique of the above-mentioned patent documents, since the recorded image including the designated scene is slowly reproduced under the condition that the reproduction switch is operated after the photographing is stopped, the reproduction can not be performed unless the photographing is stopped, There was a problem that it was not. Particularly, in the case where a desired designated scene appears repeatedly irregularly, even if all of the designated scene is recorded, it is difficult for the user to immediately see the designated scene that has occurred now, , It is necessary to select an arbitrary designated scene from among a large number of designated scenes to be recorded.
본 발명의 과제는 촬상된 화상을 순차 기록하고 있는 촬상 기록중에, 유저가 원하는 씬에 대응하는 기록 화상을 적절히 재생할 수 있도록 하는 것이다.An object of the present invention is to allow a user to appropriately reproduce a recorded image corresponding to a desired scene during image pickup recording in which captured images are sequentially recorded.
본 발명의 하나의 양태는 이미지 센서를 포함하는 촬상부와, 디스플레이를 포함하는 표시부와, 메모리를 포함하는 기억부와, 프로세서를 포함하는 제어부를 갖는 촬상 장치로서, 상기 제어부는, 특정의 씬을 미리 설정하고, 상기 촬상부에 의해 연속적으로 촬상되는 화상을 상기 기억부에 순차 기억시키면서, 상기 기억 동작중에, 유저의 소정 동작을 검출한 경우에, 상기 기억부에 기억되어 있는 복수의 화상 중에서 상기 설정된 특정의 씬에 대응하는 화상을 특정하고, 상기 기억 동작을 계속한 상태에서 상기 특정된 화상을 상기 표시부에 표시하는 제어를 실행하는 것을 특징으로 한다.According to one aspect of the present invention, there is provided an image pickup apparatus having an image pickup section including an image sensor, a display section including a display, a storage section including a memory, and a control section including a processor, Wherein the control unit is configured to set, in advance, a plurality of images stored in the storage unit, when the predetermined operation of the user is detected during the storage operation while sequentially storing the images continuously captured by the imaging unit in the storage unit The control unit specifies the image corresponding to the set specific scene and displays the specified image on the display unit in a state in which the storage operation is continued.
또, 본 발명의 다른 양태는 촬상 장치에 있어서의 화상 재생 방법으로서, 특정의 씬을 미리 설정하고, 연속적으로 촬상되는 화상을 순차 기억시키면서, 이 기억 동작중에, 유저의 소정 동작을 검출한 경우에, 상기 기억되어 있는 복수의 화상 중에서 상기 설정된 특정의 씬에 대응하는 화상을 특정하고, 상기 기억 동작을 계속한 상태에서 상기 특정된 화상을 표시하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an image reproducing method in an image pickup apparatus, characterized by comprising the steps of: when a predetermined scene is set in advance and a predetermined operation of the user is detected during this storage operation while sequentially successively photographing images , An image corresponding to the set specific scene is specified from among the plurality of stored images, and the specified image is displayed while the storage operation is continued.
또, 본 발명의 다른 양태는 촬상 장치의 컴퓨터에 대해, 특정의 씬을 미리 설정하고, 연속적으로 촬상되는 화상을 순차 기억시키면서, 이 기억 동작중에, 유저의 소정 동작을 검출한 경우에, 상기 기억되어 있는 복수의 화상 중에서 상기 설정된 특정의 씬에 대응하는 화상을 특정하고, 상기 기억 동작을 계속한 상태에서 상기 특정된 화상을 표시하도록 제어하기 위한 프로그램을 기록한 것을 특징으로 한다.According to another aspect of the present invention, in a computer of an image pickup apparatus, when a predetermined scene is set in advance and a predetermined operation of the user is detected during this storage operation while sequentially storing images to be captured successively, And a program for controlling to display an image corresponding to the set specific scene among a plurality of images that are stored in the storage unit and to display the specified image while the storage operation is continued.
본 발명에 따르면, 촬상된 화상을 순차 기록하고 있는 촬상 기록중에, 유저가 원하는 씬에 대응하는 기록 화상을 적절히 재생할 수 있다는 효과가 얻어진다.According to the present invention, it is possible to obtain an effect that the user can appropriately reproduce the recorded image corresponding to the desired scene during the imaging recording in which the captured images are sequentially recorded.
도 1은 촬상 장치로서 적용한 웨어러블 카메라의 기본적인 구성요소를 나타낸 블럭도.
도 2의 (a)는 웨어러블 카메라를 유저의 팔에 장착한 상태를 나타낸 외관도.
도 2의 (b)는 팔에 장착한 웨어러블 카메라의 화면을 유저가 들여다 보고 있는 상태를 나타낸 도면.
도 3은 촬상 모드로 전환되었을 때에 실행 개시되는 주 제어부(1)의 동작(본 실시형태의 특징 부분의 동작)을 나타낸 흐름도.
도 4는 도 3에 계속되는 동작을 나타낸 흐름도.
도 5는 주 제어부(1)로부터의 재생 지시 타이밍에 따라 실행 개시되는 재생 제어부(8)의 동작을 나타낸 흐름도.
도 6의 (a)는 재생 대상의 화상을 특정해서 재생하는 각종 방법을 설명하기 위한 도면으로서, 재생 지시 타이밍이 흥미 씬의 촬상 기록 후에 검출된 경우를 나타낸 도면.
도 6의 (b)는 재생 대상의 화상을 특정해서 재생하는 각종 방법을 설명하기 위한 도면으로서, 재생 지시 타이밍이 촬상 기록중에 검출된 경우를 나타낸 도면.
도 7의 (a) 및 (b)는 흥미 씬이 인터럽트 재생되는 표시부(7)의 표시 화면을 나타낸 도면.
도 8의 (a) 및 (b)는 제 1 실시형태의 변형예를 설명하기 위한 도면.
도 9의 (a)는 제 2 실시형태에 있어서, 기억부(3)내에 구비한 재생 속도 변경 테이블 RS를 설명하기 위한 도면.
도 9의 (b)는 각도 범위를 예시한 도면.
도 10은 제 2 실시형태에 있어서, 촬상 모드로 전환되었을 때에 실행 개시되는 촬상 장치의 동작 개요(본 실시형태의 특징 부분의 동작)를 나타낸 흐름도.1 is a block diagram showing basic components of a wearable camera applied as an image pickup device.
2 (a) is an external view showing a state in which a wearable camera is mounted on a user's arm.
Fig. 2 (b) is a view showing a state in which a user looks at a screen of a wearable camera mounted on an arm.
3 is a flowchart showing the operation of the main control unit 1 (the operation of the characteristic portion of the present embodiment) which is started when the mode is switched to the image pickup mode.
Fig. 4 is a flowchart showing an operation subsequent to Fig. 3; Fig.
5 is a flowchart showing the operation of the
FIG. 6A is a diagram for explaining various methods for specifying and reproducing an image to be reproduced, and showing a case where a playback instruction timing is detected after image pickup recording of an interesting scene. FIG.
FIG. 6B is a diagram for explaining various methods for specifying and reproducing an image to be reproduced, and showing a case where a playback instruction timing is detected during image pickup recording. FIG.
7A and 7B are diagrams showing display screens of the
8A and 8B are diagrams for explaining a modification of the first embodiment.
9A is a view for explaining a reproduction speed changing table RS provided in the
Fig. 9 (b) illustrates an angle range. Fig.
10 is a flowchart showing an operation outline (operation of a characteristic portion of the present embodiment) of an image pickup apparatus started to be executed when switching to the image pickup mode in the second embodiment.
이하, 본 발명의 실시형태에 대해, 도면을 참조해서 상세하게 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(제 1 실시형태)(First Embodiment)
우선, 도 1∼도 7을 참조해서 본 발명의 제 1 실시형태를 설명한다.First, a first embodiment of the present invention will be described with reference to Figs. 1 to 7. Fig.
도 1은 촬상 장치로서 적용한 디지털 카메라의 기본적인 구성요소를 나타낸 블럭도이다.1 is a block diagram showing basic components of a digital camera applied as an image pickup device.
이 촬상 장치(디지털 카메라)는 신체의 소정 부위에 장착해서 촬상이 가능한 웨어러블 카메라(예를 들면, 팔 장착형의 카메라)로서, 피사체를 고정밀로 동화상이나 정지화상을 촬상 가능한 촬상 기능, 현재 일시나 타이머 시간을 계시하는 계시 기능 이외에, 제 1 실시형태에 있어서는 특히, 인터럽트 재생 기능을 구비하고 있다. 이 인터럽트 재생 기능은 동화상의 촬상 기록중에 있어서 그 촬상된 동화상 중에서 미리 유저 조작으로 임의로 지정되어 있는 지정 씬(유저의 원하는 흥미 씬)의 화상(촬상 화상：기록 화상)을 소정의 타이밍에서 읽어내어 자동적으로 인터럽트 재생(촬상 기록중에서의 재생, 또는 촬상 기록을 정지하지 않고 재생)하는 기능으로, 그 상세에 대해서는 후에 설명하는 것으로 한다.A wearable camera (for example, an arm-mounted camera) capable of capturing an image by being mounted on a predetermined portion of a body, includes an image pickup function capable of capturing a moving image or a still image with high accuracy, In addition to the timekeeping function of displaying the time, the first embodiment has an interrupt playback function in particular. This interrupt reproduction function reads an image (captured image: recorded image) of a designated scene (user's desired interest scene) arbitrarily specified by a user operation in advance in the captured moving image at a predetermined timing during recording of the moving image in the image pickup recording, (Playback in the image pickup recording, or playback without stopping the image pickup recording), and the details thereof will be described later.
주 제어부(1)는 전원부(2차 전지)(2)로부터의 전력 공급에 의해서 동작하고, 기억부(3)내에 저장되어 있는 각종 프로그램에 따라 이 촬상 장치(웨어러블 카메라)의 전체 동작을 제어하는 것으로서, 이 제어부(1)에는 도시하지 않은 프로세서(CPU：중앙 연산 처리 장치)나 메모리 등이 마련되어 있다. 기억부(3)는 예를 들면, ROM, 플래시 메모리 등을 갖는 구성으로, 본 실시형태를 실현하기 위한 프로그램이나 각종 어플리케이션 등이 저장되어 있는 프로그램 메모리(3A)와, 플래그 등을 일시 기억하는 워크 메모리(3B), 촬상 기능에 의해서 촬상된 화상을 순차 기억하는 소정 용량분의 버퍼 메모리(씬 버퍼)(3C) 등을 갖고 있다.The
버퍼 메모리(3C)는 예를 들면, 링 버퍼 등에 의해서 구성된 일시 기억용 메모리로, 유저가 임의로 지정한 원하는 지정 씬(흥미 씬)의 화상에 대해서는 그 기록 위치를 명시할 수 있도록 식별 가능하게 기록하도록 하고 있다. 주 제어부(1)는 버퍼 메모리(3C)의 용량분의 화상이 기록되는 것에 의해 풀 상태가 되면, 가장 오래된 화상을 최신의 화상에 의해서 오버라이트 갱신하는 것에 의해 일정량의 화상을 기록하도록 하고 있다. 또한, 기억부(3)는 예를 들면, SD카드, IC카드 등, 착탈 자유로운 휴대가능형 메모리(기록 미디어)를 포함하는 구성이어도 좋고, 도시하지 않지만, 통신 기능을 통해 네트워크에 접속되어 있는 상태에 있어서는 소정의 서버 장치측의 기억 영역을 포함하는 것이어도 좋다.The
조작부(4)는 도시 생략했지만, 전원 온/오프를 실행하는 전원 키, 동작 모드 전환 키, 촬영 조건 설정 키 등의 각종 조작 키를 구비한 것으로, 주 제어부(1)는 그 키 조작에 따라, 촬영 처리, 촬상 처리, 촬영 조건 설정 처리 등을 실행한다. 특히, 제 1 실시형태는 상술한 인터럽트 재생 기능을 가진 촬상 모드로 전환되면, 촬상된 화상을 취득하여 라이브 뷰 화상으로서 표시시키면서 버퍼 메모리(3C)에 순차 기록하는 처리를 실행하는 동시에, 이 촬상 기록중에 있어서 소정의 타이밍에서 버퍼 메모리(3C)내로부터 미리 임의로 지정된 지정 씬(흥미 씬)의 화상을 읽어내어 인터럽트 재생하는 처리를 실행하도록 하고 있다.Although not shown, the
촬상부(5)는 도시하지 않지만, 광학 렌즈로부터의 피사체 화상이 촬상 소자(CCD나 CMOS 등)에 결상되는 것에 의해 피사체를 고정밀로 촬영(동화상 촬영, 정지화상 촬영)하는 것이 가능한 것으로, 촬영 렌즈, 촬상 소자, 각종 센서, 촬상 제어 회로(아날로그 처리부, 디지털 처리부 등)를 갖고 있다. 음성 입력부(6)는 주위의 음성을 입력하는 마이크로폰을 갖는 구성으로, 이 음성 입력부(6)로부터 입력된 음성은 촬상부(5)에 의해서 촬상된 화상에 대응지어 음성 메모리(도시 생략)에 기록된다. 표시부(7)는 디스플레이 및 표시 제어 회로에 의해 구성되고(예를 들면 액정 표시 장치 등을 사용), 표시 화면을 가지며, 이 표시 화면은 촬상부(5)에 의해서 촬상된 화상(라이브 뷰 화상)을 리얼타임으로 표시하는 모니터 화면(라이브 뷰 화면)으로 되거나, 촬상된 화상이나 촬영 완료 화상(보존 화상)을 재생하는 재생 화면으로 된다.Although not shown, the
재생 제어부(8)는 촬상 모드에서의 촬상 기록중에 주 제어부(1)로부터 인터럽트 재생의 지시를 받으면, 재생 대상의 흥미 씬의 화상을 특정하고, 이 흥미 씬의 화상을 버퍼 메모리(3C)내로부터 읽어내어 표시부(7)의 표시 화면에 인터럽트 재생시키는 처리를 실행하는 것으로, 도시하지 않은 프로세서(CPU：중앙 연산 처리 장치)나 메모리 등이 마련되어 있다. 또한, 제 1 실시형태에 있어서는 주 제어부(1) 이외에, 전용의 재생 제어부(8)를 마련하도록 했지만, 이것에 한정되지 않고, 주 제어부(1)가 촬상 기록의 동작을 실행하면서 재생 제어부(8)의 동작을 병렬적(시분할적)으로 실행하도록 해도 좋다.When an instruction to reproduce an interrupt is received from the
도 2는 촬상 장치(웨어러블 카메라)를 유저의 팔에 장착한 상태를 나타낸 외관도이다.2 is an external view showing a state in which an image pickup device (wearable camera) is mounted on a user's arm.
촬상 장치(웨어러블 카메라)는 도 2의 (a)에 나타내는 바와 같이, 그 전면부에 촬상부(5) 및 표시부(6)가 배치되어 있는 본체부(11)와, 팔 장착용의 벨트가 구비되어 있는 장착부(12)를 갖는 구성이며, 이 촬상 장치를 유저의 팔에 장착함으로써 핸즈프리의 상태에서 전방을 유저의 시점에서 광각인 촬상이 가능하게 된다.As shown in FIG. 2A, the image pickup apparatus (wearable camera) is provided with a main body section 11 in which an
도 2의 (b)는 촬상 모드에 있어서 유저가 표시부(6)의 표시 화면(모니터 화면)을 보고자 하여 팔을 내측으로 접어 구부려 들여다 보도록 시선을 표시 화면을 향한 상태를 나타내고 있다.2B shows a state in which the user faces the display screen so that the user can see the display screen (monitor screen) of the
주 제어부(1)는 촬상 기록중에 촬상된 화상을 해석하고, 미리 설정되어 있는 유저의 얼굴이 투영되어 있으면, 그 안구 또는 동공의 위치를 검출함으로써 유저의 시선이 표시 화면을 향하고 있는지의 여부를 판별한다. 이 경우, 촬상부(5) 및 표시부(6)는 본체부(11)의 동일면상에 배치되어 있으므로, 도시한 바와 같이 유저가 표시 화면을 들여다 보도록, 얼굴을 비스듬히 아래 방향을 향하면, 촬상부(5)의 화각내에 유저의 얼굴이 들어가기 때문에, 그 안구 또는 동공의 위치를 특정하는 것에 의해서 유저의 시선 방향을 검출할 수 있다.The
이러한 촬상 기록중에 있어서 주 제어부(1)는 촬상 화상의 해석으로 유저의 시선이 표시 화면을 향하고 있디고 판별하면, 그 때의 타이밍을 재생 지시 타이밍으로서 재생 제어부(8)에 부여한다. 재생 제어부(8)는 주 제어부(1)로부터 재생을 지시하는 타이밍 신호를 접수하면, 그 타이밍 신호에 의거하여 재생 대상의 화상(흥미 씬)을 특정하고, 그 흥미 씬의 화상을 버퍼 메모리(3C)로부터 읽어내어 표시부(6)의 표시 화면에 인터럽트 재생시킨다. 이 흥미 씬의 화상의 재생시에는 촬상된 화상을 순차 기록하는 동작보다 느린 속도(예를 들면, 1/4의 속도)로 슬로우 재생하도록 하고 있다. 또한, 이하, 지정 씬(흥미 씬)의 화상을 단지 지정 씬(흥미 씬)이라고 하는 경우가 있다.During such image recording, the
다음에, 제 1 실시형태에 있어서의 촬상 장치(웨어러블 카메라)의 동작 개념을 도 3∼도 5에 나타내는 흐름도를 참조해서 설명한다. 여기서, 이들 흐름도에 기술되어 있는 각 기능은 판독 가능한 프로그램 코드의 형태로 저장되어 있으며, 이 프로그램 코드에 따른 동작이 순차 실행된다. 또, 네트워크 등의 전송 매체를 통해 전송되어 온 상술한 프로그램 코드에 따른 동작을 순차 실행할 수도 있다. 이것은 후술하는 다른 실시형태에 있어서도 마찬가지이며, 기록 매체 외에, 전송 매체를 통해 외부 공급된 프로그램/데이터를 이용해서 본 실시형태 특유의 동작을 실행할 수도 있다. 또한, 도 3 및 도 4는 주 제어부(1)의 전체 동작 중, 본 실시형태의 특징 부분의 동작 개요를 나타낸 흐름도이며, 이 도 3 및 도 4의 플로에서 빠졌을 때에는 전체 동작의 메인 플로(도시 생략)로 되돌린다.Next, the operation concept of the image pickup apparatus (wearable camera) in the first embodiment will be described with reference to flowcharts shown in Figs. 3 to 5. Fig. Here, each of the functions described in these flowcharts is stored in the form of readable program code, and the operations according to the program code are sequentially executed. It is also possible to sequentially execute the operations according to the above-described program codes transmitted through a transmission medium such as a network. This also applies to other embodiments to be described later. In addition to the recording medium, an operation peculiar to the present embodiment can be executed using programs / data supplied externally via a transmission medium. 3 and 4 are flowcharts showing the outline of the operation of the characteristic portion of the present embodiment during the entire operation of the
도 3 및 도 4는 촬상 모드로 전환되었을 때에 실행 개시되는 주 제어부(1)의 동작(본 실시형태의 특징 부분의 동작)을 나타낸 흐름도이다.Figs. 3 and 4 are flowcharts showing the operation of the main control unit 1 (the operation of the characteristic portion of the present embodiment), which is started when the imaging mode is switched.
우선, 주 제어부(1)는 촬상 기록 동작의 개시에 앞서 수행하는 처리(준비 처리)로서, 유저가 임의로 지정한 원하는 씬(지정 씬：흥미 씬)을 설정하기 위한 처리를 실행한다(도 3의 스텝 A1). 여기서, 유저 조작에 의해 흥미 씬을 특정하기 위한 정보가 입력되면, 주 제어부(1)는 그 씬 정보를 워크 메모리(3B)에 설정한다.First, the
예를 들면, 피사체(인물, 애완동물 등)의 화상상에서의 특징 정보(피사체가 인물이면, 얼굴 화상이나 그 특징 정보), 피사체의 특정 동작(웃는 얼굴 등)을 나타내는 정보, 피사체의 음성 정보(울음소리 등) 중, 적어도 1개의 정보가 유저 조작에 의해 씬 정보로서 입력되면, 주 제어부(1)는 그 씬 정보를 워크 메모리(3B)에 설정하는 처리를 실행한다. 다음에, 인터럽트 재생의 대상으로 되는 흥미 씬을 특정하거나, 그 재생 실행의 타이밍을 특정하는 방법이 유저 조작에 의해서 임의로 선택되면, 그 선택된 특정 방법을 워크 메모리(3B)에 설정하는 처리를 실행한다(스텝 A2). 또한, 이 특정하는 방법의 상세에 대해서는 후술하는 것으로 한다.For example, when the feature information on the image of the subject (person, pet, etc.) (the face image or feature information if the subject is a person), information indicating a specific action (smiley face or the like) Crying sound, etc.), at least one piece of information is input as scene information by a user operation, the
이러한 설정 처리를 실행한 후, 촬상 지시 키가 조작되는 것에 의해 촬상의 개시가 지시되면(스텝 A3에서 YES), 주 제어부(1)는 촬상부(5)에 의해서 촬상된 화상(동화상)을 취득하여 버퍼 메모리(3C)에 순차 기록하는 처리를 개시한다(스텝 A4). 또한, 이 촬상 기록의 개시와 함께, 음성 입력부(6)로부터 음성 정보를 취득하여 음성 메모리에 순차 기록하는 처리도 개시된다. 또한, 촬상된 화상을 라이브 뷰 화상으로서 표시부(7)의 표시 화면(모니터 화면)에 표시시키는 처리를 개시한다(스텝 A5). 그리고, 흥미 씬의 검출중을 나타내는 플래그(도시 생략)를 초기화(오프)하는 처리(스텝 A6)를 실행한 후, 도 4의 스텝 A7로 이행하고, 주 제어부(1)는 촬상 기록중에 버퍼 메모리(3C)는 가득참(풀 상태)인지를 조사하고 그 풀 상태이면(스텝 A7에서 YES), 버퍼 메모리(3C)의 기입 동작을 제어하여 최신의 화상을 가장 오래된 화상에 오버라이트 갱신하는 처리를 실행한다(스텝 A8).If the start of imaging is instructed by the operation of the imaging instruction key after this setting processing is performed (YES in step A3), the
다음에, 촬상 화상을 취득하여 그 촬상 화상을 해석하거나, 입력 음성을 해석하여 흥미 씬의 유무를 검출한다(스텝 A9). 예를 들면, 촬상 화상을 순차 해석하면서 그 배경 부분의 차분 변화를 검출하거나, 피사체의 얼굴을 검출하거나, 이동체의 동작을 검출하거나, 입력 음성을 검출한다. 그리고, 그 검출 결과와 상술한 스텝 A1에서 설정한 흥미 씬을 비교하고, 양자가 특징적으로 유사해 있는지의 여부, 예를 들면, 설정되어 있는 특정의 피사체(인물 등)가 찍혀 있는지, 피사체의 움직임이 특정의 동작인지 등에 의거하여 흥미 씬의 검출을 실행한다.Next, the captured image is acquired, the captured image is analyzed, and the presence or absence of the interest scene is detected by analyzing the input voice (step A9). For example, detecting the difference in the background portion, detecting the face of the object, detecting the motion of the moving object, or detecting the input voice while sequentially analyzing the captured image. Then, the detection result is compared with the interest scene set in the step A1, and it is judged whether or not the two are characteristically similar, for example, whether the specific subject (person or the like) The detection of the interesting scene is performed based on whether the specific operation is performed or the like.
이 검출 처리(스텝 A9)의 결과, 흥미 씬을 검출하지 않으면(스텝 A10에서 NO), 흥미 씬의 검출중 플래그가 온되어 있는지를 조사하지만(스텝 A15), 처음은 그 초기화에 의해서 오프되어 있으므로(스텝 A15에서 NO), 유저의 시선을 검출하는 처리로 이행한다(스텝 A18). 이 시선 검출 처리는 촬상부(5)의 화각내에 들어온 유저의 얼굴로부터 그 안구 또는 동공의 위치를 특정하고, 이 안구 또는 동공의 위치에 의거하여 유저의 시선 방향을 검출하는 것으로, 그 검출 결과에 의거해서 유저의 시선이 표시 화면을 향하고 있는지의 여부를 판별한다(스텝 A19). 시선이 표시 화면을 향하고 있지 않으면(스텝 A19에서 NO), 스텝 A14로 이행하고, 동화상 촬상의 종료가 유저 조작 등으로 지시되었는지를 조사하며, 그 촬상 종료가 지시되지 않으면(스텝 A14에서 NO), 버퍼 메모리(3C)의 풀 상태를 판별하는 스텝 A7로 되돌리고, 이하, 스텝 A10에서 흥미 씬이 검출될 때까지 상술한 동작을 반복한다.As a result of this detection processing (step A9), if the interesting scene is not detected (NO in step A10), it is checked whether or not the flag of the detection of the interesting scene is turned on (step A15) (NO in step A15), the process shifts to processing for detecting the user's gaze (step A18). This line-of-sight detection processing is performed by specifying the position of the eyeball or the pupil from the face of the user who has entered the angle of view of the
흥미 씬의 검출 처리(스텝 A9)의 결과, 흥미 씬을 검출하면(스텝 A10에서 YES), 흥미 씬의 검출중 플래그가 오프되어 있는지를 조사한다(스텝 A11). 여기서, 검출중 플래그가 오프되어 있는 상태에서 흥미 씬을 검출했다고 하는 것은(스텝 A10에서 YES, 스텝 A11에서 YES), 흥미 씬의 개시를 검출한 경우, 예를 들면, 특정인물이 촬상 화각내에 나타나기 시작한 경우, 또는 피사체가 특정 동작을 하기 시작한 경우이기 때문에, 스텝 A12로 이행하고, 그 흥미 씬의 개시 위치를 식별하는 위치 정보를 버퍼 메모리(3C)에 기록하는 동시에, 취미 씬의 개시를 검출한 사실을 표시 화면의 전체 점멸로 알린다. 또한, 알림의 방법은 이것에 한정되지 않으며, 알람음, 발광, 진동 등을 발생시켜 알려도 좋다. 그리고, 흥미 씬의 검출중인 것을 나타내기 위해 검출중 플래그를 온하는 처리(스텝 A13)를 실행한 후, 유저의 시선을 검출하는 처리로 이행한다(스텝 A18).As a result of the detection of the interesting scene (step A9), if the interesting scene is detected (YES in step A10), it is checked whether the flag of the detection of the interesting scene is off (step A11). Here, when it is detected that the interesting scene is detected while the detection flag is off (YES in step A10, YES in step A11), when the start of the interesting scene is detected, for example, when a specific person appears in the imaging view angle The process proceeds to step A12. In step A12, the position information for identifying the start position of the interesting scene is recorded in the
이 시선 검출 처리(스텝 A18)의 결과, 시선이 표시 화면을 향하고 있지 않으면(스텝 A19에서 NO), 촬상 종료의 지시가 없는 것을 조건으로(스텝 A14에서 NO), 스텝 A7로 되돌린다. 이하, 흥미 씬의 검출 처리(스텝 A9)의 결과, 흥미 씬을 계속 검출하고 있으면(스텝 A10에서 YES), 검출중 플래그는 온인 상태이기 때문에(스텝 A11에서 NO), 시선 검출 처리(스텝 A18)로 이행한다. 즉, 검출중 플래그는 흥미 씬의 개시를 검출했을 때에 온되므로, 검출중 플래그가 온인 상태인 것은 흥미 씬의 개시 검출 후도 흥미 씬을 계속 검출하고 있는 경우이기 때문에, 시선 검출 처리(스텝 A18)로 이행하고, 흥미 씬의 검출 후도 유저의 시선을 계속 감시한다.As a result of this line-of-sight detection processing (step A18), if the line of sight is not directed to the display screen (NO in step A19), the process returns to step A7 on condition that there is no instruction to end the imaging (NO in step A14). When the interest scene is continuously detected as a result of the detection of the interest scene (step A9) (YES in step A10), the detection flag is in the on state (NO in step A11) . That is, since the detection flag is turned on when the start of the interesting scene is detected, the flag of the detection is in the ON state because the scene of interest is continuously detected even after the detection of the start of the interesting scene, And continues to monitor the user's eyes even after the detection of the interesting scene.
한편, 흥미 씬의 검출 처리(스텝 A9)의 결과, 흥미 씬을 검출하지 않으면(스텝 A10에서 NO), 상술한 바와 같이 흥미 씬의 검출중 플래그가 온되어 있는지를 조사하고(스텝 A15), 검출중 플래그가 온되어 있으면(스텝 A15에서 YES), 흥미 씬의 검출중으로부터 흥미 씬의 종료를 검출한 경우이기 때문에, 버퍼 메모리(3C)에 그 씬의 종료 위치를 식별하는 위치 정보를 기록하는 처리를 실행한다(스텝 A16). 그리고, 검출중 플래그를 오프하는 처리(스텝 A17)를 실행한 후, 시선 검출 처리로 이행하고(스텝 A18), 흥미 씬의 종료후도 유저의 시선을 계속 감시한다.On the other hand, as a result of the detection of the interesting scene (step A9), if the interesting scene is not detected (NO in step A10), it is checked whether or not the flag of the detection of the interesting scene is on (step A15) (YES in step A15), the end of the interesting scene is detected from the detection of the interesting scene. Therefore, the process of recording the position information identifying the end position of the scene in the
또한, 흥미 씬의 개시를 검출한 후, 유저의 시선이 표시 화면을 향하지 않은 채 흥미 씬이 그대로 종료해 버린 경우에는(스텝 A15에서 YES, 스텝 A19에서 NO), 상술한 스텝 A14로부터 스텝 A7로 되돌리지만, 그 후도 흥미 씬을 검출하지 않으면(스텝 A10에서 NO), 스텝 A15로 이행한다. 이 경우, 검출중 플래그는 상술한 흥미 씬의 종료 검출시에 오프되어 있으므로(스텝 A15에서 NO), 시선 검출 처리로 이행되고(스텝 A18), 흥미 씬의 종료 후도 유저의 시선을 계속 감시한다.After detecting the start of the interesting scene, if the user's sight does not face the display screen and the interest scene ends as it is (YES in step A15, NO in step A19), the above-mentioned step A14 to step A7 If the interesting scene is not detected (NO in step A10), the process proceeds to step A15. In this case, since the detection flag is turned off at the end detection of the above-described interesting scene (NO at step A15), the process proceeds to the line detection process (step A18), and the user's line of sight is continuously monitored after the end of the interesting scene .
이하, 상술한 스텝 A14에서 촬상 종료가 지시될 때까지 상술한 동작을 반복하는 결과, 버퍼 메모리(3C)에는 촬상된 화상이 순차 기록되는 동시에, 흥미 씬을 검출할 때마다 그 개시 위치 및 종료 위치를 식별하는 위치 정보가 버퍼 메모리(3C)에 식별 가능하게 기록된다. 이 경우, 버퍼 메모리(3C)에의 기입은 최신의 화상을 가장 오래된 화상에 오버라이트 갱신하도록 하고 있기 때문에, 버퍼 메모리(3C)에는 일정량의 새로운 동화상이 기록되게 된다.As a result of repeating the above-described operation until the end of imaging is instructed in the above-described step A14, the captured image is sequentially recorded in the
시선 검출 처리(스텝 A18)의 결과, 유저의 시선이 표시 화면을 향한 것을 검출하면(스텝 A19에서 YES), 버퍼 메모리(3C)내에 흥미 씬이 기록되어 있는 것, 즉, 적어도 흥미 씬의 개시 위치를 나타내는 위치 정보가 기록되어 있는 것을 조건으로(스텝 A20에서 YES), 재생 제어부(8)에 대해 재생을 지시하는 타이밍 신호를 부여한다(스텝 A21). 이 경우, 흥미 씬의 검출중인지의 여부를 나타내는 정보도 그 재생 지시의 타이밍 신호와 함께 재생 제어부(8)에 부여한다. 그 후, 상술한 스텝 A14로 이행하고, 촬상 종료의 지시가 없는 것을 조건으로(스텝 A14에서 NO), 스텝 A7로 되돌린다.When it is detected as a result of the visual line detection processing (step A18) that the user's line of sight is directed toward the display screen (YES in step A19), it is determined that the interesting scene is recorded in the
도 5는 주 제어부(1)로부터의 재생 지시 타이밍에 따라 실행 개시되는 재생 제어부(8)의 동작을 나타낸 흐름도이다.5 is a flowchart showing the operation of the
재생 제어부(8)는 주 제어부(1)로부터 재생 지시의 타이밍 신호와 함께 촬상 기록중인지의 여부를 나타내는 정보를 접수하면, 촬상 기록중인지의 여부를 판별하고(스텝 B1), 유저의 시선이 표시 화면을 향한 타이밍이 촬상 기록중이 아니면(스텝 B1에서 NO), 후술하는 특정 방법 (A), (B) 중에서 도 3의 스텝 A2에서 설정된 방법을 선택하고(스텝 B2), 촬상 기록중이면(스텝 B1에서 YES), 후술하는 방법 (C), (D), (E)중에서 도 3의 스텝 A2에서 설정된 방법을 선택한다(스텝 B3). 그리고, 이 선택한 방법에 따라, 특정한 재생 대상의 화상을 버퍼 메모리(3C)로부터 읽어내어(스텝 B4), 인터럽트 재생을 개시한다(스텝 B5).When the
도 6은 재생 대상의 화상을 특정하여 인터럽트 재생하는 각종 방법을 설명하기 위한 도면이다.FIG. 6 is a diagram for explaining various methods for specifying an image to be reproduced and reproducing the interrupt.
도 6의 (a)는 재생 지시 타이밍이 흥미 씬의 촬상 기록 후에 검출된 경우이다. 도시한 예는 버퍼 메모리(3C)에 흥미 씬(1), 흥미 씬(2), 흥미 씬(3)이 순차 기록된 경우이며, 도면 중, "t"는 시간축을 나타내고, 최신의 흥미 씬(3)의 기록 후에 재생 지시 타이밍을 받은 경우를 나타내고 있다.FIG. 6A shows a case in which the reproduction instruction timing is detected after image pickup recording of the interesting scene. In the example shown in the figure, the
이와 같이, 흥미 씬의 촬상 기록 후에 재생 지시 타이밍을 받은 경우에는 (A)의 방법, (B)의 방법 중의 어느 하나를 선택하도록 하고 있다. (A)의 방법은 재생 지시 타이밍의 직전에 기록되어 있는 흥미 씬을 재생 대상으로서 특정하여 재생 지시 타이밍에서 재생하는 방법이다. (B)의 방법은 재생 지시 타이밍의 소정 시간(예를 들면, 10초) 전에 기록되어 있는 흥미 씬을 재생 대상으로서 특정하여 재생 지시 타이밍에서 재생하는 방법이다. 도시한 예에 있어서 (A)의 방법에서는 흥미 씬(1)이 재생 대상으로서 특정되어 재생되고, (B)의 방법에서는 흥미 씬(2) 및 흥미 씬(3)이 재생 대상으로서 특정되어 재생되는 경우를 나타내고 있다.As described above, when the reproduction instruction timing is received after the imaging and recording of the interesting scene, either the method (A) or the method (B) is selected. The method (A) is a method for specifying an interesting scene recorded immediately before a reproduction instruction timing as a reproduction target and reproducing it at a reproduction instruction timing. (B) is a method in which an interesting scene recorded before a predetermined time (for example, 10 seconds) of a reproduction instruction timing is specified as a reproduction target and is reproduced at a reproduction instruction timing. In the example shown in (A), the
도 6의 (b)는 재생 지시 타이밍이 흥미 씬의 촬상 기록중에 검출된 경우이다. 도시한 예는 버퍼 메모리(3C)에 흥미 씬(1), 흥미 씬(2), 흥미 씬(3)이 순차 기록된 경우이며, 도면 중, "t"는 시간축을 나타내고, 최신의 흥미 씬(3)의 기록중에 재생 지시 타이밍을 받은 경우를 나타내고 있다. 이와 같이, 흥미 씬의 촬상 기록중에 재생 지시 타이밍을 받은 경우에는 (C)의 방법, (D)의 방법, (E)의 방법 중의 어느 하나를 선택하도록 하고 있다. (C)의 방법은 이 촬상 기록중의 흥미 씬을 재생 대상으로서 특정하여 그 기록 완료를 대기하고 나서 그 흥미 씬의 재생을 개시하는 방법이다. (D)의 방법은 촬상 기록중의 흥미 씬의 기록 완료를 대기하지 않고 즉시 그 흥미 씬의 재생을 개시하는 방법이다. (E)의 방법은 촬상 기록중에 있어서 흥미 씬의 기록의 완료를 대기하지 않고 즉시 재생 지시 타이밍보다 전에 기록되어 있는 다른 지정 씬을 재생 대상으로서 특정하여 그 재생을 개시하는 방법이다.FIG. 6B shows a case in which the reproduction instruction timing is detected during image pickup recording of the interesting scene. In the example shown in the figure, the
도시한 예에 있어서 (C)의 방법에서는 촬상 기록중의 흥미 씬(3)이 그 기록 완료를 대기하고 나서 재생되고, (D)의 방법에서는 촬상 기록중의 흥미 씬(3)의 기록 완료를 대기하지 않고 즉시 그 흥미 씬(3)이 재생되고, (E)의 방법에서는 촬상 기록중의 흥미 씬(3)과는 상이한 다른 흥미 씬(2)이 흥미 씬(3)의 기록 완료를 대기하지 않고 즉시 재생되는 경우를 나타내고 있다. (E)의 방법이 선택된 경우에는 또한, 촬상 기록중에 재생 지시 타이밍보다 전에 기록되어 있는 다른 흥미 씬 화상이 기록되어 있으면, 그 화상의 재생을 개시하고, 기록되어 있지 않으면, 화상 기록중에 있어서의 흥미 씬 화상의 촬상 기록의 완료를 대기하고 나서 그 화상의 재생을 개시하도록 하고 있다. 따라서, (E)의 방법이 선택되었다고 해도, 재생 지시 타이밍보다 전에 기록되어 있는 다른 흥미 씬 화상이 기록되어 있지 않으면, 실질적으로 (C)의 방법으로 전환하도록 하고 있다.In the illustrated example, in the method (C), the
도 7은 흥미 씬이 인터럽트 재생되는 표시부(7)의 재생 화면을 나타낸 도면이다.7 is a view showing a playback screen of the
도 7의 (a)는 표시부(7)의 표시 화면의 전체가 인터럽트 재생 화면으로 전환된 경우를 나타내고, 도 7의 (b)는 표시 화면이 상하로 2분할되어 그 절반 영역(상반 영역)이 라이브 뷰 화상을 표시하는 라이브 뷰 화면으로 되고, 다른 절반 영역(하반 영역)이 인터럽트 재생용의 화면으로 되는 경우를 나타내고 있다. 이 인터럽트 재생시에는 촬상된 화상을 순차 기록하는 동작보다 느린 속도로 슬로우 재생하도록 하고 있다.Fig. 7A shows a case where the entire display screen of the
재생 제어부(8)는 상술한 바와 같이 해서 재생 대상으로서 특정한 흥미 씬의 인터럽트 재생을 개시하면(스텝 B5), 그 재생 대상의 화상을 그 종료 위치까지 다 재생했는지를 조사하고(스텝 B6), 그 재생이 종료해 있지 않으면(스텝 B6에서 NO), 표시 화면으로부터 유저의 시선이 어긋났는지를 조사한다(스텝 B8). 이 경우도 유저의 얼굴로부터 그 안구 또는 동공의 위치를 특정하고, 이 안구 또는 동공의 위치에 의거하여 유저의 시선 방향을 검출하지만, 그 때, 유저의 얼굴이 비추어 있지 않은 경우, 비추어 있어도 안구 또는 동공을 특정할 수 없는 경우, 안구 또는 동공의 위치를 특정할 수 있어도 유저의 시선 방향이 표시 화면을 향하고 있지 않은 경우에는 유저의 시선이 표시 화면으로부터 어긋났다고 판단한다.When the interruption reproduction of the interesting scene specified as the reproduction object is started (step B5) as described above, the
표시 화면으로부터 유저의 시선이 어긋나 있지 않으면(스텝 B8에서 NO), 표시 화면을 유저가 계속 보고 있으므로, 상술한 스텝 B4로 되돌리지만, 시선이 어긋났을 때에는(스텝 B6에서 YES), 시선이 어긋나고나서 소정 시간(예를 들면, 5초)이 경과했는지를 조사한다(스텝 B7). 즉, 시선이 어긋났다고 해도 순간적으로 어긋난 경우도 고려되므로, 시선이 어긋나고나서 소정 시간이 경과했는지를 조사하고, 소정 시간이 경과해 있지 않으면(스텝 B9에서 NO), 상술한 스텝 B4로 되돌리고, 이하, 재생 종료를 검출할 때까지(스텝 A7에서 NO), 또는 시선이 어긋나고나서 소정 시간이 경과할 때까지(스텝 B9에서 YES), 상술한 동작을 반복하면서 대기 상태로 된다.If the user's gaze is not shifted from the display screen (NO in step B8), the user continues to watch the display screen, and the process returns to step B4. However, if the gaze is shifted (YES in step B6) It is checked whether a predetermined time (for example, 5 seconds) has elapsed (step B7). If the predetermined time has not elapsed (NO in step B9), the process returns to step B4 described above, and it is determined whether or not the predetermined time has elapsed , Until the end of reproduction is detected (NO in step A7), or until a predetermined time has elapsed after the sight line is shifted (YES in step B9), the above-described operation is repeated while the apparatus is in the standby state.
여기서, 재생 종료를 검출하면(스텝 B7에서 NO), 다음의 재생 대상이 있는지를 조사한다(스텝 B7). 예를 들면, 도 6의 (a)에서 나타낸 (A)의 방법이 선택되어 있는 경우에, 재생 대상이 1개이면, 그 흥미 씬의 재생이 종료하면, 스텝 B7에서는 "다음의 재생 대상은 없다"라고 판단하기 때문에, 스텝 B10으로 이행하고, 재생 종료 처리를 실행하며, 표시부(7)의 표시 화면을 통상의 라이브 뷰 화면으로 되돌린다. 또, 도 6의 (a)에서 예시한 (B)의 방법이 선택되어 있는 경우에, 재생 대상이 2개 있으면, 그 1개째의 재생이 종료해도 스텝 B7에서는 "다음의 재생 대상은 있다"라고 판단하기 때문에, 스텝 B4로 되돌리고, 그 재생 대상의 화상을 버퍼 메모리(3C)로부터 읽어내고, 그 화상의 재생을 개시한다(스텝 B5). 한편, 재생이 종료하기 전에 유저의 시선이 어긋나고나서 소정 시간의 경과를 검출했을 때에는(스텝 B9에서 YES), 스텝 B10으로 이행하고, 재생 종료 처리를 실행하며, 표시부(7)의 표시 화면을 통상의 라이브 뷰 화면으로 되돌린다.Here, when the end of reproduction is detected (NO in step B7), it is checked whether there is a next reproduction target (step B7). For example, when the method of (A) shown in FIG. 6 (A) is selected, if the reproduction of the interesting scene is completed when there is only one reproduction target, the process proceeds to step B7. Quot ;, the flow advances to step B10 to execute the playback end process, and the display screen of the
이상과 같이, 제 1 실시형태에 있어서는 촬상부(5)에 의해서 촬상된 화상을 취득해서 순차 기록하는 촬상 기록중에, 유저가 지정한 원하는 지정 씬(흥미 씬)을 검출하는 동시에, 이 흥미 씬의 화상의 인터럽트 재생을 지시하는 타이밍을 검출하고, 검출한 흥미 씬의 화상을, 검출한 재생 지시 타이밍에 응답해서 인터럽트 재생하도록 했으므로, 촬상 기록중에 특별한 조작을 요구하는 일 없이, 유저의 원하는 기록 화상을 적절한 타이밍에서 인터럽트 재생할 수 있다.As described above, in the first embodiment, a desired specified scene (interest scene) specified by the user is detected during image pickup recording in which an image picked up by the
흥미 씬을 검출했을 때에, 그 흥미 씬을 식별 가능(개시 및 종료의 위치 정보를 부가해서)하게 기억하고, 재생시에는 흥미 씬을 식별해서 읽어내어 재생하도록 했으므로, 흥미 씬을 적절하게 추출해서 재생할 수 있다.Since the interesting scene is identified and stored (so that the start and end positional information is added) and the interesting scene is identified and read out during reproduction, the interesting scene can be appropriately extracted and reproduced have.
촬상 기록중에는 그 촬상 화상을 라이브 뷰 화상으로서 표시하는 동작을 포함하는 동작 기간이며, 이 동작 기간중에 검출한 흥미 씬을 기록하도록 했으므로, 라이브 뷰 화상의 재생이 가능하게 된다.And an operation of displaying the captured image as a live view image during image capture recording. Since the detected interesting scene is recorded during this operation period, the live view image can be reproduced.
재생 지시 타이밍까지 복수의 흥미 씬이 기록되어 있는 경우에, 이 복수의 흥미 씬 중에서 재생 지시 타이밍에 가장 가까운 타이밍에서 촬상된 흥미 씬을 재생하도록 했으므로, 재생 지시 타이밍을 토대로 그 바로 근처의 화상을 재생할 수 있다.In a case where a plurality of interesting scenes are recorded up to the reproduction instruction timing, since the interesting scenes captured at the timing nearest to the reproduction instruction timing are reproduced from among the plurality of interesting scenes, an image immediately adjacent thereto is reproduced based on the reproduction instruction timing .
촬상된 화상을 버퍼 메모리(3C)에 순차 기록하는 경우에, 용량분의 화상이 기억 완료이면, 오래된 화상 대신에 새로운 화상을 갱신 기록하도록 했으므로, 새로운 화상을 일정량 유지할 수 있다.In the case where the picked-up image is sequentially recorded in the
촬상된 화상을 순차 기록하는 동작보다 느린 속도로 재생하도록 했으므로, 재생 화상의 확인이 용이하게 되는 것 이외에, 촬상 기록중에 재생을 개시해도 그 재생 위치가 촬상 기록의 위치를 따라잡는 일은 없다.Since the reproduction is performed at a slower speed than the operation of successively recording the picked-up images, in addition to the facilitation of the confirmation of the reproduced image, the reproduction position does not follow the position of the image pickup record even if reproduction is started during image pickup recording.
촬상 기록중에 재생 지시 타이밍이 검출되었을 때에, 이 촬상 기록중의 흥미 씬의 기록 완료를 대기하고 나서 그 화상을 재생 대상으로서 특정하여 그 재생을 개시하는 방법, 촬상 기록의 완료를 대기하지 않고 즉시 그 화상을 재생 대상으로서 특정하여 그 재생을 개시하는 방법, 촬상 기록의 완료를 대기하지 않고 즉시 재생 지시 타이밍보다 전에 기록되어 있는 다른 흥미 씬을 재생 대상으로서 특정하여 그 재생을 개시하는 방법 중의 어느 하나의 흥미법으로 재생을 실행하도록 했으므로, 각종 방법으로 재생할 수 있다.A method of waiting for completion of recording an interesting scene in the image recording and specifying the image as a playback object and starting the playback when the playback instruction timing is detected during image capture recording; A method of specifying an image as an object to be reproduced and starting its reproduction, a method of specifying another interesting scene recorded before the instant reproduction instruction timing as a reproduction object without waiting for the completion of image capture recording, Since the reproduction is performed by the interesting method, it can be reproduced by various methods.
촬상 기록중의 흥미 씬의 기록 완료를 대기하고 나서 그 화상을 재생 대상으로서 특정하여 그 재생을 개시하는 방법, 촬상 기록의 완료를 대기하지 않고 즉시 그 화상을 재생 대상으로서 특정하여 그 재생을 개시하는 방법, 촬상 기록의 완료를 대기하지 않고 즉시 재생 지시 타이밍보다 전에 기록되어 있는 다른 흥미 씬을 재생 대상으로서 특정하여 그 재생을 개시하는 방법 중의 어느 하나의 방법을 선택 가능하게 했으므로, 유저가 원하는 방법으로 재생할 수 있다.A method of specifying the image as an object to be reproduced after waiting for completion of recording of the interesting scene in the image pickup recording and starting the reproduction of the image is immediately specified without specifying the completion of image pickup recording and the reproduction is started A method of specifying another interesting scene recorded prior to the instant reproduction instruction timing without waiting for the completion of the image pickup recording as a reproduction object and starting the reproduction thereof can be selected, Can be reproduced.
촬상 기록중에 재생 지시 타이밍이 검출되었을 때에, 그 재생 지시 타이밍보다 전에 기록되어 있는 다른 흥미 씬이 기록되어 있으면, 그 화상의 재생을 개시하고, 기록되어 있지 않으면, 화상 기록중에 있어서의 흥미 씬의 촬상 기록의 완료를 대기하고 나서 그 화상의 재생을 개시하도록 했으므로, 상황에 따른 재생이 가능하게 된다.If another interesting scene recorded before the reproduction instruction timing is recorded when the reproduction instruction timing is detected during image pickup recording, the reproduction of the image is started. If not recorded, the image of the interest scene during the image recording Since the reproduction of the image is started after the completion of the recording, the reproduction according to the situation becomes possible.
유저의 시선이 화면을 향한 타이밍을 재생 지시 타이밍으로서 검출하도록 했으므로, 유저의 자연스러운 움직임(재생을 보고자 하는 움직임)을 검출하여 재생 지시 타이밍으로 할 수 있고, 신속한 재생이 가능하게 된다.Since the timing of the user's gaze toward the screen is detected as the playback instruction timing, it is possible to detect the natural motion of the user (the motion to watch the playback) and to set the playback instruction timing, thereby enabling quick playback.
시선이 화면으로부터 어긋난 것을 검출했을 때에 인터럽트 재생을 종료하도록 했으므로, 유저의 자연스러운 움직임(재생을 다 본 움직임)을 검출해서 인터럽트 재생을 종료하는 것이 가능하게 된다.The interrupt reproduction is terminated when it is detected that the visual line is deviated from the screen. Therefore, it is possible to detect the natural movement of the user (the movement of the reproduction) and end the interrupt reproduction.
흥미 씬이 검출되고 기록되었을 때에, 그 사실을 알리도록 했으므로, 유저는 그 알림에 따라 화면에 시선을 향하게 할 수 있다.When the interesting scene is detected and recorded, the fact is notified so that the user can point the line of sight on the screen in accordance with the notification.
흥미 씬을 검출하기 위한 조건으로서, 피사체의 화상상에서의 특징 정보, 피사체의 동작 정보, 피사체의 음성 정보 중, 적어도 1개의 정보를 유저 조작에 의해 입력 지정하도록 했으므로, 유저가 원하는 흥미 씬을 적확하게 지정할 수 있다.As a condition for detecting the interest scene, at least one piece of information among the feature information on the image of the subject, the operation information of the subject, and the audio information of the subject is input and designated by the user operation. Therefore, Can be specified.
또한. 상술한 제 1 실시형태에 있어서는 촬상 기록중에 재생 지시 타이밍을 검출했을 때에, 그 촬상 기록 동작에 병행해서 그 화상을 인터럽트 재생하는 경우만을 나타냈지만, 이 인터럽트 재생 이외에, 촬상 기록 동작이 종료했을 때에, 기록 화상을 재생하는 동작을 개시하도록 해도 좋다. 즉, 촬상 기록중에 흥미 씬을 소정 시간 이상 검출하지 않았던 경우에, 그 촬상 기록을 종료시킨 후에 그 기록 화상을 순차 재생하는 통상의 동작을 개시하도록 해도 좋다. 이것에 의해서 쓸데 없는 촬상 기록을 생략하여 재생 동작으로 이행할 수 있다.Also. In the first embodiment described above, only the case where the image is interrupted and reproduced in parallel with the image pickup recording operation when the reproduction instruction timing is detected during image pickup recording is shown. However, in addition to the interrupt reproduction, when the image pickup recording operation is finished, The operation of reproducing the recorded image may be started. That is, when the interesting scene is not detected for a predetermined time or more during the image pickup recording, a normal operation of sequentially reproducing the recorded image after the image pickup recording is ended may be started. This makes it possible to omit unnecessary image recording and shift to the reproduction operation.
상술한 제 1 실시형태에 있어서는 유저의 시선이 화면을 향한 것을 검출한 타이밍을 재생 지시 타이밍으로서 검출하도록 했지만, 시선 대신에 신체(예를 들면, 얼굴이나 상반신)가 화면을 향한 것을 검출한 타이밍을 재생 지시 타이밍으로서 검출하도록 해도 좋다. 또한, 유저의 신체가 화면으로부터 어긋난 것을 검출한 경우에, 재생의 종료를 검출하도록 해도 좋다. 또, 시선과 신체의 양쪽이 화면을 향한 것을 검출한 타이밍을 재생 지시 타이밍으로서 검출하도록 해도 좋다. 또한, 신체의 방향은 화상을 해석하는 것에 의해서 검출하는 경우에 한정되지 않으며, 촬상 장치내에 조립한 가속도 센서 등의 자세 센서를 사용해서 검출하도록 해도 좋다.In the first embodiment described above, the timing at which the user's eyes are detected toward the screen is detected as the playback instruction timing. However, the timing at which the body (e.g., the face or the upper body) It may be detected as the reproduction instruction timing. Further, when the user's body is detected to have deviated from the screen, the end of playback may be detected. It is also possible to detect the timing at which both the visual line and the body are directed to the screen as the playback instruction timing. Further, the direction of the body is not limited to the case of detecting by analyzing an image, and may be detected using an attitude sensor such as an acceleration sensor incorporated in the image capturing apparatus.
상술한 제 1 실시형태에 있어서는 촬상부(5)에 의해서 촬상된 화상을 취득하여 버퍼 메모리(3C)에 순차 기록하는 동시에, 흥미 씬을 검출했을 때에는 그 씬의 개시 위치와 종료 위치를 나타내는 위치 정보를 기록하도록 했지만, 검출한 흥미 씬만을 버퍼 메모리(3C)에 기록하도록 해도 좋다. 즉, 흥미 씬을 검출할 때마다 그 지정 씬을 버퍼 메모리(3C)에 순차 기록하도록 해도 좋다.In the first embodiment described above, the image picked up by the
상술한 제 1 실시형태에 있어서는 유저 시선이 화면을 향한 것을 검출한 타이밍을 재생 지시 타이밍으로서 검출하도록 했지만, 흥미 씬의 검출 직후, 또는 그 흥미 씬이 버퍼 메모리(3C)에 기록된 직후의 소정의 타이밍을 재생 지시 타이밍으로서 검출하도록 해도 좋다. 즉, 흥미 씬의 개시를 검출한 직후에 그 흥미 씬의 기록과 함께 그 기록 화상의 재생을 개시하도록 해도 좋다. 이 경우, 촬상 기록과 재생을 대략 동일 타이밍에서 개시했다고 해도, 재생 속도는 촬상 기록의 속도보다 느린 슬로우 재생을 위해 추후의 재생이 가능하게 된다. 또, 촬상 기록과 재생을 대략 동일 타이밍에서 개시하지 않고, 소정의 시간(예를 들면, 3초) 지연시킨 타이밍을 재생 지시 타이밍으로 해도 좋다.In the first embodiment described above, the timing at which the user's eyes are detected toward the screen is detected as the playback instruction timing. However, it is possible to detect the timing at which the user's attention is directed toward the screen, immediately after the detection of the interesting scene or immediately after the interesting scene is recorded in the
이와 같이, 흥미 씬의 검출 직후, 또는 그 기록 직후의 소정의 타이밍을 재생 지시 타이밍으로서 검출하도록 하면, 촬상 기록중에 특별한 조작을 요구하는 일 없이, 유저의 원하는 기록 화상을 적절한 타이밍에서 인터럽트 재생할 수 있다.As described above, by detecting the predetermined timing immediately after the detection of the interest scene or immediately after the recording as the playback instruction timing, the desired recorded image of the user can be interruptedly reproduced at a proper timing without requiring any special operation during image pickup recording .
상술한 제 1 실시형태에 있어서는 재생 지시 타이밍의 소정 시간(예를 들면, 10초) 전에 기록되어 있는 흥미 씬을 재생 대상으로서 특정하여 재생 지시 타이밍에서 재생하는 특정 방법(B)을 예시했지만, 본 발명은 소정 시간 전에 기록되어 있는 흥미 씬을 재생 대상으로서 특정하는 방법에 한정되지 않으며, 도 8의 (a)에 나타내는 바와 같이, 재생 지시 타이밍보다 전에 기록되어 있는 소정 수의 흥미 씬을 재생 대상으로서 특정하도록 해도 좋다. 도 8의 (a)는 도 6의 (a)와 기본적으로는 마찬가지의 도면이지만, 도시한 예에서는 흥미 씬(3)의 촬상 기록 후에 재생 지시 타이밍을 검출한 경우, 이 재생 지시 타이밍보다 전에 기록되어 있는 소정 수(예를 들면, 2개)의 씬, 즉 흥미 씬(2), 흥미 씬(3)이 재생 대상으로서 특정된다.In the first embodiment described above, the specific method (B) for specifying an interesting scene recorded before a predetermined time (for example, 10 seconds) of the reproduction instruction timing as the reproduction target and reproducing it at the reproduction instruction timing is exemplified. The invention is not limited to a method of specifying an interesting scene recorded before a predetermined time as a reproduction target. As shown in Fig. 8 (a), a predetermined number of interesting scenes recorded before a reproduction instruction timing are reproduced May be specified. 6A is basically the same as FIG. 6A. In the example shown in the drawing, when the reproduction instruction timing is detected after the image pickup recording of the
도 8의 (b)에 있어서, 재생 지시 타이밍보다 전에 기록되어 있는 소정 수의 씬을 재생 대상으로서 특정하는 경우, 흥미 씬의 기록 수가 적으면, 오래된 흥미 씬까지도 재생 대상으로서 특정해 버리게 되기 때문에, 소정 시간(예를 들면, 20초) 이내에 기록되어 있는 흥미 씬 중에서 재생 지시 타이밍보다 전에 기록되어 있는 소정 수(2개)의 흥미 씬을 재생 대상으로서 특정하는 경우를 나타내고 있다. 도시한 예에서는 소정 시간(예를 들면, 20초) 이내에는 흥미 씬(3)만이 기록되어 있는 경우이기 때문에 소정 수가 2개이어도 흥미 씬(3)만이 재생 대상으로서 특정되는 것을 나타내고 있다.8B, when a predetermined number of scenes previously recorded before the reproduction instruction timing are specified as objects to be reproduced, even the old interesting scenes are specified as objects to be reproduced if the number of records of the interesting scenes is small, (Two) interesting scenes previously recorded before the reproduction instruction timing among the interesting scenes recorded within a predetermined time (for example, 20 seconds) are specified as objects to be reproduced. In the illustrated example, since only the
상술한 제 1 실시형태에 있어서는 촬상된 화상을 해석하는 것에 의해 흥미 씬을 검출하도록 했지만, 화상의 해석에 의해서 흥미 씬을 검출하는 경우에 한정되지 않으며, 예를 들면 각종 센서를 사용해서 환경의 변화나 상태의 변화를 검출하고, 이 환경 변화나 상태 변화에 의거하여 흥미 씬을 검출하도록 해도 좋다.In the above-described first embodiment, the interesting scene is detected by analyzing the captured image. However, the present invention is not limited to the case of detecting the interesting scene by the analysis of the image. For example, Or a state change may be detected, and the interesting scene may be detected based on the environmental change or the state change.
또, 상술한 제 1 실시형태에 있어서는 촬상 기록중에 소정의 타이밍에서 인터럽트 재생하기 위한 화상을, 미리 기억 용량이 정해진 일시 기억 수단을 이용해서 오버라이트 갱신하도록 해서 기록시켰지만, 기억 용량에 여유가 있으면 미리 기억 용량을 제한하지 않고, 모든 촬영 화상을 기록하도록 해도 좋다. 또, 내부 메모리와 같은 비교적 소용량이고 고속의 일시 기억 메모리를 이용하는 경우 이외에, 착탈 가능한 저속의 대용량 메모리를 이용해도 좋다.In the first embodiment described above, an image for interrupt reproduction at a predetermined timing during the image pickup recording is overwritten and updated by using the temporal storage means in which the storage capacity is determined in advance. However, All the captured images may be recorded without limiting the storage capacity. In addition to the case of using a relatively small-capacity high-speed temporary storage memory such as an internal memory, a detachable low-speed large-capacity memory may be used.
또, 상술한 제 1 실시형태에 있어서는 시선을 검출하여 재생을 지시하도록 했지만, 시선 검출로 재생을 지시하는 경우에 한정되지 않으며, 유저 조작에 의해서 재생을 지시하는 경우도 포함시키도록 해도 좋다.In the first embodiment described above, the line of sight is detected and the reproduction is instructed. However, the present invention is not limited to the case where the reproduction is instructed by the line of sight detection, and the reproduction may be instructed by the user operation.
(제 2 실시형태)(Second Embodiment)
이하, 본 발명의 제 2 실시형태에 대해 도 9 및 도 10을 참조하여 설명한다.Hereinafter, a second embodiment of the present invention will be described with reference to Figs. 9 and 10. Fig.
또한, 상술한 제 1 실시형태에 있어서는 동화상의 촬상 기록중에 흥미 씬의 재생 지시의 타이밍을 검출하고, 그 흥미 씬을 검출한 재생 지시 타이밍에서 인터럽트 재생하도록 했지만, 이 제 2 실시형태에 있어서는 이 동화상의 촬상 기록중의 인터럽트 재생시에, 표시 화면을 보고 있는 유저의 상황에 의거하여 재생 속도를 변경하도록 한 것이다. 여기서, 양 실시형태에 있어서 기본적 혹은 명칭적으로 동일한 것은 동일 부호를 붙여 나타내고, 그 설명을 생략하는 동시에, 이하, 제 2 실시형태의 특징 부분을 중심으로 설명하는 것으로 한다.In the first embodiment described above, the timing of the reproduction instruction of the interesting scene is detected during the imaging and recording of the moving image, and the interrupt is reproduced at the reproduction instruction timing at which the interesting scene is detected. In this second embodiment, The playback speed is changed based on the situation of the user watching the display screen at the time of interrupt reproduction during image pickup recording. Here, in both embodiments, the same or similar elements are denoted by the same reference numerals, and a description thereof will be omitted, and the following description will be focused on the characteristic portions of the second embodiment.
도 9의 (a)는 제 2 실시형태에 있어서, 기억부(3)내에 구비한 재생 속도 변경 테이블 RS를 설명하기 위한 도면이다.FIG. 9A is a diagram for explaining the reproduction speed changing table RS provided in the
재생 속도 변경 테이블 RS는 동화상의 촬상 기록중의 인터럽트 재생시에 있어서, 그 표시 화면을 보고 있는 유저의 상황에 의거하여 재생 속도를 변경할 때에 참조되는 테이블로서, 「시선의 각도 범위」, 「응시 시간」, 「재생 속도」의 각 항목을 갖고 있다. 「시선의 각도 범위」는 표시 화면에 유저가 얼굴을 향하고 있는 상태에서의 각도 범위를 나타내는 것이며, 표시 화면(수평면)에 대한 수직 방향의 범위내(90°이내)에 있어서, 유저의 시선의 각도 범위를 나타내고 있다. 도시한 예에서는 "0≤θ＜θ1", "θ1≤θ＜θ2", "θ2≤θ≤θ3"의 각도 범위로 구분한 경우이다. 도 9의 (b)는 이 각도 범위 "0≤θ＜θ1", "θ1≤θ＜θ2", "θ2≤θ≤θ3"을 도시한 것이며, "θ1"이 15°, "θ2"가 45°, "θ3"이 90°인 경우에는 15°미만, 15°∼45°미만, 45°∼90°의 3개의 각도 범위로 구분된다.The reproduction speed changing table RS is a table referred to when changing the reproduction speed based on the situation of the user viewing the display screen at the time of interrupt reproduction during image pickup recording of the moving image, , And " playback speed ". The " angle of view angle " indicates an angle range in a state in which the user faces the face on the display screen. The angle range of the user's gaze (within 90 degrees) in the vertical direction with respect to the display screen Respectively. In the illustrated example, the angular ranges of "0?? <? 1", "? 1?? <? 2", and "? 2? Fig. 9B shows the angle ranges "0 &thetas; &thetas; 1 "," , And when? 3 is 90 degrees, it is divided into three angular ranges of less than 15 degrees, less than 15 degrees and less than 45 degrees, and 45 degrees to 90 degrees.
「응시 시간」은 표시 화면에 유저가 얼굴을 향하고 있는 상태에서의 계속 시간을 응시 시간으로 한 것으로, 도시한 예에서는 "0≤T＜T1", "T1≤T＜T2", "T2≤T"의 시간 범위로 구분한 경우이다. 예를 들면, "T1"이 2초, "T2"가 3초인 경우에는 2초 미만, 2초 내지 3초 미만, 3초 이상의 3개의 시간 범위로 구분된다. 「재생 속도」는 인터럽트 재생시의 속도를 나타내며, 「시선의 각도 범위」의 "0≤θ＜θ1", 「응시 시간」의 "0≤T＜T1"에 대응하여 "V1"이 기억되며, "θ1≤θ＜θ2", "T1≤T＜T2"에 대응하여 "V2"가 기억되고, "θ2≤θ≤θ3", "T2≤T"에 대응하여 "V3"이 기억되어 있다. 또한, "V1", "V2", "V3"은 V1＞V2＞V3의 관계에 있다. 재생 속도 변경 테이블 RS의 내용은 「시선의 각도 범위」가 클수록, 「응시 시간」이 길수록, 재생 속도가 늦어지도록 설정되어 있다. 또한, 재생 속도 변경 테이블 RS의 내용은 유저 조작에 의해서 임의로 설정 가능하게 해도 좋다.&Quot; 0 " T "T1 "," T1 ", " T2 ", "T2 & "And " For example, when T1 is 2 seconds and T2 is 3 seconds, it is divided into three time ranges of less than 2 seconds, less than 2 seconds to less than 3 seconds, and more than 3 seconds. V1 "is stored in correspondence with" 0?? <? 1 "of the" viewing angle range "and" 0? T <T1 " V2 "is stored corresponding to &thetas; 1 &le; &thetas; & V1 ", "V2 ", and" V3 "are in a relationship of V1> V2> V3. The content of the reproduction speed changing table RS is set so that the longer the "gaze time", the slower the reproduction speed, the larger the "angle of view range" is. The contents of the reproduction speed changing table RS may be arbitrarily set by a user operation.
도 10은 제 2 실시형태에 있어서 촬상 모드로 전환되었을 때에 실행 개시되는 촬상 장치(웨어러블 카메라)의 동작 개요(본 실시형태의 특징 부분의 동작)를 나타낸 흐름도이다.10 is a flowchart showing an operation outline (operation of the characteristic portion of the present embodiment) of the image pickup apparatus (wearable camera) that starts execution when switching to the image pickup mode in the second embodiment.
우선, 촬상 장치(웨어러블 카메라)는 촬상부(5)에 의해서 촬상된 화상을 취득하여 버퍼 메모리(3C)에 순차 기록하는 처리를 개시하는 동시에(스텝 C1), 그 촬상 화상을 라이브 뷰 화상으로서 표시부(7)의 표시 화면에 표시시키는 처리를 개시한다(스텝 C2).First, the image pickup device (wearable camera) starts the process of acquiring an image picked up by the
다음에, 유저의 시선을 검출하는 처리로 이행하여, 촬상부(5)의 화각내에 들어간 유저의 얼굴로부터 그 안구 또는 동공의 위치를 특정하고, 이 안구 또는 동공의 위치에 의거하여 유저의 시선 방향을 검출하여(스텝 C3), 유저의 시선이 표시 화면을 향하고 있는지의 여부를 판별한다(스텝 C4). 시선이 표시 화면을 향하고 있지 않으면(스텝 C4에서 NO), 스텝 C13으로 이행하고, 동화상 촬상의 종료가 유저 조작 등으로 지시되었는지를 조사하고, 그 촬상 종료가 지시되지 않으면(스텝 C13에서 NO), 시선 검출 처리(스텝 C3)로 되돌리고, 시선이 표시 화면을 향한 것, 또는 동화상 촬상의 종료가 지시된 것을 검출할 때까지 상술한 동작을 반복한다.Next, the process moves to a process of detecting the user's gaze to specify the position of the eyeball or the pupil from the face of the user in the angle of view of the
여기서, 시선이 표시 화면을 향하고 있는 것을 검출하면(스텝 C4에서 YES), 그 시선 방향에 의거하여 표시 화면(수평면)에 대한 수직 방향의 각도(시선 각도)를 검출하는 동시에(스텝 C5), 시선이 표시 화면을 향하고 있는 계속 시간을 계측하고, 이 계속 시간을, 표시 화면을 계속 보고 있는 응시 시간으로서 검출한다(스텝 C6). 그리고, 재생중인지를 조사하지만(스텝 C7), 처음은 재생 개시전이므로(스텝 C7에서 NO), 스텝 C8로 이행하고, 금회 검출한 시선 각도, 응시 시간을 토대로 재생 속도 변경 테이블 RS를 참조함으로써 「재생 속도」를 결정한다(스텝 C8).When it is detected that the visual line is pointing to the display screen (YES in step C4), an angle (visual angle) in the vertical direction with respect to the display screen (horizontal plane) is detected based on the visual line direction (step C5) The continuation time pointed to the display screen is measured, and this continuation time is detected as the continuation watching time of the display screen (step C6). Then, it is checked whether it is being reproduced (step C7). Since it is before the start of reproduction (NO in step C7), the process proceeds to step C8 and the reproduction speed changing table RS is referred to based on the gaze angle and the gazing time detected this time Speed " (step C8).
예를 들면, 시선 각도에 대응하는 「재생 속도」를 읽어내는 동시에, 응시 시간에 대응하는 「재생 속도」를 읽어내어 양자를 비교하고, 더욱 느린 「재생 속도」를 결정하도록 하고 있지만, 그 결정의 사양은 임의이며, 양자의 평균값을 산출하도록 해도 좋다. 다음에, 스텝 C9로 이행하고, 버퍼 메모리(3C)내의 기록 동화상을, 결정한 「재생 속도」로 재생하는 동작을 개시한다. 이 경우, 상술한 스텝 C7에서는 재생중이 검출되므로, 스텝 C10으로 이행하고, 금회 검출한 시선 각도, 응시 시간을 토대로 재생 속도 변경 테이블 RS를 참조하고, 구분 범위가 변화했는지를 조사한다.For example, the " reproduction speed " corresponding to the gaze angle is read, the " reproduction speed " corresponding to the gaze time is read, and the two are compared to determine the slower reproduction speed. The specifications are arbitrary, and the average value of both may be calculated. Then, the process proceeds to step C9, and the operation to reproduce the recording moving image in the
예를 들면, 재생 개시시에 검출된 시선 각도가 θ1 미만인 경우에, 금회의 검출값이 θ2이면, 구분 범위는 "0≤θ＜θ1"에서 "θ1≤θ＜θ2"로 되기 때문에, 구분 범위가 변화한다고 판단한다. 이와 같이, 시선 각도, 응시 시간의 어느 하나의 구분 범위가 변화하면(스텝 C10에서 YES), 그 변화한 구분 범위에 해당하는 「재생 속도」를 읽어내어 재생 속도를 변경하는 처리를 실행한다(스텝 C11). 그리고, 변경한 「재생 속도」로 인터럽트 재생을 속행한다(스텝 C12). 그 후, 동화상 촬상의 종료가 지시되지 않으면(스텝 C13에서 NO), 시선 검출 처리(스텝 C3)로 되돌리고, 이하, 상술한 동작을 반복한다.For example, when the viewing angle detected at the start of reproduction is less than? 1, and the current detection value is? 2, the division range becomes "? 1?? <? 2" . As described above, when any one of the gazing angle and the gazing time is changed (YES in step C10), a process of reading the " reproduction speed " corresponding to the changed range and changing the reproduction speed is executed C11). Then, interrupt playback is continued at the changed " playback speed " (step C12). Thereafter, if the end of moving image capture is not instructed (NO in step C13), the process returns to the line of sight detection processing (step C3), and the above-described operation is repeated.
이상과 같이, 제 2 실시형태에 있어서는 촬상부(5)에 의해서 촬상된 화상을 취득하여 순차 기록하는 촬상 기록중에, 표시 화면을 보는 유저의 상황에 의거하여 재생 속도를 변경하고, 이 변경한 재생 속도로 인터럽트 재생을 실행하도록 했으므로, 촬상 기록중에 특별한 조작을 요구하는 일 없이, 그 기록 화상을 적절히 인터럽트 재생할 수 있다. 예를 들면, 표시 화면을 보는 유저의 상황에 의거하여 유저가 흥미를 가진 화상인지를 판단하고, 흥미가 없으면, 비교적 빠른 속도로 변경하여 통상 속도로 재생하고, 흥미가 있으면, 저속도로 변경하여 슬로우 재생할 수 있다.As described above, in the second embodiment, the reproduction speed is changed based on the situation of the user viewing the display screen during the imaging recording in which the image picked up by the
유저의 시선이 표시 화면을 향하고 있는 경우에, 그 시선의 방향 상태를 검출하고, 이 시선의 상태에 의거하여 재생 속도를 변경하도록 했으므로, 재생중의 화상에 유저가 흥미를 가졌는지의 여부를 시선의 방향 상태에 의거하여 판단할 수 있다.When the direction of the line of sight of the user is directed to the display screen and the playback speed is changed based on the state of the line of sight, it is possible to determine whether or not the user has an interest in the image being played back, It can be judged based on the direction state.
유저의 시선의 방향 상태로서, 표시 화면에 대한 시선의 각도, 표시 화면에 시선이 계속해서 향하고 있는 계속 시간(응시 시간)을 검출하도록 했으므로, 재생중의 화상에 유저가 흥미를 가졌는지의 여부를 더욱 적확하게 판단하는 것이 가능하게 된다.The angle of the line of sight to the display screen and the continuation time (gaze time) in which the line of sight continues to be displayed on the display screen are detected as the direction state of the user's gaze. Therefore, whether or not the user is interested in the image It becomes possible to judge it accurately.
촬상된 화상을 순차 기록하는 동작보다 느린 속도로 인터럽트 재생을 실행하도록 했으므로, 촬상 기록중에 기록 화상을 재생해도 그 재생이 촬상 기록을 따라잡는 일은 없다.Since the interrupt reproduction is performed at a slower speed than the operation of sequentially recording the picked-up images, even if a recorded image is reproduced during image pickup recording, the reproduction does not catch up with the image pickup record.
또한, 상술한 제 2 실시형태에 있어서는 표시 화면을 보는 유저의 상황으로서, 시선의 방향 상태, 즉, 표시 화면에 대한 시선의 각도, 표시 화면에 시선이 계속해서 향하고 있는 계속 시간(응시 시간)을 검출하도록 했지만, 유저의 상황으로서는 이것에 한정되지 않고, 예를 들면, 유저의 신체(예를 들면, 얼굴이나 상반신)가 표시 화면을 향하고 있는 방향 상태라도 좋다. 이 경우, 표시 화면에 대한 신체의 각도, 표시 화면에 신체가 계속해서 향하고 있는 계속 시간을 검출하도록 해도 좋다. 또한, 신체의 방향은 화상 해석에 의해서 검출하는 경우에 한정되지 않으며, 가속도 센서 등의 자세 센서를 사용해서 검출하도록 해도 좋다.In the second embodiment described above, the directional state of the line of sight, that is, the angle of the line of sight to the display screen, and the continuation time (gaze time) in which the line of sight continues to be displayed on the display screen However, the present invention is not limited to this. For example, the user's body (for example, the face or the upper half of the body) may be in a direction in which the user faces the display screen. In this case, the angle of the body with respect to the display screen and the continuation time with which the body continuously faces the display screen may be detected. The direction of the body is not limited to the case of detecting by image analysis, and may be detected using an attitude sensor such as an acceleration sensor.
상술한 각 실시형태에 있어서는 일시 기억의 버퍼 메모리(3C)를 사용한 경우를 예시했지만, 버퍼 메모리(3C) 대신에 촬영 완료의 화상을 기록 보존하는 메모리를 사용하도록 해도 좋다.In each of the above-described embodiments, the
또, 상술한 각 실시형태에 있어서는 촬상 장치로서 웨어러블 카메라에 적용한 경우를 나타냈지만, 웨어러블 카메라에 한정되지 않고, 휴대 가능한 콤팩트 카메라이어도 좋고, 또한 카메라 기능을 갖는 퍼스널 컴퓨터·PDA(개인용 휴대형 정보 통신기기)·태블릿 단말장치·스마트 폰 등의 휴대 전화기·전자 게임·음악 플레이어 등이어도 좋다.In the above-described embodiments, the present invention is applied to a wearable camera as an image pickup device. However, the present invention is not limited to a wearable camera, but may be a compact camera that can be carried by a portable computer, a personal computer PDA ), A tablet terminal device, a mobile phone such as a smart phone, an electronic game, and a music player.
또, 상술한 각 실시형태에 있어서 나타낸 "장치"나 "부"는 기능별로 복수의 케이스로 분리되어 있어도 좋으며, 단일의 케이스에 한정되지 않는다. 또, 상술한 흐름도에 기술한 각 스텝은 시계열적인 처리에 한정되지 않으며, 복수의 스텝을 병렬적으로 처리하거나 별개 독립적으로 처리하도록 해도 좋다.It should be noted that the "device" and the "part" shown in each of the above-described embodiments may be divided into a plurality of cases for each function and are not limited to a single case. Note that the steps described in the above-mentioned flowcharts are not limited to time-series processing, and a plurality of steps may be processed in parallel or independently.
또, 상술한 실시형태에 있어서, 전자 회로로 구성되어 있는 각종 기능은 그 일부 또는 전부를 소프트웨어(RAM 또는 ROM에 기억된 프로그램을 CPU에 실행시킴)로 실현되어도 좋고, 상술한 실시형태에 있어서, 소프트웨어로 실현되어 있는 각종 기능은 그 일부 또는 전부를 전자 회로로 구성하도록 해도 좋다.In the above-described embodiment, various functions constituted by electronic circuits may be realized by software (a program stored in a RAM or a ROM is executed by a CPU in a part or all of the functions). In the above- Some or all of the functions realized by software may be constituted by electronic circuits.
1; 주 제어부
2; 전원부
3; 기억부
4; 조작부
5; 촬상부
6; 음성 입력부
7; 표시부
8; 재생 제어부
3A; 프로그램 메모리
3B; 워크 메모리
3C; 버퍼 메모리One; A
3;
5; An
7;
3A;
3C; Buffer memory
Claims (22)
디스플레이를 포함하는 표시부와,
메모리를 포함하는 기억부와,
프로세서를 포함하는 제어부를 갖는 촬상 장치로서,
상기 제어부는.
특정의 씬을 미리 설정하고,
상기 촬상부에 의해 연속적으로 촬상되는 화상을 상기 기억부에 순차 기억시키면서,
상기 기억 동작중에, 유저의 소정 동작을 검출한 경우에, 상기 기억부에 기억되어 있는 복수의 화상 중에서 상기 설정된 특정의 씬에 대응하는 화상을 특정하고,
상기 기억 동작을 계속한 상태에서 상기 특정된 화상을 상기 표시부에 표시하는 제어를 실행하는 것을 특징으로 하는 촬상 장치.An image pickup section including an image sensor,
A display including a display;
A storage unit including a memory,
An imaging apparatus having a control section including a processor,
The control unit includes:
A specific scene is set in advance,
And a control unit that sequentially stores an image continuously captured by the image pickup unit in the storage unit,
An image corresponding to the specified specific scene is specified from among a plurality of images stored in the storage unit when the predetermined operation of the user is detected during the storage operation,
And displays the specified image on the display unit in a state in which the storage operation is continued.
상기 제어부는.
상기 기억 동작을 계속한 상태에서, 상기 유저의 소정 동작을 검출할 때마다 상기 기억부에 기억되어 있는 복수의 화상 중에서 상기 특정의 씬에 대응하는 화상을 새로이 특정해서 상기 표시부에 표시하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
The control unit includes:
Characterized in that an image corresponding to the specific scene is newly specified and displayed on the display unit among a plurality of images stored in the storage unit every time the predetermined operation of the user is detected, .
상기 제어부는,
상기 기억 동작중에 상기 유저의 소정 동작을 검출했을 때에, 상기 기억부에 기억되어 있는 복수의 화상 중에서 상기 특정의 씬에 대응하는 화상이고, 상기 유저의 소정 동작을 검출한 타이밍에 대응하는 타이밍에서 촬상된 화상을 상기 유저의 소정 동작을 검출한 타이밍에 대응한 타이밍에서 상기 표시부에 표시하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
Wherein when the predetermined operation of the user is detected during the storage operation, the image corresponding to the specific scene among the plurality of images stored in the storage unit, And displays the image on the display section at a timing corresponding to a timing at which the predetermined operation of the user is detected.
상기 제어부는,
상기 기억 동작중에 상기 유저의 소정 동작을 검출했을 때에, 상기 기억부에 기억되어 있는 복수의 화상 중에서 상기 특정의 씬에 대응하는 화상이고, 상기 유저의 소정 동작을 검출한 타이밍에 가장 가까운 타이밍에서 촬상된 화상을 상기 유저의 소정 동작의 검출 직후에 상기 표시부에 표시하는 것을 특징으로 하는 촬상 장치.The method of claim 3,
Wherein,
Wherein when the predetermined operation of the user is detected during the storage operation, the image corresponding to the specific scene among the plurality of images stored in the storage unit, And displays the displayed image on the display unit immediately after detection of the predetermined operation of the user.
상기 제어부는,
유저가 임의로 지정한 씬을 상기 특정의 씬으로서 미리 설정하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
And sets the scene arbitrarily specified by the user as the specific scene in advance.
상기 제어부는,
상기 기억 동작중에, 상기 특정의 씬을 순차 검출하고, 이 검출된 특정의 씬에 대응하는 화상을 다른 화상과 식별해서 상기 기억부에 기억하고,
상기 유저의 소정 동작을 검출한 경우에, 상기 기억부에 식별해서 기억되어 있는 상기 특정의 씬에 대응하는 화상을 상기 표시부에 표시하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
The image corresponding to the detected specific scene is identified with another image and stored in the storage unit,
And displays an image corresponding to the specific scene identified and stored in the storage unit on the display unit when a predetermined operation of the user is detected.
상기 제어부는,
상기 기억 동작중에, 상기 특정의 씬을 순차 검출하고, 이 검출된 특정의 씬에 대응하는 화상만을 상기 기억부에 순차 기억시키고,
상기 유저의 소정 동작을 검출한 경우에, 상기 기억부에 기억되어 있는 복수의 화상 중에서, 상기 유저의 소정 동작을 검출한 타이밍에 대응하는 타이밍에서 촬상된 화상을 상기 유저의 소정 동작을 검출한 타이밍에 대응한 타이밍에서 상기 표시부에 표시하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
Sequentially detecting the specific scene during the storage operation, sequentially storing only the image corresponding to the detected specific scene in the storage unit,
And a control unit that, when the predetermined operation of the user is detected, the image captured at the timing corresponding to the timing of detecting the predetermined operation of the user among the plurality of images stored in the storage unit, On the display unit at a timing corresponding to the timing at which the image is displayed.
상기 제어부는,
상기 촬상부에 의해 연속적으로 촬상되는 화상을 라이브 뷰 화상으로서 상기 표시부에 순차 표시시키면서, 상기 특정의 씬에 대응하는 화상을 상기 기억부에 순차 기억시키는 것을 특징으로 하는 촬상 장치.8. The method of claim 7,
Wherein,
And sequentially stores the image corresponding to the specific scene in the storage unit while sequentially displaying the image continuously captured by the imaging unit as the live view image on the display unit.
상기 제어부는,
상기 기억부의 소정의 기억 용량을 갖는 일시 기억 영역내에, 상기 촬상부에 의해 연속적으로 촬상되는 화상을 순차 기억시키면서, 그 기억 용량분의 화상이 기억 완료이면, 오래된 화상 대신에 새로운 화상을 갱신하면서 기억시켜 가고, 이 일시 기억 영역내에 기억되어 있는 화상 중에서 상기 특정의 씬에 대응하는 화상을 특정해서 상기 표시부에 표시하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
If an image corresponding to the storage capacity is stored in succession while images sequentially captured by the imaging unit are stored in the temporary storage area having the predetermined storage capacity of the storage unit, And the image corresponding to the specific scene is specified from the images stored in the temporary storage area and displayed on the display unit.
상기 제어부는,
상기 촬상부에 의해 연속적으로 촬상되는 화상을 동화상으로서 상기 기억부에 순차 기억시키고,
상기 동화상의 기억 동작중에 상기 유저의 소정 동작을 검출한 경우에, 상기 기억부에 기억되어 있는 동화상 중에서 상기 특정의 씬에 대응하는 구간의 동화상을 특정하고,
상기 동화상의 기억 동작을 계속한 상태에서 상기 특정된 구간의 동화상을 재생해서 상기 표시부에 표시하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
An image successively photographed by the imaging section is stored in the storage section as a moving image,
Wherein when a predetermined operation of the user is detected during the moving image storage operation, a moving image of a section corresponding to the specific scene among the moving images stored in the storage section is specified,
Wherein the moving image of the specified section is reproduced and displayed on the display section in a state in which the moving image storage operation is continued.
상기 제어부는,
상기 동화상의 기억 동작중에 상기 특정의 씬을 순차 검출하고, 이 동화상에 있어서의 상기 특정의 씬이 시작되고 나서 종료할 때까지의 구간을 상기 특정의 씬에 대응하는 구간으로서 특정하는 것을 특징으로 하는 촬상 장치.11. The method of claim 10,
Wherein,
Wherein the specific scene is sequentially detected during the moving image storage operation and a section from the start of the specific scene to the end of the specific scene in the moving image is specified as a section corresponding to the specific scene .
상기 제어부는,
상기 유저의 소정 동작을 검출한 타이밍에서 상기 특정의 씬에 대응하는 구간의 동화상이 기억중이었던 경우에,
[1] 이 구간의 동화상의 기억이 완료하는 것을 대기하고 나서 이 구간의 동화상의 재생을 개시하는 방법,
[2] 이 구간의 동화상의 기억이 완료하는 것을 대기하지 않고 즉시 이 구간의 동화상의 재생을 개시하는 방법,
[3] 이 구간의 동화상의 기억이 완료하는 것을 대기하지 않고 즉시 상기 유저의 소정 동작을 검출한 타이밍보다 전에 기억되어 있는 상기 특정의 씬에 대응하는 다른 구간의 동화상의 재생을 개시하는 방법 중의 어느 하나의 방법으로 재생을 실행하는 것을 특징으로 하는 촬상 장치.11. The method of claim 10,
Wherein,
When a moving image of a section corresponding to the specific scene is stored at a timing at which the predetermined operation of the user is detected,
[1] A method of starting reproduction of a moving image in this section after waiting for completion of storage of the moving image in this section,
[2] A method of immediately starting reproduction of a moving image of this section without waiting for completion of storage of the moving image of this section,
[3] Any of the methods for starting the reproduction of the moving picture of another section corresponding to the specific scene stored before the timing of detecting the predetermined operation of the user immediately without waiting for completion of storage of the moving picture of this section And the reproduction is performed by one method.
상기 제어부는,
상기 유저의 소정 동작을 검출한 타이밍에서 상기 특정의 씬에 대응하는 구간의 동화상이 기억중이었던 경우의 재생 표시의 방법으로서,
[1] 이 구간의 동화상의 기억이 완료하는 것을 대기하고 나서 이 구간의 동화상의 재생을 개시하는 방법,
[2] 이 구간의 동화상의 기억이 완료하는 것을 대기하지 않고 즉시 이 구간의 동화상의 재생을 개시하는 방법,
[3] 이 구간의 동화상의 기억이 완료하는 것을 대기하지 않고 즉시 상기 유저의 소정 동작을 검출한 타이밍보다 전에 기억이 완료되어 있는 상기 특정의 씬에 대응하는 다른 구간의 동화상의 재생을 개시하는 방법 중의 어느 하나의 방법을 유저가 선택할 수 있도록 한 것을 특징으로 하는 촬상 장치.13. The method of claim 12,
Wherein,
A method of playback display when a moving picture of a section corresponding to the specific scene is being stored at a timing at which the predetermined operation of the user is detected,
[1] A method of starting reproduction of a moving image in this section after waiting for completion of storage of the moving image in this section,
[2] A method of immediately starting reproduction of a moving image of this section without waiting for completion of storage of the moving image of this section,
[3] A method for starting reproduction of a moving picture of another section corresponding to the specific scene whose storage has been completed before the timing of detecting the predetermined operation of the user immediately without waiting for completion of storage of the moving picture of this section The user can select any one of the following methods.
상기 제어부는,
상기 동화상의 기억 동작중에 상기 유저의 소정 동작을 검출했을 때에, 이 검출 타이밍보다 전에 기억이 완료되어 있는 상기 특정의 씬에 대응하는 구간의 동화상이 있으면, 그 구간의 동화상의 재생을 개시하고, 없으면, 상기 기억중의 상기 특정의 씬에 대응하는 구간의 동화상의 기억의 완료를 대기하고 나서 그 구간의 동화상의 재생을 개시하는 것을 특징으로 하는 촬상 장치.13. The method of claim 12,
Wherein,
When a predetermined motion of the user is detected during the moving image storage operation and there is a moving image of a section corresponding to the specific scene whose storage is completed before the detection timing, playback of the moving image of the section is started And starts playback of the moving image of the section after waiting for completion of storage of the moving image of the section corresponding to the specific scene in the storage.
상기 제어부는,
상기 유저의 소정 동작으로서, 소정의 조작 키를 조작하는 동작, 또는 유저의 신체 또는 시선을 표시 화면을 향하게 하는 동작을 검출하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
Wherein the predetermined operation of the user is to detect an operation of operating a predetermined operation key or an operation of directing a user's body or sight to a display screen.
상기 제어부는,
상기 유저의 소정 동작이 검출된 타이밍에서 화상의 표시를 개시하고, 검출되지 않게 된 타이밍에서 화상의 표시를 종료하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
Wherein display of the image is started at a timing at which the predetermined operation of the user is detected, and display of the image is ended at a timing when the user is not detected.
상기 제어부는,
상기 기억 동작중에, 상기 특정의 씬이 검출되었을 때, 또는 그 특정의 씬이 상기 기억부에 기록되었을 때에, 그 사실을 알리는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
And notifies the fact when the specific scene is detected during the storage operation or when the specific scene is recorded in the storage section.
상기 제어부는,
피사체의 화상상에서의 특징 정보, 피사체의 동작 정보, 피사체의 음성 정보 중, 적어도 1개의 정보에 의거하여 상기 특정의 씬을 검출하는 것을 특징으로 하는 촬상 장치.The method according to claim 1,
Wherein,
And said specific scene is detected based on at least one piece of information among characteristic information on the image of the subject, operation information of the subject, and audio information of the subject.
상기 제어부는,
상기 동화상의 재생 동작중에, 표시 화면을 보는 유저의 상황을 검출하고, 이 검출된 유저의 상황에 의거하여 동화상의 재생 속도를 변경하는 것을 특징으로 하는 촬상 장치.11. The method of claim 10,
Wherein,
Wherein a state of a user viewing the display screen is detected during the moving image reproduction operation and the reproduction speed of the moving image is changed based on the detected situation of the user.
상기 제어부는,
상기 동화상의 재생 동작중에, 유저의 신체 또는 시선이 표시 화면을 향하고 있는 경우에, 그 신체 또는 시선의 표시 화면에 대한 각도, 또는 신체 또는 시선이 계속해서 표시 화면을 향하고 있는 시간 중, 적어도 어느 하나를 검출하고, 그 검출된 각도 또는 시간에 따라 재생 속도를 변경하는 것을 특징으로 하는 촬상 장치.20. The method of claim 19,
Wherein,
At least one of an angle to the display screen of the body or the line of sight or a time when the body or the line continues to point to the display screen during the moving image reproduction operation when the user's body or line of sight faces the display screen And changes the reproduction speed according to the detected angle or time.
특정의 씬을 미리 설정하고,
연속적으로 촬상되는 화상을 순차 기억시키면서,
상기 기억 동작중에, 유저의 소정 동작을 검출한 경우에, 상기 기억되어 있는 복수의 화상 중에서 상기 설정된 특정의 씬에 대응하는 화상을 특정하고,
상기 기억 동작을 계속한 상태에서 상기 특정된 화상을 표시하는 것을 특징으로 하는 화상 재생 방법.An image reproducing method in an image pickup apparatus,
A specific scene is set in advance,
While successively storing images to be picked up successively,
Wherein when the predetermined operation of the user is detected during the storage operation, an image corresponding to the set specific scene is specified from among the stored plurality of images,
And the specified image is displayed while the storage operation is continued.
특정의 씬을 미리 설정하고,
연속적으로 촬상되는 화상을 순차 기억시키면서,
상기 기억 동작중에, 유저의 소정 동작을 검출한 경우에, 상기 기억되어 있는 복수의 화상 중에서 상기 설정된 특정의 씬에 대응하는 화상을 특정하고,
상기 기억 동작을 계속한 상태에서 상기 특정된 화상을 표시하도록 제어하기 위해 기록 매체에 기록된 프로그램.
For the computer of the imaging device,
A specific scene is set in advance,
While successively storing images to be picked up successively,
Wherein when the predetermined operation of the user is detected during the storage operation, an image corresponding to the set specific scene is specified from among the stored plurality of images,
A program recorded on the recording medium for controlling to display the specified image in a state in which the storing operation is continued.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2015-056642 | 2015-03-19 | ||
| JP2015056642A JP6222148B2 (en) | 2015-03-19 | 2015-03-19 | Imaging apparatus, image reproduction method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160112981A true KR20160112981A (en) | 2016-09-28 |
Family
ID=56925708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160030722A KR20160112981A (en) | 2015-03-19 | 2016-03-15 | Imaging apparatus, image playback method and program |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10027922B2 (en) |
| JP (1) | JP6222148B2 (en) |
| KR (1) | KR20160112981A (en) |
| CN (1) | CN105991952B (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12003850B2 (en) | 2019-01-31 | 2024-06-04 | Huawei Technologies Co., Ltd. | Method for selecting image based on burst shooting and electronic device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0515628A (en) | 1991-07-12 | 1993-01-26 | Kawasaki Net:Kk | Video device for golf swing |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09115243A (en) * | 1995-10-13 | 1997-05-02 | Masataka Ishii | Disk recording/reproducing device |
| JPH09190325A (en) * | 1996-01-09 | 1997-07-22 | Canon Inc | Display device |
| US7359619B1 (en) * | 1997-12-23 | 2008-04-15 | Intel Corporation | Transmitting signals to cause replays to be recorded at a plurality of receivers |
| JP2000023065A (en) | 1998-06-29 | 2000-01-21 | Dainippon Printing Co Ltd | Goggles display with sight line input |
| JP4097567B2 (en) * | 2003-06-10 | 2008-06-11 | シャープ株式会社 | Information recording / reproducing device |
| JP2007036846A (en) * | 2005-07-28 | 2007-02-08 | Nippon Telegr & Teleph Corp <Ntt> | Motion picture reproducing apparatus and control method thereof |
| WO2008126336A1 (en) * | 2007-03-30 | 2008-10-23 | Pioneer Corporation | Image processing apparatus and method |
| JP2010034614A (en) * | 2008-06-25 | 2010-02-12 | Olympus Imaging Corp | Imaging apparatus and imaging method |
| KR20100092210A (en) * | 2009-02-12 | 2010-08-20 | 전은숙 | Systems for a physical skill and portable type displayer |
| CN104012073B (en) * | 2011-12-16 | 2017-06-09 | 奥林巴斯株式会社 | The storage medium of the tracing program that filming apparatus and its image pickup method, storage can be processed by computer |
| ITVI20120104A1 (en) * | 2012-05-03 | 2013-11-04 | St Microelectronics Srl | METHOD AND APPARATUS TO GENERATE A VISUAL STORYBOARD IN REAL TIME |
-
2015
- 2015-03-19 JP JP2015056642A patent/JP6222148B2/en active Active
-
2016
- 2016-03-08 US US15/064,470 patent/US10027922B2/en active Active
- 2016-03-15 KR KR1020160030722A patent/KR20160112981A/en unknown
- 2016-03-17 CN CN201610153496.5A patent/CN105991952B/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0515628A (en) | 1991-07-12 | 1993-01-26 | Kawasaki Net:Kk | Video device for golf swing |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160277703A1 (en) | 2016-09-22 |
| CN105991952B (en) | 2019-04-05 |
| US10027922B2 (en) | 2018-07-17 |
| JP6222148B2 (en) | 2017-11-01 |
| CN105991952A (en) | 2016-10-05 |
| JP2016178450A (en) | 2016-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2019216671B2 (en) | Method and apparatus for playing video content from any location and any time | |
| CN109302538B (en) | Music playing method, device, terminal and storage medium | |
| CN109756784B (en) | Music playing method, device, terminal and storage medium | |
| CN109416562B (en) | Apparatus, method and computer readable medium for virtual reality | |
| EP2757771B1 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
| CN110572711B (en) | Video cover generation method and device, computer equipment and storage medium | |
| WO2016016984A1 (en) | Image pickup device and tracking method for subject thereof | |
| US10070046B2 (en) | Information processing device, recording medium, and information processing method | |
| KR20160000741A (en) | Glass type terminal and control method thereof | |
| CN111970456B (en) | Shooting control method, device, equipment and storage medium | |
| US10846535B2 (en) | Virtual reality causal summary content | |
| JP2017162103A (en) | Inspection work support system, inspection work support method, and inspection work support program | |
| CN113509720A (en) | Playback method, device, terminal, server and storage medium for virtual battle | |
| CN113938748A (en) | Video playing method, device, terminal, storage medium and program product | |
| US10715785B2 (en) | Electronic device and method for controlling the same | |
| WO2017022769A1 (en) | Head-mounted display, display control method and program | |
| KR20160112981A (en) | Imaging apparatus, image playback method and program | |
| CN110636377A (en) | Video processing method, device, storage medium, terminal and server | |
| JP2017215664A (en) | Terminal device | |
| US10946242B2 (en) | Swing analysis device, swing analysis method, and swing analysis system | |
| JP2010268127A (en) | Controller, imaging apparatus, imaging system, image acquisition method, and program | |
| CN115988154A (en) | Video recording method and device and electronic equipment | |
| CN115454247A (en) | Virtual content interaction method and device, electronic equipment and storage medium |