回放加速
目标
快进、反向播放和慢动作都是统称为技巧模式的技术,它们都有一个共同点,即修改正常的播放速率。本教程将介绍如何实现这些效果,并在交易中添加单步执行。具体而言,它显示:
- 如何更改播放速率,比正常值快和慢,向前和向后。
- 如何逐帧推进视频
介绍
快进是一种以高于其正常(预期)速度播放媒体的技术;而慢动作使用的速度低于预期的速度。反向播放执行相同的作,但从流的末尾到开头向后播放。
所有这些技术所做的只是更改播放速率,对于正常播放,播放速率是一个等于 1.0 的变量,对于快速模式,该变量大于 1.0(绝对值),对于慢速模式,该变量小于 1.0(绝对值),对于正向播放,负值对于反向播放。
GStreamer 提供了两种机制来更改播放速率:Step Events 和 Seek Events。Step Events 允许跳过给定数量的媒体,除了更改后续播放速率(仅为正值)之外。此外,Seek Events 还允许跳转到流中的任何位置,并设置正播放速率和负播放速率。
在 基础教程 4:时间管理 seek 事件中已经展示了,使用一个 helper 函数来隐藏它们的复杂性。本教程将详细介绍如何使用这些事件。
Step Event 是更改播放速率的更便捷方法,因为创建它们所需的参数数量较少;但是,它们也有一些缺点,因此本教程中使用 Seek Events。Step 事件只影响 sink (在管道的末尾),因此只有当 pipeline 的其余部分可以支持以不同的速度运行时,它们才会起作用,Seek 事件会一直穿过 pipeline ,以便每个元素都可以对它们做出反应。Step 事件的优点是它们作起来要快得多。Step 事件也无法更改播放方向。
要使用这些事件,需要创建这些事件,然后将其传递到管道上,在管道中,它们向上游传播,直到到达可以处理这些事件的元素。如果一个事件被传递到一个 bin 元素(如 playbin),它只会将事件馈送到它的所有 sink,这将导致执行多个 look。常见的方法是通过 video-sink 或 audio-sink 属性检索 playbin 的 sink 之一,并将事件直接馈送到 sink 中。
帧步进是一种允许逐帧播放视频的技术。它是通过暂停管道,然后发送 Step Events 以每次跳过一帧来实现的。
特技模式玩家
将此代码复制到名为 basic-tutorial-13.c 的文本文件中。
#include <string.h>
#include <stdio.h>
#include <gst/gst.h>
#ifdef __APPLE__
#include <TargetConditionals.h>
#endif
typedef struct _CustomData
{
GstElement *pipeline;
GstElement *video_sink;
GMainLoop *loop;
gboolean playing; /* Playing or Paused */
gdouble rate; /* Current playback rate (can be negative) */
} CustomData;
/* Send seek event to change rate */
static void
send_seek_event (CustomData * data)
{
gint64 position;
GstEvent *seek_event;
/* Obtain the current position, needed for the seek event */
if (!gst_element_query_position (data->pipeline, GST_FORMAT_TIME, &position)) {
g_printerr ("Unable to retrieve current position.\n");
return;
}
/* Create the seek event */
if (data->rate > 0) {
seek_event =
gst_event_new_seek (data->rate, GST_FORMAT_TIME,
GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE, GST_SEEK_TYPE_SET,
position, GST_SEEK_TYPE_END, 0);
} else {
seek_event =
gst_event_new_seek (data->rate, GST_FORMAT_TIME,
GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE, GST_SEEK_TYPE_SET, 0,
GST_SEEK_TYPE_SET, position);
}
if (data->video_sink == NULL) {
/* If we have not done so, obtain the sink through which we will send the seek events */
g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
}
/* Send the event */
gst_element_send_event (data->video_sink, seek_event);
g_print ("Current rate: %g\n", data->rate);
}
/* Process keyboard input */
static gboolean
handle_keyboard (GIOChannel * source, GIOCondition cond, CustomData * data)
{
gchar *str = NULL;
if (g_io_channel_read_line (source, &str, NULL, NULL,
NULL) != G_IO_STATUS_NORMAL) {
return TRUE;
}
switch (g_ascii_tolower (str[0])) {
case 'p':
data->playing = !data->playing;
gst_element_set_state (data->pipeline,
data->playing ? GST_STATE_PLAYING : GST_STATE_PAUSED);
g_print ("Setting state to %s\n", data->playing ? "PLAYING" : "PAUSE");
break;
case 's':
if (g_ascii_isupper (str[0])) {
data->rate *= 2.0;
} else {
data->rate /= 2.0;
}
send_seek_event (data);
break;
case 'd':
data->rate *= -1.0;
send_seek_event (data);
break;
case 'n':
if (data->video_sink == NULL) {
/* If we have not done so, obtain the sink through which we will send the step events */
g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
}
gst_element_send_event (data->video_sink,
gst_event_new_step (GST_FORMAT_BUFFERS, 1, ABS (data->rate), TRUE,
FALSE));
g_print ("Stepping one frame\n");
break;
case 'q':
g_main_loop_quit (data->loop);
break;
default:
break;
}
g_free (str);
return TRUE;
}
int
tutorial_main (int argc, char *argv[])
{
CustomData data;
GstStateChangeReturn ret;
GIOChannel *io_stdin;
/* Initialize GStreamer */
gst_init (&argc, &argv);
/* Initialize our data structure */
memset (&data, 0, sizeof (data));
/* Print usage map */
g_print ("USAGE: Choose one of the following options, then press enter:\n"
" 'P' to toggle between PAUSE and PLAY\n"
" 'S' to increase playback speed, 's' to decrease playback speed\n"
" 'D' to toggle playback direction\n"
" 'N' to move to next frame (in the current direction, better in PAUSE)\n"
" 'Q' to quit\n");
/* Build the pipeline */
data.pipeline =
gst_parse_launch
("playbin uri=https://gstreamer.freedesktop.org/data/media/sintel_trailer-480p.webm",
NULL);
/* Add a keyboard watch so we get notified of keystrokes */
#ifdef G_OS_WIN32
io_stdin = g_io_channel_win32_new_fd (fileno (stdin));
#else
io_stdin = g_io_channel_unix_new (fileno (stdin));
#endif
g_io_add_watch (io_stdin, G_IO_IN, (GIOFunc) handle_keyboard, &data);
/* Start playing */
ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
if (ret == GST_STATE_CHANGE_FAILURE) {
g_printerr ("Unable to set the pipeline to the playing state.\n");
gst_object_unref (data.pipeline);
return -1;
}
data.playing = TRUE;
data.rate = 1.0;
/* Create a GLib Main Loop and set it to run */
data.loop = g_main_loop_new (NULL, FALSE);
g_main_loop_run (data.loop);
/* Free resources */
g_main_loop_unref (data.loop);
g_io_channel_unref (io_stdin);
gst_element_set_state (data.pipeline, GST_STATE_NULL);
if (data.video_sink != NULL)
gst_object_unref (data.video_sink);
gst_object_unref (data.pipeline);
return 0;
}
int
main (int argc, char *argv[])
{
#if defined(__APPLE__) && TARGET_OS_MAC && !TARGET_OS_IPHONE
return gst_macos_main ((GstMainFunc) tutorial_main, argc, argv, NULL);
#else
return tutorial_main (argc, argv);
#endif
}
需要帮助?
如果您在编译此代码时需要帮助,请参阅针对您的平台构建教程部分:Linux、Mac OS X 或 Windows,或在 Linux 上使用以下特定命令:
gcc basic-tutorial-13.c -o basic-tutorial-13 `pkg-config --cflags --libs gstreamer-1.0`
如果您需要运行此代码的帮助,请参阅适用于您的平台的运行教程部分:Linux、Mac OS X 或 Windows 的
本教程将打开一个窗口并显示一部电影,并附带音频。媒体是从 Internet 获取的,因此该窗口可能需要几秒钟才能显示,具体取决于您的连接速度。控制台显示可用命令,这些命令由单个大写或小写字母组成,您应该输入这些命令,然后按 Enter 键。
必需安装的库:gstreamer-1.0
代码走读
main 函数中的初始化代码中没有新内容:实例化 playbin 管道,安装 I/O 监视来跟踪击键,并执行 GLib 主循环。
然后,在 keyboard handler 函数中:
/* Process keyboard input */
static gboolean handle_keyboard (GIOChannel *source, GIOCondition cond, CustomData *data) {
gchar *str = NULL;
if (g_io_channel_read_line (source, &str, NULL, NULL, NULL) != G_IO_STATUS_NORMAL) {
return TRUE;
}
switch (g_ascii_tolower (str[0])) {
case 'p':
data->playing = !data->playing;
gst_element_set_state (data->pipeline, data->playing ? GST_STATE_PLAYING : GST_STATE_PAUSED);
g_print ("Setting state to %s\n", data->playing ? "PLAYING" : "PAUSE");
break;
与前面的教程一样,暂停/播放切换使用 gst_element_set_state() 处理。
case 's':
if (g_ascii_isupper (str[0])) {
data->rate *= 2.0;
} else {
data->rate /= 2.0;
}
send_seek_event (data);
break;
case 'd':
data->rate *= -1.0;
send_seek_event (data);
break;
使用 'S' 和 's' 将当前播放速率加倍或减半,使用 'd' 反转当前播放方向。在这两种情况下,都会更新 rate 变量并调用 send_seek_event。让我们回顾一下这个函数。
/* Send seek event to change rate */
static void send_seek_event (CustomData *data) {
gint64 position;
GstEvent *seek_event;
/* Obtain the current position, needed for the seek event */
if (!gst_element_query_position (data->pipeline, GST_FORMAT_TIME, &position)) {
g_printerr ("Unable to retrieve current position.\n");
return;
}
此函数创建一个新的 Seek 事件,并将其发送到管道以更新速率。首先,使用 gst_element_query_position() 恢复当前位置。这是必需的,因为 Seek Event 会跳转到流中的另一个位置,并且由于我们实际上并不想移动,因此会跳转到当前位置。使用 Step Event 会更简单,但此事件目前尚未完全发挥作用,如 简介中所述。
/* Create the seek event */
if (data->rate > 0) {
seek_event = gst_event_new_seek (data->rate, GST_FORMAT_TIME, GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE,
GST_SEEK_TYPE_SET, position, GST_SEEK_TYPE_END, 0);
} else {
seek_event = gst_event_new_seek (data->rate, GST_FORMAT_TIME, GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE,
GST_SEEK_TYPE_SET, 0, GST_SEEK_TYPE_SET, position);
}
if (data->video_sink == NULL) {
/* If we have not done so, obtain the sink through which we will send the seek events */
g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
}
如简介中所述,为避免执行多个 Seek,Event 仅发送到一个 sink,在本例中为 video sink。它是通过 video-sink 属性从 playbin 获取的。此时读取它,而不是在初始化时读取,因为实际的接收器可能会根据媒体内容而变化,并且在管道正在播放并读取某些媒体之前,这不会知道。
新 Event 最终通过 gst_element_send_event() 发送到选定的 sink。
回到键盘处理程序,我们还是错过了单步跳代码,这真的很简单:
case 'n':
if (data->video_sink == NULL) {
/* If we have not done so, obtain the sink through which we will send the step events */
g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
}
gst_element_send_event (data->video_sink,
gst_event_new_step (GST_FORMAT_BUFFERS, 1, ABS (data->rate), TRUE, FALSE));
g_print ("Stepping one frame\n");
break;
使用 gst_event_new_step() 创建一个新的 Step Event,其参数基本上指定要跳过的量(示例中为 1 帧)和新的速率(我们不会更改)。
视频接收器是从 playbin 中抓取的,以防我们还没有它,就像以前一样。
这样我们就完成了。在测试本教程时,请记住,向后播放在许多元素中并不是最佳的。
更改播放速率可能仅适用于本地文件。如果您无法修改它,请尝试将第 114 行中传递给 playbin 的 URI 更改为本地 URI,以 file:/// 开头
总结
本教程展示了: - 如何使用 Seek Event 更改播放速率,该事件由 gst_event_new_seek() 创建,并通过 gst_element_send_event() 馈送到管道。 - 如何使用通过 gst_event_new_step() 创建的 Step Events 逐帧前进视频。
很高兴您来到这里,很快再见!