xiaoping 学习笔记

七脉的笔记
日常学习的笔记稿与记录稿
技术积累

m3u8文件分析

m3u8,是HTTP Live Streaming直播的索引文件。 m3u8基本上可以认为就是.m3u格式文件,区别在于,m3u8文件使用UTF-8字符编码。 #EXTM3U m3u文件头,必须放在第一行 #EXT-X-MEDIA-SEQUENCE 第一个TS分片的序列号 #EXT-X-TARGETDURATION 每个分片TS的最大的时长 #EXT-X-ALLOW-CACHE 是否允许cache #EXT-X-ENDLIST m3u8文件结束符 #EXTINF extra info,分片TS的信息,如时长,带宽等 M3U8文件举例 例如使用云图TV点播直播节目时,发送请求: http://121.199.63.236:7613/m3u8/cckw1/szws.m3u8?from=bab&fun=yes&chk=y&chunk=xax&ppw=yuntutv&auth=yuntutvyuntutvyuntutv&auth=yuntutvyuntutvyuntutv&nwtime=1406515232&sign=033d5483609e6bc87987fc7d2f30a024 返回M3U8文件,文件内容如下: #EXTM3U #EXT-X-MEDIA-SEQUENCE:140651513 #EXT-X-TARGETDURATION:10 #EXTINF:8, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651513[140651513].ts #EXTINF:9, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651514[140651514].ts #EXTINF:11, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651515[140651515].ts #EXTINF:10, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651516[140651516].ts #EXTINF:12, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651517[140651517].ts #EXTINF:8, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651518[140651518].ts #EXTINF:12, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651519[140651519].ts #EXTINF:8, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651520[140651520].ts #EXTINF:9, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651521[140651521].ts #EXTINF:13, http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651522[140651522].ts 然后根据索引的中链接请求下载音视频并进行播放 M3U文件标签及属性说明 M3U文件中可以包含多个tag,每个tag的功能和属性如下: #EXTM3U 每个M3U文件第一行必须是这个tag,请标示作用 #EXT-X-MEDIA-SEQUENCE:140651513 每一个media URI 在 PlayList中只有唯一的序号,相邻之间序号+1, 一个media URI并不是必须要包含的,如果没有,默认为0 #EXTINF:, duration 指定每个媒体段(ts)的持续时间(秒),仅对其后面的URI有效,title是下载资源的url #EXT-X-TARGETDURATION 指定最大的媒体段时间长(秒)。所以#EXTINF中指定的时间长度必须小于或是等于这个最大值。这个tag在整个PlayList文件中只能出现一 次(在嵌套的情况下,一般有真正ts url的m3u8才会出现该tag) #EXT-X-KEY 表示怎么对media segments进行解码。其作用范围是下次该tag出现前的所有media URI,属性为NONE 或者 AES-128。NONE表示 URI以及IV(Initialization Vector)属性必须不存在, AES-128(Advanced EncryptionStandard)表示URI必须存在,IV可以不存在。 对于AES-128的情况,keytag和URI属性共同表示了一个key文件,通过URI可以获得这个key,如果没有IV(Initialization Vector),则使用序列号作为IV进行编解码,将序列号的高位赋到16个字节的buffer中,左边补0;如果有IV,则将改值当成16个字节的16进制数。 #EXT-X-PROGRAM-DATE-TIME 将一个绝对时间或是日期和一个媒体段中的第一个sample相关联,只对下一个meida URI有效,格式如#EXT-X-PROGRAM-DATE-TIME: For example: #EXT-X-PROGRAM-DATE-TIME:2010-02-19T14:54:23.031+08:00 #EXT-X-ALLOW-CACHE 是否允许做cache,这个可以在PlayList文件中任意地方出现,并且最多出现一次,作用效果是所有的媒体段。格式如下:#EXT-X-ALLOW-CACHE: #EXT-X-PLAYLIST-TYPE 提供关于PlayList的可变性的信息, 这个对整个PlayList文件有效,是可选的,格式如下:#EXT-X-PLAYLIST-TYPE::如果是VOD,则服务器不能改变PlayList 文件;如果是EVENT,则服务器不能改变或是删除PlayList文件中的任何部分,但是可以向该文件中增加新的一行内容。 #EXT-X-ENDLIST 表示PlayList的末尾了,它可以在PlayList中任意位置出现,但是只能出现一个,格式如下:#EXT-X-ENDLIST #EXT-X-MEDIA 被用来在PlayList中表示相同内容的不用语种/译文的版本,比如可以通过使用3个这种tag表示3中不用语音的音频,或者用2个这个tag表示不同角度的video在PlayLists中。这个标签是独立存在的,属性包含: URI:如果没有,则表示这个tag描述的可选择版本在主PlayList的EXT-X-STREAM-INF中存在; TYPE:AUDIO and VIDEO; GROUP-ID:具有相同ID的MEDIAtag,组成一组样式; LANGUAGE:确定使用的主要语言 NAME:人类可读的语言的翻译 DEFAULT:YES或是NO,默认是No,如果是YES,则客户端会以这种选项来播放,除非用户自己进行选择。 AUTOSELECT:YES或是NO,默认是No,如果是YES,则客户端会根据当前播放环境来进行选择(用户没有根据自己偏好进行选择的前提下)。 #EXT-X-STREAM-INF 指定一个包含多媒体信息的 media URI 作为PlayList,一般做M3U8的嵌套使用,它只对紧跟后面的URI有效,格式如下:#EXT-X-STREAM-INF:有以下属性: BANDWIDTH:带宽,必须有。 PROGRAM-ID:该值是一个十进制整数,惟一地标识一个在PlayList文件范围内的特定的描述。一个PlayList 文件中可能包含多个有相同ID的此tag。 CODECS:不是必须的。 RESOLUTION:分辨率。 AUDIO:这个值必须和AUDIO类别的“EXT-X-MEDIA”标签中“GROUP-ID”属性值相匹配。 VIDEO:同上 —————————— h2m3u8文件的一种应用场景:/h2 strong多码率适配流,/strong blockquote#EXTM3U #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000 http://example.com/low.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2560000 http://example.com/mid.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=7680000 http://example.com/hi.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=65000,CODECS="mp4a.40.5" http://example.com/audio-only.m3u8/blockquote 国际标准组织对此的定义 rfc doc: a href="http://tools.ietf.org/html/draft-pantos-http-live-streaming-06" target="_blank" rel="noopener"http://tools.ietf.org/html/draft-pantos-http-live-streaming-06/a m3u8 文件是m3u文件的扩展。在该rfc中定义了扩展的关键字: 其中: blockquote#EXT-X-STREAM-INF/blockquote blockquote blockquote属性:/blockquote /blockquote blockquote blockquoteBANDWIDTH 指定码率/blockquote /blockquote blockquote blockquotePROGRAM-ID 唯一ID/blockquote /blockquote blockquote blockquoteCODECS 指定流的编码类型/blockquote /blockquote M3U8分顶级M3U8和二级M3U8, 顶级M3U8主要是做多码率适配的, 二级M3U8才是真正的切片文件, 客户端默认会首先选择码率最高的请求,如果发现码率达不到,会请求郊低码率的流 一个实际使用中的顶级M3U8文件如下 : #EXTM3U #EXT-X-STREAM-INF:PROGRAM-ID=201273221265,BANDWIDTH=358400 11.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=201273221265,BANDWIDTH=972800 22.m3u8 strong上面顶级M3U8文件中又定义了 11.m3u8 和 22.m3u8 两个二级文件,客户端会选择其中一个获取其内容。/strong strong二级M3U8文件内容如下:/strong #EXTM3U #EXT-X-VERSION:1 #EXT-X-TARGETDURATION:10 #EXT-X-MEDIA-SEQUENCE:0 #EXTINF:3, 1-4.ts #EXTINF:8, 1-6.ts #EXTINF:8, 1-8.ts #EXTINF:8, 1-10.ts #EXTINF:8, 1-12.ts #EXTINF:8, 1-14.ts #EXTINF:8, 1-16.ts #EXTINF:9, 1-18.ts #EXTINF:6, 1-20.ts #EXTINF:8, 1-22.ts #EXTINF:9, 1-24.ts #EXTINF:3, 客户端拿到上面的二级M3U8文件后,会继续请求里面的文件,这时就可进行播放了。 上面讲解的是点播的情况,直播的情况,M3U8文件里面会有属性告诉是直播,客户端会定时来请求新的M3U8文件。

2021年4月16日 1135点热度 0人点赞 阅读全文
技术积累

正确理解用户体验-别让用户体验误导产

h2用户体验应该是什么?/h2 回本溯源,这是首先要弄清楚的问题,如果这个心里都没数的话,那么你所有的产品构想都是不接地气的瞎想,所有的产品设计都是天马行空的瞎设计,在这样的环境下出来的产品也就很难获得市场的垂爱。 过去我们一贯的认知是:用户在使用产品过程中的操作感受,以及在此过程中产生的心理活动。其实现在看来,这样的认知未必是准确的,市场上的很多产品也许并未获得用户的使用机会就已经胎死腹中,所以一切的心理、感受、印象、评价也就都不复存在了。我们谈一切的用户体验,都应该是在用户能够“接触”产品的基础上来谈的,“接触”是“使用”的必要条件。 当然这也是个见仁见智的问题,而我对用户体验的理解是:用户在产品上花费的时间积量就是产品的用户体验。也许这样说并不好理解,我们举例来说明:我们每个人的手机上下载的APP都可能有十个以上或者数十个,但回想一下,你每天“垂幸”的会有几个,而能够让你花费大量时间的又有几个呢?这样去对比用户体验,就能获得显而易见的结果。 值得一提的是,对一个产品经理来说,如果我们以这个标准去考量用户体验的话,做数据分析的时候就能获得更精确的数据支撑,有了量化,对设计思路就有很好的指导作用。就好像张小龙在谈微信用户体验的时候,他除了会说有多少用户在使用该产品,还会准确告诉你用户平均每天的使用时间是多少。 认识完用户体验之后是如何把控用户体验,不可否认,在产品学里这是亘古不变的难题,说着简单轻易,做起来每一步都步履维艰,也许每个产品经理在这个上面都会有一些 自己的小心思,我只想说有效的就是好的。 h2让用户体验真正来源于数据调研/h2 产品经理需要始终牢记的是,闭门造车永远设计不出优质的产品,好的产品经理都会形成调查问卷、收集数据的习惯,而且这个习惯要从产品框架搭建开始、到产品正式上线之后,并贯穿于整个产品研发的始终。 h31、学会调查/h3 法国知名软件公司CpuID在研发每一款产品的时候,他们都会先做好模板在自家的网站上进行有奖测试,以此来收集用户体验,然后再依据用户体验进行产品改良,一个产品经历几轮这样的测试才会有获得上线的机会。 随着互联网行业的日益发展,在我们视线内的产品大多都比较成熟,其实在背后,类似这样的问卷和调查可能都已经发生或正在发生,大多互联网在传递产品价值的同时其实也是在收集用户的价值,就好像在一个APP里我们总能看到收集用户反馈的端口,其实背后都隐藏着设计人的良苦用心。 h32、敞开心扉/h3 我们常常说产品人不能固步自封,而应该敞开心扉,时时刻刻准备好分享你产品的故事,不论是公司内部、家人朋友,或是身边的陌生人,当你分享后,他们会毫不避讳的告诉你最直观的用户体验,也许那就是你最需要的调查数据。 h33、目的清晰/h3 但是调差也并非盲目的,是基于你产品的核心价值上而进行的调查,你需要最先了解的是用户的痛点是什么?他们亟待解决的问题有哪些? 在营销学里常常提到的一句话是:你刚好需要,而我刚好专业。把这句话倒置过来就是产品经理要做的工作,产品经理要先充分了解要用户的需求,然后再用专业去满足他们。只有目的清晰,获得的数据才是真正有用的数据,产品的功能设计才能做到有的放矢。 h2提高用户体验=理解+取舍/h2 当你知道了什么是用户需求,又通过调研获得了用户体验,下一步你要做什么?很多产品人会回答说:那就依据这些用户体验去设计产品呗。 其实比设计更重要的是你要去理解和消化这些用户体验,理解用户需求是让你真正处在用户场景里面,以用户的心态和感知去认识自己的产品。俗话说磨刀不误砍柴工,不要小看,也不要忽视这一步,这一步走的好,有助于你理清思路,然后再进行产品规划和设计,就是一气呵成的事情了。 而取舍就是你必须要在自己的产品里放弃一些东西,放弃一些用户需求。这世界上的每一个用户,都是一个差异化的个体,所以用户需求也一定千差万别,再牛逼的产品经理也不可能做到满足所有用户的所有需求。 取舍的依据首先是要确定你的核心用户是谁,产品是为哪些用户服务的,你最需要考虑的就是你要为之服务的那部分核心用户的需求,能最大化的满足他们胜过于迎合所有用户的需求。 而其次要确定是你产品的核心价值是什么,这也是为什么我们说国外的那些APP功能很少,界面简洁更能受到用户追捧的原因。一个 一个APP有一个核心的功能就足够了,太多就显得主题模糊,杂乱无章。互联网发展到今天已经日渐趋近于圈层经济,你的产品解决的就是一个很小圈层内用户的需求。 h2别把情怀忽略在用户体验之外/h2 我们在对用户体验进行调研的时候,情怀是容易被忽略的,因为情感化的数据更易被隐藏。但对产品经理来说,这是个不容有失的概念,未来这一个指标很可能决定一个产品的生死。 我们都知道,社会现象的种种表现都说明,我们正生活在一个思维跳跃更活泛,情绪化更凸显的互联网圈子里,情感的每一次迸发,背后都是情怀的力量在驱动。 其实现在很多产品都在某些端倪体现情怀,支付宝的年度账单、微信的个人故事,都是产品表现情怀的经典案例,而最让我们耳熟能详是苹果手机广告里满的溢出来的情怀,几乎每一个广告都是在用故事告诉你产品的价值。 用户体验的重要性从来没有发生过改变,只是它也是一个不断发展,不断被革命化的一个概念,如果不具备发展的眼光就无法真正读懂用户,以及读懂他们的需求和渴望。如果你对用户体验的理解仍停留在互联网最初发展的那几年,我要说的是,别让你眼中的“用户体验”误了产品的发展。

2021年4月16日 747点热度 0人点赞 阅读全文
技术积累

常见媒体网站使用流媒体标准

h2strong现有网络视音频平台对比/strong/h2 现有的网络视音频服务主要包括两种方式:点播和直播。点播意即根据用户的需要播放相应的视频节目,这是互联网视音频服务最主要的方式。绝大部分视频网站都提供了点播服务。直播意即互联网视音频平台直接将视频内容实时发送给用户,目前还处于发展阶段。直播在网络电视台,社交视频网站较为常见。 h3strong直播平台参数对比/strong/h3 主流互联网视音频平台直播服务的参数对比如表所示: p align="center"现有网络视音频平台参数对比/p div align="center" table border="1" width="500" cellspacing="0" cellpadding="0" tbody tr td valign="top" width="25%"名称/td td valign="top" width="15%"协议/td td valign="top" width="15%"封装/td td valign="top" width="15%"视频编码/td td valign="top" width="15%"音频编码/td td valign="top" width="15%"播放器/td /tr tr td valign="top"CNTV/td td colspan="5" valign="top" width="416"私有/td /tr tr td valign="top"华数TV/td td valign="top"RTMP/td td valign="top"FLV/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"六间房/td td valign="top"RTMP/td td valign="top"FLV/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"中国教育电视台/td td valign="top"RTMP/td td valign="top"FLV/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"北广传媒移动电视/td td valign="top"RTMP/td td valign="top"FLV/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"上海IPTV/td td valign="top"RTSP+RTP/td td valign="top"TS/td td valign="top"H.264/td td valign="top"MP2/td td valign="top"机顶盒/td /tr /tbody /table /div 可以看出,直播服务普遍采用了RTMP作为流媒体协议,FLV作为封装格式,H.264作为视频编码格式,AAC作为音频编码格式。采用RTMP作为直播协议的好处在于其被Flash播放器支持。而Flash播放器如今已经安装在全球99%的电脑上,并且与浏览器结合的很好。因此这种流媒体直播平台可以实现“无插件直播”,极大的简化了客户端的操作。封装格式,视频编码,音频编码方面,无一例外的使用了FLV + H.264 + AAC的组合。FLV是RTMP使用的封装格式,H.264是当今实际应用中编码效率最高的视频编码标准,AAC则是当今实际应用中编码效率最高的音频编码标准。视频播放器方面,都使用了Flash播放器。 h3strong点播平台参数对比/strong/h3 主流网络视音频平台点播服务的参数对比如表所示: p align="center"现有互联网视音频平台参数对比/p div align="center" table border="1" width="500" cellspacing="0" cellpadding="0" tbody tr td valign="top" width="25%"名称/td td valign="top" width="15%"协议/td td valign="top" width="15%"封装/td td valign="top" width="15%"视频编码/td td valign="top" width="15%"音频编码/td td valign="top" width="15%"播放器/td /tr tr td valign="top"CNTV/td td valign="top"HTTP/td td valign="top"MP4/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"CNTV(部分)/td td valign="top"RTMP/td td valign="top"FLV/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"华数TV/td td valign="top"HTTP/td td valign="top"MP4/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"优酷网/td td valign="top"HTTP/td td valign="top"FLV/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"土豆网/td td valign="top"HTTP/td td valign="top"F4V/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"56网/td td valign="top"HTTP/td td valign="top"FLV/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"音悦台/td td valign="top"HTTP/td td valign="top"MP4/td td valign="top"H.264/td td valign="top"AAC/td td valign="top"Flash/td /tr tr td valign="top"乐视网/td td valign="top"HTTP/td td valign="top"FLV/td td valign="top"H.264/td td…

2021年4月16日 911点热度 0人点赞 阅读全文
好好学习

音频编码简单介绍

h2strong音频编码/strong/h2 音频编码的主要作用是将音频采样数据(PCM等)压缩成为音频码流,从而降低音频的数据量。音频编码也是互联网视音频技术中一个重要的技术。但是一般情况下音频的数据量要远小于视频的数据量,因而即使使用稍微落后的音频编码标准,而导致音频数据量有所增加,也不会对视音频的总数据量产生太大的影响。高效率的音频编码在同等的码率下,可以获得更高的音质。 音频编码的简单原理可以参考:a href="http://blog.csdn.net/leixiaohua1020/article/details/28114081" target="_blank" rel="noopener"视频压缩编码和音频压缩编码的基本原理/a p align="center"主要音频编码一览/p div align="center" table border="1" width="500" cellspacing="0" cellpadding="0" tbody tr td valign="top" width="25%"名称/td td valign="top" width="25%"推出机构/td td valign="top" width="25%"推出时间/td td valign="top" width="25%"目前使用领域/td /tr tr td valign="top"AAC/td td valign="top"MPEG/td td valign="top"1997/td td valign="top"各个领域(新)/td /tr tr td valign="top"AC-3/td td valign="top"Dolby Inc./td td valign="top"1992/td td valign="top"电影/td /tr tr td valign="top"MP3/td td valign="top"MPEG/td td valign="top"1993/td td valign="top"各个领域(旧)/td /tr tr td valign="top"WMA/td td valign="top"Microsoft Inc./td td valign="top"1999/td td valign="top"微软平台/td /tr /tbody /table /div 由表可见,近年来并未推出全新的音频编码方案,可见音频编码技术已经基本可以满足人们的需要。音频编码技术近期绝大部分的改动都是在MP3的继任者——AAC的基础上完成的。 这些编码标准之间的比较可以参考文章:a href="http://blog.csdn.net/leixiaohua1020/article/details/11730661" target="_blank" rel="noopener"音频编码方案之间音质比较(AAC,MP3,WMA等)/a p align="left"AC的音频文件格式有以下两种:/p p align="left"ADIF:Audio Data Interchange Format 音频数据交换格式。这种格式的特征是可以确定的找到这个音频数据的开始,不需进行在音频数据流中间开始的解码,即它的解码必须在明确定义的开始处进行。故这种格式常用在磁盘文件中。/p p align="left"ADTS:Audio Data Transport Stream 音频数据传输流。这种格式的特征是它是一个有同步字的比特流,解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。这种格式可以用于广播电视。/p p align="left"简言之。ADIF只有一个文件头,ADTS每个包前面有一个文件头。/p p align="left"AAC的ADIF格式见下图:/p p align="left"img src="http://img.blog.csdn.net/20130919002815812?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" //p p align="left"AAC的ADTS的一般格式见下图:/p p align="left"img src="http://img.blog.csdn.net/20130919002821750?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" //p p align="left"图中表示出了ADTS一帧的简明结构,其两边的空白矩形表示一帧前后的数据。/p

2021年4月16日 823点热度 0人点赞 阅读全文
技术积累

视频编码基本原理

在这里简单总结一下,以作备忘。 h2a name="t0"/astrong1.视频编码基本原理/strong/h2 h3a name="t1"/astrong(1) 视频信号的冗余信息/strong/h3 以记录数字视频的YUV分量格式为例,YUV分别代表亮度与两个色差信号。例如对于现有的PAL制电视系统,其亮度信号采样频率为13.5MHz;色度信号的频带通常为亮度信号的一半或更少,为6.75MHz或3.375MHz。以4:2:2的采样频率为例,Y信号采用13.5MHz,色度信号U和V采用6.75MHz采样,采样信号以8bit量化,则可以计算出数字视频的码率为: p align="center"13.5*8 + 6.75*8 + 6.75*8= 216Mbit/s/p 如此大的数据量如果直接进行存储或传输将会遇到很大困难,因此必须采用压缩技术以减少码率。数字化后的视频信号能进行压缩主要依据两个基本条件: l 数据冗余。例如如空间冗余、时间冗余、结构冗余、信息熵冗余等,即图像的各像素之间存在着很强的相关性。消除这些冗余并不会导致信息损失,属于无损压缩。 l 视觉冗余。人眼的一些特性比如亮度辨别阈值,视觉阈值,对亮度和色度的敏感度不同,使得在编码的时候引入适量的误差,也不会被察觉出来。可以利用人眼的视觉特性,以一定的客观失真换取数据压缩。这种压缩属于有损压缩。 数字视频信号的压缩正是基于上述两种条件,使得视频数据量得以极大的压缩,有利于传输和存储。一般的数字视频压缩编码方法都是混合编码,即将变换编码,运动估计和运动补偿,以及熵编码三种方式相结合来进行压缩编码。通常使用变换编码来消去除图像的帧内冗余,用运动估计和运动补偿来去除图像的帧间冗余,用熵编码来进一步提高压缩的效率。下文简单介绍这三种压缩编码方法。 h2a name="t2"/astrong(2) 压缩编码的方法/strong/h2 h3a name="t3"/a(a) 变换编码/h3 变换编码的作用是将空间域描述的图像信号变换到频率域,然后对变换后的系数进行编码处理。一般来说,图像在空间上具有较强的相关性,变换到频率域可以实现去相关和能量集中。常用的正交变换有离散傅里叶变换,离散余弦变换等等。数字视频压缩过程中应用广泛的是离散余弦变换。 离散余弦变换简称为DCT变换。它可以将L*L的图像块从空间域变换为频率域。所以,在基于DCT的图像压缩编码过程中,首先需要将图像分成互不重叠的图像块。假设一帧图像的大小为1280*720,首先将其以网格状的形式分成160*90个尺寸为8*8的彼此没有重叠的图像块,接下来才能对每个图像块进行DCT变换。 经过分块以后,每个8*8点的图像块被送入DCT编码器,将8*8的图像块从空间域变换为频率域。下图给出一个实际8*8的图像块例子,图中的数字代表了每个像素的亮度值。从图上可以看出,在这个图像块中各个像素亮度值比较均匀,特别是相邻像素亮度值变化不是很大,说明图像信号具有很强的相关性。 p align="center"img src="http://img.blog.csdn.net/20140602173641875?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" //p p align="center"一个实际8*8图像块/p 下图是上图中图像块经过DCT变换后的结果。从图中可以看出经过DCT变换后,左上角的低频系数集中了大量能量,而右下角的高频系数上的能量很小。 p align="center"img src="http://img.blog.csdn.net/20140602173658734?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" //p p align="center"图像块经过DCT变换后的系数/p 信号经过DCT变换后需要进行量化。由于人的眼睛对图像的低频特性比如物体的总体亮度之类的信息很敏感,而对图像中的高频细节信息不敏感,因此在传送过程中可以少传或不传送高频信息,只传送低频部分。量化过程通过对低频区的系数进行细量化,高频区的系数进行粗量化,去除了人眼不敏感的高频信息,从而降低信息传送量。因此,量化是一个有损压缩的过程,而且是视频压缩编码中质量损伤的主要原因。 量化的过程可以用下面的公式表示: p align="center" img src="http://img.blog.csdn.net/20140602173713140?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" //p 其中FsubQ/sub(u,v)表示经过量化后的DCT系数;F(u,v)表示量化前的DCT系数;Q(u,v)表示量化加权矩阵;q表示量化步长;round表示归整,即将输出的值取为与之最接近的整数值。 合理选择量化系数,对变换后的图像块进行量化后的结果如图所示。 p align="center"img src="http://img.blog.csdn.net/20140602173723046?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" //p p align="center"量化后的DCT系数/p DCT系数经过量化之后大部分经变为0,而只有很少一部分系数为非零值,此时只需将这些非0值进行压缩编码即可。 h3a name="t4"/a(b) 熵编码/h3 熵编码是因编码后的平均码长接近信源熵值而得名。熵编码多用可变字长编码(VLC,Variable Length Coding)实现。其基本原理是对信源中出现概率大的符号赋予短码,对于出现概率小的符号赋予长码,从而在统计上获得较短的平均码长。可变字长编码通常有霍夫曼编码、算术编码、游程编码等。其中游程编码是一种十分简单的压缩方法,它的压缩效率不高,但编码、解码速度快,仍被得到广泛的应用,特别在变换编码之后使用游程编码,有很好的效果。 首先要在量化器输出直流系数后对紧跟其后的交流系数进行Z型扫描(如图箭头线所示)。Z型扫描将二维的量化系数转换为一维的序列,并在此基础上进行游程编码。最后再对游程编码后的数据进行另一种变长编码,例如霍夫曼编码。通过这种变长编码,进一步提高编码的效率。 h3a name="t5"/a(c) 运动估计和运动补偿/h3 运动估计(Motion Estimation)和运动补偿(Motion Compensation)是消除图像序列时间方向相关性的有效手段。上文介绍的DCT变换、量化、熵编码的方法是在一帧图像的基础上进行,通过这些方法可以消除图像内部各像素间在空间上的相关性。实际上图像信号除了空间上的相关性之外,还有时间上的相关性。例如对于像新闻联播这种背景静止,画面主体运动较小的数字视频,每一幅画面之间的区别很小,画面之间的相关性很大。对于这种情况我们没有必要对每一帧图像单独进行编码,而是可以只对相邻视频帧中变化的部分进行编码,从而进一步减小数据量,这方面的工作是由运动估计和运动补偿来实现的。 运动估计技术一般将当前的输入图像分割成若干彼此不相重叠的小图像子块,例如一帧图像的大小为1280*720,首先将其以网格状的形式分成40*45个尺寸为16*16的彼此没有重叠的图像块,然后在前一图像或者后一个图像某个搜索窗口的范围内为每一个图像块寻找一个与之最为相似的图像块。这个搜寻的过程叫做运动估计。通过计算最相似的图像块与该图像块之间的位置信息,可以得到一个运动矢量。这样在编码过程中就可以将当前图像中的块与参考图像运动矢量所指向的最相似的图像块相减,得到一个残差图像块,由于残差图像块中的每个像素值很小,所以在压缩编码中可以获得更高的压缩比。这个相减过程叫运动补偿。 由于编码过程中需要使用参考图像来进行运动估计和运动补偿,因此参考图像的选择显得很重要。一般情况下编码器的将输入的每一帧图像根据其参考图像的不同分成3种不同的类型:I(Intra)帧、B(Bidirection prediction)帧、P(Prediction)帧。如图所示。 p align="center"img src="http://img.blog.csdn.net/20140602173430265?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" //p p align="center"典型的I,B,P帧结构顺序/p 如图所示,I帧只使用本帧内的数据进行编码,在编码过程中它不需要进行运动估计和运动补偿。显然,由于I帧没有消除时间方向的相关性,所以压缩比相对不高。P帧在编码过程中使用一个前面的I帧或P帧作为参考图像进行运动补偿,实际上是对当前图像与参考图像的差值进行编码。B帧的编码方式与P帧相似,惟一不同的地方是在编码过程中它要使用一个前面的I帧或P帧和一个后面的I帧或P帧进行预测。由此可见,每一个P帧的编码需要利用一帧图像作为参考图像,而B帧则需要两帧图像作为参考。相比之下,B帧比P帧拥有更高的压缩比。 h3a name="t6"/a(d) 混合编码/h3 上面介绍了视频压缩编码过程中的几个重要的方法。在实际应用中这几个方法不是分离的,通常将它们结合起来使用以达到最好的压缩效果。下图给出了混合编码(即变换编码+ 运动估计和运动补偿+ 熵编码)的模型。该模型普遍应用于MPEG1,MPEG2,H.264等标准中。 p align="center"img src="http://img.blog.csdn.net/20140602173439593?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" //p p align="center"混合编码模型/p 从图中我们可以看到,当前输入的图像首先要经过分块,分块得到的图像块要与经过运动补偿的预测图像相减得到差值图像X,然后对该差值图像块进行DCT变换和量化,量化输出的数据有两个不同的去处:一个是送给熵编码器进行编码,编码后的码流输出到一个缓存器中保存,等待传送出去。另一个应用是进行反量化和反变化后的到信号X’,该信号将与运动补偿输出的图像块相加得到新的预测图像信号,并将新的预测图像块送至帧存储器。 h2a name="t7"/astrong2.音频编码基本原理/strong/h2 h2a name="t8"/astrong(1) 音频信号的冗余信息/strong/h2 数字音频信号如果不加压缩地直接进行传送,将会占用极大的带宽。例如,一套双声道数字音频若取样频率为44.1KHz,每样值按16bit量化,则其码率为: p align="center"2*44.1kHz*16bit=1.411Mbit/s/p 如此大的带宽将给信号的传输和处理都带来许多困难,因此必须采取音频压缩技术对音频数据进行处理,才能有效地传输音频数据。 数字音频压缩编码在保证信号在听觉方面不产生失真的前提下,对音频数据信号进行尽可能大的压缩。数字音频压缩编码采取去除声音信号中冗余成分的方法来实现。所谓冗余成分指的是音频中不能被人耳感知到的信号,它们对确定声音的音色,音调等信息没有任何的帮助。 冗余信号包含人耳听觉范围外的音频信号以及被掩蔽掉的音频信号等。例如,人耳所能察觉的声音信号的频率范围为20Hz~20KHz,除此之外的其它频率人耳无法察觉,都可视为冗余信号。此外,根据人耳听觉的生理和心理声学现象,当一个强音信号与一个弱音信号同时存在时,弱音信号将被强音信号所掩蔽而听不见,这样弱音信号就可以视为冗余信号而不用传送。这就是人耳听觉的掩蔽效应,主要表现在频谱掩蔽效应和时域掩蔽效应,现分别介绍如下: h3a name="t9"/a(a) 频谱掩蔽效应/h3 一个频率的声音能量小于某个阈值之后,人耳就会听不到,这个阈值称为最小可闻阈。当有另外能量较大的声音出现的时候,该声音频率附近的阈值会提高很多,即所谓的掩蔽效应。如图所示: p align="center"img src="http://img.blog.csdn.net/20140602173751953?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" //p p align="center"频率掩蔽效应/p 由图中我们可以看出人耳对2KHz~5KHz的声音最敏感,而对频率太低或太高的声音信号都很迟钝,当有一个频率为0.2KHz、强度为60dB的声音出现时,其附近的阈值提高了很多。由图中我们可以看出在0.1KHz以下、1KHz以上的部分,由于离0.2KHz强信号较远,不受0.2KHz强信号影响,阈值不受影响;而在0.1KHz~1KHz范围,由于0.2KHz强音的出现,阈值有较大的提升,人耳在此范围所能感觉到的最小声音强度大幅提升。如果0.1KHz~1KHz范围内的声音信号的强度在被提升的阈值曲线之下,由于它被0.2KHz强音信号所掩蔽,那么此时我们人耳只能听到0.2KHz的强音信号而根本听不见其它弱信号,这些与0.2KHz强音信号同时存在的弱音信号就可视为冗余信号而不必传送。 h3a name="t10"/a(b) 时域掩蔽效应/h3 当强音信号和弱音信号同时出现时,还存在时域掩蔽效应。即两者发生时间很接近的时候,也会发生掩蔽效应。时域掩蔽过程曲线如图所示,分为前掩蔽、同时掩蔽和后掩蔽三部分。 p align="center"img src="http://img.blog.csdn.net/20140602173759515?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" //p p align="center"时域掩蔽效应/p 由图我们可以看出,时域掩蔽效应可以分成三种:前掩蔽,同时掩蔽,后掩蔽。前掩蔽是指人耳在听到强信号之前的短暂时间内,已经存在的弱信号会被掩蔽而听不到。同时掩蔽是指当强信号与弱信号同时存在时,弱信号会被强信号所掩蔽而听不到。后掩蔽是指当强信号消失后,需经过较长的一段时间才能重新听见弱信号,称为后掩蔽。这些被掩蔽的弱信号即可视为冗余信号。 h2a name="t11"/astrong(2) 压缩编码方法/strong/h2 当前数字音频编码领域存在着不同的编码方案和实现方式, 但基本的编码思路大同小异, 如图所示。 p align="center"img src="http://img.blog.csdn.net/20140602173806843?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" //p p align="center"数字音频编码系统模型/p 对每一个音频声道中的音频采样信号,首先都要将它们映射到频域中,这种时域到频域的映射可通过子带滤波器实现。每个声道中的音频采样块首先要根据心理声学模型来计算掩蔽门限值, 然后由计算出的掩蔽门限值决定从公共比特池中分配给该声道的不同频率域中多少比特数,接着进行量化以及编码工作,最后将控制参数及辅助数据加入数据之中,产生编码后的数据流。

2021年4月16日 798点热度 0人点赞 阅读全文
技术积累

网络视频传输的服务质量-qos

QoS(Qualityof Service)服务质量,是网络的一种安全机制, 是用来解决网络延迟和阻塞等问题的一种技术。在正常情况下,如果网络只用于特定的无时间限制的应用系统,并不需要QoS,比如Web应用,或E-mail设置等。但是对关键应用和多媒体应用就十分必要。当网络过载或拥塞时,QoS 能确保重要业务量不受延迟或丢弃,同时保证网络的高效运行。 ITU将服务质量定义为决定用户对服务的满意程度的一组服务性能指标。从另一角度来说,QoS参数也是流媒体媒体传输的性能指标。主要的QoS参数有如下几项:传输带宽,传输时延和抖动,丢包率。 h3a name="t0"/a1.传输带宽/h3 传输带宽也指的是数据传输的速率。对于流媒体的播放,影响最大的属性就是传输带宽。如果带宽过低,使得数据传输下载的速度小于视频流播放的数率,那么在视频的播放将会经常出现停顿和缓冲,极大的影响了客户观看的流畅性;而为了保证视频观看的流畅性,在低带宽的条件下,只能选择低品质、低码流的视频进行传输,这样又会影响到客户的光看效果。所以,一个良好的传输带宽环境是客户活动高品质的流媒体体验的重要保证。 h3a name="t1"/a2.传输时延和抖动/h3 传输时延定义为从服务器端发送数据到接受端接收到该数据之间的时间差,它是用来描述网络时延的一个指标。时延抖动定义为网络传输延时的变化率。流媒体最重要一个特性的就是实时性强,所以流媒体通信需求更难于满足的是对通信系统的传输时延限制。时延限制主要是用在具有实时性要求的交互分布式实时流媒体应用中,如视频会议系统,为防止时延给交互式通信带来不便,建议的最大端到端的总时延不要超过150ms,否则交互双方会感到明显的时延,给双方的信息交流带来不便。端到端的时延可分为以下四个部分: 1.信息源的媒体采样、压缩编码和打包的时延; 2.传输时延; 3.接收端的排队和播放缓冲时延; 4.接收端的拆包、解码和输出时延。 抖动定义为网络传输延时的变化率。时延抖动对流媒体播放质量的影响非常大,一般会采用缓存排队的办法平滑数据报的抖动。但如果数据传输的抖动较大,则必须采用大的缓存,这将直接造成更大的时延,直接影响流媒体的体验效果。 img src="http://img.blog.csdn.net/20130922000016703?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" / h3a name="t2"/a3.丢包率/h3 流媒体数据传输中的时延和抖动是可以通过缓存的办法减少影响,所以流媒体业务可以允许在一定范围内的时延和抖动。但丢包会对流媒体数,据播放质量造成极其重大的影响。丢包率会造成视频和音频质量严重恶化,小的丢包率会造成图像的失真和语音的间歇中断,过高的丢包率甚至可以导致业务的中断。网络设计的目标是丢包率为零,但显然不存在这样的理想网络。所以丢包的大小将直接决定流媒体业务质量的好坏。

2021年4月16日 777点热度 0人点赞 阅读全文
技术积累

每日一学-播放器是如何播放音视频的

h2strong1. 视频播放器原理/strong/h2 视音频技术主要包含以下几点:封装技术,视频压缩编码技术以及音频压缩编码技术。如果考虑到网络传输的话,还包括流媒体协议技术。 视频播放器的源代码详细解析(Media Player Classic - HC,Mplayer,FFplay,XBMC)可以参考系列文章: 在这里不细说了,仅简要说明一下视频播放器的原理。 视频播放器播放一个互联网上的视频文件,需要经过以下几个步骤:解协议,解封装,解码视音频,视音频同步。如果播放本地文件则不需要解协议,为以下几个步骤:解封装,解码视音频,视音频同步。他们的过程如图所示。 img class="aligncenter" src="http://img.blog.csdn.net/20140201120523046?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGVpeGlhb2h1YTEwMjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" / strong解协议/strong的作用,就是将流媒体协议的数据,解析为标准的相应的封装格式数据。视音频在网络上传播的时候,常常采用各种流媒体协议,例如HTTP,RTMP,或是MMS等等。这些协议在传输视音频数据的同时,也会传输一些信令数据。这些信令数据包括对播放的控制(播放,暂停,停止),或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如,采用RTMP协议传输的数据,经过解协议操作后,输出FLV格式的数据。 strong解封装/strong的作用,就是将输入的封装格式的数据,分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多,例如MP4,MKV,RMVB,TS,FLV,AVI等等,它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如,FLV格式的数据,经过解封装操作后,输出H.264编码的视频码流和AAC编码的音频码流。 strong解码/strong的作用,就是将视频/音频压缩编码数据,解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC,MP3,AC-3等等,视频的压缩编码标准则包含H.264,MPEG2,VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码,压缩编码的视频数据输出成为非压缩的颜色数据,例如YUV420P,RGB等等;压缩编码的音频数据输出成为非压缩的音频抽样数据,例如PCM数据。 strong视音频同步/strong的作用,就是根据解封装模块处理过程中获取到的参数信息,同步解码出来的视频和音频数据,并将视频音频数据送至系统的显卡和声卡播放出来。 关于一些数据对比: 发现了几个视频参数对比的资源,是Wikipedia上的,总结的非常好: 流媒体系统对比: a href="http://en.wikipedia.org/wiki/Comparison_of_streaming_media_systems" target="_blank" rel="noopener"http://en.wikipedia.org/wiki/Comparison_of_streaming_media_systems/a 封装格式对比: a href="http://en.wikipedia.org/wiki/Comparison_of_container_formats" target="_blank" rel="noopener"http://en.wikipedia.org/wiki/Comparison_of_container_formats/a 视频编码器对比: a href="http://en.wikipedia.org/wiki/Comparison_of_video_codecs" target="_blank" rel="noopener"http://en.wikipedia.org/wiki/Comparison_of_video_codecs/a 音频编码格式对比: a href="http://en.wikipedia.org/wiki/Comparison_of_audio_formats" target="_blank" rel="noopener"http://en.wikipedia.org/wiki/Comparison_of_audio_formats/a 视频播放器对比: a href="http://en.wikipedia.org/wiki/Comparison_of_video_player_software" target="_blank" rel="noopener"http://en.wikipedia.org/wiki/Comparison_of_video_player_software/a h2strong2. 流媒体协议/strong/h2 流媒体协议是服务器与客户端之间通信遵循的规定。当前网络上主要的流媒体协议如表所示。 p align="center"主要流媒体协议一览/p div align="center" table border="1" width="600" cellspacing="0" cellpadding="0" tbody tr td valign="top"名称/td td valign="top"推出机构/td td valign="top"传输层协议/td td valign="top"客户端/td td valign="top"目前使用领域/td /tr tr td valign="top"RTSP+RTP/td td valign="top"IETF/td td valign="top"TCP+UDP/td td valign="top"VLC, WMP/td td valign="top"IPTV/td /tr tr td valign="top"RTMP/td td valign="top"Adobe Inc./td td valign="top"TCP/td td valign="top"Flash/td td valign="top"互联网直播/td /tr tr td valign="top"RTMFP/td td valign="top"Adobe Inc./td td valign="top"UDP/td td valign="top"Flash/td td valign="top"互联网直播/td /tr tr td valign="top"MMS/td td valign="top"Microsoft Inc./td td valign="top"TCP/UDP/td td valign="top"WMP/td td valign="top"互联网直播+点播/td /tr tr td valign="top"HTTP/td td valign="top"WWW+IETF/td td valign="top"TCP/td td valign="top"Flash/td td valign="top"互联网点播/td /tr /tbody /table /div RTSP+RTP经常用于IPTV领域。因为其采用UDP传输视音频,支持组播,效率较高。但其缺点是网络不好的情况下可能会丢包,影响视频观看质量。因而围绕IPTV的视频质量的研究还是挺多的。 h2strong3. 封装格式/strong/h2 封装格式的主要作用是把视频码流和音频码流按照一定的格式存储在一个文件中。现如今流行的封装格式如下表所示: p align="center"主要封装格式一览/p div align="center" table border="1" width="600" cellspacing="0" cellpadding="0" tbody tr td valign="top"名称/td td valign="top"推出机构/td td valign="top"流媒体/td td valign="top"支持的视频编码/td td valign="top"支持的音频编码/td td valign="top"目前使用领域/td /tr tr td valign="top"AVI/td td valign="top"Microsoft Inc./td td valign="top"不支持/td td valign="top" p align="left"几乎所有格式/p /td td valign="top" p align="left"几乎所有格式/p /td td valign="top" p align="left"BT下载影视/p /td /tr tr td valign="top"MP4/td td valign="top"MPEG/td td valign="top"支持/td td valign="top" p align="left"MPEG-2, MPEG-4, H.264, H.263等/p /td td valign="top" p align="left"AAC, MPEG-1 Layers I, II, III, AC-3等/p /td td valign="top" p align="left"互联网视频网站/p /td /tr tr td valign="top"TS/td td valign="top"MPEG/td td valign="top"支持/td td valign="top" p align="left"MPEG-1, MPEG-2, MPEG-4, H.264/p /td td valign="top" p align="left"MPEG-1 Layers I, II, III, AAC,/p /td td valign="top" p align="left"IPTV,数字电视/p /td /tr tr td valign="top"FLV/td td valign="top"Adobe Inc./td td…

2021年4月16日 767点热度 0人点赞 阅读全文
技术积累

轻松查看媒体资源信息

MediaInfo 用来分析视频和音频文件的编码和内容信息,是一款是自由软件 (免费使用、免费获得源代码)。他除了提供DLL之外,本身也提供GUI工具用于查看视频信息。我使用中发现,新版本的MediaInfo支持HEVC。 简介: 使用MediaInfo可以获得多媒体文件的哪些信息? 内容信息:标题,作者,专辑名,音轨号,日期,总时间…… 视频:编码器,长宽比,帧频率,比特率…… 音频:编码器,采样率,声道数,语言,比特率…… 文本:语言和字幕 段落:段落数,列表 MediaInfo支持哪些文件格式? 视频:MKV, OGM, AVI, DivX, WMV, QuickTime, Real, MPEG-1, MPEG-2, MPEG-4, DVD (VOB)... (编码器:DivX, XviD, MSMPEG4, ASP, H.264, AVC...) 音频:OGG, MP3, WAV, RA, AC3, DTS, AAC, M4A, AU, AIFF... 字幕:SRT, SSA, ASS, SAMI... MediaInfo的主要功能特点: 支持众多视频和音频文件格式 多种查看方式:文本,表格,树形图,网页…… 自定义查看方式 信息导出:文本,CSV,HTML…… 三种发布版本:图形界面,命令行,DLL(动态链接库) 与Windows资源管理器整合:拖放,右键菜单 国际化:有多种界面语言供选择 (软件界面)轻松实现本地化 (需要志愿者翻译语言文件) 下载地址:a href="http://sourceforge.net/projects/mediainfo/files/binary/mediainfo-gui/" target="_blank" rel="noopener"http://sourceforge.net/projects/mediainfo/files/binary/mediainfo-gui//a 软件下载地址:http://7xndij.com1.z0.glb.clouddn.com/MediaInfo_GUI_0.7.64_Windows_i386_WithoutInstaller.7z

2021年4月16日 670点热度 0人点赞 阅读全文
好好学习

谈谈产品评审中的一些小感悟

本来安排上周五进行产品初步评审,在公司做的一个子产品整体的一个项目目标情况。记得在产品评审会上一个后端的研发反问我:“小平,你这个做过用户调研了吗?这个xxxx转换成xxxxx有用户需求吗?”作为产品经理本来打算可以详细的解释一下,我是如何做调研的? 后来我想,这样吧,等这个评审结束之后我在做相关解释吧。 其实我心理在想“能提出这个问题的研发对产品还是很有理解的,但是又不全懂”只为了解释这个问题 过多的浪费其他开发的时间,何况,如果我不做调研,我怎么能做出原型?难道是我自己意淫吗?这个产品和业界都不太一样,仅供参考但无法抄袭的一款产品。逐渐的养成一个口头禅“习惯就好”并不是所有人都不能理解你的想法,你只需要保证大部分人能够了解你的想法,并且保证能够实现之就可以了。 作为一个产品经理,我听到有一个同事抱怨,“小平,你怎么做的原型不能够点击,只有标注说明”然后,我问同事“我这样标注你能看懂吗?”他反馈完全能够看得懂…… 由于自己偏研发端的产品经理,在每一个原型背后,需要调研技术实现方案,每一次都自己去体验一下竞品的产品,以及咨询技术底层实现框架,并申请安装在自己的服务器上(为了能够和开发更好的沟通,我自己在本地测试技术使用的一些框架和方法)做技术探索,确保每一个原型按钮背后的技术逻辑以及实现方案,支持的格式大概有多少种,然后将自己的使用过程总结成一个产品流程图,再将产品流程图翻译成一个 原型文档交给开发。 同时,在这个过程中还去咨询一下之前试用过类似产品的客户交流沟通,这个框架可能存在哪些无法解决的bug以及使用过程中有哪些觉得不是很爽的点?每次我都汇总到自己的excle表格中记录并在自己做产品的过程中去理解去修正。 产品经理的核心能够够保证每一个需求的准确性,产品原型仅仅是一种表达形式,专业的人做专业的事。如果我为了开发满意画出高保真原型可能需要1-2倍的时间在原型上,那我会有更少的时间去调研没有一个需求的实现成本、实现价值、用户对需求的优先级、,况且在公司只有一人产品经理,需要对接50多号研发的情况下,我需要找到哪些是我应该立即做的事,哪些是管理别人协调别人来完成的事情。 企业级的产品不怎么看中用户的数量,关注的目标是营收指标;当然更关注成本,成本也包含人力成本,如何合理的安排每一个人力成本是很重要的。如果让产品经理做两天其他的事情,那么这个产品就会有两天的上线延期。这两天的收入可能是百万,也可能是千万。早上一天线早赚一天钱! 但,无论如何格局更重要!

2021年4月16日 699点热度 0人点赞 阅读全文
技术积累

ffmpeg-常用命令

strong1.分离视频音频流/strong div class="cnblogs_code" preffmpeg -i input_file -vcodec copy -an output_file_video //分离视频流 ffmpeg -i input_file -acodec copy -vn output_file_audio //分离音频流/pre /div strong2.视频解复用/strong div class="cnblogs_code" preffmpeg –i test.mp4 –vcodec copy –an –f m4v test.264 ffmpeg –i test.avi –vcodec copy –an –f m4v test.264/pre /div strong3.视频转码/strong div class="cnblogs_code" preffmpeg –i test.mp4 –vcodec h264 –s 352*278 –an –f m4v test.264 //转码为码流原始文件 ffmpeg –i test.mp4 –vcodec h264 –bf 0 –g 25 –s 352*278 –an –f m4v test.264 //转码为码流原始文件 ffmpeg –i test.avi -vcodec mpeg4 –vtag xvid –qsame test_xvid.avi //转码为封装文件 //-bf B帧数目控制,-g 关键帧间隔控制,-s 分辨率控制/pre /div strong4.视频封装/strong div class="cnblogs_code" preffmpeg –i video_file –i audio_file –vcodec copy –acodec copy output_file/pre /div strong5.视频剪切/strong div class="cnblogs_code" preffmpeg –i test.avi –r 1 –f image2 image-%3d.jpeg //提取图片 ffmpeg -ss 0:1:30 -t 0:0:20 -i input.avi -vcodec copy -acodec copy output.avi //剪切视频 //-r 提取图像的频率,-ss 开始时间,-t 持续时间/pre /div strong6.视频录制/strong div class="cnblogs_code" preffmpeg –i rtsp://192.168.3.205:5555/test –vcodec copy out.avi/pre /div strong7.YUV序列播放/strong div class="cnblogs_code" preffplay -f rawvideo -video_size 1920x1080 input.yuv/pre /div strong8.YUV序列转AVI/strong div class="cnblogs_code" preffmpeg –s w*h –pix_fmt yuv420p –i input.yuv –vcodec mpeg4 output.avi/pre /div strong常用参数说明:/strong strong主要参数:/strong -i 设定输入流 -f 设定输出格式 -ss 开始时间 strong视频参数:/strong -b 设定视频流量,默认为200Kbit/s -r 设定帧速率,默认为25 -s 设定画面的宽与高 -aspect 设定画面的比例 -vn 不处理视频 -vcodec 设定视频编解码器,未设定时则使用与输入流相同的编解码器 strong音频参数:/strong -ar 设定采样率 -ac 设定声音的Channel数 -acodec 设定声音编解码器,未设定时则使用与输入流相同的编解码器 -an 不处理音频 ------------------------------------------------------------------------ ---------------------------------------------------------------------------------------------------------- ------------------------------------------------------------------------ strong1、将文件当做直播送至live/strong pre class="plain"ffmpeg -re -i localFile.mp4 -c copy -f flv rtmp://server/live/streamName/pre strong2、将直播媒体保存至本地文件/strong pre class="plain"ffmpeg -i rtmp://server/live/streamName -c copy dump.flv/pre strong3、将其中一个直播流,视频改用h264压缩,音频不变,送至另外一个直播服务流/strong pre class="plain"ffmpeg -i rtmp://server/live/originalStream -c:a copy -c:v libx264 -vpre slow -f flv rtmp://server/live/h264Stream/pre strong4、将其中一个直播流,视频改用h264压缩,音频改用faac压缩,送至另外一个直播服务流/strong pre class="plain"ffmpeg -i rtmp://server/live/originalStream -c:a libfaac -ar 44100 -ab 48k -c:v libx264 -vpre slow -vpre baseline -f flv rtmp://server/live/h264Stream/pre strong5、将其中一个直播流,视频不变,音频改用faac压缩,送至另外一个直播服务流/strong pre class="plain"ffmpeg -i rtmp://server/live/originalStream -acodec libfaac -ar…

2021年4月16日 690点热度 0人点赞 阅读全文
1 … 20 21 22 23 24 … 27
最新文档分类
  • AI-study
  • Aigc-agent
  • B端产品
  • 产品工具篇
  • 产品生命周期
  • 好好学习
  • 技术积累
  • 日常攻略
  • 行业信息
  • 随笔记录
最新 热点 随机
最新 热点 随机
UHP:给 Agent 运行时定一个统一接口 达尔文三要素:变异、遗传与选择——对团队、招人与业务的启发 做产品的三重境界:从定制交付到平台编排 Jev:当 AI 不再生成文本,而是做决策 从场景穷举到能力抽象:Agent 平台产品的设计方法 如何准确的找到工具:万级 Skill 路由生产级方案
图片处理工具大全:9款不错的图片压缩与转换工具 ‌Harness 工程:火山引擎 ArkClaw 架构与运行机制研究 Hermes 的多 Agents 是一套边界清晰的三层架构记录 大模型从理论到落地:Agent Skills 概念介绍 类 Manus 智能体的商业前景分析报告 反内耗记录
大模型与安全在应用层有哪些结合点? 前言篇:为什么学习ComfyUI? 从零开始,炼制你的第一个LoRA 全栈产品经理全栈产品经理具备更高级的能力体系 Cloudinary 最近10年的整体公司发展策略 和战略 如果做一个机器学习平台或者智能体平台,如果只选择三个,那是什么?
标签聚合
技术架构 大模型智能体 AI框架 大模型应用 AI技术对比 智能决策 智能体分级 智能体交互

COPYRIGHT © 2026 75live.com. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang