【开源年会】蔗渣价钱烧鹅质素 开源技术助处理大数据、直播影片
一般人听到开源软件(Open Source Software),多会想起LibreOffice、GIMP等办公室免费软件。事实上,近年灸手可热的大数据、网页开发、区块链等均与开源技术息息相关,上周末(16及17日)多名本港及海外开发者于科学园分享使用开源技术经验,以“蔗渣价钱”做出“烧鹅质素”,低成本助解决高技术问题。
一站式解决浏览器播放影片问题
近年上网睇片及直播渐成主流,网站技术亦需与时并进。软件工程师古乐新示范使用HTTP Live Streaming(HLS)传输协议配合video.js技术于网站上播放直播。他解释,早期的网页以显示文字为主,如要播放影片就先安装Flash外挂程式,但Flash技术多次出现安全漏洞,苹果公司更带头放弃采用,同时提出以HLS传输协定取代前者。
不过,HLS于苹果iOS平台以外装置使用会出现限制,故需要以开源的video.js配合,用户再不用安装额外套件,就可直接于浏览器观看影片或直播,画质更会因应网速自动调节,减低“窒机”机会。同时video.js支援大部分主流浏览器,开发者只需以一套程式码,就可于跨平台播放影片,省却学习多种程式语言的麻烦。
“大运河”方便处理大数据
另外,应用大数据逐渐受市场重视,企业欲借此了解客户行为,提供更贴心服务。用户在软件上的每个动作,如按键及滑动等均会产生新数据,其数量、种类及复杂性亦远超以往,考验传统数据库的资料处理和储存能力。现职数据工程经理、前中大计算机科学与工程学系高级讲师黄子洋解释使用Apache Kafka平台建立Data Pipeline,方便管理大数据,从中改善产品设计。
他将Data Pipeline比喻为一条大运河,指现时的数据库无法即时容纳巨量数据,故大量刚收集的数据会先于运河“流动”,避免同时传至数据库增负荷,待凌晨时软件用量较低,实时处理数据的压力较轻时,才将数据经各水管分流到不同伺服器或特定数据库,方便分析员从数据中提取价值。工程师亦不用费神维护数据库,令庞大复杂的系统变得井然有序。
各地开源社群分享开发经验
古乐新认为,开源技术的源码公开透明,开发者可按自身需要度身度造,为软件加入新功能,再在网上分享作品,共襄善举。黄子洋指出,开发者一旦发现源码出现问题,可直接修改源码提交审核,全程由下至上,大幅节省时间;相反收费软件往往要待一、两星期才可修正错误。此外,各地开发者亦建立开源社群,记录程式码修改过程及要点,互相交流经验及切磋。
香港开源年会为本港规模最大的开源科技会议,刚于本月16及17日于沙田科学园举行,邀请数十名本地及海外开发者分享最新开源发展,内容涵盖程式开发、数据分析、区块链技术等,共吸引近600人报名参加。