资讯中心

云计算大数据架起社区与电商之间的桥梁

来源:数据分析网 原标题:小红书CTO郄小虎:云计算与大数据打通社区与电商
2016/6/20 9:50:48
30587
导读:日前,小红书CTO郄小虎接受记者专访时,介绍小红书如何通过云计算来实现系统的扩容、安全,以及基于大数据和机器学习的个性化推荐应用。
  【中国智能制造网 名家论坛】从社区到平台,从0到超2000万注册用户,小红书与成长背后的技术架构如何变迁?日前,小红书CTO郄小虎(Tiger)接受记者专访时,介绍小红书在转型发展中遇到的技术挑战,和如何通过云计算来实现系统的扩容、安全,以及基于大数据和机器学习的个性化推荐应用。

云计算大数据架起社区与电商之间的桥梁
  
  小红书技术架构变迁及挑战
  
  郄小虎介绍,小红技术架构的发展经历了三个阶段:
  
  1.2013年创立初期,小红书是一个纯社区平台,主要的应用场景是用户分享他们的购物体验,这个阶段系统主要面临的挑战是从产品快速迭代,技术选型上更加偏重于灵活性和性,对事务性和一致性的要求不高。
  
  2.引入了电商业务之后,事务性和一致性需求的解决成为迫在眉睫的问题。这个阶段的主要工作是在现有技术架构的基础上实现事务性、一致性的需求。这也是小红书后台技术经历的重大的一次变化。
  
  3.社区电商业务的飞速发展,带来了系统性能的瓶颈。这个阶段,小红书开始从存储层到逻辑层到服务层去对系统进行扩容,从一开始的集中式架构,慢慢地改造成服务化、模块化的分布式架构,整个技术体系能够变得更加独立、灵活,而且易于扩容。
  
  系统可能面临的大的挑战来自于规模和经验:
  

  1.业务逻辑的完善。去年的“6.6”,在流量上并不是特别大的问题,但那是小红书次做大规模促销,支持电商业务的功能上有很多不到位的地方,比如系统开始的在逻辑上是存在缺陷的。
  
  2.高并发流量。到去年红五(红色星期五)的时候,小红书在业务逻辑的层面已经积累了相当多的经验,大的考验转移到流量上。小红书历史上的高峰值是在红五时候出现的,已经真正挑战到了系统的一些极限。
  
  云计算实践
  
  应对互联网业务挑战的关键,是架构的云化,小红书也选择了云计算服务。
  
  选择云服务的考量
  
  小红书在选择云计算技术时主要从以下三个层面来考量:
  
  1.硬件资源。云平台作为一个基础的计算和存储的平台,当小红书需要更多的计算能力或者更多的存储容量时,这个平台能够很快地满足扩容的需求。
  
  2.基础软件。业务系统的实现需要技术团队搭建很多的功能模块,可以在云基础架构平台上自己搭建,也可以去选用平台提供的一些现成服务,如数据库服务、Redis缓存、数据计算系统。
  
  3.增值服务,包括了图象处理、CDN和安全相关的防DDoS攻击、防刷单、防恶意用户等等。
  
  腾讯云的应用
  
  基于上述理念,小红书尝试了不同的云服务组合,目前较为核心的业务系统部署在腾讯云上,硬件基础架构和增值服务依赖于腾讯云。基于支撑腾讯社交业务的技术打造的腾讯云,对满足小红书这两方面的需求没有压力;第二部分则是一个混合的模式——比如,数据库和Spark是自己搭建的。
  
  存储系统
  
  小红书现在采用的数据库技术是NoSQL,是初期打造社区应用时候做出的选择,因为NoSQL更适合大规模、高并发的社区场景,同时社区应用对事务性、数据一致性的要求没有那么强,NoSQL完全可以满足,而如果采用传统关系统数据库,开发成本也会变得比较高。
  
  安全
  
  小红书遇到的攻击,常见的是简单粗暴的流量攻击,目的就是为了把网络带宽耗尽、阻塞,让其他有正常需求的用户没有办法访问小红书的服务,大型企业一般要投入很大的人力物力,才能把这类攻击化解掉。郄小虎表示,对于成长型公司,需要云服务平台能够在这些流量到达服务之前尽早地把它们过滤掉。这方面,腾讯云提供的大禹系统可以满足小红书的需求。他认为,大禹系统是一个立体的系统,在CDN层面上把攻击流量化解,小红书发现的一些比较执着的攻击也能被挡住。

热门评论

上一篇:人工智能机器将在2025年以前进入公司董事会?

下一篇:手头可供分析的数据越多 做出的决定就更好?

相关新闻

<