`
橙臣1314
  • 浏览: 6328 次
社区版块
存档分类
最新评论

压力型后台

阅读更多
读写分离-分离读操作和写操作,避免相互影响
水平拆分,因为单表太大查询性能太差,减小查询氛围提高反应速度,按照业务维度拆分,比如交易数据最近一周的读写均衡,而一周以前的读远远大于写。此时需要两张表进行数据的转移[先备份]。然后就是少数商户会进行大多数交易,于是自然将频繁交易商户单独拆开,低频商户的实时查询的范围自然更小,不会受到前者影响。

- 首先读写分离,基本操作,分离读写

- 然后做垂直拆分,狭义的技术角度的水平拆分

- 广义的业务角度上的水平拆分—>水平拆分会导致排序问题,局部排序不等于全局排序

水平拆分导致的分页及排序问题:水平拆分后,想要分页检索的话,传统思维select count(id) from table,这个数量查询都是比较耗时的,不过我们不一定需要完整地显示页数,比如TB上我们可以直接显示前2000条数据,100页,20条/页。对于商家,如果需要检索交易数据,一般而言查看前10页是比较频繁的,同时如果真的需要查看全部数据,获得某个时间段的交易数据,我们后台单独开线程提供下载,对于此种完整查询是需要耗时的,所以通过网页展示并不是理想方案。
排序问题,可以依靠一些策略从多个库表中检索出数据在服务层归并进行排序
水平拆分的表设计问题:

- 主键自增,为了控制数据分布均衡,对于自增类型,可以使用1、3、5、7、9另外一张表适用2、4、6、8、10类似的自增序列,或者机器A承担1E条数据是较好的上限,那么机器B就从1E+1开始取ID。前者无法解决将来的上限问题,后者无法解决数据分布不均问题。

- 整数哈希取余,如果主键是业务唯一字段,可以通过该方式决定该条数据的存取位置。

- 一致性哈希,解决拓展及单台服务器故障问题[Memcached集群也会用到该方案]

垂直拆分:比如某些数据不大但是读写连接数多。
拆分会带来很多问题,比如join查询失效,拆分就是为了减轻数据库压力,so让DB安心读写,计算交给服务层。同时拆分引起数据结构和分布变化,如果不希望将来拆分引起业务代码大改动,就需要定义好数据服务接口,减少后期变动。
缓存技术:使用Memcached Redis  每一时间段写入到持久层
检索的要点在于范围,搜索范围越小,速度就越快,所以对表进行水平拆分,拆分就会带来查询问题,我们需要对多表查询结果就行归并、排序。拆表分表让数据库结构发生变化,这段时间的监控要求提高,需要有备份替代方案在手,于是有人自然想另起炉灶。
单库数据库-->数据库读写分离-->缓存技术[剥离价值不高数据实时性不高数据]-->搜索技术-->数据的垂直拆分-->数据的水平拆分

数据库的读写性能一般是一个系统的平静所在,如果通过一般成本下的分库分表都无法解决性能问题,就需要使用NoSQL了。
分享到:
评论

相关推荐

    el-admin后台管理系统-其他

    el-admin后台管理系统是一个基于 Spring Boot 2.1.0 、 Spring boot Jpa、 Spring ...4、修复算数型验证码生成浮点型结果,导致前端输入整形数据匹配错误 5、修复菜单分配后菜单数据丢失的问题,修复缓存引起的一些问题

    释放潜能:平台型组织的进化路线图

    打造平台型组织有两大主题:一是通过设计精巧的激励机制让每个人都能感受到市场的压力,确保各职能并联劣后、用户付薪、动态优化;二是通过优化组织结构,形成前台、中台、后台的协作关系,让中台调用后台的资源和...

    壁面压力传声器阵列测量-后台阶湍流相干结构的相关分析 (2005年)

    介绍了湍流边界层壁面压力脉动的传声器阵列测量方法,并采用30个电容式ICP型传声器阵列同步采样测量了低速风洞中后台阶分离再附湍流的壁面压力脉动.压力功率谱和压力脉动系数分布表明,低频大尺度旋涡结构为分离再...

    asoft签到管理系统tykq3.5_build20110125

    4、增加一个控制公告和便签刷新的时间字段 现在管理员可以根据自己的服务器压力情况修改这个时间了 5、将迟到跟签到合并,现在迟到人员不会同时产生一条“迟到”和一条“正常签到”记录了。 6、增加了一个请假界面...

    大型门户网免费整站源码

    ·全站使用缓存来减少对数据库的读取,从而减轻服务器压力; ·部分页面采用模板功能(ASP代码与页面分离) 用户可以轻松编写自己的模板; ·自定义信息的字段,让网站更具灵活性、专业性; ·网站集成了在线支付...

    最新大型门户分类信息系统免费下载

    ·全站使用缓存来减少对数据库的读取,从而减轻服务器压力; ·部分页面采用模板功能(ASP代码与页面分离) 用户可以轻松编写自己的模板; ·自定义信息的字段,让网站更具灵活性、专业性; ·网站集成了在线支付...

    分类信息网大型门户网免费下载

    ·全站使用缓存来减少对数据库的读取,从而减轻服务器压力; ·部分页面采用模板功能(ASP代码与页面分离) 用户可以轻松编写自己的模板; ·自定义信息的字段,让网站更具灵活性、专业性; ·网站集成了在线支付...

    56好生活大型免费分类信息整站源码

    ·全站使用缓存来减少对数据库的读取,从而减轻服务器压力; ·部分页面采用模板功能(ASP代码与页面分离) 用户可以轻松编写自己的模板; ·自定义信息的字段,让网站更具灵活性、专业性; ·网站集成了在线支付...

    基于WSN的煤矿安全监测预警系统设计

    以ARM微处理器S3C44B0X为控制核心,利用以太网将数据传输到井上后台系统,后台系统对数据进行分析并对井下环境进行评价,当有危险情况发生时,系统能提前发出报警信息。试验表明,该系统结构简单、运行稳定,可以准确进行...

    基于GO语言大型企业级电商秒杀系统实战教程

    设计思路将请求拦截在系统上游,降低下流压力;秒杀系统特点就是并发量极大,但实际秒杀成功的请求数量确很少,所以如果不在前端拦截可能造成数据库读写锁冲突,甚至导致死锁,最终请求超时,甚至导致系统崩溃充分...

    作星校园网站系统(access/sql)v5.0.rar

    这一切无需网管再进行网页制作,只须在后台管理中操作完成,既便是网页顶部图标、栏目间广告图片,也是在后台管理中设置调入完成(就连版权信息等标示也可在后台设置修改),另外,内部资料文章、校内资源链接可设置...

    创都启航企业网站管理系统 v3.5b.rar

    创都启航网站管理系统是针对企业打造的营销型网站管理系统,采用ASP.NET内核,后台管理功能强大、网站运行速度快、全站静态页面、极高的网站安全、对搜索引擎的支持性好, 强大的智能标签系统,完全支持现代企业所需...

    开源电子商务软件iWebShop v2.0 正式版.rar

    iWebShop 是一款面向独立卖家的单用户开源电子商务软件,基于PHP MySQL框架开发...前台增加会员在线充值入口,后台新增一键升级功能,当官方发布升级补丁后,管理员只需要在后台点击该按钮,就能将系统升级到最新版本。

    创都启航企业网站管理系统 v3.2.rar

    创都启航网站管理系统是针对企业打造的营销型网站管理系统,采用ASP.NET内核,后台管理功能强大、网站运行速度快、全站静态页面、极高的网站安全、对搜索引擎的支持性好, 强大的智能标签系统,完全支持现代企业所需...

    mylitle一个比较完成的注册界面

    一个比较完整的web前端注册界面,拥有前端数据验证功能,界面友好型,同时能减轻后台server压力,大众使用化,博客有教程,可以点击头像查看

    基于Java的物管系统设计与实现.docx

    21 5.3 测试用例 21 5.4 压力测试 22 5.5 测试结论 22 结 论 23 致 谢 24 参考文献 25 摘 要 在如今的这个网络覆盖的社会生活中,老旧小区的物业管理都是人工来实现的,工作实施起来会非常的复杂而且不方便,管理层...

    Art2008CMS 7.0 GBK.rar

    功能完善,覆盖面广、扩展性强、负载能力好、模板调用非常灵活、管理方便,因此不仅适合于建设一般企业、政府、学校、个人等小型网站,同时也适合于建设地方门户、行业门户等大中型网站。 Art2008CMS 7.0 GBK ...

    Art2008CMS 7.0 UTF-8.rar

    功能完善,覆盖面广、扩展性强、负载能力好、模板调用非常灵活、管理方便,因此不仅适合于建设一般企业、政府、学校、个人等小型网站,同时也适合于建设地方门户、行业门户等大中型网站。 Art2008CMS 7.0 UTF-8 ...

    iwebshop电子商务系统

    iWebShop领先的高速文本缓存极大减轻数据库压力,此外当缓存文件达到一定数量时,iwebcache缓存存储引擎会还将文件进行有序目录散列,提高缓存读取效率 4、良好的兼容扩展 结合iWebExchanger,iWebShop不仅可以与...

    DTcms5.0_NET开源CMS20170921

    2. 网站上传的图片、附件、视频等资源支持本地存储、阿里云对象存储、腾讯云对象存储,有利于减少带宽和分散服务器的压力,提交用户体验; 3. 对于大型网站项目支持Redis,用户可以很方便地将其扩展成一个能够包含...

Global site tag (gtag.js) - Google Analytics