打算用PHP写一个日数据量200W的系统，是否现实可行？

luoluo · 发表于 2023-1-4 18:25:26

每天只有3000~5000人的系统，但产生日数据量在200W左右，在下午有2个小时的时间是高峰期，有时一分钟插入数据量可达20W ,这两小时可占全天数据量的50%。综合来说，插入占80%，查询占20%

优先考虑用PHP的原因是，团队几个人都只熟悉PHP。换JAVA学习成本高。

PHP考虑的框架是Laravel ，ThinkPHP也考虑，但是担心漏洞多。

架构方面，如果仅用用Laravel + Redis消息列队上面业务的数据安全吗？或者打算用各家云服务的 SLB+RabbitMQ 解决高峰期数据插入的情况。查询缓存方面用Redis。

不考虑￥￥的情况下，安全性、稳定性要求高，请问这样的系统，用PHP架构是否现实可行？

或者哪位大JJ能在前期架构上，能给些建议的，麻烦PM我交流一下。有帮助会发红包。

vihs · 发表于 2023-1-4 21:01:10

luoluo 发表于 2023-1-4 20:35
运维不熟悉的我一开始也这么想，想到一天能产生10g左右的数据，这个方案成本有点承受不住 ...

你的想法恰恰相反。
1、这么大数据量，更需要数据安全，公司又不是你的，不需要你考虑成本。你替公司省钱，出了事情你背锅，纯粹吃饱了撑的。
2、数据量很大又很重要，请一个DBA的工资保守计算每月1.5W 一年就是18W+ , 还不算硬件投入，买云数据库怎么算都划算。

Salta · 发表于 2023-1-4 18:27:57

日200W数据，也不是很大，确实可以用PHP实现的。

luoluo · 发表于 2023-1-4 18:43:48

Salta 发表于 2023-1-4 18:27
日200W数据，也不是很大，确实可以用PHP实现的。

但是有2个小时并发数据高。

shwish · 发表于 2023-1-4 18:46:56

只写一下核心的逻辑，自己mock下请求，做下压力测试就知道了，这种问题很难回答的

Salta · 发表于 2023-1-4 18:51:46

本帖最后由 Salta 于 2023-1-4 18:53 编辑

luoluo 发表于 2023-1-4 18:43
但是有2个小时并发数据高。

Redis单机写每秒8W次，读每秒11万次，你在担心什么？
PHP，就算撑不住你也可以上DNS轮训吧。

话又说回来，就算redis撑不住，那也可以上集群

vihs · 发表于 2023-1-4 19:05:59

担心是多余的，买阿里云，腾讯云的数据库集群，KV集群。直接上，性能扛不住直接找云客服官方，比啥都强。

1121744186 · 发表于 2023-1-4 19:08:44

瓶颈在数据库，和php无关

whiler · 发表于 2023-1-4 19:09:23

本帖最后由 whiler 于 2023-1-4 19:10 编辑

写入 20万/分，基本达到 8 核 32G 内存独服跑 MySQL 8.0 的上限了，和 PHP 无关，上队列吧，削峰填谷，或者优化业务，减少不必要的写入

holinhot · 发表于 2023-1-4 19:26:25

光是插入数据那太简单了，直接写到redis然后你再慢慢往mysql里写

有容乃大 · 发表于 2023-1-4 19:33:19

灰产？

三方四方系统？

php自己写吧

		自动登录	找回密码
密码			注册

[美国VPS] 打算用PHP写一个日数据量200W的系统，是否现实可行？

灰产？