boyXP

这么多数据

leexiaochong

我的站四千多万数据，分表
没有使用cms, 自己写的程序，asp.net + mysql
最好是先确定一下分类吧，然后再进行数据的填充。

yuewolf

阿江 发表于 2015-7-24 13:07
换MSSQL，亿级数据无压力。

江哥，这个数据量帝国应该搞得定，而且不怕占硬盘，生成HTML的。

问题是帝国需要分表，一般是一个大栏目对应一个分表，每个表我估计能撑200-400万。

但是不同表之间的数据没法转移。比如说A文章我刚开始分成了 旅游栏目，后来发现是摄影栏目的，想转出去都没办法了。除非一开始就把数据分好。

可是于我不是特别现实，我需要先把它们都放出去，然后慢慢分类。

yuewolf

leexiaochong 发表于 2015-7-24 13:11
我的站四千多万数据，分表
没有使用cms, 自己写的程序，asp.net + mysql
最好是先确定一下分类吧，然后再 ...

兄台的意思是，一开始就把信息分好类？

目前来看，也只能这样了。

leexiaochong

yuewolf 发表于 2015-7-24 13:17
兄台的意思是，一开始就把信息分好类？

目前来看，也只能这样了。

省得以后再搞麻烦，URL都被搜索引擎收录了，再移动更换URL不好。
数据量太大，只让数据库做存储，不要再做过多的计算，不要让数据库计算搜索操作，
非要给网站加个搜索，可以使用lucene+盘古中文分词搞，也可以使用百度的站内搜索
个人建议还是使用百度站内搜索吧，既然开始都说了要做以量取胜的站，搜索功能不会放在第一位，
而是要把搜索引擎及用户放在第一位即可。

crazy

MySQL分区，可以考虑InnoDB加大量分区来实现
这样前端将没有任何变化，平时使用就是读写一个表。

yuewolf

leexiaochong 发表于 2015-7-24 13:23
省得以后再搞麻烦，URL都被搜索引擎收录了，再移动更换URL不好。
数据量太大，只让数据库做存储，不要再 ...

的确如你所说，负载什么的只要勉强撑得住都无所谓，生成嘛，慢点就慢点。

现在考虑的也是URL的统一性。如果不分表，这个URL地址设置成类似 /art/ym/d/id.html 随便换栏目都不怕。但量上来以后，怕后台那里就搞不定了。

如果分表，一开始不分好的话，后面转移起来就超级麻烦了。

搜索的确是打算用百度站内搜索的，程序自带的就不想了。还有一些相关信息等，也会用百度等第三方的，尽量少查询。

连续想了好久，只能一点点先分类，然后发布出去。万一有分类错误的，就那样吧，反正冲量的，就确定不了精确度了。

yuewolf

crazy 发表于 2015-7-24 13:24
MySQL分区，可以考虑InnoDB加大量分区来实现
这样前端将没有任何变化，平时使用就是读写一个表。

Crazy 哥，您的意思是这样分区以后，单表也搞得定？

阿江

yuewolf 发表于 2015-7-24 13:17
江哥，这个数据量帝国应该搞得定，而且不怕占硬盘，生成HTML的。

问题是帝国需要分表，一般是一个大栏 ...

你实验过MYSQL对这种规模的表不分表真的不行？
如果只是依据栏目分表的话，对于MSSQL来说分不分表效率是几乎没有差别的，尤其是只有几千万行数据量的话更不是问题了。
有听说MySQL承受力不如MSSQL，但应该差别不会很大吧。
常常数据库的承受力是超乎想像的。

参考C版的方法升级硬件看看，对大数据库来说硬件性能尤其是磁盘性能影响很大。

yuewolf

阿江 发表于 2015-7-24 13:44
你实验过MYSQL对这种规模的表不分表真的不行？
如果只是依据栏目分表的话，对于MSSQL来说分不分表效率 ...

重新看了一遍WC在帝国6.0时代的2000万信息测试，其中有一句：

单表无论是50万、400万甚至1000万数据在管理信息列表与生成页面效率基本是相同的

我想自己很可能是进入误区了。在他的测试文章中最大单表数据是 400万，可现在过去了这么久，应该能承受更多了。

而且，分区配合帝国自带的副表分表，应该搞得定。

还是自己动手测试吧。

感谢@阿江 @leexiaochong @crazy 等热心人，排名无先后。