怎样处理系统中每日大量数据上传问题及报表统计分析缓慢问题

这边系统大致情况：
    外业人员每人一个手持终端，大约在线同时有200多号人，然后每一个终端隔一段时间就给服务端发送当前位置数据。每日数据量大概有30w条数据。
    现在做法数据全部插入到了一张表中，造成这个表数据量很大，目前这边做法这个表只保留一个季度的数据，别的备份到备份表中。但是还是不能解决问题，当这个表有几千万条数据时，做统计分析功能很慢，因为还要关联别的表，group这种常用。
   我的一点思路，服务端首先过滤下终端提交上来的数据，当提交的数据在一个容差范围内，过滤这种无用的数据，还有就是在服务端做一点缓冲，当够n条时再请求数据库向数据库提交，目前做法是来一条就数据库提交一条。
   关于存这个大量点的表如何来拆分，处理很让人头疼。而客户需要的报表统计分析功能又复杂。大家帮忙出出主意。

评论

1 楼 flashing 2013-08-25  

mangodb+mapreduce?