Spring Boot 分库分表策略示例展示_开发_开发者

1. 分库策略

分库策略是将数据分散到多个数据库实例中。常见的分库策略有：

按用户 ID：例如，通过用户 ID 的哈希值决定存储到哪个数据库。
按业务类型：不同的业务或数据类型存储到不同的数据库。
按数据量：根据数据量将数据分散到多个数据库中。

实现步骤：

配置多个数据源：

在 application.yml 文件中配置多个数据源的连接信息。

示例配置：

spring:
  datasource:
    dynamic:
      primary: db1
      datasource:
        db1:
          url: jdbc:mysql://localhost:3306/db1
          username: root
          password: password
        DB2:
          url: jdbc:mysql://localhost:3306/db2
          username: root
          password: password
        # 添加更多数据源

动态数据源路由：

创建 DynamicDataSource 类，继承 AbstractRoutingDataSource，在 determineCurrentLookupKey 方法中返回当前的数据源标识。

DataSourceContextHolder 类用于存储当前的数据库标识。

public class DynamicDataSource extends AbstractRoutingDataSource {
     @Override
     protected Object determineCurrentLookupKey() {
         return DataSourceContextHolder.getDataSourceType();
     }
 }

 public class DataSourceContextHolder {
     private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();

     public static void setDataSourceType(String dataSourceType) {
         contextHolder.set(dataSourceType);
     }

     public static String getDataSourceType() {
         return contextHolder.get();
     }

     public static void clearDataSourceType() {
         contextHolder.remove();
     }
 }

根据用户 ID 选择数据源：

使用工具类 DataSourceUtil 根据用户 ID 计算出数据源标识。

public class DataSourceUtil {
     private static final int TOTAL_DATASOURCES = 8;

     public static String getDataSourceNameByUs编程erId(Long userId) {
         int index = (int) (userId % TOTAL_DATASOURCES) + 1;
         return "db编程" + index;
     }
 }

配置数据源：

在配置类中创建 DynamicDataSource 实例，并配置各个数据源。

@Configuration
 public class DataSourceConfig {
     @Autowired
     @Qualifier("db1DataSource")
     private DataSource db1DataSource;

     @Autowired
     @Qualifier("db2DataSource")
     private DataSource db2DataSource;

     // 更多数据源...

     @Bean
     public DataSource dataSource() {
         DynamicDataSource dynamicDataSource = new DynamicDataSource();
         Map<Object, Object> targetDataSources = new HashMap<>();
         targetDataSources.put("db1", db1DataSource);
         targetDataSources.put("db2", db2DataSource);
         // 更多数据源...

         dynamicDataSource.setTargetDataSources(targetDataSources);
         dynamicDataSource.setDefaultTargetDataSource(db1DataSource);
         return dynamicDataSource;
     }

     @Bean
     public PlatformTransactionManager transactionManager() {
         return new DataSourceTransactionManager(dataSource());
     }
 }

2. 分表策略

分表策略是将数据分散到多个表中。常见的分表策略有：

按时间分表：例如，每个月一个表。
按 ID 范围分表：例如，每 1000python0 条数据一个表。
按用户 ID 哈希：例如，将用户数据分散到多个表中。

实现步骤：

生成表名：

创建工具类 TableNameUtiljavascript 根据分表策略生成表名。

public class TableNameUtil {
     public static String getTableNameByMonth(String baseTableName, LocalDate date) {
         String month = date.format(DateTimeFormatter.ofPattern("yyyy_MM"));
         return baseTableName + "_" + month;
     }

     public static String getTableNameByIdRange(String baseTableName, Long id) {
         int range = (int) (id / 10000);
         return baseTableName + "_" + range;
     }

     public static String getTableNameByUserId(String baseTableName, Long userId) {
         int tableIndex = (int) (userId % 8);
         return baseTableName + "_" + tableIndex;
     }
 }

在数据访问层使用分表策略：

在数据访问层根据生成的表名执行数据库操作。

@Repository
 public class OrderRepository {
     private final JdbcTemplate jdbcTemplate;

     public OrderRepository(JdbcTemplate jdbcTemplate) {
         this.jdbcTemplate = jdbcTemplate;
     }

     public void saveOrder(Order order) {
         String dataSourceName = DataSourceUtil.getDataSourceNameByUserId(order.getUserId());
         DataSourceContextHolder.setDataSourceType(dataSourceName);

         String tableName = TableNameUtil.getTableNameByUserId("orders", order.getUserId());
         String sql = "INSERT INTO " + tableName + " (id, order_date, amount) VALUES (?, ?, ?)";
         jdbcTemplate.update(sql, order.getId(), order.getOrderDate(), order.getAmount());

         DataSourceContextHolder.clearDataSourceType();
     }
 }