2021年4月15日星期四

基于注解的springboot+mybatis的多数据源组件的实现

    通常业务开发中,我们会使用到多个数据源,比如,部分数据存在mysql实例中,部分数据是在oracle数据库中,那这时候,项目基于springboot和mybatis,其实只需要配置两个数据源即可,只需要按照

dataSource - SqlSessionFactory - SqlSessionTemplate配置好就可以了。

如下代码,首先我们配置一个主数据源,通过@Primary注解标识为一个默认数据源,通过配置文件中的spring.datasource作为数据源配置,生成SqlSessionFactoryBean,最终,配置一个SqlSessionTemplate。

 1 @Configuration 2 @MapperScan(basePackages = "com.xxx.mysql.mapper", sqlSessionFactoryRef = "primarySqlSessionFactory") 3 public class PrimaryDataSourceConfig { 4  5  @Bean(name = "primaryDataSource") 6  @Primary 7  @ConfigurationProperties(prefix = "spring.datasource") 8  public DataSource druid() { 9   return new DruidDataSource();10  }11 12  @Bean(name = "primarySqlSessionFactory")13  @Primary14  public SqlSessionFactory primarySqlSessionFactory(@Qualifier("primaryDataSource") DataSource dataSource) throws Exception {15   SqlSessionFactoryBean bean = new SqlSessionFactoryBean();16   bean.setDataSource(dataSource);17   bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/*.));18   bean.getObject().getConfiguration().setMapUnderscoreToCamelCase(true);19   return bean.getObject();20  }21 22  @Bean("primarySqlSessionTemplate")23  @Primary24  public SqlSessionTemplate primarySqlSessionTemplate(@Qualifier("primarySqlSessionFactory") SqlSessionFactory sessionFactory) {25   return new SqlSessionTemplate(sessionFactory);26  }27 }

然后,按照相同的流程配置一个基于oracle的数据源,通过注解配置basePackages扫描对应的包,实现特定的包下的mapper接口,使用特定的数据源。

 1 @Configuration 2 @MapperScan(basePackages = "com.nbclass.oracle.mapper", sqlSessionFactoryRef = "oracleSqlSessionFactory") 3 public class OracleDataSourceConfig { 4  5  @Bean(name = "oracleDataSource") 6  @ConfigurationProperties(prefix = "spring.secondary") 7  public DataSource oracleDruid(){ 8   return new DruidDataSource(); 9  }10 11  @Bean(name = "oracleSqlSessionFactory")12  public SqlSessionFactory oracleSqlSessionFactory(@Qualifier("oracleDataSource") DataSource dataSource) throws Exception {13   SqlSessionFactoryBean bean = new SqlSessionFactoryBean();14   bean.setDataSource(dataSource);15   bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:oracle/mapper/*.));16   return bean.getObject();17  }18 19  @Bean("oracleSqlSessionTemplate")20  public SqlSessionTemplate oracleSqlSessionTemplate(@Qualifier("oracleSqlSessionFactory") SqlSessionFactory sessionFactory) {21   return new SqlSessionTemplate(sessionFactory);22  }23 }

这样,就实现了一个工程下使用多个数据源的功能,对于这种实现方式,其实也足够简单了,但是如果我们的数据库实例有很多,并且每个实例都主从配置,那这里维护起来难免会导致包名过多,不够灵活。

    现在考虑实现一种对业务侵入足够小,并且能够在mapper方法粒度上去支持指定数据源的方案,那自然而然想到了可以通过注解来实现,首先,自定义一个注解@DBKey:

1 @Retention(RetentionPolicy.RUNTIME)2 @Target({ElementType.METHOD, ElementType.TYPE})3 public @interface DBKey {4 5  String DEFAULT = "default"; // 默认数据库节点6 7  String value() default DEFAULT;8 }

思路和上面基于springboot原生的配置的类似,首先定义一个默认的数据库节点,当mapper接口方法/类没有指定任何注解的时候,默认走这个节点,注解支持传入value参数表示选择的数据源节点名称。至于注解的实现逻辑,可以通过反射来获取mapper接口方法/类的注解值,然后指定特定的数据源。

那在什么时候执行这个操作获取呢?可以考虑使用spring AOP织入mapper层,在切入点执行具体mapper方法之前,将对应的数据源配置放入threaLocal中,有了这个逻辑,立即动手实现:

首先,定义一个db配置的上下文对象。维护所有的数据源key实例,以及当前线程使用的数据源key:

 1 public class DBContextHolder { 2   3  private static final ThreadLocal<String> DB_KEY_CONTEXT = new ThreadLocal<>(); 4  5  //在app启动时就加载全部数据源,不需要考虑并发 6  private static Set<String> allDBKeys = new HashSet<>(); 7  8  public static String getDBKey() { 9   return DB_KEY_CONTEXT.get();10  }11 12  public static void setDBKey(String dbKey) {13   //key必须在配置中14   if (containKey(dbKey)) {15    DB_KEY_CONTEXT.set(dbKey);16   } else {17    throw new KeyNotFoundException("datasource[" + dbKey + "] not found!");18   }19  }20 21  public static void addDBKey(String dbKey) {22   allDBKeys.add(dbKey);23  }24 25  public static boolean containKey(String dbKey) {26   return allDBKeys.contains(dbKey);27  }28 29  public static void clear() {30   DB_KEY_CONTEXT.remove();31  }32 }

然后,定义切点,在切点before方法中,根据当前mapper接口的@@DBKey注解来选取对应的数据源key:

 1 @Aspect 2 @Order(Ordered.LOWEST_PRECEDENCE - 1) 3 public class DSAdvice implements BeforeAdvice { 4  5  @Pointcut("execution(* com.xxx..*.repository.*.*(..))") 6  public void daoMethod() { 7  } 8  9  @Before("daoMethod()")10  public void beforeDao(JoinPoint point) {11   try {12    innerBefore(point, false);13   } catch (Exception e) {14    logger.error("DefaultDSAdviceException",15      "Failed to set database key,please resolve it as soon as possible!", e);16   }17  }18 19  /**20   * @param isClass 拦截类还是接口21  */22  public void innerBefore(JoinPoint point, boolean isClass) {23   String methodName = point.getSignature().getName();24 25   Class<?> clazz = getClass(point, isClass);26   //使用默认数据源27   String dbKey = DBKey.DEFAULT;28   Class<?>[] parameterTypes = ((MethodSignature) point.getSignature()).getMethod().getParameterTypes();29   Method method = null;30   try {31    method = clazz.getMethod(methodName, parameterTypes);32   } catch (NoSuchMethodException e) {33    throw new RuntimeException("can't find " + methodName + " in " + clazz.toString());34   }35   //方法上存在注解,使用方法定义的datasource36   if (method.isAnnotationPresent(DBKey.class)) {37    DBKey key = method.getAnnotation(DBKey.class);38    dbKey = key.value();39   } else {40    //方法上不存在注解,使用类上定义的注解41    clazz = method.getDeclaringClass();42    if (clazz.isAnnotationPresent(DBKey.class)) {43     DBKey key = clazz.getAnnotation(DBKey.class);44     dbKey = key.value();45    }46   }47   DBContextHolder.setDBKey(dbKey);48  }49 50 51  private Class<?> getClass(JoinPoint point, boolean isClass) {52   Object target = point.getTarget();53   String methodName = point.getSignature().getName();54 55   Class<?> clazz = target.getClass();56   if (!isClass) {57    Class<?>[] clazzList = target.getClass().getInterfaces();58 59    if (clazzList == null || clazzList.length == 0) {60     throw new MutiDBException("找不到mapper class,methodName =" + methodName);61    }62    clazz = clazzList[0];63   }64 65   return clazz;66  }67 }

既然在执行mapper之前,该mapper接口最终使用的数据源已经被放入threadLocal中,那么,只需要重写新的路由数据源接口逻辑即可:

 1 public class RoutingDatasource extends AbstractRoutingDataSource { 2  3  @Override 4  protected Object determineCurrentLookupKey() { 5   String dbKey = DBContextHolder.getDBKey(); 6   return dbKey; 7  } 8  9  @Override10  public void setTargetDataSources(Map<Object, Object> targetDataSources) {11   for (Object key : targetDataSources.keySet()) {12    DBContextHolder.addDBKey(String.valueOf(key));13   }14   super.setTargetDataSources(targetDataSources);15   super.afterPropertiesSet();16  }17 }

另外,我们在服务启动,配置mybatis的时候,将所有的db配置加载:

 1 @Bean 2  @ConditionalOnMissingBean(DataSource.class) 3  @Autowired 4  public DataSource dataSource(MybatisProperties mybatisProperties) { 5   Map<Object, Object> dsMap = new HashMap<>(mybatisProperties.getNodes().size()); 6   for (String nodeName : mybatisProperties.getNodes().keySet()) { 7    dsMap.put(nodeName, buildDataSource(nodeName, mybatisProperties)); 8    DBContextHolder.addDBKey(nodeName); 9   }10   RoutingDatasource dataSource = new RoutingDatasource();11   dataSource.setTargetDataSources(dsMap);12   if (null == dsMap.get(DBKey.DEFAULT)) {13    throw new RuntimeException(14      String.format("Default DataSource [%s] not exists", DBKey.DEFAULT));15   }16   dataSource.setDefaultTargetDataSource(dsMap.get(DBKey.DEFAULT));17   return dataSource;18  }19 20 21 22 @ConfigurationProperties(prefix = "mybatis")23 @Data24 public class MybatisProperties {25 26  private Map<String, String> params;27 28  private Map<String, Object> nodes;29 30  /**31   * mapper文件路径:多个location以,分隔32  */33  private String mapperLocations = "classpath*:com/iqiyi/xiu/**/mapper/*.;34 35  /**36   * Mapper类所在的base package37  */38  private String basePackage = "com.iqiyi.xiu.**.repository";39 40  /**41   * mybatis配置文件路径42  */43  private String configLocation = "classpath:mybatis-config.;44 }

那threadLocal中的key什么时候进行销毁呢,其实可以自定义一个基于mybatis的拦截器,在拦截器中主动调DBContextHolder.clear()方法销毁这个key。具体代码就不贴了。这样一来,我们就完成了一个基于注解的支持多数据源切换的中间件。

那有没有可以优化的点呢?其实,可以发现,在获取mapper接口/所在类的注解的时候,使用了反射来获取的,那我们知道一般反射调用是比较耗性能的,所以可以考虑在这里加个本地缓存来优化下性能:

 1  private final static Map<String, String> METHOD_CACHE = new ConcurrentHashMap<>(); 2 //....  3 public void innerBefore(JoinPoint point, boolean isClass) { 4   String methodName = point.getSignature().getName(); 5  6   Class<?> clazz = getClass(point, isClass); 7   //key为类名+方法名 8   String keyString = clazz.toString() + methodName; 9   //使用默认数据源10   String dbKey = DBKey.DEFAULT;11   //如果缓存中已经有这个mapper方法对应的数据源的key,那直接设置12   if (METHOD_CACHE.containsKey(keyString)) {13    dbKey = METHOD_CACHE.get(keyString);14   } else {15    Class<?>[] parameterTypes =16      ((MethodSignature) point.getSignature()).getMethod().getParameterTypes();17    Method method = null;18 19    try {20     method = clazz.getMethod(methodName, parameterTypes);21    } catch (NoSuchMethodException e) {22     throw new RuntimeException("can't find " + methodName + " in " + clazz.toString());23    }24    //方法上存在注解,使用方法定义的datasource25    if (method.isAnnotationPresent(DBKey.class)) {26     DBKey key = method.getAnnotation(DBKey.class);27     dbKey = key.value();28    } else {29     clazz = method.getDeclaringClass();30     //使用类上定义的注解31     if (clazz.isAnnotationPresent(DBKey.class)) {32      DBKey key = clazz.getAnnotation(DBKey.class);33      dbKey = key.value();34     }35    }36   //先放本地缓存37    METHOD_CACHE.put(keyString, dbKey);38   }39   DBContextHolder.setDBKey(dbKey);40  }

这样一来,只有在第一次调用这个mapper接口的时候,才会走反射调用的逻辑去获取对应的数据源,后续,都会走本地缓存,提升了性能。

 









原文转载:http://www.shaoqun.com/a/690732.html

跨境电商:https://www.ikjzd.com/

美菜:https://www.ikjzd.com/w/1874

拍怕:https://www.ikjzd.com/w/2205


通常业务开发中,我们会使用到多个数据源,比如,部分数据存在mysql实例中,部分数据是在oracle数据库中,那这时候,项目基于springboot和mybatis,其实只需要配置两个数据源即可,只需要按照dataSource-SqlSessionFactory-SqlSessionTemplate配置好就可以了。如下代码,首先我们配置一个主数据源,通过@Primary注解标识为一个默认数据源,通
bol:https://www.ikjzd.com/w/291
灯塔计划:https://www.ikjzd.com/w/1281
c88:https://www.ikjzd.com/w/1017
卖家心得分享:亚马逊2年的辛酸血泪史:https://www.ikjzd.com/home/479
老婆为我制定了婚外性计划:http://www.30bags.com/a/252822.html
如何做好外贸独立站:https://www.ikjzd.com/home/142607

没有评论:

发表评论