maven 配置与安装
下载maven 文件
解压之后,将文件移动到\Applications文件夹内 使用cd ~ 进入根目录文件夹 用ls -a列出文件夹内的所有文件，找到一个名称为.bash_profile的文件，打开该文件来配置环境变量
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-10.0.2.jdk/Contents/Homeexport MAVEN_HOME=/Applications/apache-maven-3.5.4export PATH=$PATH:$MAVEN_HOME/bin
配置完之后 添加/调整
商家 -> 库存 <- 发货/核账source .bash_profile编译一下 然后在命令行之中用mvn - v来检查一下是否安装成功 配置环境变量
注意默认的cd ~可能不是根目录而是当前用户的目录 User\auguskong\ mvn archetype:generate -DgroupId=org.seckill -DartifactId=seckill -DarchetypeArtifactId=maven-archetype-webapp
修改servlet版本为3.1
秒杀系统业务分析
添加(+)/调整(+/-)
商家 -> 库存
<- 发货/核账付款(-)/退货(+)
用户 -> 库存
<- 秒杀/预售秒杀业务的核心在于库存的处理
用户：
【减库存 + 记录购买明细 】
| 【完整事务】 谁 + 时间/有效期 + 付款/发货信息 | 【数据落地】为什么需要事务？ -> 事务机制依然是最可靠的数据落地方案
考虑一下情景: 减库存没有记录购买明细? 记录了购买明细但是没有减库存? 出现超卖/少买?秒杀系统难点分析 -> 竞争
同一时间多个用户购买事务 + 行级锁
Start Transaction
Update 库存数量 Insert 购买明细 Commitupdate table set num = num - 1 where id = 10 and num > 1
数据库设计与编码
数据库路径设置
export PATH=$PATH:/usr/local/mysql/bin/ BUG!! 中英文输入法的问号意义不一样 必须使用英文的问号！！
使用 mysql -u root -p 来打开mysql面板
show create table seckill\G 查看如何创建这个表 手写DDL
记录每次上线的DDL修改 --上线V1.1 ALTER TABLE seckill DROP INDEX idx_create_time, add index idx_c_s(start_time, create_time);DAO实体和接口编码
TABLE -> ENTITY 表对应java类 列对应java类当中的属性
Command + N 打开generate 可以让编译器自动生成getter 和 setter 方法
MyBatis 映射
数据库 -> 映射 -> 对象
为什么可以过滤重复？ 联合主键是？？
联合主键里面有电话号码，由主键不允许重复的特性保证了不存在两个相同的电话号码，可以防止一个用户重复秒杀4-3 基于MyBatis实现DAO理论
MyBatis, Hibernate, JDBC 都是做映射的工作 对象关系映射？MyBatis 特点
需要提供参数 + SQL(SQL必须用户来写)
SQL写在哪?
1.【推荐】XML当中
2.注解提供SQL (注解本身还是Java源码 且SQL存在拼接时很麻烦)@SQL Java 1.5之后提供 注解的缺点: 注解本质上也是Java源码，需要编译之后才能执行 复杂拼接逻辑会很复杂 如何实现DAO接口?
1.【推荐】Mapper 自动实现DAO接口 这样可以只关注于SQL接口， 2.API编程方式实现DAO接口写三个SQL
自己控制SQL
MyBatis整合Spring的过程
目的:
使用更少的编码： 原则是只写接口，不写实现 （实现是MyBatis自动实现) Seckill queryById(long id) 接口参数 名字代表行为 接口返回类型表示结果集 更少的配置: * MyBatis 自动找到包名 减少了包名的代码 * 自动扫描配置文件 减去配置维护成本保存足够的灵活性：自己定制 SQL + 自由传参
默认
DAO层单元测试编码和问题排查
import org.junit 文件包不存在的问题
//使用@Param 注解来告知MyBatis 相关参数的名字ListqueryAll(@Param("offset") int offet, @Param("limit") int limit);
MyBatis和Spring的整合就在于配置文件的设置
public void insertSuccessKilled() { long id = 1001L; long phone = 13421234569L; int insertCount = successKilledDao.insertSuccessKilled(id, phone); System.out.println("insertCount= " + insertCount); } 报错空指针异常
***命令行命令:
ifconfig可以查看本地IP地址
SET PASSWORD FOR 'jeffrey'@'localhost' = 'auth_string'; 按两次shift快速查找project当中的文件 bug log:
URL is not registered
mapper里面笔误 parameterType 改为resultType mybatis config文件里面笔误 确定mysql的版本是和本机版本相同 进入mysql命令行之后 输入select version() 或 直接在进入时看初始加载信息
数据库连接失败可能原因:
- jdbc.properties 配置错误：
- jdbc.driver: 注意check manual确保命令正确
- jdbc.url:
- username + password
- 未授权远程访问或没有访问权限 需要通过SQL
GRANT进行相关操作 - 项目未引入对应版本的驱动jar包，配置文件的设定
mysql-connector-java-5.1.6-bin.jar
因为没有设定时区而导致了bug, 这个有点扯淡了
jdbc.url=jdbc:mysql://localhost/seckill?useSSL=false&serverTimezone=UTC&useUnicode=true&characterEncoding=utf8 DAO层编码
编写接口 逻辑代码一行没写有什么好处？
DAO层演变为接口设计 + SQL编写
代码和SQL的分离 DAO拼接等逻辑在Service层完成 逻辑放在Service层当中 对远程存储系统做操作的 放在DAO层秒杀Service接口设计
常量中的数据字典？ 使用枚举来表示常量数据字段？？
站在使用者的角度设计接口
配置是一次性工作不优雅的代码
return new SeckillExecution(seckillId, 1, "秒杀成功", successKilled); 数据字典使用枚举进行优化 使用Spring托管Service依赖理论
Spring IOC功能理解
对象工厂: 创建对象的过程 SeckillService
依赖管理: 通过使用Spring 得到一致性的访问接口为什么要用IOC:
- 对象创建统一托管：不再使用New关键字
- 规范的生命周期管理 CRUP每个阶段都可以进行添加 更新逻辑 创建好之后，再加入其它方法添加属性 或修改之前New的方式会导致混乱
- 灵活的依赖注入：多种方式实现：1.可以通过注解 2.application context 3.第三方框架自动整合
- 一致的获取对象方式： 可以用容器当中任意的已知对象示例，默认都是单例
Spring-IOC注入方式和使用场景
|XML | 注解 | Java配置类 -----| ----- | ------ 举例| MyBatis整合时 | DAO Service类中加入注解 | Java配置注解 场景| Bean 实现类来自第三方类库时2.需要命名空间配置,如context,aop,mvc等 | 项目当中自身开发使用的类，可以直接在代码中使用注解 @Service@Controller | 不常见通过代码控制对象创建逻辑： 自定义修改依赖类库本项目IOC使用:
- XML配置
- package-scan一个机制，MyBatis扫描特定DAO
- Annotation注解
Service层的依赖注入， 包扫描 + 添加注解@Autowired
//新建一个spring-service.xml文件
// 注入Service依赖 @Autowired //Spring一直使用的注解 自动在DAO中查找seckillDao 其它@Resource, @Inject private SeckillDao seckillDao; @Autowired private SuccessKilledDao successKilledDao;
配置并使用spring声明式事务
目的：不用写支持事务操作的代码 交给第三方框架进行操作
流程：
- 开启事务
- 修改SQL-1
- 修改SQL-2
- .....
- 提交/回滚事务
ProxyFactoryBean + XML -> 早期2.0使用方式
tx: advice+aop命名空间方式 -> 一次配置永久生效
【推荐：掌握一定的控制权】注解@Transactional -> 注解控制
事务方法嵌套: 声明式事务独有的概念,和MySQL本身事务无关
传播行为默认为propagation_required，当有一个新的事务加入进来，先判断是否是已经存在的事务，如果已经存在直接加，否则新建一个新事物
什么时候回滚事务？
- 当方法抛出运行期异常(RuntimeException) 可以回滚 非运行期异常不会回滚
- 小心不当的try-catch代码
配置声明式事务
bug log: 配置文件的顺序不对，导致无法定位<tx:annotation-driven transaction-manager="transactionManager"/> 语句
http://www.springframework.org/schema/txhttp://www.springframework.org/schema/tx/spring-tx.xsd
logback官方文档配置
https://logback.qos.ch/manual/configuration.html继承测试的优化
try catch语句来改变更改集成测试的成功失败判定标准
//集成测试代码 @Test public void testSeckillLogic() { long id = 1000; Exposer exposer = seckillService.exportSeckillUrl(id); if (exposer.isExposed()) { logger.info("exposer={}",exposer); long phone = 12343232331L; // 将Md5的生成和使用集合到一起 String md5 = exposer.getMd5(); // 定义两个可允许的异常: 1.重复秒杀 和 2.秒杀已关闭异常 只提出警告而不认为属于测试失败 try { SeckillExecution execution = seckillService.executeSeckill(id, phone, md5); logger.info("result={}", execution); } catch (RepeatKillException e) { logger.error(e.getMessage()); } catch (SeckillCloseException e) { logger.error(e.getMessage()); } } else { // 秒杀未开启 logger.warn("exposer={}",exposer); } } Web层开发
前端交互设计流程
交互设计
Restful - Swagger?SpringMVC配置设计与实现 Bootstrap + jQuery产品 -> 前端 -> 后端(存储 + 展示)
前端页面流程:
列表页 -> 详情页 -> login -> 展示逻辑 -> -> 登录操作 ->写入cookie ->展示逻辑- 详情页流程逻辑 1.获取标准系统时间(服务器端) 进行时间判断 开始之前：倒计时 不可以得到秒杀地址 秒杀中：直接得到秒杀地址 有一个秒杀按钮 - 执行秒杀 - 后端交互 结束之后：秒杀结束
Restful接口设计:
兴起于Rails,一种优雅的URI表述方式，表示一种资源的状态和状态转移几个示例:
GET /seckill/list WRONG: POST /seckill/execute/{seckillId} RIGHT: POST /seckill/{seckillId}/execution seckill:资源的模块 Id:表示具体的秒杀资源 execution: 执行器 执行秒杀操作 用名词 POST表示状态的转移 WRONG: GET /seckill/delete/{id}
DELETE /seckill/{id}/delete Restful 规范:
GET: 查询 POST: 添加和修改 非幂等 PUT: 修改操作 幂等 DELETE: 删除操作URL设计
/模块/资源/{标识符}/集合{id}//user/{uid}/friends 好友列表/user/{uid}/followers 粉丝列表 秒杀API设计
GET /seckill/list 秒杀列表GET /seckill/{id}/detail 详情页GET /seckill/time/now 系统时间POST /seckill/{id}/exposer 暴露秒杀POST /seckill/{id}/{md5}/execution 执行秒杀 基于系统业务进行设计 可以工程师部门进行交互直接通过URL体现 接口使用者 外部系统 用户
Spring MVC理论
围绕Handler进行开发
Handler的产出包括:- Model
- View
SpringMVC运行流程:
1.用户发送请求 -> DispatcherServlet 拦截所有请求- DispatcherServlet 使用DefaultAnnotationHandlerMapping进行URL的映射 URL -> Handler
- DefaultAnnotationHandlerAdapter 用来做Handler适配 -> 匹配我们自己根据业务逻辑开发的代码 SeckillController
- SeckillController 产出: ModelAndView 例如
/seckill/list会产生一个秒杀产品的list页面 并交给DispatcherServlet - DispatcherServlet 通过InternalResourceViewResolver判断这个list页面和哪个Model匹配，并将该Model和list.jsp文件进行结合
- 将list.jsp返回给用户
HTTP请求地址映射原理
HTTP 请求先发送到 Servlet容器之中(如Tomcat, Jetty) SpringMVC有一个Mapping 用注解做映射 Annotation Handler Mapping -> 对应到一个Handler 方法之中
注解映射技巧
@RequestMapping注解:
1.支持标准的URL 2.Ant风格URL ?一个 *任意个 **任意URL路径 3.带{xxx}占位符的URL 例如:/user/*/creation 匹配 user/aaa/creation /user/bbb/creation 等/user/{userId} 匹配 user/123 user/abc等/company/{companyId}/user/{userId}/detail 匹配 /company/123/user/456/detail等 请求方法的细节处理
- 请求参数绑定
- 请求方式限制
- 请求转发和重定向
- 数据模型赋值
- 如何返回JSON数据
- cookie的访问
@RequestMapping(value="/{seckillId}/detail", method = RequestMethod.GET)//@PathVariable 来完成URL参数的绑定 method = ... 来实现方法的绑定public String detail(@PathVariable("seckillId") Long seckillId, Model model) { if (seckillId == null) {//redirect 和 forward 关键词表示冲顶县还是转发 return "redirect:/seckill/list"; } Seckill seckill = seckillService.getById(seckillId); if (seckill == null) { return "forward:/seckill/list"; } //model关键字调用 model.addAttribute("seckill", seckill); //model//默认配置将"detail"字符串转换为一个 jsp文件 return "detail"; //view //如何返回JSON类型文件@RequestMapping(value = "/{seckillId}/{md5}/execution", method = RequestMethod.POST, produces = { "application/json;charset=UTF-8"}) //告诉浏览器这个application json类型@ResponseBody// Response Body就是返回JSON数据public SeckillResult exportSeckillURL(@PathVariable("id") long id) { SeckillResult result; // 将数据封装为json 类型 try { Exposer exposer = ... } catch (Exception e) { logger.error(e.getMessage(), e); result = new SeckillResult (false, e.getMessage()); } return result;} // Cookie访问@RequestMapping(value = "/{seckillId}/{md5}/execution", method = RequestMethod.POST)public SeckillResult execute(@PathVariable("seckillId") long seckillId, @PathVariable("md5") String md5, @CookieValue(value = "killPhone", required = false) Long phone){ if (phone == null) { return new SeckillResult (false, "未注册电话"); } SeckillExecution execution = seckillService.executeSeckillByProcedure(seckillId, phone, md5); SeckillResult result = new SeckillResult (true, execution); return result;} Tomcat 服务器部署配置
https://www.jianshu.com/p/07f1f99f73ad先下载tomcat ， 再将tomcat加入到intellij编译器之中
war模式—-将WEB工程以包的形式上传到服务器 war exploded模式—-将WEB工程以当前文件夹的位置关系上传到服务器静态包含 与 动态包含:
静态包含: 包含的jsp文件的内容会与主文件合并 动态包含: jsp会独立servlet, 把servlet的运行结果与主文件运行结果合并高并发优化
高并发发生在哪里？
发生在详情页: 最感兴趣的商品
详情页 系统时间 地址暴露接口 执行秒杀操作 为什么要单独获取系统时间? 详情页 -> 用户大量刷新这个页面 -> 详情页部署在CDN节点上 detail页静态化，静态资源 css, js ， 访问detail页面 和 css, js资源是不需要访问秒杀系统，所以需要一个单独拿到Content Distribution Network 可以是静态资源 也可以是动态资源 加速用户获取数据的系统
一般部署在离用户最近的网络节点上, 命中了CDN是不需要访问到后端服务器 互联网公司会自己搭建或租用获取系统时间不需要优化: Java访问内存10ns, 1s = 10亿纳秒 = 每秒可以做1亿次
秒杀地址接口是在变化就不能够再CDN缓存，适合服务器缓存 redis( 10万/qps, 集群化之后可以做百万qps)
请求地址 -> redis -> Mysql 一致性维护: 超时穿透/ 主动更新秒杀操作优化分析: 大部分的写操作 和 所有核心操作没有办法进行缓存
后端缓存困难: 库存问题 不可能在缓存之中进行减库存操作 1行数据竞争, 热点商品里面的竞争, MySQL大量减库存竞争 其它的方案分析: 执行秒杀 -> 原子计数器 用redis/NoSQL来实现 减库存 就是在原子计数器上减 记录行为信息(谁减了库存) -> 分布式MQ 单个MQ可以支持几十万qps 后端服务消费消息并落地 -> MySQL 当中成本太高:
运维成本和稳定性: 支持分布式组件 开发成本: 幂等性很难保证: 重复秒杀问题 当减库存时，不知道该用户是否秒杀过， 一般操作是维护另一个MQ访问方案来 不适合新手的架构: 微信抢红包 淘宝秒杀 运维成本和稳定性: NoSQL 和 MQ为什么不认为MySQL解决？ 认为MySQL真的低效么？ update 压力测试 1s 4000次
Java控制事务行为分析update table set num = num - 1 WHERE id = 10 and num > 0 insert一个购买明细UPDATE table set num = num - 1 WHERE id = 10 and num > 0 等待行级锁 获得锁Lock 等待行级锁 变为一个串行化的操作 可能存在Java客户端等待 Java和数据库通信之中存在网络延迟 所有SQL+网络+GC 可能是2ms, 1s之内500次
每个线程完成的操作:
update减库存 网络延迟问题 + GC insert 购买明细: 网络延迟 + GC commit/rollback优化分析: 行级锁在commit之后释放
延迟问题很关键Java
优化总结:
- 前端控制: 暴露接口，按钮防重复
- 动静态数据分离: CDN缓存，
- 事务竞争优化: 减少事务锁时间 通过Java客户端会有 start transaction update insert commit rollback都有网络延迟优化
redis后端缓存优化编码 详情页CDN 系统时间 不要优化, 倒计时: 浏览器端 地址暴露接口 执行秒杀操作
Seckill seckill = seckillDao.queryById(seckillId)
get from cache
if null get db else put cache logic code序列化：
Java序列化对比 protostuff 创建序列化速度很高 字节数更少，采用自定义序列化方式(开源社区方案)
portostuff-core protostuff-runtimepublic Seckill getSeckill(long seckillId) { try { Jedis jedis = jedisPool.getResource(); try { String key = "seckill:" + seckillId; byte[] bytes = jedis.get(key.getBytes()); if (bytes != null) { Seckill seckill = schema.newMessage(); ProtostuffIOUtil.mergeFrom(bytes, seckill, schema); return seckill; } } finally { jedis.close(); } } catch