7折steam

摘要
之前有尝试做buff倒爷,尝试无果后,将思路转移为差价网站分享

想法出处

做buuf倒爷的过程中遇到一个问题,无法将steam金币完全转出,有隐藏额度限制.但是这并不妨碍优惠购买游戏.

爬虫参考文章

https://blog.csdn.net/qq_43739951/article/details/108894670#comments_13370315

• 速度太慢,尝试添加线程数,尝试无果,因为steam商品详情接口查询频率不能超过1.5秒1次.决定放弃查询24小时交易记录,改为用户手动查询,然后提交到服务器
• 重新解析信息
• 有点杂乱决定搬运到java上
• buff:10 - 13秒一次接口,大致连续900页就会被封号
• steam查询商品详情接口1.5秒一次,建议2秒一次
• 每日连续拉取700页后停止拉取,每日一次更新
• steam24小时销售额两种方式更新
  • 用户查询到数据后友client查询并更新(优点:假设在用户量大的时候更新速度快.缺点:第一批用户体验差)
  • 后端更新(1000条数据大致需要1小时,可接受范围内,但还不确定steam429策略)
• 每1分钟连续请求20条steam info.持续30分钟后持续429.

建议鸣谢

• 金志炜: 销售额 -> 销售量
• 邱双: 视频内二维码长留
• fox: 提供规避反爬思路
• no game no life: 提供功能思路,选择游戏,推荐饰品
• @bilibili-22考研山科的多莫: 折扣率应该是 价格/1.15 而非 价格*0.85.我错的理解的steam15%手续费的含义
• 烨董建议文字过短不要滚动

待实现

• ～～销量排序(老板需求)～～
• dota饰品爬取(老板需求)
• 通过ip池形式,规避steam反爬,以提升爬取速度与稳定性

2021-09-16

• 思考了一下ip池的可行性,因为我需要梯子代理来实现爬取steam市场数据
• 将爬取dota数据提上日程

20201-09-15

• 小程序人数因b站视频的曝光,用户增多,虽然存留几乎没什么,但有人打赏提出加入销量筛选,老板的需求当然是尽力满足
  • 添加销量筛选
  • 添加折扣率筛选
  • 添加全量数据筛选
  • 添加近两日数据筛选
  • 修改文案 销售额->销售量
• 将于16日早6点发布

20201-09-02

• 视频制作完毕,找了一些朋友帮忙审核
• 邱双发现了视频二维码最后缺一块
• no game no lie让我找到了未来做视频的方向
• 胜楠、🔒给了我标题的灵感

20201-09-01

• 视频文稿
• 视频录音
• 视频制作进度50%,一直到凌晨4点就很痛苦

2021-09-31

• 测试bug与调整页面
• 思考饰品标题与封面
• 测试请求策略
  • 目前最优解每分钟请求1页buff.连续请求20条steam info.可以坚持30分钟
  • 将代理改为自动切换节点,尝试解决
• 添加计算折扣率模块
• 添加分享功能

2021-09-30

• 完善小程序赞赏
• 提交审核
• 联系测试
• 上线后发现web-view不能使用非业务域名,只能给用户复制url

2021-08-29

• 确定打赏页面样式

2021-08-28

• 心血来潮搞了个通宵
• buff数据对接、steam数据对接、饰品渲染、steam数据渲染、历史信息渲染

2021-08-27

• cad css样式
• 渲染

2021-08-26

• 将python接口转移到java

2021-08-25

• 测试爬虫

2021-08-24

• 找合适的爬虫