nginx爬虫

2025值得推荐的Web 应用防火墙 -- 雷池WAF

介绍SafeLine，中文名"雷池"，是一款简单好用,效果突出的，可以保护Web服务不受黑客攻击。雷池通过过滤和监控Web应用与互联网之间的HTTP流量来保护Web服务。可以保护Web服务免受SQL注入、XSS、代码注入、命令注入、CRLF注入、ldap注入、xp...

Java程序员限流指南:从算法原理到面试实战

引言：当系统遇上流量暴击面试官："假设你现在负责双十一秒杀系统，突然涌入百万请求，你怎么保护系统不挂？"我："这个简单，先关机保平安！"面试官："......你明天不用来上班了。"开个玩笑！真实场景中我们需要的是限流这个神器。今天我们就用Java代码来深入探讨限流组件的奥秘！一、四大限流算法Java...

searxng:个人搜索引擎体验(可用于deepseek联网搜索)

在数字化的今天，搜索工具是我们的日常伴侣。然而，传统的搜索引擎往往伴随着隐私问题和广告干扰。searxng，作为searx的现代化版本，为我们提供了一个去中心化、高度可定制的搜索解决方案。本文将详细指导你如何安装、配置searxng，并解锁其高级功能，助你在网络中进行高效、隐私友好的搜索。一、什么是...

Python爬虫进阶教程(二):线程、协程

简介线程线程也叫轻量级进程，它是一个基本的CPU执行单元，也是程序执行过程中的最小单元，由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销，提高了操作系统的并发性能。线程没有自己的系统资源，只拥有在运行时必不可少的资源。但线程可以与同属与同一进程的其他线程共享进...

如何看自己网站有没有被爬虫爬过（怎么查看网站是不是有病毒）

周末搞了一个自己的网站，主要放一些自己平时的技术文章，还有生活感悟。但是写了几篇文章之后，发现百度搜索并搜不到自己文章的内容。直接用我文章的标题搜都搜不到，就很奇怪，而且我的域名也是比较好的.cn域名，仅次于.com,网站也是https协议的。有没有被爬过网站搜不到，第一反应就是想是不是百度的爬虫没...

爬虫是如何实现的（爬虫有几种方法）

爬虫的基本原理和基本库使用爬虫简单来说就是获取网页并提取和保存信息的自动化程序。获取网页获取网页的源代码：向网站的服务器发送一个请求，返回的响应体便是网页源代码。提取信息分析网页源代码，从中提取我们想要的数据。最通用的方式便是采用正则表达式提取保存数据将提取到的数据保存到某处以便以后使用自动化程序利...