【工作】 解决设置Accept-Encoding为gzip,deflate后返回数据异常乱码问题
Home
> 应用服务
- 【背景描述】 交付反馈一个客户请求我们的一个业务查询接口，在我们的后台日志观察客户的数据请求都是正常返回的，但是用户反馈，约有50%请求无法正常接收到结果。且对方提供了数据请求时候返回的报文header，如下： 结果返回正常时候的header头信息： 结果返回异常时候的header头信息： 【解决过程】 从两张图片来看，数据返回正常时候并没有“Content-Encoding: gzip“，即当传输的数据采用gzip时候，会造成请求结果异常。 我们前端采用的nginx作为代理转发服务器，检查gzip相关配置参数如下： 可以看到，对于... 阅读全文 →
【分享】Nginx参数研究：tcp_nopush、tcp_nodelay、sendfile、https、keepalive
/ / 应用服务一、nginx之tcp_nopush、tcp_nodelay、sendfile 1、TCP_NODELAY 你怎么可以强制 socket 在它的缓冲区里发送数据？ 一个解决方案是 TCP 堆栈的 TCP_NODELAY选项。这样就可以使缓冲区中的数据立即发送出去。 Nginx的 TCP_NODELAY 选项使得在打开一个新的 socket 时增加了TCP_NODELAY选项。但这时会造成一种情况： 终端应用程序每产生一次操作就会发送一个包，而典型情况下一个包会拥有一个字节的数据以及40个字节长的包头，于是产生4000%的过载，很轻易地就能令网络发生拥塞。为了避免这种情况，TCP堆栈实现了等待数... 阅读全文 →
【工作】Nginx 实现域名的登录验证功能
【背景说明】 研发有个需求，访问公司某个域名下的某个url时候需要认证，只有输入正确的用户密码才允许访问web内容。 【实现思路】 Nginx服务中的"ngx_http_auth_basic_module"模块可以实现此要求，默认情况下编译安装完nginx后，就已经安装启用了ngx_http_auth_basic_module模块，如果不需要这个模块，可以加上 --without-http_auth_basic_module关闭。 ngx_http_auth_basic_module模块指令： 语法: auth_basic string | off; 默认值: auth_basic off; 作用：默认表示不开启认证，后面如果跟上字符，这些字符会... 阅读全文 →
【分享】JVM内存、GC原理、内存溢出总结
/ / 应用服务一、JVM内存介绍： Tomcat本身不能直接在计算机上运行，需要依赖于硬件基础之上的操作系统和一个Java虚拟机。Tomcat的内存溢出本质就是JVM内存溢出，JVM管理两种类型的内存，堆和非堆。按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。 堆是在 Java 虚拟机启动时创建的。”“在JVM中堆之外的内存称为非堆内存(Non-heap memory)”。简单来说堆就是Java代码可及的内存，是留给开发人员使用的； 非堆就是JVM留给自己用的，所以方法区、JVM内部处理或优化所需的内... 阅读全文 →
【分享】Linux下的Squid的配置详解
/ / 应用服务一. 代理服务简介 1. 什么是Squid代理服务器(Proxy Server) Squid是一个缓存internet数据的一个软件，它接收用户的下载申请，并自动处理所下载的数据。也就是说，当一个用户象要下载一个主页时，它向Squid发出一个申请，要Squid替它下载，然后Squid连接所申请网站并请求该主页，接着把该主页传给用户同时保留一个备份，当别的用户申请同样的页面时，Squid把保存的备份立即传给用户，使用户觉得速度相当快。 目前，Squid 可以代理HTTP, FTP, GOPHER, SSL 和 WAIS 协议. 1.1 常用反向代理及缓存软件对比： ... 阅读全文 →
【分享】LVS实现负载均衡原理及安装配置详解
/ / 应用服务【写在前面】 网上转载的一篇介绍LVS的文章，内容包含实现原理和具体实例，图文并茂，非常详尽，值得推荐学习！ 【文章正文】 负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。 一、负载均衡LVS基本介绍 LB集群的架构和原理很简单，就是当用户的请求过来时，会直接分发到Director Server上，然后它把用户的请求根据设置好的调度算法，智能均衡地分发到... 阅读全文 →
【分享】NFS原理和搭建详解
一、NFS介绍 1）什么是NFS 它的主要功能是通过网络让不同的机器系统之间可以彼此共享文件和目录。NFS服务器可以允许NFS客户端将远端NFS服务器端的共享目录挂载到本地的NFS客户端中。在本地的NFS客户端的机器看来，NFS服务器端共享的目录就好像自己的磁盘分区和目录一样。一般客户端挂载到本地目录的名字可以随便，但为方便管理，我们要和服务器端一样比较好。 NFS一般用来存储共享视频，图片等静态数据。 《什么是NFS》 就是通过网络共享目录，让网络上的其他服务器能够挂载访问共享目录内的数据。（一般共享视频... 阅读全文 →
【分享】NGINX访问https跳转到http的解决方法
/ / 应用服务问题： 浏览器打开https://www.ttlsa.com/aaa.html，然后跳转到http://www.ttlsa.com/aaa.html 网站架构：用户--https--->nginx代理---http---->tomcat/nginx+php nginx转发给后端的请求是http协议，后端程序跳转获取到的协议是http，返回一个redirect（http header中带Location:http://www.ttlsa.com/aaa.html），浏览器收到location，跳转到了location指定的地方。 解决方法 解决方法1： 在nginx代理中增加一个header，标志用户请求是http还是https，后端获取header决定跳转到http/https页面。这个方法需... 阅读全文 →
【工作】Linux使用非root用户启动Apache、Nginx等服务的方法
【写在前面】 对于Linux系统而言，普通用户只能使用1024以上的端口启动服务，而1024以内的端口只能由root用户使用，而通常像apache或者Nginx等服务，使用最多的是80和443端口，如果通过其他非root用户启动，就会报错如下： (13)Permission denied: make_sock: could not bind to address [::]:80 (13)Permission denied: make_sock: could not bind to address 0.0.0.0:80 no listening sockets available, shutting down 一般情况下，线上的web服务都会使用root用户来启动，但是有时候为了安全或者是某些特殊... 阅读全文 →
【理论】Nginx的内置变量和作用
/ / 应用服务从网上找到的关于Nginx 内置变量的相关解释，工作中会经常用到，在此记录下。 Nginx的内置变量： $args, 请求中的参数; $is_args, 如果已经设置$args，则该变量的值为“？”，否则为“”。 $content_length, HTTP请求信息头里的"Content-Length"; $content_type, 请求信息头里的"Content-Type"; $document_root, 针对当前请求所属的root指令设置的根目录路径; $document_uri, 与$uri相同; $host, 请求信息中的"Host"，如果请求中没有Host行，则等于设置的服务器名; $limit_rate, 对连接速率的限制; $request_method, ... 阅读全文 →
【理论】Nginx “upstream”模块详解和各负载均衡模式对比测试
负载均衡配置格式： 通常多个应用实例来做负载均衡是优化资源利用、最大化吞吐量、减少延迟、确保容错配置。Nginx可以通过不同的部署方案作为非常有效的HTTP负载均衡器,代理流量到后端服务器组。 首先，你得通过upstream设定后端服务器，这个指令放在http块里,分组里的服务器通过指令server配置,服务器可以写成IP地址与端口、域名、UNIX套接字（socket）等方式，其中如果域名可以被解析为多个地址，则这些地址都作为backend，下面是一个例子： upstream backend { server www.ceshi.com; server 145.223... 阅读全文 →
【工作】指定Tomcat的初始化内存和JDK版本
写在前面： 有时候有些Tomcat程序运行时需要指定的JDK版本和初始化内存大小，而有些系统自带的JDK版本太低，无法满足需求，所以我们需要更改Tomcat的配置文件，指定这些参数。 配置方法： 配置方法很简单，就是在Tomcat的启动脚本中修改和添加相关参数即可，下面是Linux上修改的方法。 # vim /opt/apache-tomcat-7.0.28/bin/catalina.sh 添加如下内容： #指定tomcat使用的jdk版本(先安装好) export JAVA_HOME=/opt/jdk1.7.0_76 #指定初始化内存大小为1G，最大为2G export JAVA_OPTS="-server -Xms1G -Xmx2G -X... 阅读全文 →
【工作】解决Nginx访问日志中报favicon.ico文件404错误
报错现象： 经常会在Nginx虚拟主机的访问日志里有"GET /favicon.ico HTTP/1.1" 404 288 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon)"这样的报错，但是又不影响访问，决定解决这个报错问题。 favicon.ico的作用： 一般用于作为缩略的网站标志，它显示在浏览器的地址栏、浏览器标签上或者在收藏夹上（如下图），是展示网站个性的缩略logo标志，也可以说是网站头像,目前主要的浏览器都支持favicon.ico，一般访问网站时候会自动搜寻网站下的/favicon.ico 文件（如果在网页上没有特别指明... 阅读全文 →
【理论】HTTP状态码大全
/ / 应用服务1xx – 信息提示 从100到199范围的HTTP状态码是信息报告码。基于各种原因考虑，大多数情况下我们 是很少看见这些代码的。首先，如果一个浏览器尝试访问一个网站，而网站返回这些代码时，它们往往都不会显示在屏幕上。它们只是浏览器使引用的内部码。另 外，这些代码不常见的另外一个原因是起初HTTP标准不允许使用这一范围的状态码。就其本身而言，它们也一直没有被广泛地使用。 状态代码 状态信息 含义 100 Continue 初始的请求已经接受，客户应当继续发送请求的其余部分。（HTTP 1.1新） 101 Switching Pro... 阅读全文 →
【工作】Nginx限制IP并发连接数和请求数的研究
写在前面： 公司最近需要对某个虚拟主机进行用户并发链接限制，具体需求是当某个IP超过指定的链接数时，返回服务繁忙的提醒页面。 实现过程： Nginx限制IP连接数使用的是ngx_http_limit_conn_module模块，可以通过这个模块的中“limit_conn_zone”和“limit_conn”两个参数实现。 Nginx限制请求数使用的是ngx_http_limit_req_module模块，可以通过这个模块中“limit_req_zone”和“limit_req”两个参数实现。 ngx_http_limit_conn_module模块研究： limit_conn_zone： 功能：用于定义一个zone，该zome将会被用于存储会话... 阅读全文 →
【理论】Nginx连接数、请求数限制应用详解
/ / 应用服务需求 秒杀、抢购并发限制、队列缓冲 下载带宽限制 防止攻击 nginx连接数限制模块 说明：nginx有很多模块、模块下面又分很多指令，下面就说说limit_conn_zone和limit_conn两指令 1、limit_conn_zone 语法： Syntax: limit_conn_zone key zone=name:size; Default: — Context: http nginx配置分为三个段：http、server、location，大概格式如下： http { server { listen 80; server_name www.tomener.com tomener.com; location / { ro... 阅读全文 →
【工作】实现Nginx每天自动切割日志功能
写在前面： 由于公司网站之前没有做过日志切割，造成Nginx日志文件不断增长达到了几百G，现在要监控访问日志，这么大的日志分析起来非常不方便，所以现在需要每天把Nginx日志文件切割，然后以时间命名备份起来，方法如下： 方法一： 写脚本放到定时任务中，每天零点把旧的日志移动到备份目录中，并对nginx进程发送USR1信号使其重新生成日志并写入数据，然后删除60天之前的备份。 创建备份目录，并编写脚本： # mkdir -p /opt/nginx-1.9.3/logs/logs_bak # vi /opt/nginx-1.9.3/sbin/cut_nginx_log.sh #!/bin/b... 阅读全文 →
【工作】Zabbix 高可用架构的实现
写在前面： 此文是之前公司领导让研究下zabbix的高可用时，在测试环境做的搭建笔记，后来因为一些原因推迟上线了，再后来离职了，毕竟是花费时间研究了，记录下以供参考和指点。 一、架构设计及环境规划： 架构设计图： 架构设计说明： 1. 基础架构为LAMP环境，采用keepalived实现zabbix服务器高可用，保证主server的mysql或者httpd宕掉后能切换到从server 2、数据库做主主同步，保证两边服务器数据的一致性，实现数据库的高可用。 3、采用unison同步软件保证不管修改那台服务器配置，zabbix配置目录及web目录内... 阅读全文 →
【工作】Tomcat参数配置错误导致CPU使用率飙升至好几百
问题描述： 线上环境的das项目的 full gc 频繁， 且导致 cpu 飙至好几百，如下图： 解决办法： 通过jmap命令dump 出文件发送给研发同事分析，经过分析发现：org.apache.coyote.http11.InternalOutputBuffer 81个对象占用 48%内存， 根据经验定位为tomcat参数没配置好，在tomcat的server.xml文件中删除下面参数： maxPostSize="10485760" maxHttpHeaderSize="10485760" 重启tomcat服务后，问题解决。 参数说明： maxPostSize：Tomcat 默认的post参数的最大大小为2M， 当超过时将会出错，可以配置maxPost... 阅读全文 →