由于cmd引发的血案

前言

给教务处做一个工作量审核的web项目，前几天完成后部署在机房电脑上进行测试，但是测试的时候出现了Bug，会存在一个用户登录的时候，整个应用卡死，所有人都无法登陆，因为登陆模块是我写的，我当时就慌了（并不），然后赶紧去机房看看到底是啥情况

FixBug

其实我首先想到的就是数据库的问题，但是看了我控制台的输出，发现代码其实根本就还没到数据库层！所以先排除了数据库的问题

然后我就想到了可能是GC的问题，然后我打开了 jvisualvm，准备查看当前的堆占用和GC情况，但是由于现在是正常的，看不出来什么，所以我们需要复现这个Bug，结果我们几个人在哪里搞了半天死活复现不了😂

在经过我们快一个小时坚持不懈的尝试下，终于复现了！

页面hang住，所有人都无法登陆，后台也并没有任何的错误信息，然后我赶紧去看了下 jvisualvm 发现堆并没有任何变化，GC也并没有发生！而且更诡异的是其他的已经登陆的人是可以正常的操作的！只是卡住了登陆的人，所以GC的问题也排除了

排除上面两个原因，剩下的就只有一个原因了，线程死锁！

在dump出线程快照后终于发现了问题所在

图中的这条线程卡在了 PrintStream.println() 上，而这个是我在Service打印的log信息，为什么会在这里卡住？？？这不科学啊，然后我看了其他 tomcat的工作线程，发现还有好几个都是BLOCK 状态，都在等 [0x0000004df8afd000]这把锁，这个锁被另一个tomcat的工作线程 http-bio-80-exec[2] 所持有，而且它并不是BLOCK状态，而是 RUNNABLE 状态，这个线程正在执行 java.io.FileOutputStream.writeBytes() 方法，我们去看看println的源码

/**
 * Prints a String and then terminate the line.  This method behaves as
 * though it invokes {@link #print(String)} and then
 * {@link #println()}.
 *
 * @param x  The String to be printed.
 */
public void println(String x) {
    synchronized (this) {
        print(x);
        newLine();
    }
}

可以看出在println方法确实是加了锁的，锁的对象就是当前的PrintStream实例对象，而占用这个锁的对象的线程则正在执行下面这个方法，是个本地方法我们看不到底层的细节

/**
 * Writes a sub array as a sequence of bytes.
 * @param b the data to be written
 * @param off the start offset in the data
 * @param len the number of bytes that are written
 * @param append {@code true} to first advance the position to the
 *     end of file
 * @exception IOException If an I/O error has occurred.
 */
private native void writeBytes(byte b[], int off, int len, boolean append)
    throws IOException;