Hive查询慢的那点事

5234 / 2025-06-14 15:42:45 2018世界杯球队

当你用jdbc对HiveServer2做一些查询的时候,有时候会遇到一些延时,为了查找原因,我们可以收集jstack dump日志,它可以把Hiveserver2进程的所有线程的callstack打印出来提供你分析,那么如何分析jstack日志呢?

1,一般情况下如果callstack发现有org.apache.thrift.server.TServlet.doPost function,那么就可以认为这是个hive query,行为访问的是http post. 2,查看有没有锁的情况,如果有锁,那么慢的原因就很有可能是它。锁有很多,如下parking to wait for <0x00007fc009bcabf8>就可以认为它是个锁。 3,如下就是一个导致Hive查询慢的线程。

"HiveServer2-HttpHandler-Pool: Thread-17151"

java.lang.Thread.State: WAITING (parking)

at sun.misc.Unsafe.park(Native Method)

parking to wait for <0x00007fc009bcabf8> (a java.util.concurrent.Semaphore$NonfairSync)

at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)

at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:836)

at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(AbstractQueuedSynchronizer.java:997)