怎么处理驱动程序的卸载?

看《Windows WDM 设备驱动程序开发指南》说，如果有任何打开的句柄，就不要让驱动程序被卸载，但是我现在有个问题，

如果不小心拔掉了usb接口，而这时候又有应用程序正在调用该驱动程序，那么驱动程序就一直等着应用程序关闭该句柄，

而应用程序因为没有完成请求，一直在等驱动程序，这样不就死循环了吗？到底怎么样处理驱动程序卸载呢？

我记得如果对这个irp设置了cancel routine，设备卸载的时候会调用，应用程序会得到一个错误代码。