故障現象
某銀行廣東分行特色業務系統不間斷發生業務阻塞的故障,故障時數據庫內部每次出現“cursor:pin S wait on X”或者”read by other session”或者其他的等待,通過殺掉前臺進程或者重啟數據庫的方式故障恢復,但問題原因不明,故障不時發生,無法根本解決。
故障分析
中亦科技指派資深二線對故障進行了深入分析,發現雖然每次故障現象不一樣,但根本的原因在于一個關鍵的 IO 沒有返回。進一步分析,發現是由于操作系統進程調度缺陷導致, 雖然 IO 已經返回,但操作系統系統未正確調度該進程獲取 IO,繼而導致了業務阻塞。
解決方案
將操作系統從AIX 5306升級到了AIX 5312,升級操作系統后,問題徹底解決。
客戶收益
通過中亦科技根因分析和故障解決方案,客戶徹底解決了這個看似由數據庫引起,實質由于操作系統版本問題而引發的故障,幫助客戶同時實現了治標和治本。
故障根因的解決,也為客戶保障業務連續性,提升系統可用率,保護數據安全奠定了基礎。