- 曙海教育集團論壇 (http://www.022-oo.cn/bbs/index.asp)
-- 軟件測試 (http://www.022-oo.cn/bbs/list.asp?boardid=70)
---- 查找嵌入式C語言程序/軟件中的缺陷的多種技術討論 (http://www.022-oo.cn/bbs/dispbbs.asp?boardid=70&id=2662)
-- 發布時間：2010-12-15 12:32:28
-- 查找嵌入式C語言程序/軟件中的缺陷的多種技術討論
基于模式的靜態代碼分析、運行時內存監測、單元測試以及數據流分析等軟件驗證技術是查找嵌入式C語言程序/軟件缺陷行之有效的方法。上述技術中的每一種都能查找出某一類特定的錯誤。即便如此，如果用戶僅采用上述技術中的一種或者幾種來進行驗證，這樣的驗證方法很有可能會漏過對程序中的一些缺陷的檢查。解決此類問題的一種安全和有效的策略就是同時使用上述軟件驗證中的所有互補技術。這樣就能建立起一個牢固的框架來幫助用戶檢查出可能會避開某種特定技術的缺陷。與此同時，用戶也自然地建立起一個能檢測出關鍵并且難以查找的功能性錯誤的環境。
本文將詳盡闡述基于模式的靜態代碼分析、運行時內存錯誤檢測、單元測試以及數據流分析等自動化技術共同使用時是如何查找出嵌入式C語言程序/軟件中的缺陷的。本文中將以Parasoft C++test為例來演示上述各項技術。C++teST是一個經廣泛的最佳實踐證明能提升軟件開發團隊開發效率以及軟件質量的自動化集成解決方案。
當讀者在閱讀本文以及任何時候思考查找到的缺陷時，關注文中的截圖是很重要的。自動化檢測例如內存崩潰和死鎖的缺陷，毫無疑問對任何開發團隊都是一項必不可少的任務。盡管如此，最致命的缺陷卻是功能性錯誤，這往往是難以自動發現的。在本文的結論部分我們將簡要地討論一下查找這些缺陷的技術。
情景簡介
為了給出一個具體的示例，我們將就一個我們最近遇到的案例來介紹以及演示我們所推薦的缺陷查找策略：一個運行在ARM 板上的簡單傳感器應用程序。
假設我們已經創建了該應用系統，但是當我們將程序上載到系統目標板上并試圖運行該程序時，我們沒有在LCD屏上看到所預期的輸出。
我們尚不明確系統不能正常工作的原因，因此我們設法對系統進行調試，但是在目標板上進行調試是一件耗時而且煩人的事。因為我們不得不手動分析調試器的結果并試圖人工判斷出問題的真正原因。或者我們使用一些被證實能自動定位出錯誤的工具或技術來幫助我們減輕負擔。
從這一點而言，我們要么期待使用調試器來調試程序能夠帶來好運，要么我們嘗試使用一種自動化的測試策略來查找代碼中所存在的錯誤。如果自動化技術仍然沒有幫助我們查找到錯誤，那么我們不得不回到使用調試器作為最后的辦法。
基于模式的靜態代碼分析
這里，我們假設僅在絕對必要的情況下才使用調試器進行調試，因此我們從運行基于模式的靜態代碼分析開始。它將查找到如下圖所示的問題：
這是違反了 MISRA 的一個規則，此違規說明該處的賦值運算符存在一些可疑情況。的確，編程者此處的本意是使用比較運算符而不是賦值運算符。因此我們將此處檢測到的沖突修改掉，并重新運行程序。
我們發現有了一些改善：一些輸出被顯示在了LCD屏上了。但是，由于一次訪問違規，程序崩潰掉了。因此我們需要再次地做出選擇。我們是應該使用調試器還是繼續使用自動化的錯誤檢測技術。由于經驗告訴我們自動化錯誤檢測技術能非常高效地檢查出我們當前程序所遇到的內存崩潰這類問題，因此我們決定使用運行時內存監測來查找問題。
整個程序的運行時內存監測
為了進行運行時內存監測，我們使用 C++test 來插裝應用程序。這樣的插裝是輕量級的，所以經過插裝后的程序適合在目標板上運行。當我們把程序上載到目標板上并運行經過插裝的程序后，我們將結果下載到PC上，如下的錯誤將被報告出來：
該結果指出在第48行代碼處產生了一次讀取數組越界的錯誤。顯然，msgIndex變量的值肯定超過了數組的范圍。如果我們隨著堆棧追蹤上一級的原因，我們將發現此處的打印信息所指示的值的確超出了數組的范圍（因為在調用printMessage()函數前我們給出了一個錯誤的條件）。我們可以刪除掉這個不必要的條件（value <= 20）以修改這個錯誤。
void handleSensorValue(int value)
{
initialize();
int index = -1;
if (value >= 0 && value <= 10) {
index = VALUE_LOW;
} else if ((value > 10) && (value <= 20)) {
index = VALUE_HIGH;
}
printMessage(index, value);
}
然后我們重新運行程序，將不會再報告任何內存錯誤。當我們把程序上載到目標板上時，它似乎如我們預期那么在工作了。盡管如此，我們仍然有一些擔心。
我們僅查找到我們所執行的代碼路徑中的一個內存寫溢出實例，我們憑什么能夠斷定我們尚未執行到的代碼就不會有內存寫溢出錯誤了呢？如果我們檢查覆蓋率分析，我們就會發現reportSensorFailure()這個函數從未被執行到。我們有必要對這個函數進行測試，但是具體如何進行呢？建立一個調用該函數的單元測試用例就是一個不錯的辦法。
在單元測試中使用運行時內存監測:我們使用C++test的測試用例向導來創建一個測試用例的框架，并向其中添加一些測試代碼。然后運行該測試用例——以檢查上面提到的未經測試的函數，同時打開運行時內存監測功能。使用C++teST，全過程大約只需要數秒鐘。結果標明該函數已經被覆蓋到了，但同時也查找到了新的錯誤：
我們的測試用例查找到了更多的內存相關錯誤。很顯然，當失敗處理函數被調用時，我們的內存初始化存在問題（空指針）。通過更進一步的分析，我們發現在reportSensorValue()函數中存在函數調用順序錯誤。finalize()函數先于printMessage()函數被調用，但是finalize()函數中釋放了printMessage()函數需要使用的內存。
void finalize()
{
if (messages) {
free(messages[0]);
free(messages[1]);
free(messages[2]);
}
free(messages);
}
將函數調用順序進行修改后，我們重新運行程序。
這樣我們就解決了上面報告中的第一個錯誤。現在我們再來分析報告中的第二個錯誤：即打印信息中的AccessViolatiONException。產生這個錯誤的原因是相應的消息列表未經初始化。為了解決該問題，我們在打印該信息前調用一次initialize()函數來對其進行初始化。經修改后的函數如下所示：
void reportSensorFailure()
{
initialize();
printMessage(ERROR, 0);
finalize();
}
當我們再次運行該測試用例時，僅有一個任務被報告出來：未經驗證的單元測試用例（an unvalidated unit test case），這其實并不算一條錯誤。我們只需對輸出進行一下驗證，以將該測試用例轉換為回歸測試。通過創建合適的斷言，C++test會自動為我們完成這些步驟。
接下來我們再次運行整個程序。覆蓋率分析告訴我們幾乎整個程序都已經被覆蓋到了，并且沒有發現任何內存錯誤。
這樣就結束了嗎？其實不然。雖然我們運行了整個程序并為未覆蓋到的函數創建了單元測試用例，但還是有一些路徑是沒有被覆蓋到的。我們仍然可以繼續創建單元測試用例，但是若指望通過這樣的方法來覆蓋程序中的所有路徑將耗費相當長的時間。或者我們使用另外的方法，使用數據流分析來對這些路徑進行模擬。
數據流分析
我們使用C++test的BugDetective來進行數據流分析，BugDetective能模擬系統中的不同路徑并檢查這些路徑中是否存在潛在的問題。進行數據流分析后，我們得到如下結果：
仔細分析報告的結果，我們發現程序中存在一條未被覆蓋到的潛在路徑可能會造成在finalize()函數中出現兩次free的操作。在程序中，reportSensorValue()函數調用了finalize()函數，然后finalize()函數調用了free()。同時，finalize()函數還會被mainLoop()函數調用。我們可以修改finalize()函數以使其更加智能化，從而修復這個問題，修改后的代碼如下：
void finalize()
{
if (messages) {
free(messages[0]);
free(messages[1]);
free(messages[2]);
free(messages);
messages = 0;
}
}
現在我們再次運行數據流分析，得到的結果將只有兩個問題：
這里我們可能使用了-1作為索引來訪問了數組。這是由于整型變量index被設置的初始值為-1，并且存在一條可能通過if語句的路徑在未將該整型變量正確的進行初始化之前便調用了printMessage()函數。運行時分析未檢查到這樣的一條路徑，并且該路徑很有可能在真實世界中永遠不可能被執行到。這就是靜態數據流分析相對于運真實運行時內存監測最主要的不足：數據流分析能檢查出潛在的路徑，這些路徑可能包含在程序實際執行過程中不會執行到或不存在的路徑。盡管如此，為了做到有備無患，我們刪除了上述的不必要的條件（value>=0）以修改這個潛在的錯誤。
void handleSensorValue(int value)
{
initialize();
int index = -1;
if (value <= 10) {
index = VALUE_LOW;
} else {
index = VALUE_HIGH;
}
printMessage(index, value);
}
相同地，我們也對最后一個報告的錯誤進行相應的處理。現在我們再次運行數據流分析，將不會再有錯誤被報告出來。
為了確保程序運行一切正常，我們重新運行整個分析過程。首先，我們開啟運行時內存監測并運行應用程序，一切表現正常。然后我們開啟內存監測并運行單元測試，一個任務被報告出來：
我們的單元測試檢測到reportSensorFailure()函數的行為已經發生了改變。這是由于我們已經對finalize()函數進行了修改——為了糾正之前報告的一個問題所做的修改。此處報告的任務是為了讓我們注意此修改，并提示我們應該對測試用例進行相應的審查，并且確定是否應該對代碼或者測試用例進行相應的修改，以表示這種新的行為實際上是我們所預期的行為。在檢查完代碼之后，我們發現后者（修改）是正確的并且應該更新斷言的正確條件。
/* CPPtest_TEST_CASE_BEGIN test_reportSensorFailure */
/* CPPTEST_TEST_CASE_CONTEXT void reportSensorFailure(void) */
void sensor_tests_test_reportSensorFailure()
{
/* Pre-condition initialization */
/* Initializing global variable messages */
{
messages = 0 ;
}
{
/* Tested function call */
reportSensorFailure();
/* Post-condition check */
CPPTEST_ASSERT(0 == ( messages ));
}
}
/* CPPTEST_TEST_CASE_END test_reportSensorFailure */
作為最終的確認，我們需要獨立地運行整個程序——在IDE中關閉掉運行時內存監測來對程序進行構建。結果顯示一切如我們所預期一樣運行。
總結
作為全文的結尾，讓我們一起對上述各個步驟進行一個鳥瞰式的總結。
首先，我們開發的程序并未如我么所預期那樣運行，我們不得不在兩種解決方法中選擇一種來查找程序中的錯誤：通過運行調試器或者使用自動錯誤檢測技術。
如果我們使用調試器運行代碼來查找錯誤，我們將會看到一些很奇怪的現象：程序中的一些變量總是被賦予了相同的值。基于這種現象我們不得不通過排除法來查找問題的原因——即在應該使用比較運算符的地方我們錯誤地使用了賦值運算符。而靜態代碼分析則能為我們自動地檢查出該邏輯錯誤。運行時內存分析是不可能檢查出這種錯誤的，因為這種錯誤與內存無關。數據流分析也很有可能找不到這類錯誤因為數據流分析僅僅是通過這些路徑而不會驗證這些條件的正確性。
當我們解決了這個問題后，程序可以運行了，但是仍然還有內存相關的問題。內存相關的問題是很難被調試器發現的；當用戶使用調試器調試程序時，用戶并不知道內存的實際大小。但是自動錯誤檢查工具能夠做到這點。因此，為了查找這些內存問題，我們將整個程序進行插裝，并使用運行時內存分析工具來運行程序。這樣我們就能知道到底是那一片內存發生了寫溢出錯誤。
盡管如此，在審查覆蓋率分析結果的時候，我們注意到在目標板上測試的時候，并不是全部代碼都被覆蓋到了。通過自動化的工具得到這樣的覆蓋率信息是簡單的，因為工具會自動地
跟蹤覆蓋率，但是，如果我們是通過調試器，就不得不判斷哪一部分程序經過了驗證。而這通常只能依靠我們人工記錄的方式來實現。
當工具提醒我們一些代碼未被覆蓋到時，我們決定改變單元測試來額外地增加我們測試執行的覆蓋率。這就揭示了程序中另外一些問題。在目標系統的正常測試中，覆蓋所有函數也許是不可能完成的任務，因為其中一些函數可能是硬件的失敗處理函數或僅在某些小概率的特定情況下才會被調用的函數。而對這些函數的測試對于一些注重安全性的程序而言又是至關重要的。試想在飛機上用來處理速度傳感器問題的程序中存在著代碼錯誤：我們會有系統崩潰的危險，而不是導致某個設備為非工作狀態。因此，通過創建單元測試用例來覆蓋這類型的執行路徑往往是對其進行有效測試的唯一方法。
接下來，我們修復了工具檢查到的所有問題，同時通過驗證相應的結果創建了一個回歸測試用例（作為報告的任務之一引導我們完成）。然后我們運行數據流分析來覆蓋在目標系統上即便使用單元測試也未執行到的路徑。在此之前，我們幾乎已經達到了100%的代碼行覆蓋率，但是我們的路徑覆蓋率卻未達到這個水平。BugDetective幫我們發現了這些方面的一些潛在問題。這些問題可能并沒有實際發生或者有可能永遠不會發生。也許在實際運行時，這些問題僅僅會在當其條件滿足的情況下才會出現，并且在現實生活中，這些條件可能永遠不可能滿足。盡管如此，我們不能保證隨著代碼的升級，應用程序不會執行到這些路徑。
安全起見，我們仍然修改了所報告的問題以排除任何可能影響它的實際應用執行的風險。在修改代碼的同時，我們同時也引入了回歸測試，當我們再次運行單元測試時立即被檢測到。在所有的自動化錯誤檢測方法中，回歸測試是唯一能夠幫助我們檢查到代碼是否發生了功能性的改變的方法，并且能驗證出對代碼進行的修改是否引入了功能性的錯誤以及不可預知的副作用。最后，我們修改了回歸測試套件，并重新測試代碼，發現一切運行正常。
正如讀者所見，我們使用的一切測試方法——基于模式的靜態代碼分析、內存分析、單元測試、數據流分析以及回歸測試——并不是相互競爭的關系，恰好相反，它們是一種互補的關系。將上述工具結合使用，它們就是一套具有強大作用的工具集，并為嵌入式C語言程序/軟件提供一個無可比擬的自動化錯誤檢測解決方案。
總而言之，通過自動地查找很多關于內存和其它編碼的缺陷，我們成功地讓程序運行起來了。盡管如此，值得注意的是，最危險的缺陷卻是實際的功能性錯誤：例如程序并未如所指定的要求運行。而不幸的是，這些錯誤往往是非常難以被發現的。
查找這類缺陷的最好的一個方式就是通過同行代碼審查來實現。即另指派至少一人來檢查代碼并且審查代碼與需求內容的一致性，這樣用戶就能對實際程序是否會如預期那樣運行有一個很好的*估。
另外一個十分有用的策略是圍繞代碼創建一個回歸測試套件，這能幫助用戶快捷地驗證代碼與規范的一致性。在本文所描述的示例情景中，單元測試被用來強制執行應用程序級的運行時內存監測所未覆蓋到的代碼：它能覆蓋到當前程序的功能性，在此之后，我們對代碼做了一些修改，它能提醒我們代碼出現的相應的功能性問題。事實上，這種單元測試用例應該被更早地創建起來：理想情況下，當用戶在實現程序的功能時就應該被創建起來。這樣，用戶就能得到更高的覆蓋率并同時構建起一個更強壯的“安全網”來捕捉關鍵的功能性改變。
Parasoft的C++test能幫助用戶完成這兩個任務：從自動化到管理同行代碼審查流程，以及幫助團隊創建，持續地運行并維護一個高效的回歸測試套件。
關于Parasoft C++test
Parasoft C++test是一個經廣泛的最佳實踐證明能提升軟件開發團隊開發效率以及軟件質量的自動化集成解決方案。C++test能進行諸如編碼策略增強、靜態代碼分析、運行時內存監測、自動同行代碼審查以及單元和組件測試，從而為軟件開發團隊提供一種更加實用的方法來確保其C以及C++程序能如所預期那樣工作。C++test可以用于在通用開發IDE下的桌面平臺中，以及在回歸測試時通過命令行以批處理模式的方式運行。同時，C++test還集成了Parasoft的報告系統，該系統能提供具有細分能力的基于Web 的儀表板，這使得開發團隊根據C++test的測試結果和其他的一些關鍵進程指標來更加方便地跟蹤項目的狀態和趨勢。
通過在宿主機上進行大量的測試以及在目標系統中進行的平滑的驗證，C++test能夠幫助軟件開發團隊減少花在嵌入式系統開發中的時間、精力以及成本。隨著代碼在宿主機上的構建，C++test的自動化框架使得開發者能在目標硬件系統尚未準備好的情況下就開始測試以提升代碼質量。這大大地縮短了花在目標系統上測試的時間。早期在宿主機上構建的測試套件可以被重用來在仿真器或真實的目標板上驗證程序的功能性。