| 以文本方式查看主題 - 曙海教育集團論壇 (http://www.022-oo.cn/bbs/index.asp) -- SQL Server數(shù)據(jù)庫 (http://www.022-oo.cn/bbs/list.asp?boardid=67) ---- 國際化使用UTF-8造成數(shù)據(jù)庫MSSQL Server 2000/2005存儲亂碼的分析 (http://www.022-oo.cn/bbs/dispbbs.asp?boardid=67&id=2528) |
| -- 作者：wangxinxin -- 發(fā)布時間：2010-12-13 13:34:58 -- 國際化使用UTF-8造成數(shù)據(jù)庫MSSQL Server 2000/2005存儲亂碼的分析 看了許多網(wǎng)上使用MSSQL Server 2000/2005使用UTF-8造成數(shù)據(jù)庫存儲亂碼的描述，也說一下自己做的一個國際化項目的經(jīng)驗。
這個項目描述： 架構(gòu)：VC++的ATL Server進行開發(fā)； 頁面：web頁面是UTF-8編碼，CodePage=65001； 應(yīng)用服務(wù)器程序：編譯好的dll是Unicode編碼; 操作系統(tǒng):中文Windows 2003 Server; 數(shù)據(jù)庫聯(lián)接方式：OLEDB 數(shù)據(jù)庫：中文MSSQL Sever2005，顯示Codepage=936, 字段都是支持Unicode的nchar,nvarcha,nText; SELECT COLLATIONPROPERTY(\'Chinese_PRC_Stroke_CI_AI\', \'CodePage\') 936 ________________________________________________ 發(fā)現(xiàn)從Web頁面提交的數(shù)據(jù)到數(shù)據(jù)后查詢總是亂碼，經(jīng)過檢查，發(fā)現(xiàn)保存的數(shù)據(jù)直接就是是UTF-8編碼，其CodePage=65001，而數(shù)據(jù)默認顯示支持的Unicode語言版本Codepage=936（即是簡體中文），所以數(shù)據(jù)查詢的就是亂碼，想過兩種方案： 1，懷疑是數(shù)據(jù)時UTF-8編碼，而SQLServer是UCS-2 版本，相通過UTF-8-〉UCS-2轉(zhuǎn)換，發(fā)現(xiàn)還是行不通，仍然亂碼，此路不通； 2， 搜索了網(wǎng)絡(luò)發(fā)現(xiàn)并沒有現(xiàn)成的例子，經(jīng)過測試中文系統(tǒng)使用Web頁面為GB2312編碼提交的數(shù)據(jù)到數(shù)據(jù)很正常，基于Windows2003是支持 Unicode（UCS-2），排除操作系統(tǒng)的問題，這個過程經(jīng)過分析可以這么理解：936（Web頁面編碼GB2312）-〉Unicode（應(yīng)用服務(wù) 器端）-〉Unicode（數(shù)據(jù)庫OLEDB傳輸）-〉UCS-2（數(shù)據(jù)庫）-〉自動轉(zhuǎn)化為936（Unicode簡體中文語言版本），而使用UTF-8 的Web頁面這個過程就是：65001（Web頁面編碼UTF-8）-〉Unicode（應(yīng)用服務(wù)器端）-〉Unicode（數(shù)據(jù)庫OLEDB傳輸）-〉 UCS-2（數(shù)據(jù)庫）-〉自動轉(zhuǎn)化為936（Unicode簡體中文語言版本），所以最后的使用數(shù)據(jù)分析查詢器看到的就是亂碼，最后確定的方案就是兩種手 段：一是更改數(shù)據(jù)查詢分析器的Codepage為65001，很顯然當前的SQLServer沒有這個功能（沒找到？知道的告訴我）；二是將前端的UTF -8轉(zhuǎn)為GB2312編碼，很顯然這個最后成功了，這個過程程序還是保留了所有的多語言的特性，一位UTF-8-〉GB2312，這個過程是無損的（新的 驗證會出現(xiàn)部分方塊無法顯示），因為是UTF-8->Unicode->GB2312. 總結(jié)： 1，MSSQL Server不支持UTF-8（Codepage=65001）直接顯示，數(shù)據(jù)庫查詢的顯示數(shù)據(jù)使用默認的Codepage，如簡體中文版就是936，繁 體中文是950，韓文949等，因此從使用的Web頁面UTF-8提交的數(shù)據(jù)自動轉(zhuǎn)換為所用的Codepage顯示，因此就是亂碼，這個有待MS SQL Server進一步發(fā)展，因為現(xiàn)在Oracle和MySQL是可以支持直接UTF-8存儲顯示，國際化時請先將數(shù)據(jù)由UTF-8編碼轉(zhuǎn)化為MSSQL數(shù)據(jù) 庫默認的編碼，讀寫出來這個過程著相反進行轉(zhuǎn)化，這個過程看起來會因為轉(zhuǎn)化過程影響處理速度（抉擇于國際化）； 2，ASP/ASPX/JSP/PHP使用MSSQL Server編程支持UTF-8都會面臨這樣的問題，可以看看MSDN有關(guān)這個方面的解釋 補充：根據(jù)測試和MSDN分析，將UTF-8轉(zhuǎn)化為GB2312并不是很好的方案，這樣會使包含韓文、阿拉伯文等等，這些都會變成問號，所以整個過程并不是很繁瑣，簡化一下： 寫數(shù)據(jù)庫：瀏覽器表單提交數(shù)據(jù)（UTF-8）（ANSI編碼）-〉應(yīng)用服務(wù)器端程序（進行UTF-8-〉Unicode）-〉MS SQL Server（自動轉(zhuǎn)化為字符集936編碼顯示內(nèi)容，但數(shù)據(jù)肯定是Unicode方式存儲的）；
讀數(shù)據(jù)庫：MS SQL Server（936 - Unicode）-〉應(yīng)用服務(wù)器端程序（進行Unicode-〉UTF-8）-〉瀏覽器顯示
注意：其他條件設(shè)置不變
兩個使用的函數(shù)：
1，UTF8轉(zhuǎn)化為Unicode，inline為了編譯后更快運行，老用到了，返回字符串為了使用鏈式表達式
inline WCHAR *UTF8ToUnicode(const char *str) throw()
{ int i = MultiByteToWideChar(CP_UTF8,MB_ERR_INVALID_CHARS,str,-1,NULL,0); WCHAR *strUnicode=new WCHAR[i]; MultiByteToWideChar(CP_UTF8,MB_ERR_INVALID_CHARS,str,-1,strUnicode,i); return strUnicode; delete []strUnicode; } 一定要返回WCHAR 或wchar_t類型，否則有些字符就會變成“？”，Unicode（UCS-2）是2個字節(jié)寬
2，Unicode轉(zhuǎn)化為UTF8，inline同上意義
inline char *UnicodeToUTF8(const WCHAR* pText) throw()
{ int i= WideCharToMultiByte(CP_UTF8 |