Go語言由Google公司開發,并于2009年開源,相比Java/Python/C等語言,Go尤其擅長并發編程,性能堪比C語言,開發效率肩比Python,被譽為“21世紀的C語言”。
創新互聯專注于高陽網站建設服務及定制,我們擁有豐富的企業做網站經驗。 熱誠為您提供高陽營銷型網站建設,高陽網站制作、高陽網頁設計、高陽網站官網定制、小程序定制開發服務,打造高陽網絡公司原創品牌,更為您提供高陽網站排名全網營銷落地服務。
Go語言在云計算、大數據、微服務、高并發領域應用應用非常廣泛。BAT大廠正在把Go作為新項目開發的首選語言。
Go語言能干什么?
1、服務端開發:以前你使用C或者C++做的那些事情,用Go來做很合適,例如日志處理、文件系統、監控系統等;
2、DevOps:運維生態中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go語言開發;
3、網絡編程:大量優秀的Web框架如Echo、Gin、Iris、beego等,而且Go內置的 net/http包十分的優秀;
4、Paas云平臺領域:Kubernetes和Docker Swarm等;
5、分布式存儲領域:etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;
6、區塊鏈領域:區塊鏈里面有兩個明星項目以太坊和fabric都使用Go語言;
7、容器虛擬化:大名鼎鼎的Docker就是使用Go語言實現的;
8、爬蟲及大數據:Go語言天生支持并發,所以十分適合編寫分布式爬蟲及大數據處理。
查看表結構的:desc (表名);創建表的create語句就是在plsql上按住Ctrl鍵點擊該表名然后在點擊這個頁面右下角的“查看sql“按鈕就可以看到了 ;不使用工具的話,先把表導出來然后在導進去,導進去的時候使用show=y、log這兩個選項,就可以查看了!
這個似乎不是那么容易解答的,首先你要把數據從mongodb查出來,你要確保已經安裝了go語言的mongodb驅動。然后對查出來的數據進行解析,查出來的數據是類似json的數據,這個解析代碼需要相關的庫或者你自己寫的。然后再把數據相應的插入mysql里,這里你也要安裝go語言的mysql驅動和odbc
有很多教程是關于Go的sql.DB類型和如何使用它來執行SQL數據庫查詢的。但大多數內容都沒有講述 SetMaxOpenConns() , SetMaxIdleConns() 和 SetConnMaxLifetime()方法, 您可以使用它們來配置sql.DB的行為并改變其性能。
轉自:
整理:go語言中文文檔:
在本文我將詳細解釋這些設置的作用,并說明它們所能產生的(積極和消極)影響。
一個sql.DB對象就是一個數據庫連接池,它包含“正在用”和“空閑的”連接。一個正在用的連接指的是,你正用它來執行數據庫任務,例如執行SQL語句或行查詢。當任務完成連接就是空閑的。
當您創建sql.DB執行數據庫任務時,它將首先檢查連接池中是否有可用的空閑連接。如果有可用的連接,那么Go將重用現有連接,并在執行任務期間將其標記為正在使用。如果池中沒有空閑連接,而您需要一個空閑連接,那么Go將創建一個新的連接。
默認情況下,在同一時間打開連接的數量是沒有限制(包含使用中+空閑)。但你可以通過SetMaxOpenConns()方法實現自定義限制,如下所示:
在這個示例代碼中,連接池現在有5個并發打開的連接數。如果所有5個連接都已經被標記為正在使用,并且需要另一個新的連接,那么應用程序將被迫等待,直到5個連接中的一個被釋放并變為空閑。
為了說明更改MaxOpenConns的影響,我運行了一個基準測試,將最大打開連接數設置為1、2、5、10和無限。基準測試在PostgreSQL數據庫上執行并行的INSERT語句,您可以在這里找到代碼。測試結果:
對于這個基準測試,我們可以看到,允許打開的連接越多,在數據庫上執行INSERT操作所花費的時間就越少(打開的連接數為1時,執行速度3129633ns/op,而無限連接:531030ns/op——大約快了6倍)。這是因為允許打開的連接越多,可以并發執行的數據庫查詢就越多。
默認情況下,sql.DB允許連接池中最多保留2個空閑連接。你可以通過SetMaxIdleConns()方法改變它,如下所示:
從理論上講,允許池中有更多的空閑連接將提高性能,因為這樣就不太可能從頭開始建立新連接——因此有助于提升數據庫性能。
讓我們來看看相同的基準測試,最大空閑連接設置為none, 1,2,5和10:
當MaxIdleConns設置為none時,必須為每個INSERT從頭創建一個新的連接,我們可以從基準測試中看到,平均運行時和內存使用量相對較高。
只允許保留和重用一個空閑連接對基準測試影響特別明顯——它將平均運行時間減少了大約8倍,內存使用量減少了大約20倍。繼續增加空閑連接池的大小會使性能變得更好,盡管改進并不明顯。
那么,您應該維護一個大的空閑連接池嗎?答案取決于應用程序。重要的是要意識到保持空閑連接是有代價的—它占用了可以用于應用程序和數據庫的內存。
還有一種可能是,如果一個連接空閑時間太長,那么它可能會變得不可用。例如,MySQL的wait_timeout設置將自動關閉任何8小時(默認)內未使用的連接。
當發生這種情況時,sql.DB會優雅地處理它。壞連接將自動重試兩次,然后放棄,此時Go將該連接從連接池中刪除,并創建一個新的連接。因此,將MaxIdleConns設置得太大可能會導致連接變得不可用,與空閑連接池更小(使用更頻繁的連接更少)相比,會占有更多的資源。所以,如果你很可能很快就會再次使用,你只需保持一個空閑的連接。
最后要指出的是,MaxIdleConns應該總是小于或等于MaxOpenConns。Go強制執行此操作,并在必要時自動減少MaxIdleConns。
現在讓我們看看SetConnMaxLifetime()方法,它設置連接可重用的最大時間長度。如果您的SQL數據庫也實現了最大連接生命周期,或者—例如—您希望方便地在負載均衡器后交換數據庫,那么這將非常有用。
你可以這樣使用它:
在這個例子中,所有的連接都將在創建后1小時“過期”,并且在過期后無法重用。但注意:
從理論上講,ConnMaxLifetime越短,連接過期的頻率就越高——因此,需要從頭創建連接的頻率就越高。為了說明這一點,我運行了將ConnMaxLifetime設置為100ms、200ms、500ms、1000ms和無限(永遠重用)的基準測試,默認設置為無限打開連接和2個空閑連接。這些時間段顯然比您在大多數應用程序中使用的時間要短得多,但它們有助于很好地說明行為。
在這些特定的基準測試中,我們可以看到,與無限生存期相比,在100ms生存期時內存使用量增加了3倍以上,而且每個INSERT的平均運行時也稍微長一些。
如果您在代碼中設置了ConnMaxLifetime,那么一定要記住連接將過期(隨后重新創建)的頻率。例如,如果您總共有100個連接,而ConnMaxLifetime為1分鐘,那么您的應用程序可能每秒鐘殺死和重新創建1.67個連接(平均值)。您不希望這個頻率太大,最終會阻礙性能,而不是提高性能。
最后,如果不說明超過數據庫連接數量的硬限制將會發生什么,那么本文就不完整了。 為了說明這一點,我將修改postgresql.conf文件,這樣總共只允許5個連接(默認是100個)…
然后在無限連接的情況下重新運行基準測試……
一旦達到5個連接的硬限制,數據庫驅動程序(pq)立即返回一個太多客戶端連接的錯誤消息,而無法完成INSERT。為了防止這個錯誤,我們需要將sql.DB中打開連接的最大總數(正在使用的+空閑的)設置為低于5。像這樣:
現在,sql.DB在任何時候最多只能創建3個連接,基準測試運行時應該不會出現任何錯誤。但是這樣做需要注意:當達到開放連接數限制,并且所有連接都在使用時,應用程序需要執行的任何新的數據庫任務都將被迫等待,直到連接標記為空閑。例如,在web應用程序的上下文中,用戶的HTTP請求看起來會“掛起”,甚至在等待數據庫任務運行時可能會超時。
為了減輕這種情況,你應該始終在一個上下文中傳遞。在調用數據庫時,啟用上下文的方法(如ExecContext()),使用固定的、快速的超時上下文對象。
總結
1、根據經驗,應該顯式設置MaxOpenConns值。這應該小于數據庫和基礎設施對連接數量的硬性限制。
2、一般來說,更高的MaxOpenConns和MaxIdleConns值將帶來更好的性能。但你應該注意到效果是遞減的,連接池空閑連接太多(連接沒有被重用,最終會變壞)實際上會導致性能下降。
3、為了降低上面第2點帶來的風險,您可能需要設置一個相對較短的ConnMaxLifetime。但你也不希望它太短,導致連接被殺死或不必要地頻繁重建。
4、MaxIdleConns應該總是小于或等于MaxOpenConns。
對于中小型web應用程序,我通常使用以下設置作為起點,然后根據實際吞吐量水平的負載測試結果進行優化。
本教程介紹了使用 Godatabase/sql及其標準庫中的包訪問關系數據庫的基礎知識。
您將使用的database/sql包包括用于連接數據庫、執行事務、取消正在進行的操作等的類型和函數。
在本教程中,您將創建一個數據庫,然后編寫代碼來訪問該數據庫。您的示例項目將是有關老式爵士樂唱片的數據存儲庫。
首先,為您要編寫的代碼創建一個文件夾。
1、打開命令提示符并切換到您的主目錄。
在 Linux 或 Mac 上:
在 Windows 上:
2、在命令提示符下,為您的代碼創建一個名為 data-access 的目錄。
3、創建一個模塊,您可以在其中管理將在本教程中添加的依賴項。
運行go mod init命令,為其提供新代碼的模塊路徑。
此命令創建一個 go.mod 文件,您添加的依賴項將在其中列出以供跟蹤。
注意: 在實際開發中,您會指定一個更符合您自己需求的模塊路徑。有關更多信息,請參閱一下文章。
GO語言(二十五):管理依賴項(上)
GO語言(二十六):管理依賴項(中)
GO語言(二十七):管理依賴項(下)
接下來,您將創建一個數據庫。
在此步驟中,您將創建要使用的數據庫。您將使用 DBMS 本身的 CLI 創建數據庫和表,以及添加數據。
您將創建一個數據庫,其中包含有關黑膠唱片上的老式爵士樂錄音的數據。
這里的代碼使用MySQL CLI,但大多數 DBMS 都有自己的 CLI,具有類似的功能。
1、打開一個新的命令提示符。
在命令行,登錄到您的 DBMS,如下面的 MySQL 示例所示。
2、在mysql命令提示符下,創建一個數據庫。
3、切到您剛剛創建的數據庫,以便您可以添加表。
4、在文本編輯器的 data-access 文件夾中,創建一個名為 create-tables.sql 的文件來保存用于添加表的 SQL 腳本。
將以下 SQL 代碼粘貼到文件中,然后保存文件。
在此 SQL 代碼中:
(1)刪除名為album表。 首先執行此命令可以讓您更輕松地稍后重新運行腳本。
(2)創建一個album包含四列的表:title、artist和price。每行的id值由 DBMS 自動創建。
(3)添加帶有值的四行。
5、在mysql命令提示符下,運行您剛剛創建的腳本。
您將使用以下形式的source命令:
6、在 DBMS 命令提示符處,使用SELECT語句來驗證您是否已成功創建包含數據的表。
接下來,您將編寫一些 Go 代碼進行連接,以便進行查詢。
現在你已經有了一個包含一些數據的數據庫,開始你的 Go 代碼。
找到并導入一個數據庫驅動程序,該驅動程序會將您通過database/sql包中的函數發出的請求轉換為數據庫可以理解的請求。
1、在您的瀏覽器中,訪問SQLDrivers wiki 頁面以識別您可以使用的驅動程序。
2、使用頁面上的列表來識別您將使用的驅動程序。為了在本教程中訪問 MySQL,您將使用 Go-MySQL-Driver。
3、請注意驅動程序的包名稱 - 此處為github.com/go-sql-driver/mysql.
4、使用您的文本編輯器,創建一個用于編寫 Go 代碼的文件,并將該文件作為 main.go 保存在您之前創建的數據訪問目錄中。
5、進入main.go,粘貼以下代碼導入驅動包。
在此代碼中:
(1)將您的代碼添加到main包中,以便您可以獨立執行它。
(2)導入 MySQL 驅動程序github.com/go-sql-driver/mysql。
導入驅動程序后,您將開始編寫代碼以訪問數據庫。
現在編寫一些 Go 代碼,讓您使用數據庫句柄訪問數據庫。
您將使用指向結構的指針sql.DB,它表示對特定數據庫的訪問。
編寫代碼
1、進入 main.go,在import您剛剛添加的代碼下方,粘貼以下 Go 代碼以創建數據庫句柄。
在此代碼中:
(3)使用 MySQL 驅動程序Config和FormatDSN類型以收集連接屬性并將它們格式化為連接字符串的 DSN。
該Config結構使代碼比連接字符串更容易閱讀。
(4)調用sql.Open 初始化db變量,傳遞 FormatDSN。
(5)檢查來自 的錯誤sql.Open。例如,如果您的數據庫連接細節格式不正確,它可能會失敗。
為了簡化代碼,您調用log.Fatal結束執行并將錯誤打印到控制臺。在生產代碼中,您會希望以更優雅的方式處理錯誤。
(6)調用DB.Ping以確認連接到數據庫有效。在運行時, sql.Open可能不會立即連接,具體取決于驅動程序。您在Ping此處使用以確認 database/sql包可以在需要時連接。
(7)檢查來自Ping的錯誤,以防連接失敗。
(8)Ping如果連接成功,則打印一條消息。
文件的頂部現在應該如下所示:
3、保存 main.go。
1、開始跟蹤 MySQL 驅動程序模塊作為依賴項。
使用go get 添加 github.com/go-sql-driver/mysql 模塊作為您自己模塊的依賴項。使用點參數表示“獲取當前目錄中代碼的依賴項”。
2、在命令提示符下,設置Go 程序使用的DBUSER和DBPASS環境變量。
在 Linux 或 Mac 上:
在 Windows 上:
3、在包含 main.go 的目錄中的命令行中,通過鍵入go run來運行代碼。
連接成功了!
接下來,您將查詢一些數據。
package main
import (
"fmt"
"gopkg.in/mgo.v2"
"gopkg.in/mgo.v2/bson"
)
type DB struct {
Session *mgo.Session
Collection *mgo.Collection
}
type Digapp struct {
App_id string
Fetch_url string
From string //
Fetch_state bool
Fetch_priority int32 //
Create_time int64 //
Invalid bool // + app is access now ?
}
func main() {
db := new(DB)
if err := db.DBInit(); err != nil {
fmt.Println("初始化數據庫失敗!錯誤為:" + err.Error())
return
}
defer db.Close()
var digapp Digapp
//{"fetch_priority": 5, "
分享名稱:go語言db go語言db2數據庫連接池
網站URL:http://m.kartarina.com/article12/dodsegc.html
成都網站建設公司_創新互聯,為您提供企業網站制作、商城網站、品牌網站制作、虛擬主機、面包屑導航、軟件開發
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯