目录
- 1、本地文件
- 2、远程文件
- 补:golang 分片上传md5校验不一致问题
- 错误计算md5值
- 错误原因
- 解决方案
最近项目中有个需求,就是地图文件下发后,接收方需要文件的md5值,和接收到的文件做比对,以免文件不完整,引起bug,于是测试了下本地文件和远程文件的md5计算。
1、本地文件
要获取指定本地文件的MD5值,你可以使用crypto/md5包来计算文件的MD5散列值。以下是一个示例代码,演示了如何打开一个文件并计算其MD5值:
package main import ( "crypto/md5" "encoding/hex" "fmt" "io" "net/http" "os" ) func main() { Md5ByLocalFile() } func Md5ByLocalFile() { // // 指定文件路径 filePath := "d:/code/000fa28f-c114-49fe-9699-8c7f8b2eb2javascript22.png" // filePath := "https://minio.dev.inrobot.cloud/map/000fa28f-c114-49fe-9699-8c7f8b2eb222.png" // 打开文件 file, err := os.Open(filePath) if err != nil { fmt.Println("Failed to open file:", err) return } defer file.Close() // 创建一个md5哈希对象 hasher := md5.New() // 将文件内容读入哈希对象 if _, err := io.Copy(hasher, file); err != nil { fmt.Println("Failed to read file:", err) return } // 计算并获取哈希值 hashBytes := hasher.Sum(nil) // 将哈希值转换为十六进制字符串 hashString := hex.EncodeToString(hashBytes) // 输出MD5哈希值 fmt.Println("MD5 hash of the file:", hashString) }
输出结果如下:
PS D:\gostudy2022\TimeScheduler\md5> go run .\main.go
LocalFile MD5 hash of the file: b4735b024f3552b1277671303149719b
2、远程文件
远程文件其实就是网络中可访问的资源文件,要获取指定网络地址的文件的MD5值,你需要先下载文件的内容到内存或磁盘上,然后再计算其MD5值。这里我展示一个示例,该示例使用net/http包来下载文件,并使用crypto/md5包来计算MD5值。以下是完整的示例代码:
package main import ( "crypto/md5" "encoding/hex" "fmt" "io" "net/http" "os" ) func main() { Md5ByRemoteFile() } func Md5ByRemoteFile() { // 指定文件的URL url := "https://minio.dev.inrobot.cloud/map/000fa28f-c114-49fe-9699-8c7f8b2eb222.png" // 发起HTTP GET请求 resp, err := http.Get(url) if err != nil { fmt.Println("Failed to fetch file:", err) return } defer resp.Body.Close() // 检查响应状态码 if resp.StatusCode != http.StatusOK { fmt.Printf("Failed to http://www.devze.comfetch file: HTTP status jscode %d\n", resp.StatusCode) return } // 创建一个md5哈希对象 hasher := md5.New() // 将文件内容读入哈希对象 if _, err := io.Copy(hasher, resp.Body); err != nil { fmt.Println("Failed to read file:", err) return } // 计算并获取哈希值 hashBytes := hasher.Sum(nil) // 将哈希值转换为十六进制字符串 hashString := hex.EncodeToString(hashBytes) // 输出MD5哈希值 fmt.Println("MD5 hash of the file:", hashString) }
这里远程文件和上例的文件相同,输出结果如下:
PS D:\gostudy2022\TimeScheduler\md5> go run .\main.go
RemoteFile MD5 hash of the file: b4735b024f3552b1277671303149719b
可以看到,本地文件和远程文件的md5值是相同的,从而在项目中,我们可以根据md5值是否相同,判断文件是不是同一个文件,有没有被损坏或篡改。
补:golang 分片上传md5校验不一致问题
错误计算md5值
// 打开合成文件 complateFile, _ := os.Create("./test.zip") defer complateFile.Close() // 循环分片合成 for i := 0; i < 5; i++ { // ... 省略中间步骤 complateFile.Write(fileBuffer) } // 计算分片md5进行比对 m5 := md5.New() _, _ = io.Copy(m5, complateFile) complateFileMd5 := hex.EncodeToString(m5.Sum(nil)) if complateFileMd5 != originalFileMd5{ fmt.Println("md5验证失败") }
错误原因
在Go中,如果你在合并分片文件的过程中直接使用*os.File(即file指针)来计算MD5,这通常会导致计算错误,原因在于文件指针的位置。当你打开一个文件并开始读取时,文件指针默认位于文件的开头。如果你在合并过程中不重置文件指针,每次读取都会从上次停止的地方开始,而不是从头开始,导致计算的MD5不正确。
解决方案
- 计算md5前重置文件指针到文件的开头
complateFile.Seek(0,0)
- 合成文件后重新打开文件进行md5值计算
func(){ complateFile, _ := os.Create("./test.zip") defer complateFile.Close() for i := 0; i < 5; i++ { // ... 省略中间步骤 complateFile.Write(fileBuffer) } }() // 验证文件的完整性 file, _ := os.Open("./test.zip") m5 := md5.New() js_, _ = io.Copy(m5, file) complateFileMd5 := hex.EncodeToString(m5.Sum(nil)) if complateFileMd5 != originalFileMd5{ fmt.Println("md5验证失败") }
到此这篇关于Golang实现Md5校验的示例代码的文章就介绍到这了,更多相关Golang Md5校验内容请搜索编程客栈(www.devze.com)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程js客栈(www.devze.com)!
精彩评论