Hình học thông tin (information geometry)

Lý thuyết xác suất/thống kê cũng có thể coi là lý thuyết về thông tin (độ tin cậy, khoảng tin cậy … của các thông tin biểu diễn dưới dạng số). Một điều thú vị là, từ thập kỷ 1980, hình học vi phân được đem ứng dụng vào đây, và tạo thành môn hình học thông tin. “Cha đẻ” nó là ông Amari, có viết các quyển sách sau:

  • Shun’ichi Amari – Differential-geometrical methods in statistics, Lecture notes in statistics, Springer-Verlag, Berlin, 1985
  • Shun’ichi Amari, Hiroshi Nagaoka – Methods of information geometry, Translations of mathematical monographs; v. 191, American Mathematical Society, 2000

Tôi chưa có thời gian tìm hiểu về môn này, nhưng xem chừng nó rất là tự nhiên và thú vị, dùng nó có thể trình bày một cách hình học, rất elegant, các vấn đề trong thống kê và lý thuyết thông tin, và qua đó may ra cũng có thể dùng tưởng tượng hình học để tìm cách giải quyết các vấn đề thống kê hiện đại.

Một số ý tưởng trong đó:

– Không gian các phân bố xác suất (trên R) được coi là đa tạp Riemann, với metric Riemann = khoảng cách thông tin Fisher (metric tự nhiên duy nhất trên đó). Nếu lấy 1 họ hữu hạn chiều các phân bố xác suất (chẳng hạn như họ exponential với một số tham số nào đó ?), thì với khoảng cách này nó trở thành một đa tạp Riemann hữu hạn chiều

– Ngoài Riemannian  connection cho bởi metric Riemann, còn có 2 affine connection quan trọng khác, gọi là e-connection và m-connection? E là từ “expectation”, còn m là từ “maximization”, như là trong expectation-maximization algorithm (Dempster-Laird-Rubin 1977) để tìm maximal likelyhood estimate.

Kullback-Leibler divergence trong lý thuyết xử lý thông tin (lượng bit mất thêm khi chuyển code) sinh ra từ một dual affine connection (?)

– Độ sai số của các hàm ước lượng (estimators) sinh ra bởi các đại lượng hình học  như độ cong (curvature) của metric Riemann.

– v.v.

(Cám ơn chị Lê Hồng Vân đã giới thiệu vấn đề này)

Print Friendly

2 comments to Hình học thông tin (information geometry)

Leave a Reply

You can use these HTML tags

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

  

  

  

This blog is kept spam free by WP-SpamFree.