醫療中出現的錯誤，嚴重的可能影響人類的健康性命，而用AI來主導藥物篩選和研發，萬一誤判、或遭遇算法黑箱問題，人類又要如何甄別？李煜教授指出，藥物的開發過程中，無論是否用到AI，都有機會遇到一些意外，故在研發過程中，科研團隊還會通過動物實驗、臨床實驗等方式，想辦法解決安全性問題。
AI算法黑箱，是指一種根據輸入生成輸出，但不透露其決策背後內部邏輯或推理過程的AI系統。當我們將關鍵決策交給AI，但它卻無法解釋「為什麼」時，就會為人類帶來重大安全風險。
李煜表示，若AI發現的分子是天然界存在的，其實也並不太存在所謂的黑箱問題。「黑箱問題，主要可能體現在它自己去設計一些新的藥物，如果這些新藥物在沒有監管，以及沒有比較詳盡的實驗之前就使用的話，肯定是有問題的；但是如果進行了比較詳盡的實驗的話，就能避免這些問題。」
