贏得 RSNA 17 Bone Age 機器學習冠軍的心路歷程
原始連結：Machine Learning and the Future of Radiology: How we won the 2017 RSNA ML Challenge (閱讀時間：10 分鐘)
RSNA 在今年的年會前，舉辦了一個 machine learning 的比賽，他們提供了一個一萬兩千多張 bone age 的影像，讓參賽隊伍自己拿去 training model，比比看最後誰的 mean absolute difference (MAD) 最小（和正解相差的平均數值，以月為單位），後來此文作者 Mark Cicero 和 Alexander Bilbily 以 MAD 4.265 months 獲得第一，分享了他們的心路歷程。
關於 machine learning 的一些細節就不多提（因為我自己沒什麼經驗看不太懂），可以看看一些有趣的點：
- 現在 bone age 判定用最多的圖譜是 Greulich 和 Pyle 在 1959 年出版的，其根據的 study 是1929 年的 Brush Foundation Study of Human Growth and Development.
- RSNA 的 dataset 是 Stanford 大學的 Dr Larson 團隊捐出來的，它們自己已經先寫了一篇 paper 會刊在 Radiology 上（目前是 Ahead of Print）。
- 雖然男女的 bone age 可以差到 2 歲，但他們決定不特別 training 兩種 model，而是把性別當成是其中一個 weighting 不那麼重的 parameter 送進去。
- 一般 training 用的影像通常是 256×256 pixel，但 x-ray 片子會高達 3 MP (2000×1500)，最後他們決定把影像縮到 500×500 pixel，取得效能和準確性的平衡點。
- training 和 validation 的數量比是 85:15
- 軟體和 framework 用的是 TensorFlow 1.3 和 Keras 2.08
- 可以用 Keras 的
ImageDataGenerator來做 data augmentation，包括 roataion, translation, zoom, 和 flip，可以讓 model 的結果更好 - 硬體用的是 NVIDIA P40 (8000 USD) 加上兩張 Titan X (單價 1700 USD)
- 總 training 的時間約為 50 小時 (有強大的 GPU 啊！)
- 他們內測最好的 model 其實只到 MAD 5.99 個月，不過用 RSNA 另外的 data 來驗卻是進步的
- 原始 Larson 的團隊有找了 3 位 pediatric radiologist 來測，發現放射科醫師間的 MAD 平均是 7.32 months (6.36–8.28 months)，machine learning 的差異已經比人來得小了
最後，他們也架了一個網站，上面跑的是冠軍的 model，可以讓你上傳自己的影像，來判定 bone age，有興趣的可以玩玩看。
▲ 上傳了一張測試，還蠻準的呢！
另外，網路上有找到一個 Pediatric Bone Age Calculator (by Patrick Do)，應該也是放射科醫師做的小工具，線上版的 bone age 報告產生器，用的圖庫也是 Greulich and Pyle 的，選好性別和生日後，再去比對圖譜，最後就產生一份文字報告。另外也可以發現，國外的 bone age 報告會 mention 兩個 standard deviation 的年齡範圍，這樣才有辦法判斷 bone age 是 delayed, normal, 還是 advanced。
偷偷說一下，當初自己剛開始打 bone age 報告時也做了一個簡陋的版本，沒有 report generator 的功能，或許可以從 Patrick Do 那裡把他的 template 借過來用用。
比對了一下圖片，我個人的版本也是用 1959 年 Greulich and Pyle 的圖譜呢！
另外一點嚇到吃手手的就是，看了別人的 bone age 報告完整度，覺得自己打得好像不太好啊！?
