2014年1月23日--即時互動的三維實體繪製 (volume rendering) 在醫界有非常廣泛的應用，其中一個應用是針對資料中使用者有興趣且被遮蔽 (occluded) 的特徵，以直觀的視野供使用者觀察特徵。以往已經有一些技術能滿足這種需求，但仍有很多創新的空間。本文開發新的三維實體資料可視化技術，建立在非線性失真模型 (nonlinear distortion model) 的基礎上，引用巨觀且聚焦 (focus+context) 對三維實體資料內被遮蔽的特徵提供一個炸開的視野 (exploded view) 。為了使焦點擷取更細緻，引用以尺寸為基礎 (size-based) 和區域成長 (region growing) 技術來做特徵分類 (segmentation) 。然而，為了達到更直覺性的視野，本系統提供多種不同的繪製效果給使用者，並在繪製時同時呈現聚焦和巨觀的部分。在互動的環境中，本技術會即時產生一條簡單明瞭的視覺通道 (visual access)，讓使用者透過這條視覺通道，更容易直接探索且深入觀察其有興趣的特徵。
聚焦技術的起源背景
巨觀且聚焦技術最基本的概念是透過資料可視化讓觀察者能在同一時間點對較有興趣的部分觀察其細節，且去壓縮其他較不感興趣的環境。
此技術的起源是資訊可視化 (information visualization) 應用，1999年，Card 等人提出了巨觀且聚焦的三個必要條件：第一，使用者同時需要整體概觀資料和細節資料；第二，對概觀資料和細節資料，需要具有其差異性；第三，當概觀資料以及細節資料差異夠大且需要同時被分析時，則將這兩種資料同時顯示在單一顯示器上。在符合上述三種條件的情況下，才能稱之為巨觀且聚焦。於2003年，Keahey在其網路可視化授課上，也提出巨觀且聚焦技術的三項基本概念，第一，根據選擇區域，呈現較細緻資料，稱之為聚焦 (focus) ；第二，聚焦以外的區域，保留概觀視野，但是降低其細緻程度，稱之為巨觀 (context) ；第三，沒有遮蔽問題，也就是資料中任何細節都能夠被看到。然而，就巨觀且聚焦第一次的實質應用而言，則可以追溯到1986年，Furnas用魚眼視野 (fisheye views) 呈現大量資料。
動機、目的
三維實體繪製可以提供高真實度的成像，像三維模擬數據和醫學影像資料…等等。對於複雜的三維實體資料而言，觀察使用者感興趣且被其他資料遮蔽的內部特徵是一個有趣的議題，以往已經有一些方法能夠解決這種問題，但是本技術將用不同於以往的方式來達成這個目的並提供更多連續性控制來呈現不同效果，利用新技術給使用者一條直觀的視覺通道，幫助使用者在三維實體資料外部，從任意角度觀看，都能透過這條視覺通道，直接觀察被遮蔽特徵，可幫助手術模擬或MRI資料的分析。本文將依據視點位置的移動，動態調整三維實體資料的不透明度分配，來提升焦點能見度。
方法、貢獻
本技術首先利用轉換函式 (transfer function) 依不同資料值上色，使用者可以調整顏色和不透明度來調整三維實體繪製的成像結果，藉由該過程過濾雜訊並了解資料結構，為了鎖定三維實體資料中的被遮蔽特徵，並加強其能見度，將發展三維實體資料的巨觀且聚焦可視化系統，針對任意特徵 (就大腦解剖資料而言，即可將特徵分類為：血管、腫瘤、神經…等等 )做局部聚焦處理。
聚焦變形的部分，以非線性放大場為基底，根據使用者選定區域去變形，用變形結果判斷焦點的作用範圍；而在能見度調整上，參考非線性放大場中的格點變形，動態調整資料的不透明度分布，達成焦點隔離和目光穿透，焦點隔離是讓焦點周圍結構能控制保留程度，有明顯被隔離突顯的效果，而目光穿透則是在觀察焦點的視線上，將遮蔽焦點的格點，依照設定範圍向外推開，並根據推開的位移量改變資料不透明度，避免聚焦點被遮蔽的情形。
本系統也提供簡易操控介面，讓使用者能輕易地選取一個或數個區域聚焦並快速調整各種影響結果的系統參數。在三維空間上能增進焦點能見度，搭配多視窗二維平面連結來幫助使用者易於調整三維場景中的聚焦位置及聚焦範圍。
失真變形技術
四種應用在二維平面上的格點變形方法，分為簡單正交(simple orthogonal)、填滿空間正交(space-fill orthogonal)、分等級正交(graduated orthogonal) 和放射狀高斯變形(radial Gaussian distortion)，如圖1所示，若延伸到三維空間如圖2所示。
第一個方法為簡單正交，只對聚焦點本身做延展放大，而其他巨觀部分不做變形，位移方面，依照行 (rows) 和列 (columns) 離聚焦點的距離，以聚焦點為中心向外推開。
第二個方法為填滿空間正交，聚焦點本身做延展放大，其他部分，跟聚焦點同行的格點 (grid point) ，做y軸方向的同比例變形延展，另對跟聚焦點同列的格點，做x軸方向的同比例變形延展；位移方面，依照行和列離聚焦點的距離，以聚焦點為中心向外推開。
第三個方法為分等級正交，聚焦點本身做延展放大，其他部分，根據格點和聚焦點的行距離和列距離，個別算出不同的縮放比例，所以依行與行之間的距離，調整y方向縮放的比例，離聚焦點越遠越小；依列與列之間的距離，調整x方向縮放的比例，離聚焦點越遠越小。位移方面，依照行和列離聚焦點的距離，以聚焦點為中心向外推開。
第四個方法為放射狀高斯變形，聚焦點本身做延展放大，其他部分，根據格點和聚焦點在二維座標上的距離，套用高斯 (Gaussian) 分布函數，個別算出不同的縮放比例，產生輻射狀放大的效果。位移方面，依照行和列離聚焦點的距離，以聚焦點為中心向外推開。
資料來源：作者自行繪製
圖1:二維失真變形技術示意圖
資料來源：作者自行繪製
圖2:三維失真變形技術示意圖
非線性放大場
將失真函數(distortion function)套用在展開的二維平面上，稱為變形函數(The transformation function)；而變形函數變化量，就是其隱函式的放大倍率，稱為放大函數(The magnification function)。
在放大場中每個固定格點之權重值，是由特定的放大函數m來決定，公式如下：
利用偏微分的方式，根據變形函數t的x座標和y座標之變化量求得。
是由二維平面上的每個座標點組成，可以針對每個座標點做位移，得到放大效果；而
則是根據座標點之四相鄰節點的變化量，算出每個座標點的放大場權重分布，假設
初始是未變形之固定格點，而初始分布因為格點均未變形，所以權重值皆為0，而變形後，每個格點的四相鄰格點若有變形，則改變權重。
是由我們來定義放大場的目標最佳解。設定好之後，再讓變形過程中的放大場用迭代法逐漸趨近於。錯誤量分布
是由和相減得到的結果：
是由和相減得到的結果：
將(x座標和y座標)和(z座標)兩者組合，形成在三維空間中的複合放大場，稱為
。
(x座標和y座標)和(z座標)兩者組合，形成在三維空間中的複合放大場，稱為。若要將放大場轉換回變形格框，須經過兩個步驟：
步驟一：首先以代表本體的變形格框。
代表本體的變形格框。步驟二 ：經過每一次的迭代，每個節點按照順序一個一個去計算誤差，得到
，接著在分成以下兩種情況，對每個座標點判斷下一步：
，接著在分成以下兩種情況，對每個座標點判斷下一步： 如果
把
的四個相鄰節點向外推離一個單位。
把的四個相鄰節點向外推離一個單位。 如果
把的四個相鄰節點向內拉近一個單位。
把的四個相鄰節點向內拉近一個單位。如圖3所示：
資料來源：作者自行繪製
圖3:放大場à變形格框(演算法)示意圖
圖(a)代表每次迭代變形前的格點；圖(b)為在的情況下，因為放大程度不足，需要將四相鄰的節點往外推離一個單位；圖(c)為在的情況下，因為放大程度過大要將四相鄰的節點向內拉近一個單位。
的情況下，因為放大程度不足，需要將四相鄰的節點往外推離一個單位；圖(c)為在的情況下，因為放大程度過大要將四相鄰的節點向內拉近一個單位。視覺通道技術示意
資料來源：作者自行繪製
圖4:視覺通道流程圖
將藍色的小立方體視為實際焦點，紅色的小立方體視為焦點周圍結構，而綠色的小立方體則視為巨觀部分，圖(a)為聚焦放大前的小立方體配置；圖(b)為聚焦放大後的小立方體配置，用小立方體的方式呈現初始格點和變形格點；圖(c)為逐漸將實際焦點的部分縮小回變形前的位置，實現焦點隔離；圖(d)藉由視角的改變把視線上的小立方體向外推開，實現以點為基礎和以線為基礎的目光穿透技術。之後會利用這些小立方體的位移量來決定三維實體繪製的不透明度分布。
特徵擷取
為了找到三維實體資料中較明顯的特徵，本技術引用了區域成長技術和以尺寸大小為分類基礎的轉換函式。
資料來源：作者自行繪製
圖5: 特徵擷取方法
圖(a)為以尺寸大小為分類基礎的轉換函式，每個體素預先運算出其相對尺寸當作特徵值，特徵值值域為0~255的情況下，此圖為以特徵值85作為腫瘤和血管分類得到的結果；圖(b)為使用區域成長技術做特徵分類，將此圖右下角點選到的體素當作搜尋種子，運算出每個體素對搜尋種子而言的區域重要性，並當作特徵值，特徵值值域為0~255的情況下，此圖為以特徵值160作為有連結和沒有連結分類得到的結果；圖(c)則結合兩種方法之特徵值，得到更好的特徵分類結果。另外，則利用不同的配色來分辨特徵值高低，綠色、藍色和紅色代表特徵值較高，灰色則代表特徵值較低。
目光穿透成果
在轉換函式的部分，為了達到更容易區分聚焦部分和巨觀部分，因此將配置三個以資料值為基準的轉換函式給三維實體資料，分為實際聚焦區域、焦點周圍結構、其他巨觀部分三類，結果如圖6所示：
資料來源：作者自行繪製
圖6:三維實體資料的分類
左、右兩圖均代表將資料依照重要性分為實際聚焦區域、焦點周圍結構、其他巨觀部分三類，且個別配置不同顏色的示意。
清空的方法，分為兩種方式來進行，分別為以點為基礎及以線為基礎，以點為基礎，能以焦點中心為圓心，根據圓的半徑向外調整清空範圍，使用者能夠利用這種方式，清楚了解以此半徑為依據的焦點周圍結構層次，結果如圖7所示：
資料來源：作者自行繪製
圖7:以點為基礎的清空方式
以聚焦中心點為基準，調整清空範圍逐步擴大的過程，在此過程可得到更多的周圍結構資訊。
以線為基礎下，可調整任意方向，以直線切割的方式，向外擴張，結果如圖8所示，能幫助使用者更容易在調整清空範圍的過程，鎖定不同方向的血管：
資料來源：作者自行繪製
圖8:以線為基礎的清空方式
以聚焦中心點為基準，依照某任意方向的直線，向外圍清空，得到切開效果，上圖和下圖為從兩個不同方向切開的結果，其中，上圖幫助使用者鎖定水平方向的周圍血管，下圖幫助使用者鎖定垂直方向的血管。
在觀察焦點的過程中，當使用者需要觀察或分析從眼睛出發到焦點為止的那條視線上所夾雜資訊時，另提供了滲透功能，讓使用者觀察到從外圍到內部的滲透過程，如圖9所示：
資料來源：作者自行繪製
圖9:滲透結果
鎖定紅色圓圈內的聚焦區域，觀察從眼睛出發到所選擇聚焦點進行目光穿透的滲透過程，在此過程中能使視線上其他資料層次分明，了解周圍結構之間的關係，達到類似從外圍巨觀資料一層一層剝開的效果。
從不同位置去觀察焦點，皆能替焦點即時找到依視點位置得到的能見度最佳解，如圖10所示：
資料來源：作者自行繪製
圖10:目光穿透結果
上下分別為套用不同的大腦三維實體資料，從不同角度觀察聚焦區域得到的成像，其中紅色圓圈內的區域為聚焦區域。
結論及未來展望
本研究提出一個系統，專門為三維實體資料做視覺化，並著重在巨觀且聚焦的處理，幫助使用者容易從任意觀察角度找到部分目標特徵的細節。在使用一維的轉換函式給予資料配色的基礎之下，將非線性放大場的概念從二維平面擴展到三維空間的應用，並依據其格點的變形資訊結合目光穿透技術，讓使用者從任意角度觀看，皆能直接穿透巨觀資訊觀察到焦點及焦點周圍結構的關係，對焦點而言，動態產生一條視覺通道並運算出該視角的能見度最佳解，若本技術逐漸發展成熟，相信未來能對電子醫療產業提供一些實質上的幫助。
