Transcript Ch. 13A
實驗設計與變異數分析 Part A (13.1-13.3) 13.1 13.2 13.3 13.4 13.5 實驗設計與變異數分析介紹 變異數分析與完全隨機設計 多重比較程序 隨機區集設計 因子實驗 第13章 實驗設計與變異數分析 第483-517頁 2 統計研究可分為實驗型或觀察型兩類。 (experimental statistical study) 中,我們先界定感興趣之變數,而後控制 研究中另一個或更多個其他因素,即可獲得這些 因素如何影響欲探討變數之資料。 在觀察型的研究 (observational study) 的研究中, 我們不需控制實驗,而是從實地訪查(survey)中 取得資料。 在觀察型的研究中,要建立因果關係是有困難的。 實驗型研究則較為容易。 在實驗型統計研究 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第484-485頁 3 因素(factor)是一個調查研究中可被實驗者選擇的變數。 處理(treatment)是每一因素的對應方式。 實驗單位(experimental units)是實驗中感興趣的主題。 完全隨機設計(completely randomized design)是指處理 被隨機指派的一種實驗設計。 當實驗單位的性質相類似時,可以使用完全隨機的設計。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁 4 Chemitech 公司發展出一套新的自來水過濾系統 。過濾系統之零件必須向數個供應商購買, Chemitech 公司將在位於南卡羅來納州哥倫比亞 市的工廠組裝這些零件。工業工程部門須負責決 定此套新過濾系統的最佳組裝方法。在考慮很多 可行的組裝方法後,工業工程部門選出三種較佳 的方法:方法 A、方法 B 及方法 C。這些方法在 組裝產品的先後次序上有所差異。Chemitech 公 司的經理希望知道何種組裝方法可在一星期內生 產最多的過濾系統。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁 5 Chemitech 公司的實驗中,組裝方法被視為是 一個變數或因素 (factor),因為此因素包含三種組 裝方法,我們稱此實驗有三個處理 (treatment), 每一個處理對應一種組裝方法。 Chemitech 公司之問題是有關類別因素 (catogorial factor) (組裝方法) 的單因素實驗 (single-factor experiment) 的實例。其他實驗可 能包含多個因素,其中有些是類別因素,有些則 是定量因素。 在 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁 6 (或處理) 定義了此次 Chemitech 實驗中的三個研究母體。第一個母體是使用方法 A 的所有員工、第二個母體為使用方法 B 的所有 員工、第三個母體則為使用方法 C 的所有員工。 對每一個母體而言,應變數或反應變數(response variable)為每星期組裝的過濾系統數目。而此次 實驗的統計目的則是決定三個母體(方法)每星期之 平均產量是否相等。 這三種組裝方法 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁 7 Chemitech 公司的所有裝配工人中, 任意選取 3 名員工組成一組隨機樣本,稱為實驗 單位 (experimental units)。 在 Chemitech 公司之問題中,使用的實驗設計稱 為完全隨機設計 (completely randomized design)。此種設計方式要求 3 個實驗單位 (即裝 配工人) 均被隨機指派一種組裝方法 (或處理)。 例如,第二個工人被指定以方法 A 組裝,第一個 工人被指定方法 B,第三個工人則採用方法 C。 此例子中的隨機化 (randomization) 概念是所有 實驗設計的重要原則。 假設我們從 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁 8 值得注意的是,在這個實驗中,一個處理將只含 一個測量值 (即組裝的產品數量)。為了獲得更多 資料,我們必須重複上述實驗程序。例如,我們 不要一次只隨機選取 3 名員工,而改為選取 15 名 員工,然後各隨機指派 5 名員工採用某種組裝方 式。既然每種組裝方式都有 5 名員工,我們即可 說:重複 5 次實驗。這種重複的過程為實驗設計 的另一重要原則。 圖 13.1 說明此次 Chemitech 實驗的完全隨機設 計。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁 9 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第486頁 圖13.1 10 Chemitech 公司之例子中,我們須先指導員工 如何執行所被指派的組裝方法,而後令其使用此 種組裝方法開始組裝新的過濾系統。表 13.1 即每 名員工在1週內組裝的數量、三種組裝方式所生產 的產品數量的樣本平均數、樣本變異數與樣本標 準差,其中使用方法A的樣本平均數為62,方法B 為66,方法C為52。 就上述資料而言,方法 B 的生產率似乎高於其他 兩種方式。 在 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第86頁 11 第13章 實驗設計與變異數分析 Part A (13.1-13.1) 第486頁 表13.1 12 真正的問題是,這三個樣本平均數之差異是否大到可以使 我們下結論,即三種組裝方式之產量不同。為以統計名詞 表達此問題,我們先介紹下列符號。 μ1=方法 A 平均每星期產量 μ2=方法 B 平均每星期產量 μ3=方法 C 平均每星期產量 雖然我們不可能知道 μ1、μ2 及 μ3真正的值,但我們可使用 樣本平均數檢定下列的假設。 H0:μ1= μ2=μ3 Ha:所有母體平均數不全相等 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第486-487頁 13 變異數分析(ANOVA)能用來分析得自觀察型研究的資 料,以檢定三個或三個以上的母體平均數是否相等。 在分析同時包含實驗型及觀察型資料之迴歸分析結果 時,ANOVA扮演重要角色。 我們可以使用這些樣本資料的結果進行下列假設檢定: H0: 1 = 2 = 3 = . . .= k Ha: 所有母體平均不全相等 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第474-475.487頁 14 H0: 1 = 2 = 3 = . . . = k Ha: 所有母體平均不全相等 如果拒絕 H0 ,我們不能下結論說所有的母體平均數 都不相等。 拒絕 H0 意指至少有兩個母體平均數不相等。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第487頁 15 1. 每個母體之反應變數均呈常態分配。 2. 所有母體反應變數的變異數 σ2均相等。 3. 由每個母體抽取之樣本必須互為獨立。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第487頁 16 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第488頁 圖13.2 17 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第488頁 圖13.3 18 每一組樣本之樣本內差異亦將影響變異數分析之 結論。當由每個母體中抽取一組隨機樣本時,每 一組的樣本變異數均應為共同變異數σ2 的不偏估 計值。因此,我們將結合共同變異數σ2 的每個個 別估計值,成為一個總樣本估計值。以此方式獲 得的母體變異數σ2 的估計值稱為σ2 之混合或處理 內估計值 (pooled or within-treatments estimate)。 由於σ2 之處理內估計值乃每組樣本組內變異所計 算而得之樣本變異數,故不受母體平均數是否相 等之影響。當樣本大小相等時,σ2 之處理內估計 值可由計算各個樣本變異數之平均數而得。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第488-489頁 19 在 Chemitech公司的例子中,我們可得 之處理內估計值 = 2 27.5+26.5+31.0 = 3 85 =28.33 3 σ2 的處理間估計值 (260) 遠大於處理內估計值 (28.33),事實上,這兩個估計值之比為 260/28.33=9.18。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第489頁 20 只有當虛無假設為真時,處理間估計值方為σ2 的 一個好的估計值;若虛無假設為偽,處理間估計 值將高估σ2 。但處理內估計值則不論在何種情況 下,均為共同母體變異數σ2 的良好估計值。因此, 若虛無假設為真,此兩個估計值應極為接近,它 們的比也應接近 1;如果虛無假設為偽,處理間估 計值應大於處理內估計值,且它們的比應該較大。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第489頁 21 ANOVA 背後的邏輯乃基於共同母體變異數σ2 的 兩種獨立估計方式發展而成。一種σ2 的估計方式 係基於各種樣本平均數間之差異計算而得,另一 種方式則由每組樣本的組內變異數計算而得。藉 由比較上述兩個σ2 的估計值,我們將可決定母體 平均數是否相等。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第489頁 22 變異數分析可以用來檢定 k 個母體平均數是否相 等。 其假設檢定之一般形式為 H0: 1 = 2 = 3 = . . . = k Ha: 所有母體平均數不全相等 其中 j = 第 j 個母體平均數 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第489頁 23 樣本資料 xij = 第 j 個處理的第 i 個觀察值 n j = 第 j 個處理的觀察值個數 x j= 第 j 個處理的樣本平均數 sj = sj= 2 第 j 個處理的樣本變異數 第 j 個處理的樣本標準差 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第490頁 24 第 j 個處理的樣本平均數公式: nj xj 第 x ij i 1 nj j 個處理的樣本變異數公式: nj sj 2 ( x ij x j ) 2 i 1 nj 1 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第490頁 25 總樣本平均數 k nj x x ij j 1 i 1 nT 其中 nT = n1 + n2 +. . . + nk 如果每組樣本數均為 n,則 n = kn k nj x x j 1 i 1 kn k nj x ij j 1 i 1 k ij x /n j j 1 k 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第490頁 k 26 在Chemitech公司的例子中,每個樣本數均為 5。 使用表 13.1 的資料,我們可以得到下列結果 x 62 66 52 60 3 如果虛無假設為真 (1 = 2 = 3 = ),總樣本平均 數 60 即為母體平均數 μ 的最佳估計值。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第490頁 27 (sum of squares due to treatments),記做SSTR。 處理間平方和 k SSTR n j(x j x ) 2 j 1 (mean square due to treatments), 記作MSTR。 處理間均方 k M STR n j (x j x ) 2 j 1 k 1 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491頁 28 2 的處理間估計值,稱為處理間均方 (mean square due to treatments),記作 MSTR,計算 MSTR 的公式如下: k n j (x j x ) MSTR k- 1 為 SSTR 的自由度 2 j 1 k1 處理間平方和(sum of squares between treatments 或sum of squares due to treatments),記作 SSTR 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491頁 29 若 H0 為真,則 MSTR 為 σ2 的不偏估計值。 當 k 個母體平均數不相等時,MSTR 將不再是 σ2 的不偏估 計值。事實上,此時 MSTR 將高估 σ2 。 由表 13.1 Chemitech公司的資料,我們可得到下列的結 果。 k SSTR n j ( x j x ) 5(62 60) 5(66 60) 5(52 60) 520 2 2 2 2 j 1 M STR SSTR k 1 520 260 5 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491頁 30 誤差平方和 (sum of squares due to error),記 作SSE。 k SSE ( n j 1) s j 2 j 1 誤差均方 (mean square due to error),記作MSE。 k M SE ( n j 1) s j 2 j 1 nT k 分母 nT-k 為 SSTR的自由度 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491頁 31 MSE 來自於每個處理內的差異,它不會受虛無假設是否為 真的影響。因此,MSE 恆為 σ2 的一不偏估計值。 由表 13.1 Chemitech 公司的資料,我們可以得到下列的 結果。 k SSE ( n j 1) s j (5 1)27.5 (5 1)26.5 (5 1)31 340 2 j 1 M SE SSE nT k 340 15 3 340 28.33 12 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491-492頁 32 ANOVA 之假設均成立, MSTR/MSE 的抽樣分配將會服從分子自由度為 k-1,分母自由度為nT-k 的 F 分配。換言之, 若虛無假設為真,MSTR/MSE 的值會是從此F 分 配抽樣而得的結果。 若虛無假設為假,則因MSTR高估σ2,MSTR/MSE 的值將提高。 因此,當MSTR/MSE 的值太大,使其不似來自分 子自由度為 k-1,分母自由度為nT-k 的 F 分配 時,我們將拒絕H0。 若虛無假設為真且 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第492頁 33 假設檢定 H0: 1 = 2 = . . . = k Ha: 所有母體平均數不全相等 檢定統計量 F = MSTR/MSE 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第493頁 34 拒絕法則 若 p 值 ≤ α,則拒絕 H0 p 值法: 絕對值法: 若 F ≥ Fα,則拒絕 H0 其中 F 值係由分子自由度 k - 1 ,分母自由度 nT – k 之 F 分配查表而得。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第493頁 35 若使用顯著水準 α =0.05來進行假設檢定,則檢 定統計量的值 F= M STR M SE 260 9.18 28.33 其分子自由度為 k-1=3-1=2,分母自由度為 nT-k=15-3=12。由於我們只在檢定統計量的 值夠大時,才會拒絕虛無假設,因此 p 值為 F 分 配在檢定統計量 F=9.18 的右尾區域的面積值。 圖13.4為 F=MSTR/MSE 的抽樣分配、檢定統計 量的值及此假設檢定右尾區域的 p 值。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第492頁 36 查附錄 B 的表 4,分子自由度為 2,分母自由度為 12的 F 分配,其右尾區域的範圍如下。 由於 F=9.18 大於 6.93,因此 F=9.18的右尾區域會小於 0.01,亦即 p 值小於 0.01。因為 p 值 ≤ α=0.05,所以拒 絕 H0。 此檢定提供了充分的證據顯示三個母體平均數不相等。換 言之,變異數分析支持 Chemitech 公司三家工廠的平均 測驗成績不全相等之結論。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第492-493頁 37 我們也可以使用臨界值法進行此假設檢定的程序。 假設 α=0.05,在自由度為 2 與 12 的 F 分配,其 右尾區域的面積為 0.05 處,可找到臨界 F 值,查 F 分配表,可得 F0.05=3.89。因此,Chemitech 公司的例子其右尾拒絕法則為 若 F ≥ 3.89,則拒絕 H0 由於 F=9.18,因此拒絕 H0,結論為三個母體的 平均數不全相等。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第493頁 38 變異數 處理 誤差 總和 平方和 自由度 均方 F SSTR SSE SST k–1 nT – k nT - 1 MSTR MSE MSTR/MSE SST 可以分解為 SSTR 與 SSE p值 SST 的自由度可分解為 SSTR 的自由度與 SSE 的自由度 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 39 SST 可分解為兩個平方和:處理間平方和與誤差平 方和。SST 之自由度nT-1亦可分解為 SSTR 之自由 度 k-1 與 SSE 之自由度 nT-k。 若將所有觀察值視為同一組樣本,則總平方和 SST 之計算公式為 k SST nj ( x ij x ) SSTR SSE 2 j 1 i 1 第13章 實驗設計變異數分析與實驗設計 Part A (13.1-13.3) 第494頁 40 我們可將變異數分析視為分割(partitioning)總平方和 與自由度為兩種不同來源:處理與誤差的一個過程。 將平方和除以相對應之自由度即為變異數之估計值。 由此得到的 F 值與 p 值可用以檢定母體平均數是否相 等之假設。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第494頁 41 表 13.3 即為 Chemitech 公司之變異數分析表。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第494頁 表13.3 42 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第496頁 圖13.5 43 假設變異數分析已提供拒絕母體平均數相等之虛 無假設的統計證據。 費雪最低顯著差異 (least significant difference, LSD) 程序可用以決定哪些母體平均數間存在差異。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第500頁 44 假設檢定 H 0 : i j H a : i j 檢定統計量 t xi x j MSE( 1 ni 1 nj ) 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第500-501頁 45 拒絕法則 p 值法: 若 p 值 ≤ α,則拒絕 H0 絕對值法: 若 t ≤ -tα/2 或 t ≥ tα/2,則拒絕 H0 其中 tα/2 值係查自由度為 nT – k 之 t 分配表而得。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第501-502頁 46 利用費雪 LSD 程序檢定在α=0.05的顯著水準下,母體1 (方法A) 與母體 2 (方法B) 之平均數間是否存在顯著差異。 由表 13.1 得知,方法A之樣本平均數是 62,方法B之樣本 平均數為 66。 表 13.3 則顯示母體變異數之估計值,即 MSE,為 28.33, 其為 σ2之估計值且對應之自由度為 12。根據 Chemitech 公司的資料,檢定統計量的值為 t 62 66 1.19 1 1 28.33 5 5 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第501頁 47 查附錄B的表2可知,自由度12的t分配表如下所示: t分配表只有正的 t 值,但 t 分配是左右對稱,我們可以找 t =1.19 右尾的面積,此面積的2倍即是 t=-1.19 對應的 p 值。當 t=1.19,其面積介於 0.20 與 0.10 之間,將之乘以 2,可知 p 值一定介於 0.40 與 0.20 之間。 利用 Minitab 或 Excel 可以算出 p 值為0.2571。由於 p 值 大於 α =0.05,我們不能拒絕虛無假設,因此,我們不能 下結論為方法 A 母體的每週平均產量與方法 B 母體的每週 平均產量不相等。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第501頁 48 xi x j 檢定統計量 H 0 : i j H a : i j 假設檢定 xi x j 拒絕法則 若 x i x j > LSD,拒絕 H0 其中 LSD t /2 MSE( 1 ni 1 nj ) 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第501-502頁 49 就 Chemitech 公司之例子而言,LSD 之值為 1 1 LS D 2.179 28.33 7.34 5 5 當樣本大小均相同時,我們只需計算一個 LSD 值。 在此情況下,我們僅需將兩樣本平均數之差異值 與 LSD 值進行比較。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第502頁 50 1 (方法A) 與母體 3 (方法C) 之平均數 差為 62-52=10。由於此值大於 LSD =7.34,我 們可以拒絕方法A與方法C之母體每週平均產量相 等之假設。同樣地,由於母體 2 與母體 3 的樣本 平均數差為 66-52=14 >7.34,我們也拒絕方法 B與方法C之母體平均數相等之假設。事實上,我 們的結論是方法A 、方法B與方法C存在差異。 例如,母體 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第502頁 51 使用費雪 LSD 程序估計兩母體平均數差之信賴區間 x i - x j L SD 其中 L S D t /2 M S E( 1 ni 1 nj ) ta/2 係查自由度為 nT – k 之 t 分配表而得。 信賴區間包含「0」在內,我們將無法拒絕兩母體平均數 相等之假設。當信賴區間不含「0」時,我們可得到兩母 體平均數確實存在差異之結論。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第502頁 52 公司的例子中,LSD=7.34 (對應 t0.025=2.179)。 因此,母體 1、母體 2 之平均數差的 95% 信賴區 間估計值為:62-66 ± 7.34=-4 ± 7.34= -11.34到 3.34。 由於此一信賴區間包含 0,故無法拒絕此兩母體平 均數相等之假設。 在Chemitech 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第502頁 53 I 誤差率 (comparisonwise Type I error rate) 即是進行單一的一對母體平均數比較 時的顯著水準。 實驗的型 I 誤差率 (experimentwise Type I error rate) 表示為αEW。 比較的型 aEW = 1 – (1 – a)(k – 1)! 當檢定問題所牽涉之母體數愈多時,實驗的型 I 誤差率將愈大。 第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第503頁 54 55