PE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN"> レプリカロンジンの存在 Mailing List Archive: 3$B%N!e$N(BHA$B%/%i%9%?4D6-$K$D$$$F(B

Mailing List Archive: 3$B%N!e$N(BHA$B%/%i%9%?4D6-$K$D$$$F(B レプリカロンジンの存在

Mailing List Archive

  1. Home >
  2. Linux-HA>
  3. Japanese
3$B%N!<%I0J>e$N(BHA$B%/%i%9%?4D6-$K$D$$$F(B
fj5082bv at aa
Apr 28, 2011, 4:17 AM
Post #1 of 6 (1357 views)
Permalink
$B5\K\$H?=$7$^$9!#(B

$B=i$a$FEj9F$5$;$FD:$-$^$9!#(B

$B2<5-$N$h$&$J4D6-$r9=C[$7$F$$$^$9!#(B
$B%/%i%9%?!'(BPacemaker + Corosync
$B%/%i%9%?%N!<%I?t!'(B3$B%N!<%I0J>e(B
$B%/%i%9%?9=@.!'(B1(Active):N(Standby)
stonith$B%G%P%$%9!'(Bipmi

$B4D6-9=C[!"$*$h$S!"F0:n$K$D$$$F!"$465<($*4j$$$7$^$9!#(B

1) 3$B%N!<%I4D6-$G!"<+%N!<%I$r(Bstonith$B$7$J$$$h$&$K$9$k$K$O!"0J2<$N@_Dj$,(B
$BE,@Z$G$7$g$&$+!#(B

rsc_location$B$O!"0J2<$N$h$&$K@_Dj$7$F$$$^$9!#(B
$B%N!<%IL>$r(BnodeA$B!"(BnodeB$B!"(BnodeC$B$H$7!"(Bstonith$B%j%=!<%9$r(Bkill_to_nodeA$B!"(B
kill_to_nodeB$B!"(Bkill_to_nodeC$B$H$7$F$$$^$9!#(B

<constraints>
<rsc_location id="location-kill_to_nodeA" rsc="kill_to_nodeA">
<rule id="location-kill_to_nodeA-rule" score="INFINITY">
<expression attribute="#uname" id="location-kill_to_nodeA-expression" operation="ne" value="nodeA"/>
</rule>
<rule id="location-kill_to_nodeA-rule-0" score="-INFINITY">
<expression attribute="#uname" id="location-kill_to_nodeA-expression-0" operation="eq" value="nodeA"/>
</rule>
</rsc_location>
<rsc_location id="location-kill_to_nodeB" rsc="kill_to_nodeB">
<rule id="location-kill_to_nodeB-rule" score="INFINITY">
<expression attribute="#uname" id="location-kill_to_nodeB-expression" operation="ne" value="nodeB"/>
</rule>
<rule id="location-kill_to_nodeB-rule-0" score="-INFINITY">
<expression attribute="#uname" id="location-kill_to_nodeB-expression-0" operation="eq" value="nodeB"/>
</rule>
</rsc_location>
<rsc_location id="location-kill_to_nodeC" rsc="kill_to_nodeC">
<rule id="location-kill_to_nodeC-rule" score="INFINITY">
<expression attribute="#uname" id="location-kill_to_nodeC-expression" operation="ne" value="nodeC"/>
</rule>
<rule id="location-kill_to_nodeC-rule-0" score="-INFINITY">
<expression attribute="#uname" id="location-kill_to_nodeC-expression-0" operation="eq" value="nodeC"/>
</rule>
</rsc_location>
</constraints>

2) $B%9%W%j%C%H%V%l%$%s$,H/@8$7$F$bI,$:(B1$B%N!<%I$,@8B8$7$^$9$G$7$g$&$+!#(B
$B@8B8$5$;$k$?$a$N@_Dj$,I,MW$G$"$l$P65$($F2<$5$$!#(B

3) 3$B%N!<%I0J>e$N9=@.$G!"%9%W%j%C%H%V%l%$%s$,H/@8$7$?>l9g$K!"$*8_$$$K(B
STONITH$B$79g$&$3$H$O$"$j$^$9$G$7$g$&$+!#(B2$B%N!<%I$@$H$"$k$H;W$C$F(B
$B$$$^$9!#$"$k>l9g!"2sHrJ}K!$r65$($F2<$5$$!#(B

$B0J>e$G$9$,!"59$7$/$*4j$$$7$^$9!#(B

----------------------------------------------
Nobuaki Miyamoto
mail:fj5082bv@aa.jp.fujitsu.com

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.sourceforge.jp
http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
Re: 3ノード以上のHAクラスタ環境について [ In reply to ]
renayama19661014 at ybb
Apr 28, 2011, 2:31 PM
Post #2 of 6 (1395 views)
Permalink
宮本さん

こんにちは、メイトリックスの山内です。


> 環境構築、および、動作について、ご教示お願いします。
>
> 1) 3ノード環境で、自ノードをstonithしないようにするには、以下の設定が
> 適切でしょうか。
>
> rsc_locationは、以下のように設定しています。
> ノード名をnodeA、nodeB、nodeCとし、stonithリソースをkill_to_nodeA、
> kill_to_nodeB、kill_to_nodeCとしています。
>
> <constraints>
> <rsc_location id="location-kill_to_nodeA" rsc="kill_to_nodeA">
> <rule id="location-kill_to_nodeA-rule" score="INFINITY">
> <expression attribute="#uname" id="location-kill_to_nodeA-expression" operation="ne" value="nodeA"/>
> </rule>
> <rule id="location-kill_to_nodeA-rule-0" score="-INFINITY">
> <expression attribute="#uname" id="location-kill_to_nodeA-expression-0" operation="eq" value="nodeA"/>
> </rule>
> </rsc_location>
> <rsc_location id="location-kill_to_nodeB" rsc="kill_to_nodeB">
> <rule id="location-kill_to_nodeB-rule" score="INFINITY">
> <expression attribute="#uname" id="location-kill_to_nodeB-expression" operation="ne" value="nodeB"/>
> </rule>
> <rule id="location-kill_to_nodeB-rule-0" score="-INFINITY">
> <expression attribute="#uname" id="location-kill_to_nodeB-expression-0" operation="eq" value="nodeB"/>
> </rule>
> </rsc_location>
> <rsc_location id="location-kill_to_nodeC" rsc="kill_to_nodeC">
> <rule id="location-kill_to_nodeC-rule" score="INFINITY">
> <expression attribute="#uname" id="location-kill_to_nodeC-expression" operation="ne" value="nodeC"/>
> </rule>
> <rule id="location-kill_to_nodeC-rule-0" score="-INFINITY">
> <expression attribute="#uname" id="location-kill_to_nodeC-expression-0" operation="eq" value="nodeC"/>
> </rule>
> </rsc_location>
> </constraints>

stonithリソース自体primitveかcloneなのか不明ですが、構成ノードがこの３ノード固定ということであれば、問題ないと思います。

＃好みにもよりますが、eq条件だけでも問題ないと思います。（ただし、デフォルトのresource-stickinessがINFINITYの場合）

＃可能であれば、stonithリソースはcloneで配置された方が、障害発生時のSTONITHの実行もスムーズだと思います。

> 2) スプリットブレインが発生しても必ず1ノードが生存しますでしょうか。
> 生存させるための設定が必要であれば教えて下さい。

下の回答にも書きましたが、quorum-policyの設定で可能かと思います。
３ノードが全て分断した場合、

freeze設定では、各ノードは分断した状態のリソースを保持した状態になり
stop設定では、各ノードは全てのリソースを停止して状態になります。

>
> 3) 3ノード以上の構成で、スプリットブレインが発生した場合に、お互いに
> STONITHし合うことはありますでしょうか。2ノードだとあると思って
> います。ある場合、回避方法を教えて下さい。

Pacemakerのquorum-policyの設定をうまく設定することで、分断した場合の
挙動を設定できます。

以上、よろしくお願いいたします。

山内


--- On Thu, 2011/4/28, N.Miyamoto <fj5082bv@aa.jp.fujitsu.com> wrote:

>
> 宮本と申します。
>
> 初めて投稿させて頂きます。
>
> 下記のような環境を構築しています。
>   クラスタ：Pacemaker + Corosync
>   クラスタノード数：3ノード以上
>   クラスタ構成：1(Active):N(Standby)
>   stonithデバイス：ipmi
>
> 環境構築、および、動作について、ご教示お願いします。
>
> 1) 3ノード環境で、自ノードをstonithしないようにするには、以下の設定が
>    適切でしょうか。
>
>   rsc_locationは、以下のように設定しています。
>   ノード名をnodeA、nodeB、nodeCとし、stonithリソースをkill_to_nodeA、
>   kill_to_nodeB、kill_to_nodeCとしています。
>
>   <constraints>
>     <rsc_location id="location-kill_to_nodeA" rsc="kill_to_nodeA">
>       <rule id="location-kill_to_nodeA-rule" score="INFINITY">
>         <expression attribute="#uname" id="location-kill_to_nodeA-expression" operation="ne" value="nodeA"/>
>       </rule>
>       <rule id="location-kill_to_nodeA-rule-0" score="-INFINITY">
>         <expression attribute="#uname" id="location-kill_to_nodeA-expression-0" operation="eq" value="nodeA"/>
>       </rule>
>     </rsc_location>
>     <rsc_location id="location-kill_to_nodeB" rsc="kill_to_nodeB">
>       <rule id="location-kill_to_nodeB-rule" score="INFINITY">
>         <expression attribute="#uname" id="location-kill_to_nodeB-expression" operation="ne" value="nodeB"/>
>       </rule>
>       <rule id="location-kill_to_nodeB-rule-0" score="-INFINITY">
>         <expression attribute="#uname" id="location-kill_to_nodeB-expression-0" operation="eq" value="nodeB"/>
>       </rule>
>     </rsc_location>
>     <rsc_location id="location-kill_to_nodeC" rsc="kill_to_nodeC">
>       <rule id="location-kill_to_nodeC-rule" score="INFINITY">
>         <expression attribute="#uname" id="location-kill_to_nodeC-expression" operation="ne" value="nodeC"/>
>       </rule>
>       <rule id="location-kill_to_nodeC-rule-0" score="-INFINITY">
>         <expression attribute="#uname" id="location-kill_to_nodeC-expression-0" operation="eq" value="nodeC"/>
>       </rule>
>     </rsc_location>
>   </constraints>
>
> 2) スプリットブレインが発生しても必ず1ノードが生存しますでしょうか。
>    生存させるための設定が必要であれば教えて下さい。
>
> 3) 3ノード以上の構成で、スプリットブレインが発生した場合に、お互いに
>    STONITHし合うことはありますでしょうか。2ノードだとあると思って
>    います。ある場合、回避方法を教えて下さい。
>
> 以上ですが、宜しくお願いします。
>
> ----------------------------------------------
> Nobuaki Miyamoto
> mail:fj5082bv@aa.jp.fujitsu.com
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux-ha-japan@lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
>

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.sourceforge.jp
http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
Re: 3$B%N!<%I0J>e$N(BHA$B%/%i%9%?4D6-$K$D$$$F(B [ In reply to ]
fj5082bv at aa
Apr 28, 2011, 7:16 PM
Post #3 of 6 (1301 views)
Permalink
$B;3Fb$5$s(B

$B5\K\$G$9!#(B
$B$*@$OC$K$J$C$F$*$j$^$9!#(B

$B@bL@ITB-$K$b$+$+$o$i$:!"2r@b$"$j$,$H$&$4$6$$$^$9!#(B
$BDI2C$G$465<($*4j$$$7$^$9!#(B

> > 1) 3$B%N!<%I4D6-$G!"<+%N!<%I$r(Bstonith$B$7$J$$$h$&$K$9$k$K$O!"0J2<$N@_Dj$,(B
> > $BE,@Z$G$7$g$&$+!#(B
$B!ACfN,!A(B
> stonith$B%j%=!<%9<+BN(Bprimitve$B$+(Bclone$B$J$N$+ITL@$G$9$,!"9=@.%N!<%I$,$3$N#3%N!<%I8GDj$H$$$&$3$H$G$"$l$P!"LdBj$J$$$H;W$$$^$9!#(B
>
> $B!t9%$_$K$b$h$j$^$9$,!"(Beq$B>r7o$@$1$G$bLdBj$J$$$H;W$$$^$9!#!J$?$@$7!"%G%U%)%k%H$N(Bresource-stickiness$B$,(BINFINITY$B$N>l9g!K(B
>
> $B!t2DG=$G$"$l$P!"(Bstonith$B%j%=!<%9$O(Bclone$B$GG[CV$5$l$?J}$,!">c32H/@8;~$N(BSTONITH$B$N<B9T$b%9%`!<%:$@$H;W$$$^$9!#(B
>

clone$B$K$h$kG[CV$O!"(Bstonith$B%G%P%$%9$K$+$+$o$i$:;HMQ$G$-$^$9$G$7$g$&$+!#(B
$BF0:n3NG';~$K$O(Bssh$B$r;HMQ$7$^$7$?$,!">-MhE*$K$O(Bipmi$B$r;HMQ$9$k$3$H$r9M$($F$$$^$9!#(B

$B;29M$K$J$k@_DjNc$,$"$l$P=u$+$j$^$9!#(B

> > 2) $B%9%W%j%C%H%V%l%$%s$,H/@8$7$F$bI,$:(B1$B%N!<%I$,@8B8$7$^$9$G$7$g$&$+!#(B
> > $B@8B8$5$;$k$?$a$N@_Dj$,I,MW$G$"$l$P65$($F2<$5$$!#(B
>
> $B2<$N2sEz$K$b=q$-$^$7$?$,!"(Bquorum-policy$B$N@_Dj$G2DG=$+$H;W$$$^$9!#(B
> $B#3%N!<%I$,A4$FJ,CG$7$?>l9g!"(B
>
> freeze$B@_Dj$G$O!"3F%N!<%I$OJ,CG$7$?>uBV$N%j%=!<%9$rJ];}$7$?>uBV$K$J$j(B
> stop$B@_Dj$G$O!"3F%N!<%I$OA4$F$N%j%=!<%9$rDd;_$7$F>uBV$K$J$j$^$9!#(B
>
> >
> > 3) 3$B%N!<%I0J>e$N9=@.$G!"%9%W%j%C%H%V%l%$%s$,H/@8$7$?>l9g$K!"$*8_$$$K(B
> > STONITH$B$79g$&$3$H$O$"$j$^$9$G$7$g$&$+!#(B2$B%N!<%I$@$H$"$k$H;W$C$F(B
> > $B$$$^$9!#$"$k>l9g!"2sHrJ}K!$r65$($F2<$5$$!#(B
>
> Pacemaker$B$N(Bquorum-policy$B$N@_Dj$r$&$^$/@_Dj$9$k$3$H$G!"J,CG$7$?>l9g$N(B
> $B5sF0$r@_Dj$G$-$^$9!#(B

$B$$$:$l$+$N%N!<%I$r@8B8$5$;$?$$>l9g$O!"(Bno-quorum-policy$B$K(Bstop$B$^$?$O(Bfreeze$B$r(B
$B@_Dj$9$k!#(Bno-quorum-policy$B$K(Bignore$B$r@_Dj$7$J$$!#(B
$B>e5-$NM}2r$G$h$m$7$$$G$9$+!#(B

$B0J>e$G$9$,!"59$7$/$*4j$$$7$^$9!#(B

On Fri, 29 Apr 2011 06:31:59 +0900 (JST)
renayama19661014@ybb.ne.jp wrote:

> $B5\K\$5$s(B
>
> $B$3$s$K$A$O!"%a%$%H%j%C%/%9$N;3Fb$G$9!#(B
>
>
> > $B4D6-9=C[.!"$*$h$S!"F0:n$K$D$$$F!"$465<($*4j$$$7$^$9!#(B
> >
> > 1) 3$B%N!<%I4D6-$G!"<+%N!<%I$r(Bstonith$B$7$J$$$h$&$K$9$k$K$O!"0J2<$N@_Dj$,(B
> > $BE,@Z$G$7$g$&$+!#(B
> >
> > rsc_location$B$O!"0J2<$N$h$&$K@_Dj$7$F$$$^$9!#(B
> > $B%N!<%IL>$r(BnodeA$B!"(BnodeB$B!"(BnodeC$B$H$7!"(Bstonith$B%j%=!<%9$r(Bkill_to_nodeA$B!"(B
> > kill_to_nodeB$B!"(Bkill_to_nodeC$B$H$7$F$$$^$9!#(B
> >
> > <constraints>
> > <rsc_location id="location-kill_to_nodeA" rsc="kill_to_nodeA">
> > <rule id="location-kill_to_nodeA-rule" score="INFINITY">
> > <expression attribute="#uname" id="location-kill_to_nodeA-expression" operation="ne" value="nodeA"/>
> > </rule>
> > <rule id="location-kill_to_nodeA-rule-0" score="-INFINITY">
> > <expression attribute="#uname" id="location-kill_to_nodeA-expression-0" operation="eq" value="nodeA"/>
> > </rule>
> > </rsc_location>
> > <rsc_location id="location-kill_to_nodeB" rsc="kill_to_nodeB">
> > <rule id="location-kill_to_nodeB-rule" score="INFINITY">
> > <expression attribute="#uname" id="location-kill_to_nodeB-expression" operation="ne" value="nodeB"/>
> > </rule>
> > <rule id="location-kill_to_nodeB-rule-0" score="-INFINITY">
> > <expression attribute="#uname" id="location-kill_to_nodeB-expression-0" operation="eq" value="nodeB"/>
> > </rule>
> > </rsc_location>
> > <rsc_location id="location-kill_to_nodeC" rsc="kill_to_nodeC">
> > <rule id="location-kill_to_nodeC-rule" score="INFINITY">
> > <expression attribute="#uname" id="location-kill_to_nodeC-expression" operation="ne" value="nodeC"/>
> > </rule>
> > <rule id="location-kill_to_nodeC-rule-0" score="-INFINITY">
> > <expression attribute="#uname" id="location-kill_to_nodeC-expression-0" operation="eq" value="nodeC"/>
> > </rule>
> > </rsc_location>
> > </constraints>
>
> stonith$B%j%=!<%9<+BN(Bprimitve$B$+(Bclone$B$J$N$+ITL@$G$9$,!"9=@.%N!<%I$,$3$N#3%N!<%I8GDj$H$$$&$3$H$G$"$l$P!"LdBj$J$$$H;W$$$^$9!#(B
>
> $B!t9%$_$K$b$h$j$^$9$,!"(Beq$B>r7o$@$1$G$bLdBj$J$$$H;W$$$^$9!#!J$?$@$7!"%G%U%)%k%H$N(Bresource-stickiness$B$,(BINFINITY$B$N>l9g!K(B
>
> $B!t2DG=$G$"$l$P!"(Bstonith$B%j%=!<%9$O(Bclone$B$GG[CV$5$l$?J}$,!">c32H/@8;~$N(BSTONITH$B$N<B9T$b%9%`!<%:$@$H;W$$$^$9!#(B
>
> > 2) $B%9%W%j%C%H%V%l%$%s$,H/@8$7$F$bI,$:(B1$B%N!<%I$,@8B8$7$^$9$G$7$g$&$+!#(B
> > $B@8B8$5$;$k$?$a$N@_Dj$,I,MW$G$"$l$P65$($F2<$5$$!#(B
>
> $B2<$N2sEz$K$b=q$-$^$7$?$,!"(Bquorum-policy$B$N@_Dj$G2DG=$+$H;W$$$^$9!#(B
> $B#3%N!<%I$,A4$FJ,CG$7$?>l9g!"(B
>
> freeze$B@_Dj$G$O!"3F%N!<%I$OJ,CG$7$?>uBV$N%j%=!<%9$rJ];}$7$?>uBV$K$J$j(B
> stop$B@_Dj$G$O!"3F%N!<%I$OA4$F$N%j%=!<%9$rDd;_$7$F>uBV$K$J$j$^$9!#(B
>
> >
> > 3) 3$B%N!<%I0J>e$N9=@.$G!"%9%W%j%C%H%V%l%$%s$,H/@8$7$?>l9g$K!"$*8_$$$K(B
> > STONITH$B$79g$&$3$H$O$"$j$^$9$G$7$g$&$+!#(B2$B%N!<%I$@$H$"$k$H;W$C$F(B
> > $B$$$^$9!#$"$k>l9g!"2sHrJ}K!$r65$($F2<$5$$!#(B
>
> Pacemaker$B$N(Bquorum-policy$B$N@_Dj$r$&$^$/@_Dj$9$k$3$H$G!"J,CG$7$?>l9g$N(B
> $B5sF0$r@_Dj$G$-$^$9!#(B
>
> $B0J>e!"$h$m$7$/$*4j$$$$$?$7$^$9!#(B
>
> $B;3Fb(B
>
>
> --- On Thu, 2011/4/28, N.Miyamoto <fj5082bv@aa.jp.fujitsu.com> wrote:
>
> >
> > $B5\K\$H?=$7$^$9!#(B
> >
> > $B=i$a$FEj9F$5$;$FD:$-$^$9!#(B
> >
> > $B2<5-$N$h$&$J4D6-$r9=C[$7$F$$$^$9!#(B
> > ? $B%/%i%9%?!'(BPacemaker + Corosync
> > ? $B%/%i%9%?%N!<%I?t!'(B3$B%N!<%I0J>e(B
> > ? $B%/%i%9%?9=@.!'(B1(Active):N(Standby)
> > ? stonith$B%G%P%$%9!'(Bipmi
> >
> > $B4D6-9=C[!"$*$h$S!"F0:n$K$D$$$F!"$465<($*4j$$$7$^$9!#(B
> >
> > 1) 3$B%N!<%I4D6-$G!"<+%N!<%I$r(Bstonith$B$7$J$$$h$&$K$9$k$K$O!"0J2<$N@_Dj$,(B
> > ???$BE,@Z$G$7$g$&$+!#(B
> >
> > ? rsc_location$B$O!"0J2<$N$h$&$K@_Dj$7$F$$$^$9!#(B
> > ? $B%N!<%IL>$r(BnodeA$B!"(BnodeB$B!"(BnodeC$B$H$7!"(Bstonith$B%j%=!<%9$r(Bkill_to_nodeA$B!"(B
> > ? kill_to_nodeB$B!"(Bkill_to_nodeC$B$H$7$F$$$^$9!#(B
> >
> > ? <constraints>
> > ? ? <rsc_location id="location-kill_to_nodeA" rsc="kill_to_nodeA">
> > ? ? ? <rule id="location-kill_to_nodeA-rule" score="INFINITY">
> > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeA-expression" operation="ne" value="nodeA"/>
> > ? ? ? </rule>
> > ? ? ? <rule id="location-kill_to_nodeA-rule-0" score="-INFINITY">
> > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeA-expression-0" operation="eq" value="nodeA"/>
> > ? ? ? </rule>
> > ? ? </rsc_location>
> > ? ? <rsc_location id="location-kill_to_nodeB" rsc="kill_to_nodeB">
> > ? ? ? <rule id="location-kill_to_nodeB-rule" score="INFINITY">
> > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeB-expression" operation="ne" value="nodeB"/>
> > ? ? ? </rule>
> > ? ? ? <rule id="location-kill_to_nodeB-rule-0" score="-INFINITY">
> > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeB-expression-0" operation="eq" value="nodeB"/>
> > ? ? ? </rule>
> > ? ? </rsc_location>
> > ? ? <rsc_location id="location-kill_to_nodeC" rsc="kill_to_nodeC">
> > ? ? ? <rule id="location-kill_to_nodeC-rule" score="INFINITY">
> > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeC-expression" operation="ne" value="nodeC"/>
> > ? ? ? </rule>
> > ? ? ? <rule id="location-kill_to_nodeC-rule-0" score="-INFINITY">
> > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeC-expression-0" operation="eq" value="nodeC"/>
> > ? ? ? </rule>
> > ? ? </rsc_location>
> > ? </constraints>
> >
> > 2) $B%9%W%j%C%H%V%l%$%s$,H/@8$7$F$bI,$:(B1$B%N!<%I$,@8B8$7$^$9$G$7$g$&$+!#(B
> > ???$B@8B8$5$;$k$?$a$N@_Dj$,I,MW$G$"$l$P65$($F2<$5$$!#(B
> >
> > 3) 3$B%N!<%I0J>e$N9=@.$G!"%9%W%j%C%H%V%l%$%s$,H/@8$7$?>l9g$K!"$*8_$$$K(B
> > ???STONITH$B$79g$&$3$H$O$"$j$^$9$G$7$g$&$+!#(B2$B%N!<%I$@$H$"$k$H;W$C$F(B
> > ???$B$$$^$9!#$"$k>l9g!"2sHrJ}K!$r65$($F2<$5$$!#(B
> >
> > $B0J>e$G$9$,!"59$7$/$*4j$$$7$^$9!#(B
> >
> > ----------------------------------------------
> > Nobuaki Miyamoto
> > mail:fj5082bv@aa.jp.fujitsu.com
> >
> > _______________________________________________
> > Linux-ha-japan mailing list
> > Linux-ha-japan@lists.sourceforge.jp
> > http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
> >
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux-ha-japan@lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan

----------------------------------------------
Nobuaki Miyamoto
mail:fj5082bv@aa.jp.fujitsu.com

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.sourceforge.jp
http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
Re: 3ノード以上のHAクラスタ環境について [ In reply to ]
renayama19661014 at ybb
Apr 28, 2011, 11:54 PM
Post #4 of 6 (1370 views)
Permalink
宮本さん

こんにちは、山内です。

> 説明不足にもかかわらず、解説ありがとうございます。
> 追加でご教示お願いします。
>
> > > 1) 3ノード環境で、自ノードをstonithしないようにするには、以下の設定が
> > >    適切でしょうか。
> ～中略～
> > stonithリソース自体primitveかcloneなのか不明ですが、構成ノードがこの３ノード固定ということであれば、問題ないと思います。
> >
> > ＃好みにもよりますが、eq条件だけでも問題ないと思います。（ただし、デフォルトのresource-stickinessがINFINITYの場合）
> >
> > ＃可能であれば、stonithリソースはcloneで配置された方が、障害発生時のSTONITHの実行もスムーズだと思います。
> >
>
> cloneによる配置は、stonithデバイスにかかわらず使用できますでしょうか。
> 動作確認時にはsshを使用しましたが、将来的にはipmiを使用することを考えています。
>
> 参考になる設定例があれば助かります。

確か本家(linux-ha.orgか、clusterslabs.org)にサンプル設定があったような。。。

私は、ipmiには詳しくないのですが、riloe/rsaを利用する場合には、接続セッション数の問題さえクリアできればcloneで設定しても問題ないです。

>
> > > 2) スプリットブレインが発生しても必ず1ノードが生存しますでしょうか。
> > >    生存させるための設定が必要であれば教えて下さい。
> >
> > 下の回答にも書きましたが、quorum-policyの設定で可能かと思います。
> > ３ノードが全て分断した場合、
> >
> >  freeze設定では、各ノードは分断した状態のリソースを保持した状態になり
> >  stop設定では、各ノードは全てのリソースを停止して状態になります。
> >
> > >
> > > 3) 3ノード以上の構成で、スプリットブレインが発生した場合に、お互いに
> > >    STONITHし合うことはありますでしょうか。2ノードだとあると思って
> > >    います。ある場合、回避方法を教えて下さい。
> >
> > Pacemakerのquorum-policyの設定をうまく設定することで、分断した場合の
> > 挙動を設定できます。
>
> いずれかのノードを生存させたい場合は、no-quorum-policyにstopまたはfreezeを
> 設定する。no-quorum-policyにignoreを設定しない。
> 上記の理解でよろしいですか。

すいません、ちょっと説明が不足していました。
もう少々詳しきお話すると。。。。。

no-quorum-policyをignore以外に設定した場合ですが、構成ノード数の半数の切り上げ値がQUORUM値として管理されます。
よって、宮本さんの３ノード環境では、２がQUORUM値になります。

この状態で、stop/freezeの設定の場合、分断された各ノードはQUORUM値を現在の構成ノードが満たしているかどうかで処理を行います。

stop設定の場合、２：１で分断されると。。。。
孤立した１ノードはQUORUMを保持していない（構成ノードが１ノードな）ので、リソースを全て停止します。
保持している２ノード側からはSTONITHが実行されるます。
全てが１：１：１で分断されると全てのノードでリソースは停止されます。

freeze設定の場合、２：１で分断されると。。。。
孤立した１ノードはQUORUMを保持していないので、リソースはそのまま現在の状態を保持します。（固まるという意味でのFREEZEですね）
保持している２ノード側からはSTONITHが実行されるます。
全てが１：１：１で分断されると全てのノードでリソースは現在の状態を保持します。

＃ということでいうと、stop/feezeの設定でのクラスタ構成時の分断時の動作は、QUORUMを失ったノードのリソースの扱いが違うだけで。。QUORUMを持っているノード側からは必ずSTONITHが発行されるということになります。

このあたりでご要望の状態がどちらかを判断していただければと思います。

ignoreの設定は、QUORUMを判定しないので、分断されると、設定によっては落としあいが起きるはずです。

以上、よろしくお願いいたします。
xtbodidk. omega horloges te koop

> On Fri, 29 Apr 2011 06:31:59 +0900 (JST)
> renayama19661014@ybb.ne.jp wrote:
>
> > 宮本さん
> >
> > こんにちは、メイトリックスの山内です。
> >
> >
> > > 環境構築、および、動作について、ご教示お願いします。
> > >
> > > 1) 3ノード環境で、自ノードをstonithしないようにするには、以下の設定が
> > >    適切でしょうか。
> > >
> > >   rsc_locationは、以下のように設定しています。
> > >   ノード名をnodeA、nodeB、nodeCとし、stonithリソースをkill_to_nodeA、
> > >   kill_to_nodeB、kill_to_nodeCとしています。
> > >
> > >   <constraints>
> > >     <rsc_location id="location-kill_to_nodeA" rsc="kill_to_nodeA">
> > >       <rule id="location-kill_to_nodeA-rule" score="INFINITY">
> > >         <expression attribute="#uname" id="location-kill_to_nodeA-expression" operation="ne" value="nodeA"/>
> > >       </rule>
> > >       <rule id="location-kill_to_nodeA-rule-0" score="-INFINITY">
> > >         <expression attribute="#uname" id="location-kill_to_nodeA-expression-0" operation="eq" value="nodeA"/>
> > >       </rule>
> > >     </rsc_location>
> > >     <rsc_location id="location-kill_to_nodeB" rsc="kill_to_nodeB">
> > >       <rule id="location-kill_to_nodeB-rule" score="INFINITY">
> > >         <expression attribute="#uname" id="location-kill_to_nodeB-expression" operation="ne" value="nodeB"/>
> > >       </rule>
> > >       <rule id="location-kill_to_nodeB-rule-0" score="-INFINITY">
> > >         <expression attribute="#uname" id="location-kill_to_nodeB-expression-0" operation="eq" value="nodeB"/>
> > >       </rule>
> > >     </rsc_location>
> > >     <rsc_location id="location-kill_to_nodeC" rsc="kill_to_nodeC">
> > >       <rule id="location-kill_to_nodeC-rule" score="INFINITY">
> > >         <expression attribute="#uname" id="location-kill_to_nodeC-expression" operation="ne" value="nodeC"/>
> > >       </rule>
> > >       <rule id="location-kill_to_nodeC-rule-0" score="-INFINITY">
> > >         <expression attribute="#uname" id="location-kill_to_nodeC-expression-0" operation="eq" value="nodeC"/>
> > >       </rule>
> > >     </rsc_location>
> > >   </constraints>
> >
> > stonithリソース自体primitveかcloneなのか不明ですが、構成ノードがこの３ノード固定ということであれば、問題ないと思います。
> >
> > ＃好みにもよりますが、eq条件だけでも問題ないと思います。（ただし、デフォルトのresource-stickinessがINFINITYの場合）
> >
> > ＃可能であれば、stonithリソースはcloneで配置された方が、障害発生時のSTONITHの実行もスムーズだと思います。
> >
> > > 2) スプリットブレインが発生しても必ず1ノードが生存しますでしょうか。
> > >    生存させるための設定が必要であれば教えて下さい。
> >
> > 下の回答にも書きましたが、quorum-policyの設定で可能かと思います。
> > ３ノードが全て分断した場合、
> >
> >  freeze設定では、各ノードは分断した状態のリソースを保持した状態になり
> >  stop設定では、各ノードは全てのリソースを停止して状態になります。
> >
> > >
> > > 3) 3ノード以上の構成で、スプリットブレインが発生した場合に、お互いに
> > >    STONITHし合うことはありますでしょうか。2ノードだとあると思って
> > >    います。ある場合、回避方法を教えて下さい。
> >
> > Pacemakerのquorum-policyの設定をうまく設定することで、分断した場合の
> > 挙動を設定できます。
> >
> > 以上、よろしくお願いいたします。
> >
> > 山内
> >
> >
> > --- On Thu, 2011/4/28, N.Miyamoto <fj5082bv@aa.jp.fujitsu.com> wrote:
> >
> > >
> > > 宮本と申します。
> > >
> > > 初めて投稿させて頂きます。
> > >
> > > 下記のような環境を構築しています。
> > > ? クラスタ：Pacemaker + Corosync
> > > ? クラスタノード数：3ノード以上
> > > ? クラスタ構成：1(Active):N(Standby)
> > > ? stonithデバイス：ipmi
> > >
> > > 環境構築、および、動作について、ご教示お願いします。
> > >
> > > 1) 3ノード環境で、自ノードをstonithしないようにするには、以下の設定が
> > > ???適切でしょうか。
> > >
> > > ? rsc_locationは、以下のように設定しています。
> > > ? ノード名をnodeA、nodeB、nodeCとし、stonithリソースをkill_to_nodeA、
> > > ? kill_to_nodeB、kill_to_nodeCとしています。
> > >
> > > ? <constraints>
> > > ? ? <rsc_location id="location-kill_to_nodeA" rsc="kill_to_nodeA">
> > > ? ? ? <rule id="location-kill_to_nodeA-rule" score="INFINITY">
> > > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeA-expression" operation="ne" value="nodeA"/>
> > > ? ? ? </rule>
> > > ? ? ? <rule id="location-kill_to_nodeA-rule-0" score="-INFINITY">
> > > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeA-expression-0" operation="eq" value="nodeA"/>
> > > ? ? ? </rule>
> > > ? ? </rsc_location>
> > > ? ? <rsc_location id="location-kill_to_nodeB" rsc="kill_to_nodeB">
> > > ? ? ? <rule id="location-kill_to_nodeB-rule" score="INFINITY">
> > > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeB-expression" operation="ne" value="nodeB"/>
> > > ? ? ? </rule>
> > > ? ? ? <rule id="location-kill_to_nodeB-rule-0" score="-INFINITY">
> > > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeB-expression-0" operation="eq" value="nodeB"/>
> > > ? ? ? </rule>
> > > ? ? </rsc_location>
> > > ? ? <rsc_location id="location-kill_to_nodeC" rsc="kill_to_nodeC">
> > > ? ? ? <rule id="location-kill_to_nodeC-rule" score="INFINITY">
> > > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeC-expression" operation="ne" value="nodeC"/>
> > > ? ? ? </rule>
> > > ? ? ? <rule id="location-kill_to_nodeC-rule-0" score="-INFINITY">
> > > ? ? ? ? <expression attribute="#uname" id="location-kill_to_nodeC-expression-0" operation="eq" value="nodeC"/>
> > > ? ? ? </rule>
> > > ? ? </rsc_location>
> > > ? </constraints>
> > >
> > > 2) スプリットブレインが発生しても必ず1ノードが生存しますでしょうか。
> > > ???生存させるための設定が必要であれば教えて下さい。
> > >
> > > 3) 3ノード以上の構成で、スプリットブレインが発生した場合に、お互いに
> > > ???STONITHし合うことはありますでしょうか。2ノードだとあると思って
> > > ???います。ある場合、回避方法を教えて下さい。
> > >
> > > 以上ですが、宜しくお願いします。
> > >
> > > ----------------------------------------------
> > > Nobuaki Miyamoto
> > > mail:fj5082bv@aa.jp.fujitsu.com
> > >
> > > _______________________________________________
> > > Linux-ha-japan mailing list
> > > Linux-ha-japan@lists.sourceforge.jp
> > > http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
> > >
> >
> > _______________________________________________
> > Linux-ha-japan mailing list
> > Linux-ha-japan@lists.sourceforge.jp
> > http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
>
> ----------------------------------------------
> Nobuaki Miyamoto
> mail:fj5082bv@aa.jp.fujitsu.com
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux-ha-japan@lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
>

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.sourceforge.jp
http://lists.sourceforge.jp/mailman/listinfo/linux-ha-japan
Re: 3$B%N!<%I0J>e$N(BHA$B%/%i%9%?4D6-$K$D$$$F(B [ In reply to ]
fj5082bv at aa
Apr 29, 2011, 4:25 AM
Post #5 of 6 (1295 views)
Permalink
$B;3Fb$5$s(B

$B5\K\$G$9!#(B
$B$*@$OC$K$J$C$F$*$j$^$9!#(B

> $B;d$O!"(Bipmi$B$K$O>\$7$/$J$$$N$G$9$,!"(B

> $B$9$$$^$;$s!"$A$g$C$H@bL@$,ITB-$7$F$$$^$7$?!#(B
> $B$b$&>/!9>\$7$-$*OC$9$k$H!#!#!#!#!#(B

$B$3$A$i$3$=!":G=i$+$iJ9$-$?$$$3$HL@3N$K$9$Y$-$G$7$?!#(B
$B$7$+$7!"CzG+$J@bL@$GM}2r$,?<$a$i$l$?$H;W$C$F$$$^$9!#(B

$B0J>e$G$9!#(B

On Fri, 29 Apr 2011 15:54:20 +0900 (JST)
renayama19661014@ybb.ne.jp wrote:

> $B5\K\$5$s(B
>
> $B$3$s$K$A$O!";3Fb$G$9!#(B
>
> > $B@bL@ITB-$K$b$+$+$o$i$:!"2r@b$"$j$,$H$&$4$6$$$^$9!#(B
> > $BDI2C$G$465<($*4j$$$7$^$9!#(B
> >
> > > > 1) 3$B%N!<%I4D6-$G!"<+%N!<%I$r(Bstonith$B$7$J$$$h$&$K$9$k$K$O!"0J2<$N@_Dj$,(B
> > > >? ? $BE,@Z$G$7$g$&$+!#(B
> > $B!ACfN,!A(B
> > > stonith$B%j%=!<%9<+BN(Bprimitve$B$+(Bclone$B$J$N$+ITL@$G$9$,!"9=@.%N!<%I$,$3$N#3%N!<%I8GDj$H$$$&$3$H$G$"$l$P!"LdBj$J$$$H;W$$$^$9!#(B
> > >
> > > $B!t9%$_$K$b$h$j$^$9$,!"(Beq$B>r7o$@$1$G$bLdBj$J$$$H;W$$$^$9!#!J$?$@$7!"%G%U%)%k%H$N(Bresource-stickiness$B$,(BINFINITY$B$N>l9g!K(B
> > >
> > > $B!t2DG=$G$"$l$P!"(Bstonith$B%j%=!<%9$O(Bclone$B$GG[CV$5$l$?J}$,!">c32H/@8;~$N(BSTONITH$B$N<B9T$b%9%`!<%:$@$H;W$$$^$9!#(B
> > >
> >
> > clone$B$K$h$kG[CV$O!"(Bstonith$B%G%P%$%9$K$+$+$o$i$:;HMQ$G$-$^$9$G$7$g$&$+!#(B
> > $BF0:n3NG';~$K$O(Bssh$B$r;HMQ$7$^$7$?$,!">-MhE*$K$O(Bipmi$B$r;HMQ$9$k$3$H$r9M$($F$$$^$9!#(B
> >
> > $B;29M$K$J$k@_DjNc$,$"$l$P=u$+$j$^$9!#(B
>
> $B3N$+K\2H(B(linux-ha.org$B$+!"(Bclusterslabs.org)$B$K%5%s%W%k@_Dj$,$"$C$?$h$&$J!#!#!#(B
>
> $B;d$O!"(Bipmi$B$K$O>\$7$/$J$$$N$G$9$,!"(Briloe/rsa$B$rMxMQ$9$k>l9g$K$O!"@\B3%;%C%7%g%s?t$NLdBj$5$(%/%j%"$G$-$l$P(Bclone$B$G@_Dj$7$F$bLdBj$J$$$G$9!#(B
>
> >
> > > > 2) $B%9%W%j%C%H%V%l%$%s$,H/@8$7$F$bI,$:(B1$B%N!<%I$,@8B8$7$^$9$G$7$g$&$+!#(B
> > > >? ? $B@8B8$5$;$k$?$a$N@_Dj$,I,MW$G$"$l$P65$($F2<$5$$!#(B
> > >
> > > $B2<$N2sEz$K$b=q$-$^$7$?$,!"(Bquorum-policy$B$N@_Dj$G2DG=$+$H;W$$$^$9!#(B
> > > $B#3%N!<%I$,A4$FJ,CG$7$?>l9g!"(B
> > >
> > >? freeze$B@_Dj$G$O!"3F%N!<%I$OJ,CG$7$?>uBV$N%j%=!<%9$rJ];}$7$?>uBV$K$J$j(B
> > >? stop$B@_Dj$G$O!"3F%N!<%I$OA4$F$N%j%=!<%9$rDd;_$7$F>uBV$K$J$j$^$9!#(B
> > >
> > > >
> > > > 3) 3$B%N!<%I0J>e$N9=@.$G!"%9%W%j%C%H%V%l%$%s$,H/@8$7$?>l9g$K!"$*8_$$$K(B
> > > >? ? STONITH$B$79g$&$3$H$O$"$j$^$9$G$7$g$&$+!#(B2$B%N!<%I$@$H$"$k$H;W$C$F(B
> > > >? ? $B$$$^$9!#$"$k>l9g!"2sHrJ}K!$r65$($F2<$5$$!#(B
> > >
> > > Pacemaker$B$N(Bquorum-policy$B$N@_Dj$r$&$^$/@_Dj$9$k$3$H$G!"J,CG$7$?>l9g$N(B
> > > $B5sF0$r@_Dj$G$-$^$9!#(B
> >
> > $B$$$:$l$+$N%N!<%I$r@8B8$5$;$?$$>l9g$O!"(Bno-quorum-policy$B$K(Bstop$B$^$?$O(Bfreeze$B$r(B
> > $B@_Dj$9$k!#(Bno-quorum-policy$B$K(Bignore$B$r@_Dj$7$J$$!#(B
> > $B>e5-$NM}2r$G$h$m$7$$$G$9$+!#(B
>
> $B$9$$$^$;$s!"$A$g$C$H@bL@$,ITB-$7$F$$$^$7$?!#(B
> $B$b$&>/!9>\$7$-$*OC$9$k$H!#!#!#!#!#(B
>
> no-quorum-policy$B$r(Bignore$B0J30$K@_Dj$7$?>l9g$G$9$,!"9=@.%N!<%I?t$NH>?t$N@Z$j>e$2CM$,(BQUORUM$BCM$H$7$F4IM}$5$l$^$9!#(B
> $B$h$C$F!"5\K\$5$s$N#3%N!<%I4D6-$G$O!"#2$,(BQUORUM$BCM$K$J$j$^$9!#(B
>
> $B$3$N>uBV$G!"(Bstop/freeze$B$N@_Dj$N>l9g!"J,CG$5$l$?3F%N!<%I$O(BQUORUM$BCM$r8=:_$N9=@.%N!<%I$,K~$?$7$F$$$k$+$I$&$+$G=hM}$r9T$$$^$9!#(B
>
> stop$B@_Dj$N>l9g!"#2!'#1$GJ,CG$5$l$k$H!#!#!#!#(B
> $B8IN)$7$?#1%N!<%I$O(BQUORUM$B$rJ];}$7$F$$$J$$!J9=@.%N!<%I$,#1%N!<%I$J!K$N$G!"%j%=!<%9$rA4$FDd;_$7$^$9!#(B
> $BJ];}$7$F$$$k#2%N!<%IB&$+$i$O(BSTONITH$B$,<B9T$5$l$k$^$9!#(B
> $BA4$F$,#1!'#1!'#1$GJ,CG$5$l$k$HA4$F$N%N!<%I$G%j%=!<%9$ODd;_$5$l$^$9!#(B
>
> freeze$B@_Dj$N>l9g!"#2!'#1$GJ,CG$5$l$k$H!#!#!#!#(B
> $B8IN)$7$?#1%N!<%I$O(BQUORUM$B$rJ];}$7$F$$$J$$$N$G!"%j%=!<%9$O$=$N$^$^8=:_$N>uBV$rJ];}$7$^$9!#!J8G$^$k$H$$$&0UL#$G$N(BFREEZE$B$G$9$M!K(B
> $BJ];}$7$F$$$k#2%N!<%IB&$+$i$O(BSTONITH$B$,<B9T$5$l$k$^$9!#(B
> $BA4$F$,#1!'#1!'#1$GJ,CG$5$l$k$HA4$F$N%N!<%I$G%j%=!<%9$O8=:_$N>uBV$rJ];}$7$^$9!#(B
>
> $B!t$H$$$&$3$H$G$$$&$H!"(Bstop/feeze$B$N@_Dj$G$N%/%i%9%?9=@.;~$NJ,CG;~$NF0:n$O!"(BQUORUM$B$r<:$C$?%N!<%I$N%j%=!<%9$N07$$$,0c$&$@$1$G!#!#(BQUORUM$B$r;}$C$F$$$k%N!<%IB&$+$i$OI,$:(BSTONITH$B$,H/9T$5$l$k$H$$$&$3$H$K$J$j$^$9!#(B
>
> $B$3$N$"$?$j$G$4MWK>$N>uBV$,$I$A$i$+$rH=CG$7$F$$$?$@$1$l$P$H;W$$$^$9!#(B
>
> ignore$B$N@_Dj$O!"(BQUORUM$B$rH=Dj$7$J$$$N$G!"J,CG$5$l$k$H!"@_Dj$K$h$C$F$OMn$H$7$"$$$,5/$-$k$O$:$G$9!#(B
>
> $B0J>e!"$h$m$7$/$*4j$$$$$?$7$^$9!#(B
>
>
> > On Fri, 29 Apr 2011 06:31:59 +0900 (JST)
> > renayama19661014@ybb.ne.jp wrote:
> >
> > > $B5\K\$5$s(B
> > >
> > > $B$3$s$K$A$O!"%a%$%H%j%C%/%9$N;3Fb$G$9!#(B
> > >
> > >
> > > > $B4D6-9=C[.!"$*$h$S!"F0:n$K$D$$$F!"$465<($*4j$$$7$^$9!#(B
> > > >
> > > > 1) 3$B%N!<%I4D6-$G!"<+%N!<%I$r(Bstonith$B$7$J$$$h$&$K$9$k$K$O!"0J2<$N@_Dj$,(B
> > > >? ? $BE,@Z$G$7$g$&$+!#(B
> > > >
> > > >???rsc_location$B$O!"0J2<$N$h$&$K@_Dj$7$F$$$^$9!#(B
> > > >???$B%N!<%IL>$r(BnodeA$B!"(BnodeB$B!"(BnodeC$B$H$7!"(Bstonith$B%j%=!<%9$r(Bkill_to_nodeA$B!"(B
> > > >???kill_to_nodeB$B!"(Bkill_to_nodeC$B$H$7$F$$$^$9!#(B
> > > >
> > > >???<constraints>
> > > >? ???<rsc_location id="location-kill_to_nodeA" rsc="kill_to_nodeA">
> > > >? ? ???<rule id="location-kill_to_nodeA-rule" score="INFINITY">
> > > >? ? ? ???<expression attribute="#uname" id="location-kill_to_nodeA-expression" operation="ne" value="nodeA"/>
> > > >? ? ???</rule>
> > > >? ? ???<rule id="location-kill_to_nodeA-rule-0" score="-INFINITY">
> > > >? ? ? ???<expression attribute="#uname" id="location-kill_to_nodeA-expression-0" operation="eq" value="nodeA"/>
> > > >? ? ???</rule>
> > > >? ???</rsc_location>
> > > >? ???<rsc_location id="location-kill_to_nodeB" rsc="kill_to_nodeB">
> > > >? ? ???<rule id="location-kill_to_nodeB-rule" score="INFINITY">
> > > >? ? ? ???<expression attribute="#uname" id="location-kill_to_nodeB-expression" operation="ne" value="nodeB"/>
> > > >? ? ???</rule>
> > > >? ? ???<rule id="location-kill_to_nodeB-rule-0" score="-INFINITY">
> > > >? ? ? ???<expression attribute="#uname" id="location-kill_to_nodeB-expression-0" operation="eq" value="nodeB"/>
> > > >? ? ???</rule>
> > > >? ???</rsc_location>
> > > >? ???<rsc_location id="location-kill_to_nodeC" rsc="kill_to_nodeC">
> > > >? ? ???<rule id="location-kill_to_nodeC-rule" score="INFINITY">
> > > >? ? ? ???<expression attribute="#uname" id="location-kill_to_nodeC-expression" operation="ne" value="nodeC"/>
> > > >? ? ???</rule>
> > > >? ? ???<rule id="location-kill_to_nodeC-rule-0" score="-INFINITY">
> > > >? ? ? ???<expression attribute="#uname" id="location-kill_to_nodeC-expression-0" operation="eq" value="nodeC"/>

レプリカロンジンの存在

باشا دي كارتير
montres de mode pour hommes
hublot uttale
安い時計
أوميغا واتش دي فيل

Watch ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 () Online

  • Information
  • Cast
  • Posters
  • Images
  • Trailer
ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 () ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 () 6.5 / 10 by 24 users
Title:One Piece: Episode of Chopper Plus: Bloom in the Winter, Miracle Cherry Blossom
Original Title:ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜
Director:
Writer:
Release: 2008-03-01
Country: Japan
Language: 日本語
Runtime: 113 min.
Genre: Action, Animation, Adventure, Comedy
 Production Company:
 Popularity:1.315438
 Plot Keyword:anime, one piece
 Homepage: 
 Alternative Titles:
  • One Piece - Movie 9 - Bloom in Winter Miracle Sakura
  • One Piece - Movie 9 - Il miracolo dei ciliegi in fiore
  • One Piece Episōdo Obu Choppā Purasu: Fuyu ni Saku, Kiseki no Sakura
  • One Piece - 9. Film: Chopper und das Wunder der Winterkirschblüte

 Plot

  • Searching Term : ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 Full Watch ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 Movie Streaming Online, Watch ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 Movie Streaming HD 1080p, Free ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 Movie Streaming Online, Download ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 Full Movie Streaming Online in HD-720p Video Quality , Where to Download ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 Full Movie ?, ＯＮＥ ＰＩＥＣＥ（ワンピース） エピソードオブチョッパー＋冬に咲く、奇跡の桜 Movie Include All Subtitles.

    • Characters : Isshi 1

    Actor : Takeshi Aono

    Characters : Sanji

    Actor : Hiroaki Hirata

    Characters : Mushul

    Actor : Norio Minorikawa

     Similar Movies

    Road to Ninja: Naruto the Movie

    Road to Ninja: Naruto the Movie Road to Ninja: Naruto the Movie 7.3 / 10 by 83 users

    BORUTO -NARUTO THE MOVIE-

    BORUTO -NARUTO THE MOVIE- BORUTO -NARUTO THE MOVIE- 7.7 / 10 by 168 users

    風の谷のナウシカ

    風の谷のナウシカ 風の谷のナウシカ 7.7 / 10 by 847 users

    Death Note

    Death Note Death Note 4.4 / 10 by 1034 users

    聲の形

    聲の形 聲の形 8.2 / 10 by 225 users

    もののけ姫

    もののけ姫 もののけ姫 8.2 / 10 by 2152 users

    ハウルの動く城

    ハウルの動く城 ハウルの動く城 8.2 / 10 by 2181 users

    劇場版ポケットモンスター　キミにきめた！

    劇場版ポケットモンスター　キミにきめた！ 劇場版ポケットモンスター　キミにきめた！ 7.3 / 10 by 83 users
    POPULAR MOVIES

    It

    7.3 / 10 by 4039 users

    Thor: Ragnarok

    7.6 / 10 by 1993 users

    Justice League

    6.9 / 10 by 1058 users

    Geostorm

    5.7 / 10 by 413 users

    Happy Death Day

    6.4 / 10 by 522 users
    Recent Search
    movie clubsaction moviesfree full movies onlinestream movies online freefree movies online siteshindi movies onlinemovie sitefree movie watchstream movies freemovies full