[FreeBSD-users-jp 96836] Re: ZFSが突然bootしなくなりました
Hideo Kuwabara
kuwa ＠ superconnect.or.jp
2021年 7月 20日 (火) 00:51:08 UTC
きりやま さん、ありがとうございます。
そうですね、JBODでやるのが早いと思いますが、1個壊れた時が怖いなと思い止めました。ブートローダーをストライピングに置くと故障率が倍になると言われて、移動しました。
JBODの出来るIFの乗ってないでBIOS+GPT
もあったので、この方法に統一しました。
2021年7月20日(火) 6:56 KIRIYAMA Kazuhiko <kiri ＠ truefc.org>:
> On Mon, 19 Jul 2021 09:50:03 +0900,
> Hideo Kuwabara wrote:
> >
> > 返信ありがとうございます。
> > Root on ZFSの甘い罠でした。
> >
> > gptzfsbootを使っていて、gptのパーティションなので、4Tは大丈夫かと思っていたのですが、思い込みでした。
> >
> > gpt はあくまで mbr の上位互換があるので、ブートブロックは2T以内に置かないと、2Tを使った頃にブート出来なくなります。
> >
> > /boot を移動してから tarで解凍すると動くとか、bootコードを再書き込みすると治るとかありますが、運が良いと治るようです。
> >
> >
> ブートローダーの置いてあるファイルシステムの最後GPTの管理テーブルを書くらしいですが、BIOSが最後をレポートするときにINT13しかないので、2Tを超えた時に正しい値を返すと限らないとのことです。
> >
> > 管理テーブルが行方不明になると救いようが無いと思います。ストライピングだし無理かと思います。
> >
> > UEFIの場合にはAPIがあって大丈夫のようですね。
> >
> > 状態は、USBでブートすれば、ZFSは見えない状態でしたが、-f でimportしたら普通に見えるようになりました。
> >
> > こうなるとデータ救っておいて再インストールかと思ってます。
> >
> > あ、一つ試してない心残りがあります。
> > gpart recover ada0
> >
> > これをやってから再インストールすれば良かったなと心残りの状態です。
> >
> > 最終的には、プールを1個追加して/bootdirを
> > zfsroot にマウントしました。ここに/bootを移動してから、リンクしました。
> > boodir は、freebsd-zfs
> で1gのスライスを切りました。UEFIがないので、GPTの数バイトの管理テーブルはここに書かれると思います。
> > ブートローダーのプールは、zfs mirror
> > に一応しました。
> >
> > 現在は6TB辛い書き込んでますが、問題無くリブートできております。
>
> このあたりの話は [1] にありますが，結局 RAID カードの JBOD
> でディスクを 2TB に分割した状態にしてやれば FreeBSD 側で認識
> するので，そいつらをまとめて RAIDZ3 とかにするしかできないの
> ではと思います．うちでは以下のようなかんじで使ってます．
>
> root ＠ vm:~ # uname -a
> FreeBSD xx.xxxxxx.xxx 14.0-CURRENT FreeBSD 14.0-CURRENT #1
> main-n244894-f61e92ca5a23: Fri Feb 19 07:41:10 JST 2021
> admin ＠ xx.xxxxxx.xxx:/usr/obj/usr/src/amd64.amd64/sys/GENERIC amd64
> root ＠ vm:~ # zpool list
> NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP
> HEALTH ALTROOT
> bootpool 1.88G 320M 1.56G - - 1% 16% 1.00x
> ONLINE -
> zroot 20.2T 4.77T 15.5T - - 8% 23% 1.00x
> ONLINE -
> root ＠ vm:~ # zpool status
> pool: bootpool
> state: ONLINE
> status: Some supported features are not enabled on the pool. The pool can
> still be used, but some features are unavailable.
> action: Enable all features using 'zpool upgrade'. Once this is done,
> the pool may no longer be accessible by software that does not
> support
> the features. See zpool-features(5) for details.
> scan: scrub repaired 0B in 00:00:02 with 0 errors on Wed Nov 4 20:36:05
> 2020
> config:
>
> NAME STATE READ WRITE CKSUM
> bootpool ONLINE 0 0 0
> mirror-0 ONLINE 0 0 0
> mfid0p2 ONLINE 0 0 0
> mfid1p2 ONLINE 0 0 0
> mfid2p2 ONLINE 0 0 0
> mfid3p2 ONLINE 0 0 0
> mfid4p2 ONLINE 0 0 0
> mfid5p2 ONLINE 0 0 0
> mfid6p2 ONLINE 0 0 0
> mfid7p2 ONLINE 0 0 0
> mfid8p2 ONLINE 0 0 0
> mfid9p2 ONLINE 0 0 0
> mfid10p2 ONLINE 0 0 0
> mfid11p2 ONLINE 0 0 0
>
> errors: No known data errors
>
> pool: zroot
> state: ONLINE
> status: Some supported features are not enabled on the pool. The pool can
> still be used, but some features are unavailable.
> action: Enable all features using 'zpool upgrade'. Once this is done,
> the pool may no longer be accessible by software that does not
> support
> the features. See zpool-features(5) for details.
> scan: scrub repaired 0B in 01:14:07 with 0 errors on Wed Nov 4 21:50:23
> 2020
> config:
>
> NAME STATE READ WRITE CKSUM
> zroot ONLINE 0 0 0
> raidz3-0 ONLINE 0 0 0
> mfid0p4 ONLINE 0 0 0
> mfid1p4 ONLINE 0 0 0
> mfid2p4 ONLINE 0 0 0
> mfid3p4 ONLINE 0 0 0
> mfid4p4 ONLINE 0 0 0
> mfid5p4 ONLINE 0 0 0
> mfid6p4 ONLINE 0 0 0
> mfid7p4 ONLINE 0 0 0
> mfid8p4 ONLINE 0 0 0
> mfid9p4 ONLINE 0 0 0
> mfid10p4 ONLINE 0 0 0
> mfid11p4 ONLINE 0 0 0
>
> errors: No known data errors
> root ＠ vm:~ #
>
>
> [1]
> http://freebsd.1045724.x6.nabble.com/ZFS-I-O-error-blocks-larger-than-16777216-are-not-supported-tt6265032.html#none
>
> >
> >
> >
> > 2021年7月18日(日) 0:52 skyblue <zyxjulep ＠ gmail.com>:
> >
> > > 悸村です。
> > > 当方、たいていは ufs を使用しているので、zfs に関して詳しくな
> > > いのですが、ちょっと気になる点があります。
> > >
> > > On Mon, 5 Jul 2021 19:47:28 +0900
> > > Hideo Kuwabara <kuwa ＠ superconnect.or.jp> wrote:
> > >
> > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。
> > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。
> > >
> > > /usr/src/UPDATING の 'ZFS notes' はお読みになられたでしょうか。
> > > > ZFS notes
> > > > ---------
> > > > When upgrading the boot ZFS pool to a new version, always follow
> > > > these two steps:
> > > >
> > > > 1.) recompile and reinstall the ZFS boot loader and boot block
> > > > (this is part of "make buildworld" and "make installworld")
> > > >
> > > > 2.) update the ZFS boot block on your boot drive
> > > >
> > > > The following example updates the ZFS boot block on the first
> > > > partition (freebsd-boot) of a GPT partitioned drive ada0:
> > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0"
> > > >
> > > > Non-boot pools do not need these updates.
> > >
> > > 恐らく、installworld の直後あたりに、
> > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0"
> > > と、boot block を更新する作業が必須のように書いてあります。
> > >
> > > 我が家では追試のテストが出来ない現状です。
> > > こちらの勘違いでしたら、外している筈なので、ご容赦ください。
> > >
> > > なお、当該の注記は、11.4 と 13.0 では、幾らか差異があります。
> > >
> > > --- /usr/src/UPDATING 2020-06-12 20:48:06.000000000 +0900
> > > +++ /y2/UPDATING-fb13.0-p3 2021-04-09 09:24:00.000000000 +0900
> > >
> > > @@ -1707,9 +2268,11 @@
> > >
> > > 2.) update the ZFS boot block on your boot drive
> > >
> > > - The following example updates the ZFS boot block on the first
> > > - partition (freebsd-boot) of a GPT partitioned drive ada0:
> > > - "gpart bootcode -p /boot/gptzfsboot -i 1 ada0"
> > > + The following example updates the ZFS boot block on the
> > > + freebsd-boot partition of a GPT partitioned drive ada0:
> > > + "gpart bootcode -p /boot/gptzfsboot -i $N ada0"
> > > + The value $N will typically be 1 (if booting from BIOS) or 2
> (if
> > > + booting from EFI).
> > >
> > > 13.0 では、いわゆる legacy BIOS と UEFI では別の指定をするように
> > > 記述されています。
> > >
> > >
> > > On Mon, 5 Jul 2021 19:47:28 +0900
> > > Hideo Kuwabara <kuwa ＠ superconnect.or.jp> wrote:
> > >
> > > > 桑原と申します。
> > > >
> > > > FreeBSD11.4 p4 にして暫くしたら突然bootしなくなりました。
> > > >
> > > >
> > > > Attempting Boot From Hard Drive (C:)
> > > > ZFS: i/o error - all block copies unavaillavle
> > > > ZFS: cat't read MOS of pool zroot
> > > > gptzfsboot: failed to mount default pool zroot
> > > >
> > > > FreeBSD/x86 boot
> > > >
> > > > 復旧のヒントを頂ければと思います。
> > > >
> > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。
> > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。
> > > >
> > > > USBでbootしても、zpool は見えませんでした。
> > > > そこで、 zpool import zroot しましたが はねられ 指示に従って
> > > > zpool import -f zroot したら zpool は正常に見えるようになり、
> > > > 手動でマウントすると中身は正しく見えますが、ブートできません。
> > > > 何かお呪いが必要でしょうか？
> > >
> > > --
> > > 悸村成一
> > > _______________________________________________
> > > freebsd-users-jp ＠ freebsd.org mailing list
> > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp
> > > To unsubscribe, send any mail to "
> freebsd-users-jp-unsubscribe ＠ freebsd.org
> > > "
> > >
> > --
> >
> > Super Connect Network
> > Hideo Kuwabara
> > _______________________________________________
> > freebsd-users-jp ＠ freebsd.org mailing list
> > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp
> > To unsubscribe, send any mail to "
> freebsd-users-jp-unsubscribe ＠ freebsd.org"
> >
>
> ---
> きりやま <kiri ＠ truefc.org>
> _______________________________________________
> freebsd-users-jp ＠ freebsd.org mailing list
> https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp
> To unsubscribe, send any mail to "freebsd-users-jp-unsubscribe ＠ freebsd.org
> "
>
--
Super Connect Network
Hideo Kuwabara
freebsd-users-jp メーリングリストの案内