[ruby-dev:51000] 2.7までで動いていたが3.0でエンコードのエラーになる

[ruby-dev:51000] 2.7までで動いていたが3.0でエンコードのエラーになる

[paptimusx]

[-- Attachment #1: Type: text/plain, Size: 1157 bytes --]

Windows10  (64ビット,日本語環境,cp932)
2.7までで動いていたが3.0でエラーになるようになった
2.7,3.0 ともchocolatelyで入れたもの
エンコーディングの仕様が変わったのでしょうか

再現のための短いコードを添付します
$ ver
Microsoft Windows [Version 10.0.19041.746]

$ cat a.txt
入力データ

$ cat a.rb
#!/usr/bin/ruby
#; coding: cp932
files = ARGV

for file in files
  $stderr.print "[#{file}]\n"
  fin = open(file, 'r')
  title = ' '
  while s = fin.gets
    if /\%TITLE=(.*):(.*)/i =~ s # ←10行目
      title = $2
    end
  end
  fin.close
end

------------------------------------------------------------
× Ruby 3.0

$ ruby -v
ruby 3.0.0p0 (2020-12-25 revision 95aff21468) [x64-mingw32]

$ ruby a.rb a.txt
[a.txt]
a.rb:10:in `block in <main>': invalid byte sequence in UTF-8 (ArgumentError)
        from a.rb:5:in `each'
        from a.rb:5:in `<main>'


------------------------------------------------------------
〇 Ruby2.7

$ ruby -v
ruby 2.7.1p83 (2020-03-31 revision a0c7c23c9c) [x64-mingw32]

$ ruby a.rb a.txt
[a.txt]

[-- Attachment #2: Type: text/html, Size: 1439 bytes --]

[ruby-dev:51001] Re: 2.7までで動いていたが3.0でエンコードのエラーになる

[U.NAKAMURA]

こんにちは、なかむら(う)です。

In message "[ruby-dev:51000] 2.7までで動いていたが3.0でエンコードのエラーになる"
  on Thu, 28 Jan 2021 23:28:36 +0900, paptimusx@gmail.com wrote:
> Windows10  (64ビット,日本語環境,cp932)
> 2.7までで動いていたが3.0でエラーになるようになった
> 2.7,3.0 ともchocolatelyで入れたもの
> エンコーディングの仕様が変わったのでしょうか

3.0より、Windowsにおいてdefault external encodingはUTF-8となりました。
なので、


> $ cat a.rb
> #!/usr/bin/ruby
> #; coding: cp932
> files = ARGV
> 
> for file in files
>   $stderr.print "[#{file}]\n"
>   fin = open(file, 'r')

ここで encoding: 'cp932' あたりを指定してください


それでは。
-- 
U.Nakamaura <usa@garbagecollect.jp>

[ruby-dev:51012] Re: 2.7までで動いていたが3.0でエンコードのエラーになる

[paptimusx]

[-- Attachment #1: Type: text/plain, Size: 1206 bytes --]

ご返信ありがとうございます。

２行目に
coding: cp932
があり、これは効いているはずです。
encoding: cp932
としても同様の動きになります。
外すと動きが変わります。


2021年1月30日(土) 0:11 U.NAKAMURA <usa@garbagecollect.jp>:

> こんにちは、なかむら(う)です。
>
> In message "[ruby-dev:51000] 2.7までで動いていたが3.0でエンコードのエラーになる"
>   on Thu, 28 Jan 2021 23:28:36 +0900, paptimusx@gmail.com wrote:
> > Windows10  (64ビット,日本語環境,cp932)
> > 2.7までで動いていたが3.0でエラーになるようになった
> > 2.7,3.0 ともchocolatelyで入れたもの
> > エンコーディングの仕様が変わったのでしょうか
>
> 3.0より、Windowsにおいてdefault external encodingはUTF-8となりました。
> なので、
>
>
> > $ cat a.rb
> > #!/usr/bin/ruby
> > #; coding: cp932
> > files = ARGV
> >
> > for file in files
> >   $stderr.print "[#{file}]\n"
> >   fin = open(file, 'r')
>
> ここで encoding: 'cp932' あたりを指定してください
>
>
> それでは。
> --
> U.Nakamaura <usa@garbagecollect.jp>
>
>

[-- Attachment #2: Type: text/html, Size: 1828 bytes --]

[ruby-dev:51013] Re: 2.7までで動いていたが3.0でエンコードのエラーになる

[U.NAKAMURA]

こんにちは、なかむら(う)です。

In message "[ruby-dev:51012] Re: 2.7までで動いていたが3.0でエンコードのエラーになる"
  on Thu, 4 Feb 2021 00:01:00 +0900, paptimusx@gmail.com wrote:
> ２行目に
> coding: cp932
> があり、これは効いているはずです。

それはソースのエンコーディングの指定です。
言い換えると、コード中の文字列や正規表現のリテラルのエンコーディングを指定しているだけであり、外部エンコーディングには影響はありません。


> > >   fin = open(file, 'r')
> >
> > ここで encoding: 'cp932' あたりを指定してください

ですので、ファイルをオープンする際に、そのファイルのエンコーディングを
  fin = open(file, 'r', encoding: 'cp932')
などといった方法で指定してください。


それでは。
-- 
U.Nakamaura <usa@garbagecollect.jp>

[ruby-dev:51014] Re: 2.7までで動いていたが3.0でエンコードのエラーになる

[paptimusx]

[-- Attachment #1: Type: text/plain, Size: 947 bytes --]

なかむら(う)さま

ありがとうございます。理解しました。

WindowsのRubyの場合、インストーラによっては
環境変数RUBYOPTでutf-8が指定されてしまうのでそれは削除してあります。

$ set rubyopt
環境変数 rubyopt が定義されていません

$ c:\tools\ruby27\bin\ruby.exe -e "print Encoding.locale_charmap"
CP932
$ c:\tools\ruby30\bin\ruby.exe -e "print Encoding.locale_charmap"
CP932
$ c:\tools\ruby30\bin\ruby.exe -e "print Encoding.default_external"
UTF-8
$ c:\tools\ruby27\bin\ruby.exe -e "print Encoding.default_external"
Windows-31J

ところで -Ks オプションはまだ残っているようで、これを使うと
openに引数をつけてまわるよりもだいぶ楽ですが、
いまさらこれに頼るのはあまりよろしくないでしょうか。
$ c:\tools\ruby30\bin\ruby.exe -Ks -e "print Encoding.default_external"
Windows-31J

[-- Attachment #2: Type: text/html, Size: 1202 bytes --]