[ruby-dev:52132] [Ruby master Feature#11177] DATAでEOF文字以降が読めない

[ruby-dev:52132] [Ruby master Feature#11177] DATAでEOF文字以降が読めない

[YO4 (Yoshinao Muramatsu) via ruby-dev]

Issue #11177 has been updated by YO4 (Yoshinao Muramatsu).


本件についてDATA.pos が__END__直後を示さないこと、Cのfseek(0, SEEK_CUR)っぽく DATA.seek(0, IO:SEEK_CUR)を行っても改善しないことから
単純なワークアラウンドは存在しないと思っていましたが、
3.4-head で試したところ prismでの仕様の違いか別の理由からかは確認できていませんが DATA.pos が __END__直後を指していたので
```
IO.open(DATA.fileno, "rt") { _1.readlines } # 明示的にuniversal newlineを使用してopen
```
で```\x1A```込みで読み込み可能でした。
```
>less -F data.rb
p IO.open(DATA.fileno, "rt") { _1.readlines }
__END__
textpart1
textpart1^Z
binpart1
binpart2

>ruby data.rb
["textpart1\n", "textpart1\u001A\n", "binpart1\n", "binpart2\n"]
```
上記にて、data.rb の改行は CR+LF です。

----------------------------------------
Feature #11177: DATAでEOF文字以降が読めない
https://bugs.ruby-lang.org/issues/11177#change-110720

* Author: mame (Yusuke Endoh)
* Status: Open
----------------------------------------
遠藤です。

Windows で `__END__` 以降に EOF 文字 (`\x1A`) があったとき、それより先が読めないのは仕様でしょうか。

gen.rb:

    puts "p DATA.read"
    puts "__END__"
    puts "foo\x1Abar"

以下のように実行すると再現します。

    > ruby gen.rb > t.rb
    > ruby t.rb
    "foo"

`DATA.binmode.read` などとしてみても同じです。

もちろん、Linux では先まで読めます。Windows でも、ソースコードをパイプで流し込んだ場合はなぜか読めます。

    > ruby < t.rb
    "foo\x1Abar\n"

さらに、EOF 以降に文字がいっぱいあった場合、EOF 以降の一部の文字が抜け落ちるような挙動になるようです。

gen2.rb:

    puts "p DATA.read"
    puts "__END__"
    puts "foo\x1A" + "X" * 8192 + "Z"

    > ruby gen2.rb > t.rb
    > ruby t.rb
    "fooXXXXXXXXXXXXXXXXXXXXXXXXXXXZ\r\n"

バッファリングのバグっぽい挙動ですが、バグでしょうか。

-- 
Yusuke Endoh <mame@ruby-lang.org>



-- 
https://bugs.ruby-lang.org/
_______________________________________________
ruby-dev mailing list -- ruby-dev@ml.ruby-lang.org
To unsubscribe send an email to ruby-dev-leave@ml.ruby-lang.org

[ruby-dev:52133] [Ruby master Feature#11177] DATAでEOF文字以降が読めない

[YO4 (Yoshinao Muramatsu) via ruby-dev]

Issue #11177 has been updated by YO4 (Yoshinao Muramatsu).


rubyの-xオプション付与でソースファイルをバイナリオープンさせることでも```\x1A```以降の読み込みが可能でした。
こちらは ruby 3.3またはそれ以前でも可能のようです。
```
>less -F data.rb
#!ruby
DATA.pos # posなしだと [] しか得られない
p IO.open(DATA.fileno, "rt") {|f| f.readlines }
__END__
textpart1
textpart1^Z
binpart1
binpart2

>ruby -x data.rb
["textpart1\n", "textpart1\u001A\n", "binpart1\n", "binpart2\n"]
```
同様の動作を仕込むことで EOF以降も DATAでアクセス可能にできそうですが、DATA.class が Fileでなく IOになっちゃいますね…

----------------------------------------
Feature #11177: DATAでEOF文字以降が読めない
https://bugs.ruby-lang.org/issues/11177#change-110732

* Author: mame (Yusuke Endoh)
* Status: Open
----------------------------------------
遠藤です。

Windows で `__END__` 以降に EOF 文字 (`\x1A`) があったとき、それより先が読めないのは仕様でしょうか。

gen.rb:

    puts "p DATA.read"
    puts "__END__"
    puts "foo\x1Abar"

以下のように実行すると再現します。

    > ruby gen.rb > t.rb
    > ruby t.rb
    "foo"

`DATA.binmode.read` などとしてみても同じです。

もちろん、Linux では先まで読めます。Windows でも、ソースコードをパイプで流し込んだ場合はなぜか読めます。

    > ruby < t.rb
    "foo\x1Abar\n"

さらに、EOF 以降に文字がいっぱいあった場合、EOF 以降の一部の文字が抜け落ちるような挙動になるようです。

gen2.rb:

    puts "p DATA.read"
    puts "__END__"
    puts "foo\x1A" + "X" * 8192 + "Z"

    > ruby gen2.rb > t.rb
    > ruby t.rb
    "fooXXXXXXXXXXXXXXXXXXXXXXXXXXXZ\r\n"

バッファリングのバグっぽい挙動ですが、バグでしょうか。

-- 
Yusuke Endoh <mame@ruby-lang.org>



-- 
https://bugs.ruby-lang.org/
_______________________________________________
ruby-dev mailing list -- ruby-dev@ml.ruby-lang.org
To unsubscribe send an email to ruby-dev-leave@ml.ruby-lang.org