全文検索エンジン Hyper Estraier 2

1 ：2007/04/17 〜 最終レス ：2012/10/10

http://hyperestraier.sourceforge.net/index.ja.html

2 ：

前スレ
http://pc11.2ch.net/test/read.cgi/unix/1100221699/

3 ：

「はっ！はぁぁぁあんっ！ナ、ナマズは？ナマズは、こ、超えたの？？」

4 ：

いいえ、タイにご執心の気違い次男がいる限り、なまずは不滅です。
もっとも最近は、もっとダイレクトにcockらしいですが。

5 ：

>>1
乙

6 ：

こんなところにエロゲーのスレが！？？

7 ：

>>6
「イサキ 大漁」で検索

8 ：

インストール方法から検索方法までの詳細
↓
↓

9 ：

つGoogle

10 ：

いちいちhttpdなんか動かしてられるか！
ってひとのため。
http://green.ribbon.to/~ikazuhiro/lookup/ndest.html

11 ：

フロントエンド、統一してくれんかのぅ

12 ：

前スレとの二重カキコご免なさい。
http://athlon64.fsij.org/~mikio/wikipedia/estseek.cgi?clip=8
こちらのサイトでtestを検索
http://athlon64.fsij.org/~mikio/wikipedia/estseek.cgi?phrase=text&perpage=10&clip=8&navi=0&attr=&order=
すると関連キーワードとして
Related terms: text, rowspan, style, align, center, color, background, key
というふうに出てきますが、これって配布されているCGI、estseek.cgiでも出すようにできますか？？
いろいろ調べているんですが、方法が一向に分からず。
ご存知の方いらしたら改造のしかた教えて下さい。

13 ：

複数のインデックスを作っておいて、同時に検索できるのでしょうか？
estseek.confのindexname: 部分では複数の記述ができませんでした。

14 ：

すみません。前スレに移動しました。

15 ：

relwords.qdb って何処で入手できるんでしょうか。

16 ：

ttp://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11373623770980940568&focus=1

17 ：

>>16
http://athlon64.fsij.org:8080/wikipedia/relwords.tsv.bz2
は
http://athlon64.fsij.org/wikipedia/relwords.tsv.bz2
のようですが、not found なのです。
wikipediaのデータを使っているようなので、GNU FDL に基づいて
作者に直接請求しなければならないのでしょうかね。

18 ：

俺なら作者に「お願い」するけどな。
ところでGNU FDLに基づいて公開義務が生じる根拠って何かあるの?

19 ：

ここで改変されたデータへのアクセスを提供してる。
http://athlon64.fsij.org/~mikio/wikipedia/relwords.cgi

20 ：

これだろ
http://athlon64.fsij.org/~mikio/wikipedia/relwords.qdb

21 ：

>>20
多謝です。

22 ：

KaMailV3もここで良い？

23 ：

xyzzyのスレがあるべ。
作者さんはずっとあっちの人だ

24 ：

estcmd search -ord のあとに何をかけばいいのかわかんねー。
rubyの二つの bindingもどういう得失があるんだろう..
やっぱり purerubyだとちょっと遅いとか??
ちょっとソースに diveしてくる。

25 ：

mixiが自社開発の検索エンジンに移行、ウェブ検索はYSTに:ニュース - CNET Japan
http://japan.cnet.com/news/media/story/0,2000056023,20352009,00.htm
Hyper Estraier あげ

26 ：

mixy日記はコーパスとしておもしろそうだよねえ。

27 ：

namazu.el と同じようなフロントエンドおねがいしますー。
上にあったlookupじゃ使いにくいです。
リターン一発で編集したいです。

28 ：

Windowsバイナリ版で作成したインデクスと付属CGI(estseek.cgi及び関連ファイル)は
そのままレン鯖にうpしても動かないですかね？
試用段階なのだけど、なにか違うんだろうか。

29 ：

ご、ごめん、いずれにしてもRubyからアクセス(検索)することになるので
そっちをテストしたらうまくいきました。
付属CGIが動かない理由はまだわからないけど、
自分でもいまいち整理できてないですし、
estseek.cgiは使わないので質問は取り下げます。
ごめりんこですm(_ _)m

30 ：

ちかごろ良さげなパッチがMLに
流れてるが、作者はマージせんのか。
中華、作者はメンテしてんのか？

31 ：

確か1.4.9と1.4.10の間も長かったな。
mixi移籍後社内業務で手一杯なのか開発速度が大幅に落ちた希ガス

32 ：

Tokyo Cabinet なんてのも作ってるしなあ。 QDBM ともども H.E. もこのまま放置されたりして。
http://tokyocabinet.sourceforge.net/
つーか代わりにメンテナに立候補する香具師はおらんかなあと思う今日このごろ。

33 ：

>>32
開発スピードが遅くなるのはいいんだけど、放置プレイだけが心配だなぁ。
Tokyo Cabinet で QDBM の不満点を解消したとかいってるし、QDBM 放置 → H.E. も放置な流れの気配が…

34 ：

100万レコードくらいのインデックスを作成したいのですが、
mysqlのエラーで止まります。何かいい方法ありますか？

35 ：

そもそもmysqlのエラーというのが発生する経緯がわからん
どういう使い方をしているのか、それを説明したまえ

36 ：

>35
レスありがとうございます。
hyperestraierとacts_as_searchableというrailsのプラグインを使って、全文検索を行いたいと考えています。
acts_as_searchableに備わっているreindex!というメソッドを実行すると、インデックスが構築される仕様になっているのですが、
これを実行すると、だんだん処理が重くなり、最終的にはMysql::Error: Lost connection to MySQL server during queryというエラーが出てしまいます。
reindex!というメソッドはデフォルトでは対象になるレコードを一気にメモリにのせてしまうので、
そのあたりは負荷を減らすようなコードに修正して実行しています。
（このような感じです。ttp://d.hatena.ne.jp/yune_kotomi/20070912/1189617411）
hyperestraierのメーリングリストで、mysqlのLost Connectionを改善する
mysql_retry_lost_connectionというrailsのプラグインを教えて頂いたのですが、
インストールしても効果がなく、どうも、接続が切れる前の段階でつまずいているような気がします。
対象レコード数は100万弱で、途中で止まってしまいましたが、
#docs => 22897、#words => 196666まではいけました。
なにかアドバイスいただければ幸いです。
よろしくお願いします。

37 ：

そのMySQLのqueryとやらは、その先の処理が何時間かかろうともいつまでも待ってくれるの？
単にタイムアウトしているだけのような気が...

38 ：

つーかMLとマルチ？やるなあおい

39 ：

作者こないね

40 ：

マルチっていうより、ML で有効なレスポンスがないからこっちにも、ってことだろう。
残念ながら俺は MySQL と組み合わせたことも Rails も使ったことがないからよくわからん。
つか普通 MySQL で全文検索するんだったら Senna じゃね?

41 ：

いや、だからさ、作者はメンテする意思あんのか、と。

42 ：

メンテナンスに関しては、開発者コミュニティが形成されていない
のがダメな点だな。
作者の手を煩わせてはいかんよ。

43 ：

いやでもパッチ投げても直接マージされるわけじゃなく、本人がリライトして
著作権保持者を維持してるので、開発コミュニティの形成はforkでもしないと
無理だよ。

44 ：

作者がmixiじゃなくgoogleに就職していれば…

45 ：

googleに行ったフーリソフトウェア者も沈黙しちゃってる件(泣)

46 ：

マイクロソフトはソース見たらフリーウェアに参加で着なくなるけどほかのも？

47 ：

estseek.cgiで属性検索しても結果に出てこないのはなんで？
[UVSET]してるけどなー

48 ：

あとgather -aa @uri STRで属性インデックスつけてるけど　やっぱ遅いですね
属性検索で速く検索する方法ありますか

49 ：

>>48
それ属性インデクス追加のオプションだっけ？
おれは
estcmd create -attr @uri str idx
とかやって属性インデクス付けたよ．
1000万件位のレコード数だったけど，URI検索は体感できるほど
速くなった．

50 ：

>>39-45
で、いざ新バージョンが出たら沈黙ってなんだよ。

51 ：

http://hyperestraier.sourceforge.net/index.ja.html
> 最新のソースパッケージ（バージョン1.4.12）
あれ、いつの間に。
ML 入ってるけどリリース情報なかったぞ。
何にせよ復活age.
ただ、ChangeLog 見る限り、
2007-11-18 Mikio Hirabayashi <mikio@users.sourceforge.net>
* estraier.c: code clean-up.
- Bugs related to type casting of perl binding were fixed.
- Release: 1.4.12
2006-11-11 Mikio Hirabayashi <mikio@users.sourceforge.net>
* estraier.c (est_resmap_add): "method" argument was added.
* estraier.c (est_inode): a bug related to overflow was fixed.
* estraier.c (est_narrow_score): a bug related to attribute distinction was fixed.
* estraier.c (est_search_union): search accuracy with trailing uni-gram was improved.
* estmaster.c (searchlocal): a bug related to scanning with regular expressions was fixed.
* estscout.c (realmain): "union", "score", and "idsuffix" attributes were added.
* estsupt.c (realmain): "score" attribute was added.
* estsupt.c (procsearch): accuracy of hint was improved.
* estsupt.c (realmain): "logmsg" parameter was added.
* estscout.c (realmain): "distinct" parameter was added.
* estscout.c (showresult): cache clear at random was added.
- Release: 1.4.11
ここのところ精力的に ML に投げられてたパッチはマージされてなさげ?

52 ：

pthreadsライブラリのないシステムで動かしたいんですが
なんとかならんですかね。

53 ：

Chimera Search（キメラ・サーチ）
http://www.osstech.co.jp/product/chimera
> 構築コンポーネントに以下のOSS（オープンソースソフトウェア）を利用
> しているため、安価に導入できるのに高性能・高機能を発揮します。
> * プログラム言語： Rubyおよび Ruby On Rails
> * 全文検索システム ： Hyper Estraier

54 ：

百度でやってるように
會→会
懷→懐
みたいに異体・旧字体・繁体・簡体をまとめてくれるといいのに。
estraier.c のなかの canonize なんとか関数に誰かちょっちょっと書き加えてくれ。

55 ：

>>53
こういう製品って虚しいよね。
だって、導入６０万、年１２万だったらGoogle MINIの方が
安いし、ハードウェア込みの提供だからメンテフリーだし。
実際，うちの会社はWWW用はGoogleMINI にした。
部内サーバは自分でHyper Estraierをいれた。

56 ：

>>55
それはそうなんだが、Google MINIってちっとも社内のニーズに合わせてくれなくて不満がでるんだよな。
ページの計算もなんか適当に丸められちゃうし。

57 ：

コレ使って、某サイトの1万件の記事の全文検索作ったが早いし良いね!!
acts_as_searchableの未完成具合に泣いたけどｗｗ
Rails系のエンジニアに聞くと皆使ってるし、
結構いろんなサービスでも使ってるみたい。

58 ：

最新版のWindows版のバイナリパッケージを配布して欲しい．．．

59 ：

ありゃ、SennaはともかくHEにもないんだ…

60 ：

(　￣0￣)Ψ　誰かぁぁ　PHP-nativ binding を作ってぇ〜

61 ：

クローラー＋ノードサーバーを使用した検索をシステムを動かし
http://*****:1978/node/***/search_ui　の形式で検索には成功しました。
次ステップで
estraierpure.rb を PHP に移植したという　「EstraierPure for PHP 4.3」を使用し、ClassNodeを利用しましたが、検索結果に同じサイトばかり表示されてしまいます。
１：Pure版には　類似隠匿機能はないのでしょうか。
　　Ruby、Javaにもないようですし..
２：Binding版（Perl等）には、類似隠匿機能（set_eclipse)があるのですが、classNode　がありません。
　　Binding版で、P2P（ノード）利用した検索をシステムって可能なのでしょうか。
　　CPAN（Search-Estraier）を観ましたが、classNodeがあったのですが、set_eclipseがありませんでした
３：そもそもBinding版とPure版の違いってなんでしょうか。（汗

全く、的外れな質問でしたらお許しください
やりたいのは、「P2P＋クローラーでの検索サーバーの構築」です。

62 ：

ノードＡＰＩの場合、est_noderes_eclipse関数。　
Pureには、実装されてないようです。

＞そりゃ俺がやるから使う側は楽なんだけどさ、面倒くせーことこの上ない。
　ttp://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11306060711414945086

63 ：

5年ぶりになまずを再インストールしたらすごくまともになってた。これでいいじゃん。

64 ：

5年ぶりかよっ。

65 ：

鰤と鯰

66 ：

面倒くせーですか.... Ｃでやってみましょうか..１５年ブリ（鬱

67 ：

いくらなんでも鯰でいいはないだろ…
検索漏れ大杉でとても使う木になれん

68 ：

＞検索漏れ大杉
　ヒント　Mecab

69 ：

namazu+kakasi じゃなくて 鯰＋和布蕪ってこと？

70 ：

>>66
Ｃで組むならＱＤＢＭの使いこなしが必要。
関数になれましょう

71 ：

景気よくageます.
Windows版バイナリパッケージのverは1.4.10で止まったままなんでしょうか.
どなたかビルドしておられたらありがたいですが

72 ：

1.4.10 で困ることあるのか？

73 ：

辞書データ変換ツール一般についてと
(製品版のデータを全部持った)体験版のデータ変換についての話が
入り乱れてないか?

74 ：

すまん、誤爆した。

75 ：

これ、データーベース(QDBM）が壊れまくり。
ＤＢが開いた状態で、プロセスが落ちると１００％ぶっ飛ぶ
速いらしいが、こんなん怖くて使えないわ。
どうでもいいような、無くなってもいいデータしか扱えないわ。
さてと、１０００万件のデータ、ゼロから収集だわ（鬱
なんとかならんでしょうかね

76 ：

なんとかしてみてよ。

77 ：

俺もbsfilterでqdbm使ってたらすぐ壊れたんでsdbmに変えた･ﾟ･(つД｀)･ﾟ･

78 ：

http://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11226165321819719571

79 ：

>>77
よかったな! sdbmの方が圧倒的に速いぞ。

80 ：

まぁ〜、トラック　と
ノーヘルどころか、頭蓋骨すらない脳味噌丸出しのバイク便の差。
高速道路で同じ荷物を運んで　どっちの運ちゃんが逝くかは明白。
シートベルト程度の防御は欲しいけど、速さと安全は成り立たないだろね。
ＲＡＭにカキコされたキャッシュ程度のモンよ

81 ：

>>80
お前喩えのセンスあるな

82 ：

ＨＥ＋Tokyo Cabinet に変わるまで待てよ

83 ：

TC ってさらに速さを追求したライブラリなんじゃネーの?
安全性上がるのか?

84 ：

ああ、
http://alpha.mixi.co.jp/blog/?p=90
> 耐障害性の向上 : データベースファイルが壊れにくい
って書いてあるな。
速度だけでなく安全性も向上するのか。

85 ：

http://alpha.mixi.co.jp/blog/?p=98
> QDBMにおいては、データベースを開いているアプリケーションが異常終了した場合、
> もしくはデータベースを適切に閉じずに終了した場合は、データベースが壊れるように
> していました。それらは明白なバグであり、アプリケーションの作者やそれを使うことを
> 選択したユーザに何らかの意識的な対処を求めることが適切であると考えたからです。
> (中略)
> しかし、上記のような理想主義と「上から目線」では現実の問題に対処できないことを
> 近ごろ感じはじめました。マナーを守らない/守れないユーザやユースケースも結構な
> 割合で存在するのが現実なのです。したがって、TCは、マナーを守らないアプリケー
> ションやそのユーザにも宥和する戦略に転換しました。
突然の停電とか当たり前に起こりうる事態なんだから、
バグとかマナーとかそういう問題じゃないと思うんだよな…
アプリにバグが無くても OS の不具合で落ちることなんかしょっちゅうだしな。

86 ：

サバイバビリティの概念がないソフトウェア設計者がいるのか。
能力的に対処できないということはなさそうだから、
実世界の面倒くさいことから逃避するための言い訳か。
> アプリにバグが無くても OS の不具合で落ちることなんかしょっちゅうだしな。
そんな事がしょっちゅうあるようなOSは使わないのが普通。
開発者がアレだとユーザもアレなのが集まるというのを実感しないでもない。

87 ：

>>86
おまえは Windows を使ったことがないのか?

88 ：

●ノードマスタの異常終了（再起動シナイ）
　サーバールートdirの　_pid と　_stop の削除　
●ＤＢの復旧
　estcmd repair index_path
　

89 ：

共有鯖で、クローラーを動かしてますが、突然、
｢out of memory｣で止まってしまいました。( p_q)エ-ン
クローラールートディレクトリ(rootdir)内が飛んだようで
以後、
estwaver crawl rootdir 　で　「could not open」となり起動できません。
メモリが少ないのはわかるのですが、先日までは正常に動作してました。
rootdirの復活方法など対処方法を教えてください　(o*。_。)oペコッ

90 ：

つ…釣り？

91 ：

あるいは「一般人」かも

92 ：

>>85,86
耐障害性の確保は上位層でやれってことだろ。
オーバーヘッドを減らすためには妥当な技術選択だ。
あんたらが考えてるくらいのことはとっくに考えてるはずだよ。
その例としてTokyo Tyrantでちゃんと耐障害性を確保しているしな。
http://alpha.mixi.co.jp/blog/?p=147
これベースでHEを作ってくれないかなぁ。

93 ：

むしろ今後HEが放棄されそうで心配…。

94 ：

mixi.jp 内で動いているエンジンを表に出して欲しい。

95 ：

>>92
中見てないけどtokyoestraierってのがそうじゃないの?

96 ：

>>92
選択肢の一つではあるが、技術的に妥当な選択だとは思わないな。
用途が制約される(上位層やユーザがその要求を履行するのは難しい)という点で。

97 ：

トレードオフのある技術選択において何が妥当かはユースケース次第だろう。
consistencyを真面目に考えたらそれこそスタンドアロンでは実現できないし。

98 ：

ＨＥはそのまま。
後継は、tokyoestraier（ＴＥ）でしょう。
http://hyperestraier.sourceforge.net/past/?M=A

99 ：

DesktopHEでファイルサイズとテキストサイズの上限を調整する方法教えてくれよ。

100read 1read

1read 100read
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲

ノートにSolaris8！！ (379)
☆ 古いＰＣを復活させよう (203)
（´_ゝ`）流石だよな、俺ら（´lt;_｀ ）流石に２ (369)
モナーフォント 2 (445)
Emacs Part 42 (446)
☆★minix★☆ (291)
--log9.info------------------
(ﾟДﾟ)ｷｽｶｯ!して一時間レスされなければ撤退成功19 (687)
新　日本の次世代艦隊のあるべき姿　十六番艦 (628)
ヒトラーユーゲントの少年少女兵を捕虜にしたら (259)
【品質革新】韓国次期戦車XK-2 Part60【決意大会】 (202)
軍事一行リレー小説 第534軍 (685)
F6Fと零戦 (505)
民主党ですがレーダー照射 (1001)
民主党ですが現場の暴走とは考えにくいです (417)
[イスラム] 中東の軍事情勢30 [アラブ イスラエル] (279)
【スペンサー銃】八重の桜の軍事分析【綾瀬はるか】 (498)
ｵﾘｼﾞﾅﾙ仮想戦記のﾌﾟﾛｯﾄと見所を評価するスレ15 (975)
【ドイツ】第一次世界大戦のドイツVSロシア【勝利】 (463)
日本ーロシアードイツの三国軍事同盟 (342)
ヘリコプター総合スレ16 (289)
[第四世代]10式戦車スレ配備148号車[抑止力] (762)
対中国の防衛戦略を考える (755)
--log55.com------------------
■全店舗対象 ヨドバシカメラ 18店舗目 総合スレ■
古本市場 Part8
【BOOK・OFF】 ブックオフ総合スレ PART.63
【HARD】ハードオフ・オフハウス総合23【OFF】
世田谷区のブックオフ
【BOOK・OFF】 ブックオフ総合スレ Part41
リサイクルショップの店員が言いがちな台詞
メルカリで出品して欲しい物を書き込むスレ