【RSS】　　Yahoo! Pipes 2　　【XPath】

1 ：2012/09/10 〜 最終レス ：2013/03/12

http://pipes.yahoo.com/pipes/pipes.popular
前スレ
http://toro.2ch.net/test/read.cgi/esite/1226394877/

2 ：

ｚ

3 ：

　　[Fetch Thread]
　　　　　　|
[Replace (>>1) with (乙)]
　　　　　　|
　　[Pipe Output]

4 ：

Replaceでいいのか？ｗ
それはさておき>>1乙

5 ：

前スレの最後らへんの人に向けて
Fetch Pageで取得した日付からpubDateを作成したいなら、2012月09月12日みたいな日付をRegexでDate Builderが
理解出来る形式(09/12/2012など)にしてLoopに入れたDate Builderに渡し、item.y:publishedとして保存するといいよ

6 ：

Loop[Date Builder]はちょっと昔だと定番のやり方だけど、今はCreate RSSを使った方が便利
日付は日本時間に合わせておいたほうがいいね
形式はISO8601にあわせて2012-09-10T00:00:00+09:00みたいにしとく

7 ：

すこし前になにかの仕様変更で日付と認識される形式がすこし変わった事があったような
それ以来読んでくれればなんでもいいってのじゃなく、ISOフォーマットにするようにしてる

8 ：

生成されたフィードのソース見るとわかるけど、リンクが同じだとpubdateをいじってもguidが変わらず、更新されても反映されない事があるのよ
前スレに書いた、リンクにタイトルをくっつける方法は、それを避けるための苦肉の策

9 ：

http://pipes.yahoo.com/pipes/pipe.info?_id=aaf2442ade64e6b377b9217868d9e38f
時間あったからfourspの作ってみた
ていうかpublishしてなくてもURL直指定すれば誰でも見れるんだよね？
あとユーザー名クリックでも他の自作pipeはpublishしてない限り見れないってことでいいんだよね？

10 ：

>>9
見れたよー。
ユーザー名クリックしても、a has no Pipes って表示されて見れないよー。

11 ：

馬鹿

12 ：

http://seikatsusoken.jp/teiten/
↑のサイトをxpath fetch pageモジュールで切り出した時に、
下記で取得できるdd要素とdt要素を１組にするような方法はないでしょうか？
//div[@class="report_theme"]/dl
dl要素以下に１つずつ並んでいるdt要素とdd要素を
dt[0]
dd[0]
dt[1]
dd[1]
dt[2]
dd[2]
以下のようにdt要素とdd要素の組み合わせで１アイテムとして取得したいです。
item[0] dt[0] dd[0]
item[1] dt[1] dd[1]
item[2] dt[2] dd[2]
該当サイトの例で言えば、下記のようなアイテムとして抜き出したいのです。
2012年3月 「圏づくり」から幸せになろう。
2012年2月 「圏づくり」は、人や消費を活性化。
2012年1月 「圏づくり」へ

13 ：

YQLでdtddをまとめるのを作ろうとしたら、
エラー999が出てなにもできなくなった
アクセス過多で一定時間蹴られた状態？普通にしてただけなのに・・・
>>12
http://seikatsusoken.jp/teiten/archives.html
こっちなら li でまとまっててやりやすいけど

14 ：

>>13
ありがとうございます！
archivesページで取得することにします。

15 ：

なんとなく作ってみたけど、これdtいらなくないか？日付はリンクに入ってるし
まあYQLexecuteのサンプルってことで
http://pipes.yahoo.com/pipes/pipe.info?_id=3f0a323eb457b5369e2b45f578d60041
これが使ってるYQLtable http://pastebin.com/yTYnnCPp
YQLexecute便利だしみんなもっと使おうぜ
ちなみにexecuteのなかでpipeを走らせることができる
y.pipe("pipeID", {input1: "hoge", input2: "fuga"}).results

16 ：

>>15
なるほど、dtの内容はddのリンクに含まれる文字列を使えば良いんですね。
YQLも勉強になりました。ありがとうございました。

17 ：

便利そうだが俺には難しそうだな

18 ：

ツイッターがRSSやめるからこれか取得するサービスでもでてきてもらたいところ

19 ：

え、ツイッターのRSS止まるの！？
一体どうすれば…

20 ：

RSSはなくなるけどjsonはこれまでどうり使えるよ
そのままRSS登録してる人が困るのはわかるけど、
pipesスレの人が困る理由がわからない
pipesはそれをRSSにして吐き出すためのようなサービスじゃん

21 ：

Pipesは頻繁に更新してくれないから、
ツイート頻度の高いアカウント相手だとRSS直に比べて取りもらしが増えることはありそう

22 ：

で、twitterのjsonをRSSに変換するpipesを教えて。

23 ：

yahoo pipes json to rss

24 ：

優しい人がtwitterのユーザー名を入力すれば、jsonをRSSに変換してくれるPipesを作ってくれた。
ありがたい。

25 ：

今必死で移行中だよこれ来年も使えたらいいね

26 ：

なんでこのタイミングかと思ったら、昔のTwitter RSSが使えなくなったのか
URLにapiが入ってない twitter.com/statuses/user_timeline/____.rss こんなやつ
いまはこれ↓で取得するのが標準になってる
api.twitter.com/1/statuses/user_timeline.json?screen_name=____
jsonのとこをrssにしたらこれまでと同じ形式だけど、json以外のrss,xml,atomは来年3月廃止
公式RTを含めるのは include_rts=true を付けるといい
>>21
標準では最新20ツイートだけど、countクエリで最新200ツイートまではいけるからよっぽど中毒の人じゃなければ問題ないかと
他のクエリで頑張れば最高で3200ツイートまでいけるみたい
pipes通す時点で速報性はなくなるけども
https://dev.twitter.com/docs/api/1/get/statuses/user_timeline

27 ：

Pipes通すと遅いわ。
twitter jsonをPuSHでRSSに変換してくれるWebサービス誰か作ってくれないかな。
広告フィードありで構わないから。

28 ：

http://search.twitter.com/search.atom?q=%23hoge
こういう検索フィードはどうしたらいいのかな

29 ：

>>24
アドレスをお願いします

30 ：

人に頼るほど難しいものでもないような
pipesの基本的な機能だし

31 ：

まあ簡単だしな
けどアドレス貼ってもいいのよ？

32 ：

両者の絶妙な駆け引きが堪らない

33 ：

http://pipes.yahoo.com/pipes/pipe.info?_id=f2ca070ee921fc1105ca1dda2f5e7393
これかな？

34 ：

pipesでTwitterAPIを呼び出す人が増えると制限に引っ掛かって
取得できなくなることが増えるんじゃないの？
以前からのURLが使えなくなって以降しばらくスムーズだったような

35 ：

>>33
6つしかcloneされていないっぽいけれど

36 ：

設定欄があるpipeはcloneしないと値を設定できないと思ってる人が案外多いのか
clone数が増えやすいけど、publishされてないと検索しても引っかからないからな

37 ：

なくなる可能性とかを考慮してんじゃないか？
全部自分の中でやりたいとか

38 ：

サブパイプから出てきたフィールドの扱い方がよくわかりません。
基本的に
1. あらかじめUser inputsのあるパイプを作る(=サブパイプ)
2. Loopを置いて、その中にさっきのサブパイプを入れる
3. inputやassign先を指定する
だと思うんですが、
これだと例えばitem.pubDateに加工するサブパイプを作った場合、
3.でサブパイプに対してitem.pubDateをinputして、
出てきたものを再びitem.pubDateにassignしても、
item.pubDate.pubDateに入ってしまいます。
改めてitem.pubDateにRenameすればいいだけなんですが、
この一手間が必ず発生するのが仕様なのか、
それとも私が何か基本的な使い方を知らないだけなのか…

39 ：

サブパイプ(というかパイプ)はテキストだけのOutputはできなくて、
かならず item にしないといけないわけ。
だからサブパイプの出力が item.sub : hoge であるなら、
それをメインパイプでループさせて item.main に assign すると
item.main.sub : hoge になる。まあ仕様だね。

40 ：

>>39
ありがとうございます。
そういうものだ、ってことですね。
とりあえず自分の間違いでないことがわかったので、
これからは安心して作れます。ありがとうございました。

41 ：

何気にdapperが復活していた。
htppsをスクレイピングするのに助かる。

42 ：

なんかもう不安しかないんだけど。。。

43 ：

Clone作って全く同じSourceなのに、どうして俺のCloneはエラーが出るんですか

44 ：

わろた

45 ：

1.３月にtwitterAPI1.0終了。
2.twitterRSS難民が退去して来襲。
3.サーバー負荷、遅延続出。
4.マリッサ・メイヤー、Yahoo! Pipesのサービス廃止を決定。
5.阿鼻叫喚。

46 ：

Twitter RSSって、どんな時使ってんの?

47 ：

フォローするまでもないorフォローしたくない
けど読みたい。そんな時に使う。鍵かかってなければだけど。

48 ：

非公開のリストに登録しても同じ事出来るよね。
あえて、RSSで購読ってのは、慣れてるからとか感覚的なモノ?
Pipes通せば、フィルタも掛けるの楽か。

49 ：

古いのを検索できるように、メーラーで過去ログ取りに使ってる。

50 ：

あ、のちのちのために予め蓄積しておくってことね。

51 ：

昔リストで読もうとして、何かがダメでRSSにしたんだよな
なんだったか忘れてたけど思い出した
フォローとかリストだとリプライが見えないんだ
リプライ相手もフォローしとかないと

52 ：

1.ニュース、ブログ、twitter、Facebookページ、Google+、Podcast、Youtube、UST、ニコ動、tumbler、Flickr、Pinterest、500px、…フィードリーダーで一元管理できるのに、いちいちクライアントを切り替えるのが手間だから。
2.見てるだけ、つながりは不要。
3.Googleリーダーにぶちこめば過去記事の検索が可能。

53 ：

>>47
俺は逆に読み逃したくないユーザー(リア友とか)だけフィード拾ってる

54 ：

いろいろな利用方法があるわけですね、はい

55 ：

1つ目のアイテムのtitleと2つ目のアイテムのtitleを結合して
1つのアイテムのtitleにまとめることって出来ない？

56 ：

ううむ、

57 ：

いままで、まぐまぐの最新号のみ公開の記事のRSSはdlvr.it経由でGoogleリーダーに登録していました。
今月からdlvr.itの無料アカウントが５フィードまで登録できなくなったので、Yahoo! Pipesに移行したいと思います。
まぐまぐIDを入力するとRSSフィードを生成する方法を教えて下さい。

58 ：

>>57
こういうこと？
http://pipes.yahoo.com/pipes/pipe.info?_id=a3b155448907918d639be6097c0131be
そのうち消しちゃうので、もし参考になるならコピーして使ってちょ。

59 ：

Yahoo!リアルタイム検索の「注目のキーワード」
ttp://search.yahoo.co.jp/realtime
をXPath Fetch Pageで取得しようとしているのですが、取得ができません。
//p[@class="que_2"]/a
や
//div[@class="itm"]/p[@class="que_2"]/a
などで試しているのですが、どのように指定すれば取得できますでしょうか？

60 ：

>>59
不可能
Pipesからのアクセスは http://search.yahoo.co.jp/legacy/help.html にリダイレクトされる

61 ：

>>60
上記リンクを含むページに飛ばされるの間違いだった

62 ：

途中に挟むとUAを偽装するだけのサービスとかないかな

63 ：

>>59
http://searchranking.yahoo.co.jp/rss/
「ただいま、検索数急上昇中！」のフィードで代用できねーかな

64 ：

>>60
Pipesからのアクセスは出来ないようになっているから取得出来なかったんですね
ありがとうございました
>>62
探してみたんですがそれらしいのが見つからないんですよね
>>63
取得できるキーワードは違うようだけど旬なワードが手に入るみたいです
助かりました、ありがとうございました

65 ：

PipesでTwitterの指定キーワードを含むツイート検索結果のRSSを取得しているのですが、
2013年3月のAPI規約変更以降は今まで認証が必要なかったツイート検索結果の取得もOAuth認証が必要となるのでしょうか？
PipesでTwitterのOAuth認証が可能なのかご存知の方お教えいただければ幸いです。

66 ：

Translateがいつのまにか消えてるけど、もうpipes使って翻訳する事出来ないんだろうか

67 ：

この方法で翻訳できたよ
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=tm&bn=pip-DeveloperHelp&tid=121185748&mid=121185761&tof=36&rt=2&frt=2&off=1

68 ：

XPATH Fetch PageでXpathを //div[contains(@class,"body")]/p とかで指定して、例えば item.description で吐き出すと
description
0
1
2
3
4
って分割されて出力される。
それを Loop にセットした String Builder で
item.description.0
item.description.1
item.description.2
item.description.3
item.description.4
と記述して
Loopの吐き出しを item.description にすると、一つの description になるんだけど、
String Builder に一発で、例えば item.description.* みたいに記述出来ないのかな？

69 ：

そんな仕組みがあったのか

70 ：

>>66
まさかこんな有益な回答がもらえるとは
超サンクス

71 ：

クックパッドの話題のレシピ（ ttp://cookpad.com/recipe/hot ）のRSS取得方法分かりませんか？
ソース見ると料理部分をjsで表示してるみたいで取得できませんでした。

72 ：

>>71
ttp://cookpad.com/recipe/update_hot_recipe
ただしリクエストヘッダに特定のものが入ってないと見れない
一応YQLで↓とやれば取得できるのを確認したけど、その後面倒になったから興味あれば続きどうぞ
y.rest('http://cookpad.com/recipe/update_hot_recipe').header("X-Requested-With","XMLHttpRequest").get().response;

73 ：

YQLってそんなこともできるのか
すげえな

74 ：

結局自分で>>72の続き書いてみた
http://pipes.yahoo.com/pipes/pipe.info?_id=58ed15323420e66fed867f4c7aed0ce7

75 ：

>>74
71で質問した者です。凄いです！ありがとうございます！ここまで完全に作ってもらえるとは思いもしませんでした。
YQL使ったことがないのでどうなってるのか全然わかりませんがcloneさせて頂き自分なりに仕組みを勉強しようかと思います。
趣味でPipes触ってるんですがやっぱりYQLとかSQL覚えないとこの先キツそうですね。。

76 ：

YQLとっつきにくいよう

77 ：

いつの間にか、htppsもスクレイピングできるようになった。

78 ：

なにその謎プロトコル

79 ：

あと1ヶ月ぐらいだっけ？twitterのRSS配信終了
Pipes経由に移行したいけどたくさん登録してあるからいちいちめんどいわ

80 ：

>>74
YQLドキュメントと格闘する事2時間、やっと大体分かったわ
store://がなんの事やら分からなかったけどMyYQLで作った自作tableか
これは何だか面白そうね

81 ：

？

82 ：

1.３月にtwitterAPI1.0終了。
2.twitterRSS難民が退去して来襲。
3.サーバー負荷、遅延続出。
4.マリッサ・メイヤー、Yahoo! Pipesのサービス廃止を決定。
5.阿鼻叫喚。

83 ：

>>81
use "store://dXeXD216hAWocoqmWFAeGH" as cookpad; select * from cookpad
この部分の話ね
url「store://dXeXD216hAWocoqmWFAeGH」のユーザー定義tableをcookpadという名前で使いますという宣言文
select以下で具体的にデータを抜き出してる
>>82
その前にこのスレが阿鼻叫喚だろ

84 ：

(((( ；ﾟДﾟ)))ﾋｨｰ

85 ：

>>68
> XPATH Fetch PageでXpathを //div[contains(@class,"body")]/p とかで指定して、例えば item.description で吐き出すと
このitem.descriptionで吐き出すってどうやるんですか？
自分でやるとitemsでしか吐き出してくれない

86 ：

twitterのRSSってそんな需要あるもんなんかな？

87 ：

特定サイトのRSSとしては一番需要があるんじゃね？

88 ：

>>85
xpath fetch page は loop に挿れてる？

89 ：

>>88
ああ、なるほど
そういう使い方が・・・
ありがとうございました

90 ：

これってRSSに変換できないの？
http://api.twitter.com/1/statuses/user_timeline.json?screen_name=[ユーザー名]

91 ：

俺はついったーやってないから分からないけど、URLにjsonと書いてあるからにはjsonなんじゃないの
fetch dataにかけてみれば

92 ：

pipes作りながらちょくちょく動作確認してると
badly formed responseエラーが出るんですけど、
これって、fetch対象のサーバーからアクセスしすぎという理由で
蹴られているんでしょうか？

93 ：

あ、すみません
単にxpathでtext()を使ったのが原因だったみたいです

94 ：

やってみたらfetch dataでjson展開出来るな。あとは使いやすいように各自加工すればよし。

95 ：

ふむ

96 ：

>>55
もう見てないかもだけど
http://pipes.yahoo.com/pipes/pipe.info?_id=201587a74530428103240d9a5eb25438
で作ったフィードを
http://pipes.yahoo.com/pipes/pipe.info?_id=c5dc335f8fe92d00203a0e13b9e3956d
で書き換えた。
我ながら誉められたレベルじゃないと思うが
まあこういう方法もあるよってことで一つ

97 ：

あ、pipes歴数日なので
すごく珍妙なことやってると思います。
横からﾊﾞﾘﾊﾞﾘ駄目出ししてもらえると嬉しい

98 ：

ダメ出しじゃないけど、こういう書き方はどうだろう
http://pipes.yahoo.com/pipes/pipe.info?_id=b554393679a927c395127811e4eb8885

99 ：

あー・・・
その書き方の方が全然いいですね
勉強になります

100read 1read

1read 100read
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲

2ch規制回避サービス「Rika_Roxy」 (537)
Gmail by Google Part38 うんこ (546)
Yahoo Japan　○ 書き込めない orz ○　ﾔﾌｰ ｼﾞｬﾊﾟﾝ (642)
【活用】MSN Premium　MSN Hotmail Plus【会員】 (206)
2ちゃんねる以外で巨大掲示板群のｻｲﾄどこがある？ (455)
Evernote Part15 (645)
--log9.info------------------
◆MUGENやろうぜpart69◆ (394)
Fallout: New Vegas 21 (270)
【2013】SimCity シムシティ 45万人【オンライン】 (1001)
SimCity4 シムシティ4質問専用庁舎 26棟目 (346)
【Special Force】ｽﾍﾟｼｬﾙﾌｫｰｽ 5on5 晒しスレPart87 (293)
SKYRIM SS/MOD晒しスレ その63 (376)
【FM】Football Manager 質問スレ19 (203)
<<SIMBIN RACE系シム総合>> ==Lap10== (468)
SKYRIM MOD作成支援/相談スレ　Part4 (444)
【FM】Football Manager 日記スレ17 (398)
SKYRIM キャラメイクスレ その25 (917)
【2013】SimCity シムシティ 44万人【オンライン】 (1001)
【EU2】 ヨーロッパユニバーサリス 33 【FTG】 (491)
銀河英雄伝説シリーズ【BOTHTEC】 (553)
【SC2】StarCraft2 初心者スレ Part42【GOLD以下】 (869)
太平洋戦争UncommonValor・War in the Pacific 5期 (765)
--log55.com------------------
【動画】黒人男性が白人少女を死ぬほどフルボッコ★３
【は？】　蓮舫「#国会を止めるな」　ﾌｧｰｰｰｰwwwwwwwwwwwwwwwwwwwwwwww
沖縄タイムス阿部岳記者、自宅に届いたアベノマスクに激怒
【悲報】ネトウヨ内ゲバ 上念司と桜井誠がバトルへ ﾈｯﾄ「どっちもどっちだろ…」
小西洋之(千葉)「検事長処分を定めた法律名は？」「ダメだよカンニングは！」→安倍「通告がない」
【動画】黒人男性が白人少女を死ぬほどフルボッコ★２
中国人「北海道に広大な土地を買ったら日本人がビビってるらしい。何を怖がっているんだ…」
王様のボランチ 冒頭 佐藤栞里号泣 オリラジ藤森『栞里ちゃんにこんな顔させやがってバカヤロー』