堕天使の煉獄

コミック発売リスト検索


以前作った、漫画発売日の載ってるサイトから解析してリストを取得し、お気に入りの作家名、タイトルなどを登録しておくと、一括で検索する～みたいなの。
を、いろいろ改良。

こんなツール普通にあるだろとおもったのだけども、意外に無いんですよね……。なので自作の流れで。

しかしこの界隈、相変わらずお寒い状況ですね。
最近倒産してしまって、サイトも無くなってしまった「太洋社」のコミック発売リストが一番良かったなぁ（遠い目）

最近見つかる奴は、原作者と漫画が分かれてるとき、どちらか片方だけで両者の名前がない。レーベル名と出版社名どっちか欠けてる。成年コミックが除外されてる。1ページでひと月分の情報が見れない。

と、どれも使いにくいサイトばかり。

なんでこんなお寒い状態なのかといえば、そもそも、発売日リストの大元の問題があるんじゃ無かろうかと。
あんまし業界の人でもないので詳しくはないのですが、よく本屋で目にする黄色い紙の発売日のリスト。あれって書店とか出版社でなく、取り次ぎの大手のトーハンが発行して書店に配布してる物らしいですね。
んで、あの発売日情報のリストをcsvとかで配布してるようなところないのかなーと以前この辺の情報あさった時に、まずこの発売日リスト、なぜか一般人が入手するのは難しいと言うこと。書店など企業に配布されるのみで、一般には出回らないのだとか。
そんでもって、想像なんですけど、これって紙媒体とかでしか配布されてないんじゃないでしょうかね……。
もしこれがトーハンなどの一次発行元がcsv等の扱いやすいデータの形で配布してるのなら、もっとサイトで閲覧出来るところがいっぱいあるはずですよね。
ちょいと加工して乗っけるだけなんですからとっても簡単な筈。

それが、こんな数が少ない上に情報が欠落してる所が多いサイトしかないのって、紙媒体とかでしか情報がやってこずデジタライズの作業が発生するので、そんなところに人も時間もさけねぇよって感じで、まともな情報サイトが存在しないんじゃないだろうか……。

なにげに書店関係って、結構デジタル化遅れてるんですよね。
以前に講談社のコミックスにバーコードを印刷しなくなった～の話から、スリップをなくす話までいろいろと改革の兆しがあったようなのだけども。
そこで、スリップ＝本の間に挟まってる栞みたいなの。アレを本屋さんは集めてどのぐらい売れたかとか追加発注するときの指標にするらしい。が無くなることについて、書店側の意見からは、ＰＯＳデータでも売り上げはみれるけど、やっぱ昔ながらのスリップで売り上げ管理をしたい……っていう意見が結構多かったそうで。

なんかそういう話を聞くと、ああ、それで発売日リストすらもデジタル化したりしねーのかな。

と業界全体が遅れてる感を感じた物です。



まあ、それはおいといて。

以前作った時は、たまたまＱＴの新しいverがでてきて、新しい機能をのぞいていたら、ＱＴで簡単にブラウザつくれまっせ。みたいなのがあって。
で、それなら発売日のサイトから情報ぶっこ抜いて検索出来るのとか簡単につくれるんやない？　と思って。
毎月サイト上のリストを上から順にながめてると、やっぱ見落としとかあるし、検索でさくっと出したい。
んでも複数の検索ワードを登録して一括で……ってのがブラウザじゃ出来ないんですよね。
そんで最初はfirefoxのアドオンでそゆの作ってみようかなとおもったのですが。
なんかそのときはアドオンの仕様が新しい奴がもうすぐ出て互換性なくなりまっせ。みたいな話（しかもしょっちゅうあるし……）があって、なんか今手を出すのもアレだなーってのもあって。あとfirefox限定でしか使えないのも将来的にな……とも。

で、さくっとＱＴでサイト取得して情報もゲットーってのは驚くほど簡単に作れたんですけど（ブラウザがこんなかんたんいつくれるもんなんやねーと驚いた）難点は重い。
ブラウザを立ち上げてる分けですから起動も遅いし、表示も開始の部分が重い。

そこで、なんかその辺の情報あさってたところで、QWebEngineViewじゃなくQNetworkAccessManagerちゅーもんが結構前からあったらしい。
で調べてみると、なんだ、いわゆるwin32でのwinsock的な低レベルのAPIあるんじゃんと。
そもそもサイトの情報ぶっこ抜くだけなので、サイトの内容を表示する意味無いし。サイトのhtmlとかだけＤＬするならリクエスト送ってデータ受け取るだけでええやんと。

なんてことに気づいて、早速組み替えてみる。
したらめっさ軽いｗ

そりゃまあ、前のはアプリたちあげる毎にブラウザも立ち上げてたものだからなぁ。

で、随分これで扱いやすくなったなとおもったらば。

かつての太洋社に比べれば不満たらたらだけどもそれなりに使用に耐えれそうな情報サイトはリストアップしてあったのだけど、試してみたらば接続に失敗するものが……。

……サイトがＳＳＬ化してやがるっっ！！

以前はhttpだったのがhttpsにいつの間に変わってやがりました……。いやSSL化流行だけどさ。そんなんよりも内容何とかしろよ。とかぶーぶーいいながらも、sslはどうやって対応すれば良いのかとググってみると。

なんだかブチめんどくさい感じぽ。
とりあえずOpenSSLをインスコして、ライブラリにリンクしてアプリの場所にいくつかのdllを置いとけば良いらしいんですが。
なんかＱＴのverとOpenSSLのverでなんか動かない組み合わせがあるとかで。
とりあえず試しに最新版のOpenSSL v1.1.0f試してみたらなんかダメっぽい。これじゃない感ｗ
も一つのOpenSSL 1.0.2lを試してみたらば……おお。

QSslSocket::supportsSsl = true

キター！

あんま日本語の解説サイトすくなくていまいちよくわかってない感じなのですが。とりあえずhttpsのサイトにリクエスト送ってデータを受け取れる様に。
てかOpenSSL v1.1.0系と1.0.2系の違いってなに？
OpenCVの2系と3系みたいなもんなのか？？

古いｖｅｒだと脆弱性が……とかいう情報もヒットするのだけど、どれがその古いVerなのかもよくわかんねーし。

まあ、動いたから良しとするか（ぉ


で次につまずいたのが……。

QWebEngineに比べてQNetworkAccessManagerのがものすごくさっくり手軽にサイトのデータ持ってこれるので、ちょっと欲張って成年コミックの発売日リストのサイトも対応してみようかと思い立つ。

で、したらそのサイト。
年齢認証があるんですよね。そのあとリダイレクトでジャンプして～とよくある奴です。

……このリダイレクトの処理の先のサイトにどうやってアクセスするのかが判らん……。
普通に取得できるのは年齢認証の画面のhtmlで。そのなかの「はい」を選んだときのＵＲＬはなんかphpで単純にジャンプさせてるだけで、もとのurlの後ろにcheck=trueというパラメータが付いている。じゃあcheck=true追加したurlで飛べるのかなとおもったのだけどもリファラのチェックでもしてるのかphp経由のジャンプじゃないとダメっぽい？

こういうちょっと突っ込んだところになると、英語のドキュメント読みあさるより他なく、わけわかめ。

なんとなく、リダイレクト先のＵＲＬをうけとってこれるメソッドがあり、それでもっかい同じ接続に使ってるところからアクセスするっぽい？？
って感じでいろいろとためして、何とか動くように。

はふー。

QTのライブラリではアレに対応する機能はどれになるのかなー的に大昔にwinsockでなんかやってたころの記憶が助けになったぽ。てかものすっごくうろ覚えのうっすい記憶しかないぐらい遠い昔の話だけどｗ

てかなんだかんだでこのツールって作ってみて、cgiの一種なんやねと。
リクエスト出して応答うけとって～と。こもんげーとうぇいいんたーふぇーすってやつ。
やってる事はperlでも一緒だなーとおもうと、ああ、なんだそういことか。と気づくこともあったりして。
殆ど出来上がったところで、一気に全体が理解出来きてきて遅いよ……とお間抜けな感じでしょぼん。

そんな感じで久しぶりにＰＧやった～。


追記：

そいやテストも兼ねてこの発売日リスト毎月一回起動してたりするんですが。
ここ数ヶ月、ずっと鶴田謙二の冒険エレキテ島 2 が延々毎月のリストに載ってるのが嫌でも目に付くｗ

相変わらずあの人は遅れまくるんだなとｗ

発売日一旦出た後未発売で音沙汰無くなるのもアレだけど、毎月何事もなかったかのように毎度載ってるのもなんだかアレだな……ｗ